脳log[20100407]

2010年04月07日 (水) baiduspiderはヘッダに置いた <meta name="robots" content="noindex,nofollow" />を理解できないようだ。HTTPレスポンスこそ text/htmlとはいえスラッシュがあるせいだとは言わせない。「Baidu.jpのクローラーはロボット排除基準を遵守しています。ウェブサイトの運営者はrobots.txt を設置するか、サイトページ中HTMLファイル内に<META>タグを記述することで、Baidu.jpのクローラーがウェブサイトの一部もしくは全部へアクセスすることを禁止できます。」 嘘ばっかり。