Google Webmaster Toolsのナゾ

Google Webmaster ToolsのLabs（実験的な機能）に、Fetch as Googlebotと「不正なソフトウェアの詳細」が追加されましたね。前者は文字通りGoogleのボットがページをどう見ているかが分かる機能で、非常に興味深いですし、後者はサイトが最近流行ったJSRedir-R（通称GENOウイルス）のようなマルウェアに感染していないかチェックできる、という大変ありがたいものです。

このWebmaster Tools、使い始めるにはそのサイトを”所有”していることを証明するために、Googleが指定するMetaタグを特定のページに挿入する（1）か、同じくGoogleが指定する名前のファイル（中身は空で良い）を特定のディレクトリに置く（2）ことが必要です。

実は、筆者が管理するサイトの一つで（2）の方法が使えないことがありました。

なぜでしょうか。

答えは、サーバがステータスコードを正しく返していないからでした。そのサイト、sitemix.jpという無料スペースに置いているのですが、このsitemix.jpでは、意図的かミスなのか分かりませんが、存在しないURLにアクセスしようとすると「404 File Not Found」というページを表示はするのですが、実際には404を返さないのです（2009年10月現在）。

Googleの方では、指定したファイルのURLにアクセスするとステータスコード200が返り、且つ、ランダムに生成したファイル名にアクセスすると404が返って初めて、そのサイトをそのユーザーが”所有”していると見なします。
なぜ、200が返るだけではダメなのかと言うと、そのサーバではどんなリクエストに対しても200を返すように設定されているかも知れず、そういう変な設定のサーバを見つけて「身分詐称」する人が居るかもしれないからです。

さて、404が返らず、Googleがサイトの所有権を確認出来ない場合、（1）の方法を使うのが簡単ですが、今回は、.htaccessに、

ErrorDocument 404 /error/404.html

と一行追加して、独自の404ページを表示するようにしました。
注意が必要なのは、URLは相対指定しなければいけない、ということです。http://～と絶対指定してしまうと、404でなくリダイレクトになってしまうんですよね……。ややこしいですね。