質問箱/4367

カテゴリ
サマリGoogle検索ロボット(ウェブマスターツール)対策について
バージョン1.4.7
投稿者Ito?
状態完了
投稿日2008-09-20 (土) 22:51:00

質問

Googleの「ウェブマスターツール」と云うのを使っていて、 pukiwikiでアクセスエラー等で大量のエラーが出ました。 (Googleロボットの収集情報、警告情報等を参照出来る機能等あり)

現在「robots.txt」を作成して逃げていますが 何か良い方法が有れば伝授願います。

自分なりに対策してみた「robots.txt」下記に記載します。

User-agent: *
Disallow: /wiki/?FrontPage‎
Disallow: /wiki/index.php*
Disallow: /wiki/*%20*
Disallow: /wiki/*cmd=backup*
Disallow: /wiki/*cmd=diff*
Disallow: /wiki/*cmd=edit*
Disallow: /wiki/*cmd=unfreeze*
Disallow: /wiki/*cmd=freeze*
Disallow: /wiki/*pcmd=upload*
Disallow: /wiki/*plugin=newpage*
Disallow: /wiki/*plugin=rename*
Disallow: /wiki/*plugin=template*
Disallow: /wiki/*sess*

補足

  • 「/wiki/?FrontPage‎」は「/wiki/」でもアクセス出来るので、「同一のタイトルが存在する」とおこられるのを防ぐため。
  • 「/wiki/index.php*」上記同様。
  • 「*%20*」はスペースの入ったページは検索時の複数ワード扱いでスペースが「+」に置き換えられてエラーとなってしまった。
  • あとは、編集ページ等をキャッシュされない様に対策。
  • 「/wiki/*sess*」忘れました・・・。

回答

  • Googlebotが特定のページをクロールしに来た時は、404を返すというのはどうでしょう。このようなファイルをpukiwiki.ini.phpと同じディレクトリへ設置して、pukiwiki.ini.phpの上の方の行に
    require_once("reject_gbot.php");
    とするとか。 -- gpan? 2008-09-22 (月) 05:08:33
  • 「404」等はリストにあがってしまうみたいです。
    「Googlebot」時はと云う考え方は良いかも、「編集」「凍結」等のリンクが出ない様にすれば良いんですよね。
    そーすれば、編集ページが検索エンジンで引っかかる様な悲しい事は無くなりますね。
    助言有り難うございました。 -- Ito? 2008-09-22 (月) 23:32:31

トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2011-03-21 (月) 23:41:34
Site admin: PukiWiki Development Team

PukiWiki 1.5.2+ © 2001-2019 PukiWiki Development Team. Powered by PHP 5.6.40-0+deb8u5. HTML convert time: 0.196 sec.

OSDN