**[[質問箱4/367]] [#uce73073]
#author("2018-03-11T20:21:20+09:00;2011-03-21T23:41:34+09:00","","")
**[[質問箱/4367]] [#uce73073]
|RIGHT:70|LEFT:410|c
|~カテゴリ||
|~サマリ|Google検索ロボット(ウェブマスターツール)対策について|
|~バージョン|1.4.7|
|~投稿者|[[Ito]]|
|~状態|完了|
|~投稿日|&new{2008-09-20 (土) 22:51:00};|
***質問 [#hb370721]
Googleの「ウェブマスターツール」と云うのを使っていて、
pukiwikiでアクセスエラー等で大量のエラーが出ました。
(Googleロボットの収集情報、警告情報等を参照出来る機能等あり)

現在「robots.txt」を作成して逃げていますが
何か良い方法が有れば伝授願います。

自分なりに対策してみた「robots.txt」下記に記載します。
 User-agent: *
 Disallow: /wiki/?FrontPage‎
 Disallow: /wiki/index.php*
 Disallow: /wiki/*%20*
 Disallow: /wiki/*cmd=backup*
 Disallow: /wiki/*cmd=diff*
 Disallow: /wiki/*cmd=edit*
 Disallow: /wiki/*cmd=unfreeze*
 Disallow: /wiki/*cmd=freeze*
 Disallow: /wiki/*pcmd=upload*
 Disallow: /wiki/*plugin=newpage*
 Disallow: /wiki/*plugin=rename*
 Disallow: /wiki/*plugin=template*
 Disallow: /wiki/*sess*

補足
-「/wiki/?FrontPage‎」は「/wiki/」でもアクセス出来るので、「同一のタイトルが存在する」とおこられるのを防ぐため。
-「/wiki/index.php*」上記同様。
-「*%20*」はスペースの入ったページは検索時の複数ワード扱いでスペースが「+」に置き換えられてエラーとなってしまった。
-あとは、編集ページ等をキャッシュされない様に対策。
-「/wiki/*sess*」忘れました・・・。

***回答 [#t040f481]
- Googlebotが特定のページをクロールしに来た時は、404を返すというのはどうでしょう。[[このようなファイル:http://psearch.or.tp/puki_q/reject_gbot.php.txt]]をpukiwiki.ini.phpと同じディレクトリへ設置して、pukiwiki.ini.phpの上の方の行に
 require_once("reject_gbot.php");
とするとか。 -- [[gpan]] &new{2008-09-22 (月) 05:08:33};
- 「404」等はリストにあがってしまうみたいです。~
「Googlebot」時はと云う考え方は良いかも、「編集」「凍結」等のリンクが出ない様にすれば良いんですよね。~
そーすれば、編集ページが検索エンジンで引っかかる様な悲しい事は無くなりますね。~
助言有り難うございました。 -- [[Ito]] &new{2008-09-22 (月) 23:32:31};

- 関連: [[続・質問箱/48]], [[質問箱3/6]], [[質問箱3/132]], [[質問箱5/47]] --  &new{2011-03-21 (月) 23:41:33};
- 関連: [[質問箱/2048]], [[質問箱/3006]], [[質問箱/3132]], [[質問箱/5047]] --  &new{2011-03-21 (月) 23:41:33};

//#comment

トップ   編集 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS
Site admin: PukiWiki Development Team

PukiWiki 1.5.3+ © 2001-2020 PukiWiki Development Team. Powered by PHP 5.6.40-0+deb8u12. HTML convert time: 0.040 sec.

OSDN