実データに対するロボット避け (robots.txtの追加)

メッセージ

attachディレクトリ以下が間違って検索ロボットに登録されないようにするために、
robots.txtを設置する必要があると思われます。

robots.txtの例 :

User-agent: *
Disallow: /attach/
Disallow: /backup/
Disallow: /cache/
Disallow: /counter/
Disallow: /diff/
Disallow: /image/
Disallow: /lib/
Disallow: /plugin/
Disallow: /skin/
Disallow: /trackback/
Disallow: /wiki/

関連 : BugTrack/143など。


See Also


ちょっと確認: robots.txt


コメント


結論


robots.txtについて


本来のケースについて

サイト構成の例:
  /index.html
  /pukiwiki.php
  /robots.txt
  /open_but_hates_google/pukiwiki.php  <= 検索エンジンから隠したいPukiWiki
  /just_my_hobby/pukiwiki.php
/robots.txtの中身の例:
  User-agent: *
  Disallow: /open_but_hates_google/

結論


この件に関するコメント


*1 もう遅レスかな (^^;
*2 事実、あえてrobots.txtに書いてあるディレクトリをサーチするロボットがいてびっくりしたことがあります。

トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2008-12-15 (月) 12:22:41
Site admin: PukiWiki Development Team

PukiWiki 1.5.3+ © 2001-2020 PukiWiki Development Team. Powered by PHP 5.6.40-0+deb8u12. HTML convert time: 0.336 sec.

OSDN