BugTrack/736
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
* 実データに対するロボット避け (robots.txtの追加) [#vd08f...
- 元タイトル: robots.txtの追加
-ページ: BugTrack
-投稿者: [[Ratbeta]]
-優先順位: 低
-状態: 却下
-カテゴリー: その他
-投稿日: 2004-10-24 (日) 17:19:08
-バージョン:
#contents
**メッセージ [#nc8a8487]
attachディレクトリ以下が間違って検索ロボットに登録されな...
robots.txtを設置する必要があると思われます。~
robots.txtの例 :
User-agent: *
Disallow: /attach/
Disallow: /backup/
Disallow: /cache/
Disallow: /counter/
Disallow: /diff/
Disallow: /image/
Disallow: /lib/
Disallow: /plugin/
Disallow: /skin/
Disallow: /trackback/
Disallow: /wiki/
関連 : [[BugTrack/143]]など。
---------------------
** See Also [#d8895b6d]
- [[BugTrack/785]] Adopting (Google) nofollow attribute
---------------------
** ちょっと確認: robots.txt [#r323117c]
- とほほのＷＷＷ入門: robots.txt とは？
-- %%http://tohoho.wakusei.ne.jp/wwwxx079.html (方向を変...
-- "この指定は強制的なものではなく、この指定を行っても検...
-- "ファイルは、そのサイトのトップに置かなくてはなりません"
- No Need Robot Club ロボット型検索エンジンへの対応方法
-- http://www.juraihelm.com/NNR/ (死んだ)
-- "そもそも非公開のページや個人情報に関する内容をネット...
-- "全てのロボットに対して有効ではありません"
-----------------------
** コメント [#v027906b]
-これはつまり添付された画像も(イメージ)検索の対象外になる...
--関係ありません。直接アクセスに関しては、1.4.4に含まれて...
-このrobots.txt を添付した場合、意味があるのは PukiWiki ...
--うーん、18:35:54さんに解説したような現状の状態や、上に...
--必要だと感じる理由は、例えば閲覧認証されたページがあっ...
--そうでしょうか。そもそも閲覧させたくないデータについて...
-- 1.4.3までは attach/ ディレクトリ以下のデータを露出させ...
--変な方向に進んでいる…のは確かにそうですね (^^; どちらに...
--えーと robots.txt の話ではなくなっていますが (^^; それ...
-何らかの訴訟問題となった場合には、設置していればそのディ...
--関係ないでしょう。robots.txt の存在理由や、それに記述す...
--法律問題は結構微妙になるし、完全該当の判例があるかどう...
--ざっと拝見しました。これは著作物に関する争いで「eBayは'...
-多分最初の/を除ければルート以外でもOKなはずです(ちなみに...
-- 外部からやってくるWebロボットに依存します。そもそもrob...
--まあ、ロボットにはピンからキリまで居ますからね…。robots...
-既存の実ディレクトリに */index.html に meta タグを足す、...
--確かに、それだとなんとなく無駄な気がします (^^; まあ、i...
-((もう遅レスかな (^^; )) robots.txt自体の論議はロボット...
-結局のところロボット対策というのはアクセス制限以外にあり...
--302で移動させるのはいいと思いますが、DirectoryIndexにin...
--そうですね＞アクセス制限。 メーリングリストの過去ログを...
//#comment
-----------------------
** 結論 [#v06e0a66]
-結論としては、却下とさせて下さい。要求と機能に取り違えが...
---------------------------------
*** robots.txtについて [#v1fd2041]
-robots.txt はその名前の通りに、検索エンジンのインデック...
-- ロボットによるサーバー負荷の影響(集中)を低くする
-- 検索エンジンを経由して流入するかもしれない誰かによる影...
-- 検索エンジンにゴミを渡さない
-上記からもわかる通り、robots.txt がカバーする物件は「公...
--------------------------
*** 本来のケースについて [#nec9de71]
-さて、robots.txt を本来の使途通りに、PukiWikiのために使...
-- 1) robots.txtをサイトの最上位ディレクトリに配置します。
-- 2) 検索エンジンから隠したいPukiWikiを何らかのディレク...
-- 3) robots.txtには2のディレクトリを丸ごと無視するように...
サイト構成の例:
/index.html
/pukiwiki.php
/robots.txt
/open_but_hates_google/pukiwiki.php <= 検索エンジンか...
/just_my_hobby/pukiwiki.php
/robots.txtの中身の例:
User-agent: *
Disallow: /open_but_hates_google/
-このようにすることで、検索エンジンのロボットは open_but_...
-------------------------------
*** 結論 [#v83a105f]
-以上の検討結果から、「セキュリティ対策としてrobots.txtを...
-----------------------------
*** この件に関するコメント [#a42837de]
-なお、attach/ディレクトリに関しては上記コメントにて述べ...
-本来の状況をどうやって説明するべきか考えていたら、妙にし...
//#comment
終了行:
* 実データに対するロボット避け (robots.txtの追加) [#vd08f...
- 元タイトル: robots.txtの追加
-ページ: BugTrack
-投稿者: [[Ratbeta]]
-優先順位: 低
-状態: 却下
-カテゴリー: その他
-投稿日: 2004-10-24 (日) 17:19:08
-バージョン:
#contents
**メッセージ [#nc8a8487]
attachディレクトリ以下が間違って検索ロボットに登録されな...
robots.txtを設置する必要があると思われます。~
robots.txtの例 :
User-agent: *
Disallow: /attach/
Disallow: /backup/
Disallow: /cache/
Disallow: /counter/
Disallow: /diff/
Disallow: /image/
Disallow: /lib/
Disallow: /plugin/
Disallow: /skin/
Disallow: /trackback/
Disallow: /wiki/
関連 : [[BugTrack/143]]など。
---------------------
** See Also [#d8895b6d]
- [[BugTrack/785]] Adopting (Google) nofollow attribute
---------------------
** ちょっと確認: robots.txt [#r323117c]
- とほほのＷＷＷ入門: robots.txt とは？
-- %%http://tohoho.wakusei.ne.jp/wwwxx079.html (方向を変...
-- "この指定は強制的なものではなく、この指定を行っても検...
-- "ファイルは、そのサイトのトップに置かなくてはなりません"
- No Need Robot Club ロボット型検索エンジンへの対応方法
-- http://www.juraihelm.com/NNR/ (死んだ)
-- "そもそも非公開のページや個人情報に関する内容をネット...
-- "全てのロボットに対して有効ではありません"
-----------------------
** コメント [#v027906b]
-これはつまり添付された画像も(イメージ)検索の対象外になる...
--関係ありません。直接アクセスに関しては、1.4.4に含まれて...
-このrobots.txt を添付した場合、意味があるのは PukiWiki ...
--うーん、18:35:54さんに解説したような現状の状態や、上に...
--必要だと感じる理由は、例えば閲覧認証されたページがあっ...
--そうでしょうか。そもそも閲覧させたくないデータについて...
-- 1.4.3までは attach/ ディレクトリ以下のデータを露出させ...
--変な方向に進んでいる…のは確かにそうですね (^^; どちらに...
--えーと robots.txt の話ではなくなっていますが (^^; それ...
-何らかの訴訟問題となった場合には、設置していればそのディ...
--関係ないでしょう。robots.txt の存在理由や、それに記述す...
--法律問題は結構微妙になるし、完全該当の判例があるかどう...
--ざっと拝見しました。これは著作物に関する争いで「eBayは'...
-多分最初の/を除ければルート以外でもOKなはずです(ちなみに...
-- 外部からやってくるWebロボットに依存します。そもそもrob...
--まあ、ロボットにはピンからキリまで居ますからね…。robots...
-既存の実ディレクトリに */index.html に meta タグを足す、...
--確かに、それだとなんとなく無駄な気がします (^^; まあ、i...
-((もう遅レスかな (^^; )) robots.txt自体の論議はロボット...
-結局のところロボット対策というのはアクセス制限以外にあり...
--302で移動させるのはいいと思いますが、DirectoryIndexにin...
--そうですね＞アクセス制限。 メーリングリストの過去ログを...
//#comment
-----------------------
** 結論 [#v06e0a66]
-結論としては、却下とさせて下さい。要求と機能に取り違えが...
---------------------------------
*** robots.txtについて [#v1fd2041]
-robots.txt はその名前の通りに、検索エンジンのインデック...
-- ロボットによるサーバー負荷の影響(集中)を低くする
-- 検索エンジンを経由して流入するかもしれない誰かによる影...
-- 検索エンジンにゴミを渡さない
-上記からもわかる通り、robots.txt がカバーする物件は「公...
--------------------------
*** 本来のケースについて [#nec9de71]
-さて、robots.txt を本来の使途通りに、PukiWikiのために使...
-- 1) robots.txtをサイトの最上位ディレクトリに配置します。
-- 2) 検索エンジンから隠したいPukiWikiを何らかのディレク...
-- 3) robots.txtには2のディレクトリを丸ごと無視するように...
サイト構成の例:
/index.html
/pukiwiki.php
/robots.txt
/open_but_hates_google/pukiwiki.php <= 検索エンジンか...
/just_my_hobby/pukiwiki.php
/robots.txtの中身の例:
User-agent: *
Disallow: /open_but_hates_google/
-このようにすることで、検索エンジンのロボットは open_but_...
-------------------------------
*** 結論 [#v83a105f]
-以上の検討結果から、「セキュリティ対策としてrobots.txtを...
-----------------------------
*** この件に関するコメント [#a42837de]
-なお、attach/ディレクトリに関しては上記コメントにて述べ...
-本来の状況をどうやって説明するべきか考えていたら、妙にし...
//#comment
ページ名:
![[PukiWiki]](image/pukiwiki-dev.png "[PukiWiki]")
