2010年09月03日

robots.txt で拡張子を除外させる。

このエントリーをはてなブックマークに追加
ということで、調べてみました。
google と yahoo の bot は ワイルドカード等の表現に対応しているようです。

MSN(bing)は確認できませんでした。

cgi の登録などを抑制することによって、少しは狙われる確率が減るかもしれません。


stock_value at 10:24│Comments(0)│TrackBack(0)│技術:2010年 
前の記事│ 次の記事│このBlogのトップへ

トラックバックURL

この記事にコメントする

名前:
URL:
  情報を記憶: 評価: 顔    星