<meta name="robots">
検索エンジンにページを登録させたくない場合やキャッシュを公開しないようにさせる場合に使う。
<meta>タグは<head>に記述する。
<meta name="robots" content="noindex" />
contentにnoindexを指定すると、そのページが検索エンジンにインデックスされなくなる。
<meta name="robots" content="nofollow" />
nofollowを指定すると、そのページからのリンクを解析しないようにできる。
ただし、別ルートでリンク先ページにロボットが行く可能性も考えると、これでリンク先をインデックスさせないようにするのは難しいかと。
<meta name="robots" content="noindex,nofollow" />
カンマで区切ってパラメータを複数指定できる。
<meta name="robots" content="index,follow" />
noindexやnofollowの逆にインデックスするように指定するパラメータもあるが、通常の動作なので意味が無いだろう。
<meta name="robots" content="noarchive" />
キャッシュを公開しないようにできる。
name="robots"
の代わりに、
name="googlebot"
name="slurp"
name="msnbot"
とすると、Google Yahoo! MSNなど、特定の検索エンジンだけを対象にできます。
特定の検索エンジンだけの設定をすることは無いと思いますが。