|
|
METAタグ→Robots.txt
ＭＥＴＡタグはロボット型検索エンジンの対策として検索エンジンに登録する前に前もって入れておく事をおすすめします。
<!DOCTYPE HTML PUBLIC "-//W3C//DTD
HTML 4.0 Transitional//EN">
<HTML>
<HEAD><TITLE>タイトル名</TITLE>
<!-- キャラクタセットはＳｈｉｆｔ＿ＪＩＳである事を宣言 -->
<META http-equiv="Content-Type"
content="text/html; charset=Shift_JIS">
<META name="ROBOTS" content="ALL">
<META name="GENERATOR" content="編集に使ったソフト名が入る">
<META name="keywords" content="キーワード１,キーワード２">
<META name="description" content="簡単な紹介文">
タイトル名は必ずいれてください。
ＭＥＴＡタグの１行目で"text/html; charset=Shift_JIS"
日本語である事を宣言しています。この記述を省略すると日本語が文字化けします。
"ROBOTS" content="ALL"は全てのページについてロボットの巡回を許可します。
"keywords" content=の所には半角のセミコロン「,」で区切って複数のキーワードを
記述できます。
"description" content=簡潔で分かりやすい紹介文を記述できます。
|
| robots metaタグガイド |
記述は大文字／小文字の区別はされていません。コマンドについて明らかな矛盾や重複がないようにして下さい。また全てのロボットがこの記述に従ってくれる保証はありません。
| <META name="ROBOTS" content="ALL"> |
登録ページとリンク先全て許可 |
| <META name="ROBOTS" content="NONE"> |
全て許可しない※１ |
| <META name="ROBOTS" content="INDEX,FOLLOW"> |
登録ページとリンク先全て許可 |
| <META name="ROBOTS" content="INDEX,NOFOLLOW"> |
登録ページのみ許可※２ |
| <META name="ROBOTS" content="NOINDEX,FOLLOW"> |
リンクページのみ許可 |
| <META name="ROBOTS" content="NOINDEX,NOFOLLOW"> |
全て許可しない |
※１ ＮＯＮＥについてサポートしないロボットもあるようです。
※２ フレームページに適しています。
robots metaタグを省略した時のデフォルトはINDEXとFOLLOWです。
ALLまたはNONEという記述は、両方のコマンドをオンオフします。
このページの上に戻る
|
| Robots.txtについて |
METAタグ←Robots.txt
METAタグを使わない方法としてルートディレクトリーにrobots.txtを置く事によって検索ロボットの動きを制限する方法もあります。METAタグの場合はキーワードなどを積極的にアピールする項目がありますが、robots.txtでは例えば特定検索エンジンに対して特定ページのみ不許可にするといった設定が可能です。
※全てのロボットがこの設定に従う保証はありません。
ファイル名＝”robots.txt”
ファイル形式＝テキストファイル(CR+LF,LF)
設置場所＝ルートディレクトリー
※検索エンジンに登録したＵＲＬのindexページが置かれているディレクトリ
■書式
User-agent: user-agent-name
Disallow: local-path
○User-agentの項目はロボットの名前を指定します。User-agent: *と書くと全てのロボットに対して許可する事になります。
ここに特定のロボット名を入れると、それ以外のロボットが排除されます。
○Disallowの項目にはロボットに見てほしくないディレクトリかファイル名が指定できます。
Disallowは複数行指定できます。
Disallow: /と書くと全て拒否できます。
Disallow: とだけ書くと全ての URL が検索できるという意味になります。
○User-agent〜Disallowは複数個記述する事が出来ます。記述が複数ある時は最後の記述が優先されます。
このページの上に戻る
例１）全てのロボットに全てのファイルの取得を許可します。
User-agent: *
Disallow:
例２）特定のロボットのみ全てのファイルの取得を許可します。
User-agent: *
Disallow: /
↑最初に全てのロボットを拒否しておいて・・・。
User-agent: 特定ロボットのUser_agent
Disallow:
↑指定したロボットのみ全てのファイルを許可。
例３）特定ロボットのみ２つののディレクトリーとmembers_index/htm以外は許可します。
User-agent: *
Disallow: /
↑最初に全てのロボットを拒否しておいて・・・。
User-agent: 特定ロボットのUser_agent
Disallow: /Dir1/
Disallow: /Dir2/
Disallow: /Dir3/members_index.htm
↑Disallow:に書かれたもの以外は許可する。
このページの上に戻る
robots.txtについての参照リンク（英語）
http://www.robotstxt.org/wc/robots.html
http://info.webcrawler.com/mak/projects/robots/exclusion-admin.html
|
|