MetaMoJi Crawlerについて
MetaMoJi Crawlerは、株式会社MetaMoJiにより 開発・運用されているWebページ収集用ロボット（クローラー）です。 このクローラーはインターネットに公開されている様々な情報を活用した新しいWebサービスの研究・開発を行うためにWebページの収集（クローリング）を行っています。
クローリングに際しては、皆様にご迷惑をおかけしないよう細心の注意をはらっているつもりですが、もし問題がある場合は、以下の方法によりクローリングを行わないようにする（ブロックする）ことが可能です。
具体的なブロック方法は以下をご参照ください。
クローリングのブロック方法について
MetaMoJi Crawlerは、The Robots Exclusion Protocol、 及び The Robots META tagに準拠しています。MetaMoJiCrawlerによるクローリングを希望されない場合は、以下のいずれかの方法によりブロックすることが可能です。
The Robots Exclusion Protocolによるブロック
The Robots Exclusion Protocolによるブロックとは、Webサーバ上のルートディレクトリにrobots.txtというテキストファイルを作成することで、 クローラーからのアクセスを制御する仕組みです。 例えば、あなたのWebページを置いてあるサーバがhttp://www.yourserver.yourdomain/なら、 このテキストファイルをhttp://www.yourserver.yourdomain/robots.txtとして保存してください。 もし、すべてのコンテンツに対するMetaMoJi Crawlerのクローリングをブロックしたい場合は、以下のように記載して下さい。User-agent: MetaMoJiCrawler
Disallow: /
robots.txt は、「User-agent: 」と「Disallow: 」という2種類の接頭辞をもつ行から構成されます。 「User-agent: 」の後にアクセス制御を行いたいクローラー名を、 「Disallow: 」の後にアクセスを禁止したいパス名を記入して下さい。
The Robots META tag によるブロック
サーバを管理する権限がなくrobots.txtを置けない場合は、 The Robots META tagによる方法でもブロックできます。 The Robots META tag によるブロックとは、HTMLファイル中に埋め込まれるMETAタグによりクローラーの動作を制御する仕組みです。 MetaMoJi Crawlerによるアクセスを禁止したいHTMLファイルには、ヘッダに以下のタグを追加して下さい。＜META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"＞
このMETAタグは、クローラーがこのWebページを収集しないこと、 このWebページがリンクしているWebページの追跡も行わないことを指定しています。
MetaMoJi Crawlerについてのご連絡先
本件につきましてご不明な点がございましたら、下記へお問い合せください。
| 株式会社MetaMoJi |
|---|