Robots Exclusion Standard (Japanese Wikipedia)

Analysis of information sources in references of the Wikipedia article "Robots Exclusion Standard" in Japanese language version.

refsWebsite

Global rank Japanese rank

38^th place

203^rd place

low place

low place

low place

low place

1web.archive.org

1^st place

1^st place

466^th place

747^th place

214^th place

695^th place

5,404^th place

5,040^th place

low place

low place

163^rd place

360^th place

4,506^th place

5,490^th place

1ysearchblog.com

low place

low place

ask.com

about.ask.com

“About Ask.com: Webmasters”. 2010年9月23日閲覧。

bing.com

“Robots Exclusion Protocol - joining together to provide better documentation”. 2009年12月3日閲覧。

engadget.com

japanese.engadget.com

山本竜也 (2019年7月2日). “Google、REP（ロボット排除規約）のWEB標準化を推進へ”. Engadget 日本版. 2022年2月19日時点のオリジナルよりアーカイブ。2020年8月4日閲覧。

google.com

“Googleウェブマスターセントラル - robots.txt ファイルを使用してページをブロックまたは削除する”. 2007年11月20日閲覧。

ietf.org

datatracker.ietf.org

Koster, Martijn (2022年9月9日). “RFC [https://datatracker.ietf.org/doc/html/rfc9309 9309: Robots Exclusion Protocol]” (英語). IETF Datatracker. 2022年12月8日閲覧。

live.com

help.live.com

“MSNBot が Web サイトをクロールする回数が多すぎる”. MSNBot および Web サイトのクロールに関する問題に対処する. 2010年9月23日閲覧。

robotstxt.org

A Standard for Robot Exclusion

the-acap.org

Information ACAP

web.archive.org

山本竜也 (2019年7月2日). “Google、REP（ロボット排除規約）のWEB標準化を推進へ”. Engadget 日本版. 2022年2月19日時点のオリジナルよりアーカイブ。2020年8月4日閲覧。

yahoo.com

help.yahoo.com

“How can I reduce the number of requests you make on my web site?”. Yahoo! Slurp. 2007年3月31日閲覧。
“How do I prevent my site or certain subdirectories from being crawled? - Yahoo Search Help”. 2007年11月20日閲覧。

ysearchblog.com

“Yahoo! Search Blog - Webmasters can now auto-discover with Sitemaps”. 2009年3月23日閲覧。