Robots Exclusion Standard (German Wikipedia)

Analysis of information sources in references of the Wikipedia article "Robots Exclusion Standard" in German language version.

refsWebsite

Global rank German rank

2developers.google.com

2,697^th place

4,885^th place

2support.google.com

1,091^st place

1,778^th place

2yandex.com

6,683^rd place

low place

2web.archive.org

1^st place

1heise.de

766^th place

46^th place

1searchengineland.com

7,076^th place

low place

1ietf.org

214^th place

161^st place

1googleblog.com

1,272^nd place

1,966^th place

1w3.org

691^st place

709^th place

1googlewatchblog.de

low place

769^th place

1humanstxt.org

low place

1google.com

163^rd place

502^nd place

developers.google.com

Verbesserungen des Robots-Exclusion-Protokolls. Google-Blog Webmaster Zentrale, 10. Juni 2008.
Spezifikationen für Robots-Meta-Tags und X-Robots-Tag-HTTP-Header. Google

google.com

humans.txt von google.com. Google, abgerufen am 2. August 2016.

googleblog.com

webmasters.googleblog.com

A note on unsupported rules in robots.txt. In: Official Google Webmaster Central Blog. Abgerufen am 2. Oktober 2020 (englisch).

googlewatchblog.de

Google führt die humans.txt ein. In: GWB. 7. Mai 2011, abgerufen am 2. August 2016.

heise.de

Jo Bagel: robots.txt – 30 Jahre Hausregeln für Websites. In: heise online. 25. Februar 2024, abgerufen am 26. Februar 2024.

humanstxt.org

Wir sind Menschen, nicht Maschinen. In: humanstxt.org. Abgerufen am 2. August 2016.

ietf.org

tools.ietf.org

RFC 9309 – Robots Exclusion Protocol. September 2022 (englisch).

searchengineland.com

Everything You Wanted To Know About Blocking Search Engines. searchengineland.com, 12. Juni 2008.

support.google.com

Informationen zur robots.txt-Datei – Hilfe für Search Console. In: support.google.com. Abgerufen am 22. August 2018 (deutsch).
robots.txt-Datei mit dem robots.txt-Tester testen - Search Console-Hilfe. Abgerufen am 9. Juni 2022.

w3.org

Robots and the META element. W3C Recommendation

web.archive.org

Was ist NOOPD? (Memento vom 15. April 2016 im Internet Archive), xovi.de
Was ist die Metatag “slurp” (Meta Name slurp noydir) (Memento vom 28. September 2020 im Internet Archive), meta-tags.de

yandex.com

Using robots.txt. Yandex, abgerufen am 19. Februar 2021 (englisch).
The Crawl-delay directive. Yandex, abgerufen am 19. Februar 2021 (englisch).