Protocollo di esclusione robot (Italian Wikipedia)

Analysis of information sources in references of the Wikipedia article "Protocollo di esclusione robot" in Italian language version.

refsWebsite

Global rank Italian rank

24web.archive.org

1^st place

3developers.google.com

2,697^th place

6,053^rd place

3google.com

163^rd place

289^th place

2yahoo.com

38^th place

98^th place

2yandex.com

6,683^rd place

6,648^th place

2support.google.com

1,091^st place

878^th place

1youtube.com

9^th place

10^th place

1ask.com

low place

1baidu.com

1,972^nd place

5,036^th place

1duckduckgo.com

low place

1bing.com

4,506^th place

4,973^rd place

1archiveteam.org

low place

1digitaltrends.com

1,702^nd place

4,299^th place

1theregister.co.uk

1,216^th place

2,160^th place

1nist.gov

355^th place

399^th place

1books.google.com

3^rd place

14^th place

1user-agents.org

low place

1apache.org

3,206^th place

9,375^th place

1iis.net

low place

1github.com

383^rd place

1,090^th place

1slate.com

259^th place

549^th place

1semetrical.com

low place

apache.org

httpd.apache.org

Access Control - Apache HTTP Server, su httpd.apache.org. URL consultato il 29 dicembre 2013 (archiviato il 29 dicembre 2013).

archiveteam.org

Jason Scott, Robots.txt is a suicide note (TXT), su archiveteam.org, Archive Team. URL consultato il 18 febbraio 2017 (archiviato il 18 febbraio 2017).

ask.com

about.ask.com

About Ask.com: Webmasters, su About.ask.com. URL consultato il 16 febbraio 2013.

baidu.com

Baiduspider, su Baidu.com. URL consultato il 16 febbraio 2013.

bing.com

blogs.bing.com

Robots Exclusion Protocol: joining together to provide better documentation, su Blogs.bing.com. URL consultato il 16 febbraio 2013 (archiviato il 18 agosto 2014).

books.google.com

Sverre H. Huseby, Innocent Code: A Security Wake-Up Call for Web Programmers, John Wiley & Sons, 2004, pp. 91–92, ISBN 9780470857472. URL consultato il 12 agosto 2015 (archiviato il 1º aprile 2016).

developers.google.com

Webmasters: Robots.txt Specifications, in Google Developers. URL consultato il 16 febbraio 2013 (archiviato il 15 gennaio 2013).
Robots.txt Specifications, su Google Developers. URL consultato il 15 febbraio 2020.
Robots meta tag and X-Robots-Tag HTTP header specifications - Webmasters — Google Developers, su developers.google.com. URL consultato il 17 agosto 2013 (archiviato l'8 agosto 2013).

digitaltrends.com

(EN) Brad Jones, The Internet Archive Will Ignore Robots.txt Files to Maintain Accuracy, in Digital Trends, 24 aprile 2017. URL consultato l'8 maggio 2017 (archiviato il 16 maggio 2017).

duckduckgo.com

DuckDuckGo Bot, su DuckDuckGo.com. URL consultato il 25 aprile 2017.

github.com

Github humans.txt (TXT), su github.com. URL consultato il 3 ottobre 2019.

google.com

Google humans.txt (TXT), su google.com. URL consultato il 3 ottobre 2019.
/killer-robots.txt (TXT), su google.com, 10 gennaio 2018. URL consultato il 25 maggio 2018 (archiviato il 10 gennaio 2018).
Webmaster Help Center - How do I block Googlebot?, su google.com. URL consultato il 20 novembre 2007 (archiviato il 1º agosto 2010).

iis.net

Deny Strings for Filtering Rules : The Official Microsoft IIS Site, su iis.net, 6 novembre 2013. URL consultato il 29 dicembre 2013 (archiviato il 1º gennaio 2014).

nist.gov

csrc.nist.gov

Guide to General Server Security (PDF), su csrc.nist.gov, National Institute of Standards and Technology, luglio 2008. URL consultato il 12 agosto 2015 (archiviato l'8 ottobre 2011).

semetrical.com

blog.semetrical.com

Google's Hidden Interpretation of Robots.txt, su blog.semetrical.com. URL consultato il 15 novembre 2010 (archiviato il 20 novembre 2010).

slate.com

(EN) Lily Hay Newman, Is This a Google Easter Egg or Proof That Skynet Is Actually Plotting World Domination?, su Slate Magazine, 3 luglio 2014. URL consultato il 3 ottobre 2019.

support.google.com

Block URLs with robots.txt: Learn about robots.txt files, su support.google.com. URL consultato il 10 agosto 2015 (archiviato il 14 agosto 2015).
(EN) Change Googlebot crawl rate - Search Console Help, su support.google.com. URL consultato il 22 ottobre 2018 (archiviato il 18 novembre 2018).

theregister.co.uk

Robots.txt tells hackers the places you don't want them to look, in The Register. URL consultato il 12 agosto 2015 (archiviato il 21 agosto 2015).

user-agents.org

List of User-Agents (Spiders, Robots, Browser), su user-agents.org. URL consultato il 29 dicembre 2013 (archiviato il 7 gennaio 2014).

web.archive.org

Uncrawled URLs in search results, su youtube.com, YouTube, Oct 5, 2009. URL consultato il 29 dicembre 2013 (archiviato il 6 gennaio 2014).
About AOL Search, su Search.aol.com. URL consultato il 16 febbraio 2013 (archiviato dall'url originale il 13 dicembre 2012).
Webmasters: Robots.txt Specifications, in Google Developers. URL consultato il 16 febbraio 2013 (archiviato il 15 gennaio 2013).
Submitting your website to Yahoo! Search, su help.yahoo.com. URL consultato il 16 febbraio 2013 (archiviato il 21 gennaio 2013).
Using robots.txt, su Help.yandex.com. URL consultato il 16 febbraio 2013 (archiviato il 25 gennaio 2013).
Robots Exclusion Protocol: joining together to provide better documentation, su Blogs.bing.com. URL consultato il 16 febbraio 2013 (archiviato il 18 agosto 2014).
Jason Scott, Robots.txt is a suicide note (TXT), su archiveteam.org, Archive Team. URL consultato il 18 febbraio 2017 (archiviato il 18 febbraio 2017).
(EN) Robots.txt meant for search engines don't work well for web archives | Internet Archive Blogs, su blog.archive.org. URL consultato il 1º dicembre 2018 (archiviato dall'url originale il 4 dicembre 2018).
(EN) Brad Jones, The Internet Archive Will Ignore Robots.txt Files to Maintain Accuracy, in Digital Trends, 24 aprile 2017. URL consultato l'8 maggio 2017 (archiviato il 16 maggio 2017).
Block URLs with robots.txt: Learn about robots.txt files, su support.google.com. URL consultato il 10 agosto 2015 (archiviato il 14 agosto 2015).
Robots.txt tells hackers the places you don't want them to look, in The Register. URL consultato il 12 agosto 2015 (archiviato il 21 agosto 2015).
Guide to General Server Security (PDF), su csrc.nist.gov, National Institute of Standards and Technology, luglio 2008. URL consultato il 12 agosto 2015 (archiviato l'8 ottobre 2011).
Sverre H. Huseby, Innocent Code: A Security Wake-Up Call for Web Programmers, John Wiley & Sons, 2004, pp. 91–92, ISBN 9780470857472. URL consultato il 12 agosto 2015 (archiviato il 1º aprile 2016).
List of User-Agents (Spiders, Robots, Browser), su user-agents.org. URL consultato il 29 dicembre 2013 (archiviato il 7 gennaio 2014).
Access Control - Apache HTTP Server, su httpd.apache.org. URL consultato il 29 dicembre 2013 (archiviato il 29 dicembre 2013).
Deny Strings for Filtering Rules : The Official Microsoft IIS Site, su iis.net, 6 novembre 2013. URL consultato il 29 dicembre 2013 (archiviato il 1º gennaio 2014).
/killer-robots.txt (TXT), su google.com, 10 gennaio 2018. URL consultato il 25 maggio 2018 (archiviato il 10 gennaio 2018).
(EN) Change Googlebot crawl rate - Search Console Help, su support.google.com. URL consultato il 22 ottobre 2018 (archiviato il 18 novembre 2018).
Webmaster Help Center - How do I block Googlebot?, su google.com. URL consultato il 20 novembre 2007 (archiviato il 1º agosto 2010).
How do I prevent my site or certain subdirectories from being crawled? - Yahoo Search Help, su help.yahoo.com. URL consultato il 20 novembre 2007 (archiviato il 13 ottobre 2007).
Google's Hidden Interpretation of Robots.txt, su blog.semetrical.com. URL consultato il 15 novembre 2010 (archiviato il 20 novembre 2010).
Yahoo! Search Blog - Webmasters can now auto-discover with Sitemaps, su ysearchblog.com. URL consultato il 23 marzo 2009 (archiviato dall'url originale il 5 marzo 2009).
Yandex - Using robots.txt, su help.yandex.com. URL consultato il 13 maggio 2013 (archiviato il 9 maggio 2013).
Robots meta tag and X-Robots-Tag HTTP header specifications - Webmasters — Google Developers, su developers.google.com. URL consultato il 17 agosto 2013 (archiviato l'8 agosto 2013).

yahoo.com

help.yahoo.com

Submitting your website to Yahoo! Search, su help.yahoo.com. URL consultato il 16 febbraio 2013 (archiviato il 21 gennaio 2013).
How do I prevent my site or certain subdirectories from being crawled? - Yahoo Search Help, su help.yahoo.com. URL consultato il 20 novembre 2007 (archiviato il 13 ottobre 2007).

yandex.com

help.yandex.com

Using robots.txt, su Help.yandex.com. URL consultato il 16 febbraio 2013 (archiviato il 25 gennaio 2013).
Yandex - Using robots.txt, su help.yandex.com. URL consultato il 13 maggio 2013 (archiviato il 9 maggio 2013).

youtube.com

Uncrawled URLs in search results, su youtube.com, YouTube, Oct 5, 2009. URL consultato il 29 dicembre 2013 (archiviato il 6 gennaio 2014).