robots.txt

[gutguy2]

cia a tutti,
ho alcuni problemi con il mio robots.txt, intanto ve lo posto:

#regola per tutti i bot (*)
User-agent: *
#autorizza sitemap
Allow: /sitemap.xml
Allow: /index.htm
#autorizza cartelle
Allow: /ip
Allow: /mylocation
Allow: /torcheck
Allow: /maps4
Allow: /reverse
Allow: /logps
Allow: /geolocation
Allow: /london
#
Disallow: /
# blocca tutti gli altri files e cartelle
#
Host: gutguy2.altervista.org
#host: per site mirrors - deve essere tassativamente dopo disallow
Crawl-delay: 2
# wait a certain amount of seconds after each time it’s crawled a page on your website
Request-rate: 1/0.5 # load 1 page per half a second
#tell the robot how many pages you want it to crawl within a certain amount of seconds. The first number is pages, and the second number is seconds.
Visit-time: 0300-0800
# only visit between 3AM and 8AM UTC (GMT) (timezone is GMT or UTC)
Sitemap: http://gutguy2.altrvista.org/sitemap.xml

il problema è che alcuni siti come http://web.archive.org/web/*/gutguy2.altervista.org mi dice che il mio robots li blocca, lo stesso gogole lo dici per il mio sito http://gutguy2.altervista.org, dove sto sbagliando?
Vi chiedo è possibile fare un Allow psecifico per un specifico bot?

[gutguy2]

allora ho aggiunto all'inizio del robots.txt:

#regola specifica per http://archive.org/web/ che ne permette l'accesso a tutto
User-agent: ia_archiver
Disallow:

vediamo se funziona...

[gutguy2]

confermo che funziona così