Cosa sono i files robot.txt?

Cosa sono? a cosa servono? come si costruiscono? e come si inseriscono?

Grazie

Il file robots.txt è un file dedicato esclusivamente ai motori di ricerca, ai spiders.
In questo file decidi quale parte del tuo sito far vedere e quali no. Quali indicizzare e quali no.
Va messo nella root del tuo sito.

A me si è aggiunto automaticamente (oppure l'altro admin del sito l'ha messo senza avvertirmi :D)

[brunella]

A me si è aggiunto automaticamente (oppure l'altro admin del sito l'ha messo senza avvertirmi :D)

la seconda che hai detto :D

Strano xkè di solito mi avvisa...vabbè domani chiedo delucidazioni :D

no nessuno l'ha messo... oO

User-agent: *
Disallow: admin.php
Disallow: /admin/
Disallow: /images/
Disallow: /includes/
Disallow: /themes/
Disallow: /blocks/
Disallow: /modules/
Disallow: /language/

C'è scritto così

(scusate il post doppio)

usi un CMS
no perkè in quel caso... te lo installa automaticamente

=== ANNUNCIO IMPORTANTE ===

TRA QUALCHE SETTIMANA (FORSE, DIPENDE TUTTO DA VOI), IL SITO RIAPRIRA' E FESTEGGEREMO CON FROTTE DI RECENSIONI, KEYGENS, CRACKS, SERIALS VARI...INSOMMA AVRETE DI CHE SCARICARE! A PRESTISSIMO E GRAZIE DI TUTTO QUELLO CHE FATE PER NOI!

Tra qualche settimana ti chiuderanno il sito e ti faranno denuncia
Tranquillo.. non lo segnalo ai mod... tanto nn fanno niente lo stesso

E poi è solo per invogl...ehm...

Ad ogni modo se chiudessero il mio dovrebbero chiuderne altri 10.000 e dico poco... :P

Il file robots.txt permette di indirizzare i vari motori di ricerca in modo piu' preciso e chiaro di molti metadata.

Va detto che spesso alcuni motori ignorano esplicitamente i metadata perche' li considerano ormai un po' poco attendibili.

A cosa serve?
Serve a indirizzare un motore di ricerca verso una pagina precisa o a dirgli di non leggere o indicizzare una o piu' pagine o aree del sito.
Puoi anche scegliere per i singoli motori regole diverse, basta specificare il nome del crawler (il programma di ricerca e indicizzazione del singolo motore di ricerca, ad esempio: googlebot per google)

Come si usa
Si mette semplicemente nella root del tuo sito e quando un crawler finisce sul tuo sito lo cerchera' automaticamente e si regolera' di conseguenza.

Come si crea
Con un semplice editor di testo.
La sintassi e' semplicissima e la trovi descritta un po' ovunque nella rete, il primo link che ho trovato (ma mi sembra abbastanza buono) e' questo: http://www.daht.com/articles/robots.htm
Se poi fai una ricerca su google solo per "robots.txt" finisci anche sui vari file dei singoli siti, e questo e' molto interessante perche' li puoi usare come esempi.

Fai un po' di prove e vedrai che e' facilissimo (e funziona molto bene) ;)

Pensavo di inserirlo anch io il file robot.txt. Avevo letto in giro per il web ma non ricordo dove che il file robot.txt aiuta anche l'indicizzazione nei motori di ricerca. E' vero?