robots.txt

Cos'è il file robots.txt?

Serve a qualcosa?

Leggi questa pagina di Wikipedia: Protocollo di esclusione robot

Quindi se io inserisco un URL nel robots.txt quella pagina non viene indicizzata?

[karl94]

Se lo specifichi correttamente in una direttiva Disallow è un modo che hai per chiedere ai motori di ricerca di non indicizzare la pagina. Ovviamente non è una funzionalità di sicurezza (e non va assolutamente usata come tale) che impedisce a dei sistemi automatici di visitare determinati URL.

Vorresti rendere alcune pagine non indicizzate? Per quale ragione?

No no. Era solo una domanda per capire cos'è era il robots.txt, che credevo fosse una roba per migliorare il PageRank

Ocio che Google non mostra più l'aggiornamento del Pagerank, ti devi base su altri parametri...

Comunque se utilizzi Wordpress, il file robots.txt è utile per non mostrare ai motori di ricerca alcune cartelle come /wp-includes/.