Generatore di Robots.txt

Ciao a tutti!
Volevo informare la community di AV della nascita del mio generatore di Robots.txt. Ho creato questa pagina per chiunque si trovasse in difficoltà a creare questo file riconosciuto dalla maggior parte dei motori di ricerca.

Si può trovare all'indirizzo http://allo.altervista.org/robots.htm.

Questa versione contiene 114 User-agent. Si possono inserire commenti ed escludere file, directory o anche l'intero sito e alla fine validare documento.

Fatemi sapere cosa ne pensate!

Ciao!

sono neofita, mi spieghi esattamente a che serve?

Il file robots.txt (da caricare nella root del sito) serve per dire ai motori di ricerca di non indicizzare un determinato file o una determinata cartella. Questo può essere utile ad esempio se nel tuo sito c'è una cartella riservata agli utenti e non vuoi che quest'ultima venga indicizzata. Può anche servire per dire ad un motore di ricerca di non indicizzare l'intero sito (ad esempio EmailCollector, che raccoglie indirizzi di posta elettronica presenti nelle pagine).

Spero di essere stato abbastanza chiaro, se vuoi altre info prova a guardare qui: http://it.wikipedia.org/wiki/Robots.txt.

Ciao!

allora hai trovato un utente
serve anche per i dati personali per alcuni servizi che offro?
centra qualcosa sul copyright, cioè se non voglio che qualcuno mi prenda determinati file dal mio database?

Dipende. Se i file degli utenti sono salvati in file di testo all'interno di una cartella puoi impedire l'accesso a quella cartella da parte degli spider dei motori di ricerca...