Robot.txt

[miki92]

Ciao, volevo conoscere un po' meglio il robot.txt nel senso che io ho usato un generator per creare il mio robots.txt

# Robots.txt file for http://miki92.altervista.org/

User-agent: *
Disallow: /procida/
Disallow: /flash/
Disallow: /js/

Praticamente se ho capito bene questo file mi dovrebbe "proteggere" le sottodirectory "procida, flash, js" come da me impostate da tutti gli spider.
Ma con questo file i miei meta tag delle pagine presenti in quelle sottodirectory vengono annullati o no? Poi vorrei chiedere se il file deve essere chiamato robot.txt o robots.txt perchè su google ne dicono di tutti e due i tipi.

[funcool]

Il file si deve chiamare "robots.txt". Con il codice che hai scritto tu, tutti gli spider non indicizzeranno le pagine che si trovano nelle cartelle "procida", "flash" e "js".

mi permetto di specificare che
inserendo questi disallow nel robots.txt non blocchi gli spider
gli spider troveranno ugualmente queste pagine, ma non ne salveranno i contenuti
quindi "non indicizzazione" si intende che i motori non salveranno informazioni sui tuoi file, ma ne salveranno ugualmente l'indirizzo

rischi anche che in alcune ricerche possa uscire il tuo indirizzo bloccato dal robot

in quel caso su google vedrai solamente l'indirizzo del file e nessun'altra informazione

[miki92]

Wow questo non lo sapevo vi ringrazio tanto!

[Ospite]

è possibile per esempio impedire l'accesso ad una pagina se non da un'altra determinata pagina?

[bastardofuori]

è possibile per esempio impedire l'accesso ad una pagina se non da un'altra determinata pagina?

Scusa ma non ho capito cosa intendi...

[Ospite]

ad esempio consentire l'accesso ad una pagina del mio sito solo se si clicca sul link dall'homepage e non digitando l'url della pagina nella barra degli indirizzi

dovresti lavorare con l'htaccess e il refer
cosi' su 2 piedi non so dirti
prova a fare una ricerca su google magari qualcosa trovi
se la trovo te la posto ;)

[funcool]

<?php
if ($_SERVER['HTTP_REFERER']!="pagina precedente")
    exit();
?>
Qui tutto il codice della pagina.

[Ospite]

grazie

[darkwolf]

Scusate l'intromissione!
Io l'ho fatto manualmente così:

User-agent: *
Disallow: /pyg/
Disallow: /script/
Disallow: /not_found.html/
Disallow: /berlusca.html/
Disallow: /firmware.html/
Disallow: /img/
Disallow: /file/
Disallow: /forum/Games/

not_found.html - berlusca.html e firmware.html sono delle cartelle che contengono un redirect php alle nuove pagine quindi penso siano corrette così (ma non vorrei che il bot li veda come file e non come cartelle).
Il dubbio più grosso comunque riguarda /forum/Games/.
Forse dovrei mettere prima del

Disallow: /forum/Games/

un

Allow: /forum/

Facendo una ricerca su google vedo i link dei giochi (quindi possono giocarci senza passare per il sito) e preferirei che ciò non accadesse.
I giochi sono nella sottodirectory indicata (/forum/Games/) ma non vorrei che impostando in quel modo il robots si neghi l'indicizzazione del forum stesso!
Spero di essermi spiegato bene
Grazie per ogni eventuale risposta, DarkWolf

[funcool]

Facendo come hai fatto tu, non dovrebbe essere indicizzato tutto il contenuto della cartella "Games" che si trova all'interno della cartella "forum".

[darkwolf]

Facendo come hai fatto tu, non dovrebbe essere indicizzato tutto il contenuto della cartella "Games" che si trova all'interno della cartella "forum".

Quindi il forum continuerà ad essere indicizzato regolarmente...
Ok! PS scusa ho editato sopra all'ultimo secondo.... puoi dirmi gentilmente se è corretto? Grazie
Magari così è più corretto?

User-agent: *
Allow: /
Disallow: /pyg/
Disallow: /script/
Disallow: /not_found.html/
Disallow: /berlusca.html/
Disallow: /firmware.html/
Disallow: /img/
Disallow: /file/
Allow: /forum/
Disallow: /forum/Games/

[funcool]

Puoi anche non mettere:

Allow: /forum/

[darkwolf]

Puoi anche non mettere:

Allow: /forum/

Ok grazie!
PS dato che i giochi sono in swf (flash) metto anche un bel Disallow: /*.swf$