Opzioni robots.txt

[tryhere]

Si può configurare il file robots.txt in modo che venga indicizzata solo la index? Come?

User-agent: *
Disallow: /cartella1
Disallow: /cartella2
Disallow: /cartella3

Sostituisci cartella1,2,3, col nome delle sottocartelle (rispetto al percorso in cui metterai il file robots.txt) che non cuoi che vengano indicizzate.

Ciao

[tryhere]

quindi ogni volta che creo una nuova cartella devo aggiornare il file? non posso dire che indicizzi solo la index direttamente?

[Ospite]

http://www.motoricerca.info/robots.phtml
Leggi il paragrafo Contenuti di robots.txt, dice chiaramente che con il file robots.txt puoi solo indicare le pagine che gli spider NON possono prelevare

[miki92]

quindi ogni volta che creo una nuova cartella devo aggiornare il file? non posso dire che indicizzi solo la index direttamente?

Te hai chiesto del file robots.txt ma comunque se vuoi fare una cosa veloce come dici tu potresti utilizzare il meta-tag robot e precisamente:

<meta name="Robot" content="Index,NoFollow" />

Più veloce??
Miki, va messo in ogni pagina che non vuoi che venga indicizzata...

[miki92]

Se lui vuole indicizzare solo la index usa quella altrimenti basta che mette INDEX,FOLLOW.

[tryhere]

volevo farlo una volta per tutte senza poi dover aggiornare il file ogni volta che aggiungo una cartella.

[miki92]

Si può configurare il file robots.txt in modo che venga indicizzata solo la index? Come?

Da quando dici qui tu vuoi indicizzare solo la pagina index senza le altre pagine, cartelle e sottocartelle vero? Beh allora puoi utilizzare il meta-tag che ti ho indicato sopra inserendolo solo nella tua index così che ogni volta aggiungi le pagine google non te le indicizza, altrimenti con il file robots.txt dovresti fare cosi ogni volta che aggiorni, aggiungi files o cartelle:

User-agent: *
Disallow: /cartella 1/
Disallow: /cartella 2/
Disallow: /file.estensione
Disallow: /cartella/file.estensione
Disallow: /cartella/sottocartella/file.estensione 

Questo è il codice che fa al caso tuo:

<meta name="Robot" content="Index,NoFollow" />

Più veloce??
va messo in ogni pagina che NON vuoi che venga indicizzata...

Miki forse ti sfugge qualcosa

Ciao

[miki92]

Scusa giuseppeiemma, lui vuole indicizzare solo la index, quindi quel meta tag va inserito solo nella index no? Mi sbaglio?

[tryhere]

con il metatag che mi hai segnalato viene indicizzata solo la index o tutte tranne la index?
le pagine che sono attualmente indicizzate rimangono indicizzate?

[miki92]

Quel tag come l'ho scritto io indicizza la pagina in cui è inserito e no tutte le altre, se vuoi indicizzare tutto o niente proprio basta apportare delle modifiche...tu nel primo messaggio hai detto di voler indicizzare solo la index o mi sono sbagliato io a capire e vuoi indicizzare anche altre pagine?

Miki ti sbagli...

Quel tag và incluso nella/nelle pagine che vuoi che siano indicizzate.
Le pagine senza quel tag verranno indicizzate (questo è il comportamento predefinito di un motore di ricerca).

[EDIT]Provare per credere....

[tryhere]

voglio indicizzare solo 4 pagine...

[miki92]

Bah forse sono io che non capisco però per curiosità sto cercando su google ed ho trovato questo sito che spiega un po' l'uso di questo meta-tag.
Beh allora inserisci nelle quattro pagine che vuoi indicizzare:

<meta name="robots" content="index,nofollow" />

[tryhere]

da quello che capisco da questo sito le pagine che non presentano questo tag vengono indicizzate di default...ovviamente è solo la mia interpretazione

[miki92]

Alcuni esempi:

meta name="robots" content="index,follow"

meta name="robots" content="noindex,follow"

meta name="robots" content="index,nofollow"

meta name="robots" content="noindex,nofollow"

Prima di decidere quale caso scegliere esaminiamo il significato di questi termini:

"index"- Indica al robot (o spider) del motore, che questa pagina potrà essere indicizzata. In altre parole, si consente al motore di ricerca di inserire questa pagina nel suo database.

"noindex"- Usando questo tag si informa il robot che la pagina corrente non dovrà essere indicizzata. Questa pagina, quindi, non apparirà nei motori di ricerca.

"follow"- Quando si usa questo tag, si comunca la motore che lo spider deve, se vuole, seguire i link in questa pagina, per indicizzare anche quelle successive.

"nofollow"- L'opposto del caso di prima, questo indicherà al motore che dopo l'indicizzazione della pagina corrente non deve seguire altri link, non deve quindi indicizzare altre pagine.

A me sembra chiaro, cos'è che non capisci (o che non riesco a capire io)?

[tryhere]

ah si scusa, hai ragione.
le pagine indicizzate rimangono indicizzate?

[miki92]

Beh, se tu non gli impedisci l'indicizzazzione credo di si. Nel senso che se ora google indicizza ciao.php ma poi tu metti a pagina1.php, pagina2.php, pagina3.php il tag

<meta name="robots" content="index,nofollow" />

Credo che prima o poi non ti indicizzino più ciao.php...ma non ne sono sicuro.

Solo ora mi sono reso conto che si parlava di nofollow e non di noindex...
Scusate...

Il nofollow sta ad indicare che il motore non deve "seguire" (salvo diversamente indicato) i link riportati nella pagina.

Il noindex si riferisce all'indicizzazione della pagina stessa.

Mettendo il noindex nella pagina iniziale del tuo sito, quando il motore accederà alla homepage, non seguirà i link che essa include; ma potrebbe accedere alle pagine interne da un collegamento trovato in giro per la rete che punta a qualche pagina interna del tuo sito.

Spero di essere stato chiaro...

Ciao

[miki92]

Non ti preoccupare tutti si confondono o sbagliano...siamo pur sempre essere umani. Ora tornando a noi per essere brevi:

INDEX,FOLLOW Indicizza la pagina in cui è inserita questa riga di codice e tutti i collegamenti alle altre pagine che partono da codesta.

INDEX,NOFOLLOW Indicizza solo la pagina dove si trova questa riga di codice.

NOINDEX,FOLLOW Non indicizza la pagina dove è contenuto questo codice ma tutti i collegamenti ad altre pagine che partono da questa.

NOINDEX,NOFOLLOW Non indicizza nulla.

Perfetto!

[tryhere]

Mettendo il noindex nella pagina iniziale del tuo sito, quando il motore accederà alla homepage, non seguirà i link che essa include; ma potrebbe accedere alle pagine interne da un collegamento trovato in giro per la rete che punta a qualche pagina interna del tuo sito.
Ciao

E come posso evitare questo?

Ti è stato già detto: http://forum.it.altervista.org/587762-post2.html

Scusa, ma li leggi i messaggi?