Google non recupera il file Robots.txt

Printable View

05-02-2018, 12.58.23

Google non recupera il file Robots.txt

Buongiorno a tutti,

negli ultimi 3 mesi il mio sito https://coralriff.altervista.org/ ha avuto un tonfo nelle statistiche. Siamo passati improvvisamente dalle circa 3 mila al giorno alle 5/600.
Ho cercato di capire durante tutto il tempo quale fosse il problema e, tra le varie cose, sono andato a controllare sulla Search Console di Google se fosse tutto ok. Non è tutto ok.
Ho notato di non aver ancora aggiunto il sito in versione https e quindi l'ho fatto ma quando sono arrivato al test del file robots.txt ho ricevuto questo messaggio:

Citazione:

Al momento non è possibile recuperare il tuo file robots.txt. In questi casi, interrompiamo la scansione del sito finché riusciamo a recuperare un file robots.txt, oppure torniamo all'ultimo file robots.txt ritenuto valido.

Sono andato a controllare ed il file robots.txt c'era ma visto che non funzionava ho provato a rigenerarlo ed ora eccolo qui: https://coralriff.altervista.org/robots.txt
Ho anche disabilitato la funzionalità delle sitemap di Yoast e creato un'altra sitemap:
https://coralriff.altervista.org/sitemap.xml
Ora, non riesco a capire se per caso il fatto che Google non riesca a recuperare questo file sia dovuto all'https o quale altro sia il problema.
A questo punto ho provato a vedere se per caso il problema fosse Cloudflare, visto che da quando è entrato nella mia vita non fa altro che crearmi rogne che mi fanno perdere un mare di tempo. Ho cercato gli indirizzi ip dei crawler di Google per aggiungerne i range in Whitelist ma non so come si faccia ad aggiungere i range invece che i singoli indirizzi ip e sul sito di Cloudflare (mortacci loro) non ci sono istruzioni a riguardo.
Qualcuno sa darmi una mano?
Grazie
06-02-2018, 03.34.54
alemoppo

Il file robots.txt è un file necessario soltanto se vuoi escludere parti del sito alla indicizzazione (vedi qui: https://support.google.com/webmaster..._topic=6061961 ).

A meno che tu non voglia escludere qualche parte del tuo sito, non dovresti utilizzarlo.

Lato indicizzazione, il tuo sito risulta correttamente indicizzato: https://www.google.it/search?q=site%...altervista.org

Quali rogne ti ha dato cloudFlare?

Ciao!
06-02-2018, 12.17.13

Buongiorno,
ma per esempio tutte le directory /wp-admin/ non è meglio escluderle?

Cloudlflare interferisce con Jetpack, IFTTT ed una serie di altri servizi o plugin.

Il mio problema adesso è che da qualche mese le statistiche del sito sono crollate e non capisco perchè.

Grazie, ciao!
06-02-2018, 13.27.34
alemoppo

Citazione:

Originalmente inviato da coralriff

ma per esempio tutte le directory /wp-admin/ non è meglio escluderle?

Se vuoi sì, in generale sono pagine prive di contenuti (da non loggati come può essere il crawler di google), quindi anche se vengono indicizzate non mostrano alcun contenuto (vedi tu stesso).

Citazione:

Originalmente inviato da coralriff

Cloudlflare interferisce con Jetpack, IFTTT ed una serie di altri servizi o plugin.

Probabile che si tratti di https più che CloudFlare direttamente.
In ogni caso, Jetpack consigliamo di non utilizzarlo perché è le statistiche puoi controllarle più approfonditamente tramite Analytics, per quanto riguarda i pulsanti condivisioni sono già presenti nella sezione promuovi.

Passando invece al tuo problema, in generale durante le vacanze natalizie molti blog hanno registrato un abbassamento di visite, è normale e ti consiglierei di monitorare meglio il traffico tramite Google Analytics che è più affidabile anche rispetto alle statistiche che trovi su AlterVista.

Ciao!
06-02-2018, 16.18.43
darbula

@coralriff escludendo problemi di incompatibilità tra plugin e/o temi il problema può darsi che CloudFlare blocchi ip (ad eccezione di jetpack) https://support.cloudflare.com/hc/en...and-Cloudflare che fanno richieste al file xmlrcp.php
1)abilita il file xmlrcp.php lato altervista http://forum.it.altervista.org/novit...mlrpc-php.html
2)con jetpack puoi già condividere automaticamente i tuoi post http://eugeniopetulla.com/blog/pubbl...razie-jetpack/ (sezione share)
Non ho capito il discorso di YouTube https://codex.wordpress.org/Embeds https://ifttt.com/applets/1712p-post...wordpress-blog usi questo per il tuo blog?
Anche se con il plugin jetpack riscontri un errore di https in uscita questo non indica che non funziona..
Allora ti consiglio di aprire un ticket su ifttt https://wordpress.org/support/plugin/ifttt-bridge e uno su cloudflare https://community.cloudflare.com
@alemoppo lui vuole condividere automaticamente i post ... Quando lui "avrà" questi problemi voi avete modo di controllare se cloudflare blocca certi indirizzi ip che richiedono il file xmlrcp.php?
Nota* non vedo indicizzazioni per http://coralriff.altervista.org ma per https
20-02-2018, 13.44.58

Ciao Darbula,
grazie mille per la risposta. Me ne sono appena accorto.
Al momento IFTTT pare stia funzionando quindi non tocco nulla che sennò impazzisco di nuovo ma comunque ho letto i thread.
Riguardo all'indicizzazione della versione http, su Search Console dava un errore perchè reindirizzava a https ma ho richiesto l'indicizzazione anche in http.
Il Tester del file Robots continua a dare errore ma pare che quando va in autonomia funzioni, c'è il registro delle operazioni e sono sempre tutte riuscite tranne quando il test voglio farlo io.
18-03-2021, 16.29.13
giancarlofina

Gentilissimo sig. alemoppo,

da un po' di tempo Google Search Console Team mi segnala un problema sul link di seguito riportato:

https://giancarlofina.altervista.org/ wp-admin/update.php?action=upload-plugin (lo spazio sul link è voluto)

Avviso: Indicizzata ma bloccata da robots.txt

In attesa di un Vostro gradito cenno di riscontro, porgo cordiali saluti.

G
18-03-2021, 19.59.01
alemoppo

Citazione:

Originalmente inviato da giancarlofina

da un po' di tempo Google Search Console Team mi segnala un problema sul link di seguito riportato:

https://giancarlofina.altervista.org/ wp-admin/update.php?action=upload-plugin (lo spazio sul link è voluto)

Avviso: Indicizzata ma bloccata da robots.txt

Infatti è giustissimo che quella pagina venga bloccata dal robots.txt, anzi, se guardi, il robots.txt blocca qualsiasi url con "wp-admin".

Ciao!
19-03-2021, 10.22.55
giancarlofina

Citazione:

Originalmente inviato da alemoppo

Infatti è giustissimo che quella pagina venga bloccata dal robots.txt, anzi, se guardi, il robots.txt blocca qualsiasi url con "wp-admin".

Ciao!

Gentilissimo sig. alemoppo,

innanzitutto La ringrazio molto per la risposta.

Confermo che non modifico il file robot.txt del mio sito da molto tempo. Confermo però che da qualche giorno il Team Search Console di Google notifica sul mio sito un problema/avviso ancora non risolto (Avviso: Indicizzata ma bloccata da robots.txt).

Non ritengo sia molto importante vedere, o meno, che sul proprio sito ci sia un avviso segnalato da Big-G, ciò che mi preoccupa è comprendere se il problema possa avere delle implicazioni a livello SEO oppure no.

Nel dubbio avevo pensato di modificare temporaneamente il file robot.txt nel seguente modo. Fintantoché l'avviso persiste la mia idea consisterebbe nell'aggiungere e poi togliere una stringa di permesso così come di seguito scritta:

Allow: wp-admin/update.php?action=upload-plugin.

Quando la Search Console mi segnalerà che non c'è più il problema/avviso, allora procederò con l'eliminazione della riga di permesso dal file robot.txt. E tutto dovrebbe essere risolto.

Gentilissimo sig. alemoppo cosa ne pensa di questa idea? Secondo Lei ha senso procedere nel modo sopra descritto?

In attesa di una cortese risposta, porgo cordiali saluti.

G
06-04-2021, 09.41.31
giancarlofina

Citazione:

Originalmente inviato da giancarlofina

Gentilissimo sig. alemoppo,

innanzitutto La ringrazio molto per la risposta.

Confermo che non modifico il file robot.txt del mio sito da molto tempo. Confermo però che da qualche giorno il Team Search Console di Google notifica sul mio sito un problema/avviso ancora non risolto (Avviso: Indicizzata ma bloccata da robots.txt).

Non ritengo sia molto importante vedere, o meno, che sul proprio sito ci sia un avviso segnalato da Big-G, ciò che mi preoccupa è comprendere se il problema possa avere delle implicazioni a livello SEO oppure no.

Nel dubbio avevo pensato di modificare temporaneamente il file robot.txt nel seguente modo. Fintantoché l'avviso persiste la mia idea consisterebbe nell'aggiungere e poi togliere una stringa di permesso così come di seguito scritta:

Allow: wp-admin/update.php?action=upload-plugin.

Quando la Search Console mi segnalerà che non c'è più il problema/avviso, allora procederò con l'eliminazione della riga di permesso dal file robot.txt. E tutto dovrebbe essere risolto.

Gentilissimo sig. alemoppo cosa ne pensa di questa idea? Secondo Lei ha senso procedere nel modo sopra descritto?

In attesa di una cortese risposta, porgo cordiali saluti.

G

Gentilissimi partecipanti al forum,

volevo solo informarvi che in relazione alla mia segnalazione di qualche giorno fa, ho seguito la procedura illustrata sopra e sono riuscito a risolvere il problema che mi evidenziava Big-G.

Ringrazio tutti per la cortese attenzione, porgo cordiali saluti.

G