Visualizzazione risultati 1 fino 10 di 10

Discussione: Google non recupera il file Robots.txt

  1. #1
    coralriff non è connesso Utente AlterBlog
    Data registrazione
    05-05-2012
    Messaggi
    68

    Predefinito Google non recupera il file Robots.txt

    Buongiorno a tutti,

    negli ultimi 3 mesi il mio sito https://coralriff.altervista.org/ ha avuto un tonfo nelle statistiche. Siamo passati improvvisamente dalle circa 3 mila al giorno alle 5/600.
    Ho cercato di capire durante tutto il tempo quale fosse il problema e, tra le varie cose, sono andato a controllare sulla Search Console di Google se fosse tutto ok. Non è tutto ok.
    Ho notato di non aver ancora aggiunto il sito in versione https e quindi l'ho fatto ma quando sono arrivato al test del file robots.txt ho ricevuto questo messaggio:
    Al momento non è possibile recuperare il tuo file robots.txt. In questi casi, interrompiamo la scansione del sito finché riusciamo a recuperare un file robots.txt, oppure torniamo all'ultimo file robots.txt ritenuto valido.
    Sono andato a controllare ed il file robots.txt c'era ma visto che non funzionava ho provato a rigenerarlo ed ora eccolo qui: https://coralriff.altervista.org/robots.txt
    Ho anche disabilitato la funzionalità delle sitemap di Yoast e creato un'altra sitemap:
    https://coralriff.altervista.org/sitemap.xml
    Ora, non riesco a capire se per caso il fatto che Google non riesca a recuperare questo file sia dovuto all'https o quale altro sia il problema.
    A questo punto ho provato a vedere se per caso il problema fosse Cloudflare, visto che da quando è entrato nella mia vita non fa altro che crearmi rogne che mi fanno perdere un mare di tempo. Ho cercato gli indirizzi ip dei crawler di Google per aggiungerne i range in Whitelist ma non so come si faccia ad aggiungere i range invece che i singoli indirizzi ip e sul sito di Cloudflare (mortacci loro) non ci sono istruzioni a riguardo.
    Qualcuno sa darmi una mano?
    Grazie

  2. #2
    L'avatar di alemoppo
    alemoppo non è connesso Staff AV
    Data registrazione
    24-08-2008
    Residenza
    PU / BO
    Messaggi
    18,608

    Predefinito

    Il file robots.txt è un file necessario soltanto se vuoi escludere parti del sito alla indicizzazione (vedi qui: https://support.google.com/webmaster..._topic=6061961 ).

    A meno che tu non voglia escludere qualche parte del tuo sito, non dovresti utilizzarlo.

    Lato indicizzazione, il tuo sito risulta correttamente indicizzato: https://www.google.it/search?q=site%...altervista.org

    Quali rogne ti ha dato cloudFlare?

    Ciao!

  3. #3
    coralriff non è connesso Utente AlterBlog
    Data registrazione
    05-05-2012
    Messaggi
    68

    Predefinito

    Buongiorno,
    ma per esempio tutte le directory /wp-admin/ non è meglio escluderle?

    Cloudlflare interferisce con Jetpack, IFTTT ed una serie di altri servizi o plugin.

    Il mio problema adesso è che da qualche mese le statistiche del sito sono crollate e non capisco perchè.

    Grazie, ciao!

  4. #4
    L'avatar di alemoppo
    alemoppo non è connesso Staff AV
    Data registrazione
    24-08-2008
    Residenza
    PU / BO
    Messaggi
    18,608

    Predefinito

    Citazione Originalmente inviato da coralriff Visualizza messaggio
    ma per esempio tutte le directory /wp-admin/ non è meglio escluderle?
    Se vuoi sì, in generale sono pagine prive di contenuti (da non loggati come può essere il crawler di google), quindi anche se vengono indicizzate non mostrano alcun contenuto (vedi tu stesso).

    Citazione Originalmente inviato da coralriff Visualizza messaggio
    Cloudlflare interferisce con Jetpack, IFTTT ed una serie di altri servizi o plugin.
    Probabile che si tratti di https più che CloudFlare direttamente.
    In ogni caso, Jetpack consigliamo di non utilizzarlo perché è le statistiche puoi controllarle più approfonditamente tramite Analytics, per quanto riguarda i pulsanti condivisioni sono già presenti nella sezione promuovi.

    Passando invece al tuo problema, in generale durante le vacanze natalizie molti blog hanno registrato un abbassamento di visite, è normale e ti consiglierei di monitorare meglio il traffico tramite Google Analytics che è più affidabile anche rispetto alle statistiche che trovi su AlterVista.

    Ciao!
    Ultima modifica di alemoppo : 06-02-2018 alle ore 12.29.57

  5. #5
    darbula non è connesso AlterGuru
    Data registrazione
    24-04-2011
    Messaggi
    2,214

    Predefinito

    @coralriff escludendo problemi di incompatibilità tra plugin e/o temi il problema può darsi che CloudFlare blocchi ip (ad eccezione di jetpack) https://support.cloudflare.com/hc/en...and-Cloudflare che fanno richieste al file xmlrcp.php
    1)abilita il file xmlrcp.php lato altervista Disattivazione default di xmlrpc.php
    2)con jetpack puoi già condividere automaticamente i tuoi post http://eugeniopetulla.com/blog/pubbl...razie-jetpack/ (sezione share)
    Non ho capito il discorso di YouTube https://codex.wordpress.org/Embeds https://ifttt.com/applets/1712p-post...wordpress-blog usi questo per il tuo blog?
    Anche se con il plugin jetpack riscontri un errore di https in uscita questo non indica che non funziona..
    Allora ti consiglio di aprire un ticket su ifttt https://wordpress.org/support/plugin/ifttt-bridge e uno su cloudflare https://community.cloudflare.com
    @alemoppo lui vuole condividere automaticamente i post ... Quando lui "avrà" questi problemi voi avete modo di controllare se cloudflare blocca certi indirizzi ip che richiedono il file xmlrcp.php?
    Nota* non vedo indicizzazioni per http://coralriff.altervista.org ma per https
    Ultima modifica di darbula : 06-02-2018 alle ore 16.26.37

  6. #6
    coralriff non è connesso Utente AlterBlog
    Data registrazione
    05-05-2012
    Messaggi
    68

    Predefinito

    Ciao Darbula,
    grazie mille per la risposta. Me ne sono appena accorto.
    Al momento IFTTT pare stia funzionando quindi non tocco nulla che sennò impazzisco di nuovo ma comunque ho letto i thread.
    Riguardo all'indicizzazione della versione http, su Search Console dava un errore perchè reindirizzava a https ma ho richiesto l'indicizzazione anche in http.
    Il Tester del file Robots continua a dare errore ma pare che quando va in autonomia funzioni, c'è il registro delle operazioni e sono sempre tutte riuscite tranne quando il test voglio farlo io.

  7. #7
    giancarlofina non è connesso Utente AlterBlog
    Data registrazione
    24-10-2017
    Messaggi
    45

    Predefinito

    Gentilissimo sig. alemoppo,

    da un po' di tempo Google Search Console Team mi segnala un problema sul link di seguito riportato:

    https://giancarlofina.altervista.org/ wp-admin/update.php?action=upload-plugin (lo spazio sul link è voluto)

    Avviso: Indicizzata ma bloccata da robots.txt

    In attesa di un Vostro gradito cenno di riscontro, porgo cordiali saluti.

    G

  8. #8
    L'avatar di alemoppo
    alemoppo non è connesso Staff AV
    Data registrazione
    24-08-2008
    Residenza
    PU / BO
    Messaggi
    18,608

    Predefinito

    Citazione Originalmente inviato da giancarlofina Visualizza messaggio
    da un po' di tempo Google Search Console Team mi segnala un problema sul link di seguito riportato:

    https://giancarlofina.altervista.org/ wp-admin/update.php?action=upload-plugin (lo spazio sul link è voluto)

    Avviso: Indicizzata ma bloccata da robots.txt
    Infatti è giustissimo che quella pagina venga bloccata dal robots.txt, anzi, se guardi, il robots.txt blocca qualsiasi url con "wp-admin".

    Ciao!

  9. #9
    giancarlofina non è connesso Utente AlterBlog
    Data registrazione
    24-10-2017
    Messaggi
    45

    Predefinito

    Citazione Originalmente inviato da alemoppo Visualizza messaggio
    Infatti è giustissimo che quella pagina venga bloccata dal robots.txt, anzi, se guardi, il robots.txt blocca qualsiasi url con "wp-admin".

    Ciao!
    Gentilissimo sig. alemoppo,

    innanzitutto La ringrazio molto per la risposta.

    Confermo che non modifico il file robot.txt del mio sito da molto tempo. Confermo però che da qualche giorno il Team Search Console di Google notifica sul mio sito un problema/avviso ancora non risolto (Avviso: Indicizzata ma bloccata da robots.txt).

    Non ritengo sia molto importante vedere, o meno, che sul proprio sito ci sia un avviso segnalato da Big-G, ciò che mi preoccupa è comprendere se il problema possa avere delle implicazioni a livello SEO oppure no.

    Nel dubbio avevo pensato di modificare temporaneamente il file robot.txt nel seguente modo. Fintantoché l'avviso persiste la mia idea consisterebbe nell'aggiungere e poi togliere una stringa di permesso così come di seguito scritta:

    Allow: wp-admin/update.php?action=upload-plugin.

    Quando la Search Console mi segnalerà che non c'è più il problema/avviso, allora procederò con l'eliminazione della riga di permesso dal file robot.txt. E tutto dovrebbe essere risolto.

    Gentilissimo sig. alemoppo cosa ne pensa di questa idea? Secondo Lei ha senso procedere nel modo sopra descritto?

    In attesa di una cortese risposta, porgo cordiali saluti.

    G

  10. #10
    giancarlofina non è connesso Utente AlterBlog
    Data registrazione
    24-10-2017
    Messaggi
    45

    Red face

    Citazione Originalmente inviato da giancarlofina Visualizza messaggio
    Gentilissimo sig. alemoppo,

    innanzitutto La ringrazio molto per la risposta.

    Confermo che non modifico il file robot.txt del mio sito da molto tempo. Confermo però che da qualche giorno il Team Search Console di Google notifica sul mio sito un problema/avviso ancora non risolto (Avviso: Indicizzata ma bloccata da robots.txt).

    Non ritengo sia molto importante vedere, o meno, che sul proprio sito ci sia un avviso segnalato da Big-G, ciò che mi preoccupa è comprendere se il problema possa avere delle implicazioni a livello SEO oppure no.

    Nel dubbio avevo pensato di modificare temporaneamente il file robot.txt nel seguente modo. Fintantoché l'avviso persiste la mia idea consisterebbe nell'aggiungere e poi togliere una stringa di permesso così come di seguito scritta:

    Allow: wp-admin/update.php?action=upload-plugin.

    Quando la Search Console mi segnalerà che non c'è più il problema/avviso, allora procederò con l'eliminazione della riga di permesso dal file robot.txt. E tutto dovrebbe essere risolto.

    Gentilissimo sig. alemoppo cosa ne pensa di questa idea? Secondo Lei ha senso procedere nel modo sopra descritto?

    In attesa di una cortese risposta, porgo cordiali saluti.

    G
    Gentilissimi partecipanti al forum,

    volevo solo informarvi che in relazione alla mia segnalazione di qualche giorno fa, ho seguito la procedura illustrata sopra e sono riuscito a risolvere il problema che mi evidenziava Big-G.

    Ringrazio tutti per la cortese attenzione, porgo cordiali saluti.

    G
    Ultima modifica di giancarlofina : 06-04-2021 alle ore 09.43.26

Tags for this Thread

Regole di scrittura

  • Non puoi creare nuove discussioni
  • Non puoi rispondere ai messaggi
  • Non puoi inserire allegati.
  • Non puoi modificare i tuoi messaggi
  •