Visualizzazione risultati 1 fino 6 di 6

Discussione: Google non recupera il file Robots.txt

  1. #1
    coralriff non è connesso Utente AlterBlog
    Data registrazione
    05-05-2012
    Messaggi
    67

    Predefinito Google non recupera il file Robots.txt

    Buongiorno a tutti,

    negli ultimi 3 mesi il mio sito https://coralriff.altervista.org/ ha avuto un tonfo nelle statistiche. Siamo passati improvvisamente dalle circa 3 mila al giorno alle 5/600.
    Ho cercato di capire durante tutto il tempo quale fosse il problema e, tra le varie cose, sono andato a controllare sulla Search Console di Google se fosse tutto ok. Non è tutto ok.
    Ho notato di non aver ancora aggiunto il sito in versione https e quindi l'ho fatto ma quando sono arrivato al test del file robots.txt ho ricevuto questo messaggio:
    Al momento non è possibile recuperare il tuo file robots.txt. In questi casi, interrompiamo la scansione del sito finché riusciamo a recuperare un file robots.txt, oppure torniamo all'ultimo file robots.txt ritenuto valido.
    Sono andato a controllare ed il file robots.txt c'era ma visto che non funzionava ho provato a rigenerarlo ed ora eccolo qui: https://coralriff.altervista.org/robots.txt
    Ho anche disabilitato la funzionalità delle sitemap di Yoast e creato un'altra sitemap:
    https://coralriff.altervista.org/sitemap.xml
    Ora, non riesco a capire se per caso il fatto che Google non riesca a recuperare questo file sia dovuto all'https o quale altro sia il problema.
    A questo punto ho provato a vedere se per caso il problema fosse Cloudflare, visto che da quando è entrato nella mia vita non fa altro che crearmi rogne che mi fanno perdere un mare di tempo. Ho cercato gli indirizzi ip dei crawler di Google per aggiungerne i range in Whitelist ma non so come si faccia ad aggiungere i range invece che i singoli indirizzi ip e sul sito di Cloudflare (mortacci loro) non ci sono istruzioni a riguardo.
    Qualcuno sa darmi una mano?
    Grazie

  2. #2
    L'avatar di alemoppo
    alemoppo non è connesso Staff AV
    Data registrazione
    24-08-2008
    Residenza
    PU / BO
    Messaggi
    8,662

    Predefinito

    Il file robots.txt è un file necessario soltanto se vuoi escludere parti del sito alla indicizzazione (vedi qui: https://support.google.com/webmaster..._topic=6061961 ).

    A meno che tu non voglia escludere qualche parte del tuo sito, non dovresti utilizzarlo.

    Lato indicizzazione, il tuo sito risulta correttamente indicizzato: https://www.google.it/search?q=site%...altervista.org

    Quali rogne ti ha dato cloudFlare?

    Ciao!

  3. #3
    coralriff non è connesso Utente AlterBlog
    Data registrazione
    05-05-2012
    Messaggi
    67

    Predefinito

    Buongiorno,
    ma per esempio tutte le directory /wp-admin/ non è meglio escluderle?

    Cloudlflare interferisce con Jetpack, IFTTT ed una serie di altri servizi o plugin.

    Il mio problema adesso è che da qualche mese le statistiche del sito sono crollate e non capisco perchè.

    Grazie, ciao!

  4. #4
    L'avatar di alemoppo
    alemoppo non è connesso Staff AV
    Data registrazione
    24-08-2008
    Residenza
    PU / BO
    Messaggi
    8,662

    Predefinito

    Citazione Originalmente inviato da coralriff Visualizza messaggio
    ma per esempio tutte le directory /wp-admin/ non è meglio escluderle?
    Se vuoi sì, in generale sono pagine prive di contenuti (da non loggati come può essere il crawler di google), quindi anche se vengono indicizzate non mostrano alcun contenuto (vedi tu stesso).

    Citazione Originalmente inviato da coralriff Visualizza messaggio
    Cloudlflare interferisce con Jetpack, IFTTT ed una serie di altri servizi o plugin.
    Probabile che si tratti di https più che CloudFlare direttamente.
    In ogni caso, Jetpack consigliamo di non utilizzarlo perché è le statistiche puoi controllarle più approfonditamente tramite Analytics, per quanto riguarda i pulsanti condivisioni sono già presenti nella sezione promuovi.

    Passando invece al tuo problema, in generale durante le vacanze natalizie molti blog hanno registrato un abbassamento di visite, è normale e ti consiglierei di monitorare meglio il traffico tramite Google Analytics che è più affidabile anche rispetto alle statistiche che trovi su AlterVista.

    Ciao!
    Ultima modifica di alemoppo : 06-02-2018 alle ore 13.29.57

  5. #5
    darbula non è connesso AlterGuru
    Data registrazione
    24-04-2011
    Messaggi
    1,428

    Predefinito

    @coralriff escludendo problemi di incompatibilità tra plugin e/o temi il problema può darsi che CloudFlare blocchi ip (ad eccezione di jetpack) https://support.cloudflare.com/hc/en...and-Cloudflare che fanno richieste al file xmlrcp.php
    1)abilita il file xmlrcp.php lato altervista Disattivazione default di xmlrpc.php
    2)con jetpack puoi già condividere automaticamente i tuoi post http://eugeniopetulla.com/blog/pubbl...razie-jetpack/ (sezione share)
    Non ho capito il discorso di YouTube https://codex.wordpress.org/Embeds https://ifttt.com/applets/1712p-post...wordpress-blog usi questo per il tuo blog?
    Anche se con il plugin jetpack riscontri un errore di https in uscita questo non indica che non funziona..
    Allora ti consiglio di aprire un ticket su ifttt https://wordpress.org/support/plugin/ifttt-bridge e uno su cloudflare https://community.cloudflare.com
    @alemoppo lui vuole condividere automaticamente i post ... Quando lui "avrà" questi problemi voi avete modo di controllare se cloudflare blocca certi indirizzi ip che richiedono il file xmlrcp.php?
    Nota* non vedo indicizzazioni per http://coralriff.altervista.org ma per https
    Ultima modifica di darbula : 06-02-2018 alle ore 17.26.37

  6. #6
    coralriff non è connesso Utente AlterBlog
    Data registrazione
    05-05-2012
    Messaggi
    67

    Predefinito

    Ciao Darbula,
    grazie mille per la risposta. Me ne sono appena accorto.
    Al momento IFTTT pare stia funzionando quindi non tocco nulla che sennò impazzisco di nuovo ma comunque ho letto i thread.
    Riguardo all'indicizzazione della versione http, su Search Console dava un errore perchè reindirizzava a https ma ho richiesto l'indicizzazione anche in http.
    Il Tester del file Robots continua a dare errore ma pare che quando va in autonomia funzioni, c'è il registro delle operazioni e sono sempre tutte riuscite tranne quando il test voglio farlo io.

Tags for this Thread

Regole di scrittura

  • Non puoi creare nuove discussioni
  • Non puoi rispondere ai messaggi
  • Non puoi inserire allegati.
  • Non puoi modificare i tuoi messaggi
  •