Problemi generazione sitemaps

Gentile staff di Altervista,

sono un utente del servizio con il dominio ilmiovideo.altervista.org.

Sto utilizzando un bot creato in pyton personalizzato per la scansione del mio sito e la generazione di sitemap (in formato html). Fino a pochi giorni fa, il bot riusciva a scansionare tutte le pagine (circa 300), mentre da circa due giorni noto una drastica riduzione delle pagine rilevate (solo un centinaio circa).

Non ho modificato né il bot né la configurazione del sito. Vorrei capire se sono state introdotte nuove limitazioni o restrizioni da parte di Altervista riguardo all’utilizzo di bot o crawler automatici. Leggendo il regolamento non ho trovato il divieto di utilizzo ma solo di ospitare tali bot

Vi sarei grato se poteste indicarmi se è possibile richiedere un’autorizzazione o configurare qualcosa (es. file .htaccess o impostazioni specifiche) per permettere al mio bot di continuare la scansione completa del sito.

Resto in attesa di un vostro cortese riscontro e vi ringrazio anticipatamente per l’aiuto.

Cordiali saluti,

Citazione:

---

Non ho modificato né il bot né la configurazione del sito. Vorrei capire se sono state introdotte nuove limitazioni o restrizioni da parte di Altervista riguardo all’utilizzo di bot o crawler automatici. Leggendo il regolamento non ho trovato il divieto di utilizzo ma solo di ospitare tali bot

---

Salve,
sì, il divieto è per l'uso di bot ed automatismi, ma è più che altro riferito all'impiego esclusivo dello spazio come ambiente in cui ospitare ed eseguire il bot, senza che vi sia presente alcun sito. L'uso di automatismi come supporto al sito, entro certi limiti, è consentito.

Non è vietato infatti l'uso di qualsiasi tipo di automatismo in un sito. Altrimenti se così fosse, lo sarebbero anche tutti i plugin come YoastSEO (creazione / gestione sitemap) in WordPress o ad esempio tutti i siti meteo che fanno uso di sitemi automatizzati per l'aggiornamento dei dati (etc..).

Se ci fosse stato un blocco da parte di AlterVista, il clawer non scansionerebbe più alcuna pagina. Piuttosto, mi viene da pensare che possano esserci stati impedimenti (ad esempio, timeout) lato server.

Il clawer viene eseguito in locale o da server esterno?

Nel sito riscontra per caso qualche rallentamento anomalo?

Con quale frequenza vengono eseguite le scansioni delle pagine?

Il clawer s'identifica con useraget proprietario o si spaccia come un utente qualsiasi?

Ha modo di fare debug o logging durante l'eseguzione del clawer?

Cordiali saluti.

grazie per la risposta.

Il crawler gira in locale dal mio pc. user agent l'ho impostato come Mozilla o cmunque lo cambio spesso usando nomi friendly. Ho provato a fare scansioni a 1.5 secondi di solito usate da strumenti seo ufficiali ma ho anche provato a portarlo a 2.0. Credendo che fosse il problema fosse che altervista avesse messo il mio ip in blacklist ho provato anche con una vpn ma anzi le pagine indicizzate sono ancora meno rispetto al utilizzo del mio ip. L'ultima scansione completa sono riuscito a farla 2 giorni fa. oggi ho riprovato perche ho aggiunto diverse pagine e volevo aggiornale la sitemaps. Secondo chatgpt il problema e lato server come se a forza di scansionare Altervista abbia inserito dei blocchi o delle limitazioni.

Ho eseguito il bot su google.com e mi indicizza 126 pagine le stesse 126 pagine che indicizzava 2 giorni fa quando funzionava anche su il mio sito di altervista.

EDIT: il bot in caso di time out riscansiona fino a 3 volte la pagina e crea un error.log se non riesce a scansionare. Nel mio caso l'errorlog e pulito

Citazione:

---

Originalmente inviato da ilmiovideoblog

Credendo che fosse il problema fosse che altervista avesse messo il mio ip in blacklist

---

Ma tu, con lo stesso IP, riesci a raggiungere il tuo sito? O comunque le pagine che il bot non scansiona?

Ciao!

Si certo io navigo tranquillamente. Secondo me Altervista usa qualche cluodfare o firewall che limita ai bot "aggressivi" o che hanno poco delay tra una pagina e l'altra. Perche su altri si ti sembra funzionare. IO ho creato questo script per aggiornare la mia sitemaps. Voi che sappiate altervista ha dei sistemi che prevengono queste scansioni ripetute? Se è si il bot sara "limitato" temporaneamente ho e finito in qualche blacklist?

Ok forse ci siamo.
Facendo un debug dopo una 80ina di pagine mi restituisce ERROR 403 quindi il server mi sta negando l'accesso.
Il problema allora e lato server.
Inizio a pensare che 2 giorni fa' troppe scansioni abbiano "Bannato" o limitato il mio bot.
Anche cambiando IP User-agent e delay il problema si presenta sempre.

Che voi sappiate questi ban sono permanenti oppure mi consigliate di riprovare tra qualche giorno.?

Mi hanno chiesto di dirti di chiedere sul gruppo di supporto (qui) dettagliando cosa stai facendo e con quale obiettivo.

Ciao!

Citazione:

---

Mi hanno chiesto di dirti di chiedere sul gruppo di supporto (qui) dettagliando cosa stai facendo e con quale obiettivo.

---

Ho scritto. MA tu sai qualcosa ad eventuali blocchi 403 ?

Non che io sappia. Ho visto che hai scritto il messaggio, ti risponderanno lì.

Ciao!