Ragazzi stato cercando, come da oggetto, una protezione per bloccare lo scaricamento del mio sito con programmi tipo webreaper. Ho notato che inserire l'user-agent nel file robots.txt non serve a un bel niente.
Consigli?
Printable View
Ragazzi stato cercando, come da oggetto, una protezione per bloccare lo scaricamento del mio sito con programmi tipo webreaper. Ho notato che inserire l'user-agent nel file robots.txt non serve a un bel niente.
Consigli?
Il file robots.txt è in fondo un "consiglio" che dai ai programmi che accedono al tuo sito. Seguirlo oppure no dipende tutto dalla spunta sull'opzione "ignora il file robots.txt", e l'user-agent si può sempre forgiare senza molta fatica, quindi non basta come filtro...
consigli? uhm... è un problema così grave, pieno di gente che ti tirà giù il sito violentemente ?
edit: noto ora che molte delle tue pagine sono 30+KB solo di html... forse puoi cercare di ottimizzare il codice e i contenuti che vuoi ripetuti in ogni pagina, e a quel punto un download completo non sarà così pesante dal punto di vista della banda
Magari degli OCR??
il primo risparmio di spazio che mi viene in mente: ovunque, hai link assoluti del tipo
http://www.bastardofuori.altervista.org/files/0.gif. Se li sostituisci con link relativi /files/0.gif magicamente risparmi 39bytes a link... circa 3-4kb a pagina :mrgreen:
edit: altra cosa, magari meno importante: filtra via i .rar dalla sitemap - non servono a nulla (google non ci guarda dentro) e appesantiscono il file assai.
Con i link relativi si risparmierebbe 3-4kb a pagina... Direi che sono un pò pochini no?
Non so se il mio sito viene scaricato, però mi darebbe fastidio, ecco perchè cercavo una protezione...
Ma non esiste già la possibilità di mettere una password quando crei il sito col programma che usi? O sbaglio? O se c'è, serve?
I programmi che scaricano i siti usano lo stesso protocollo dei browser, quindi, se blocchi il tutto con una password, i visitatori dovrebbero avere una password per vedere il sito.
Per bloccare lo scaricamento potresti provare ad utilizzare la variabile $_SERVER['HTTP_USER_AGENT'] del PHP e non fai vedere le pagine a chi ha un user agent uguale a quelli dei programmi scarica-siti.
un nuovo programma di download siti lo potrebbe scaricare lo stesso...
ma anche uno esistente... --user-agent= ...
In pratica non serve a nulla mettere una protezione, tanto se vogliono lo possono sempre scaricare.
Mah... io ho provato e su alcuni siti non mi fa scaricare niente...Citazione:
Originalmente inviato da vincenzoriccio
Sarò io che nn sono buono :mrgreen: