Ragazzi stato cercando, come da oggetto, una protezione per bloccare lo scaricamento del mio sito con programmi tipo webreaper. Ho notato che inserire l'user-agent nel file robots.txt non serve a un bel niente.
Consigli?
Ragazzi stato cercando, come da oggetto, una protezione per bloccare lo scaricamento del mio sito con programmi tipo webreaper. Ho notato che inserire l'user-agent nel file robots.txt non serve a un bel niente.
Consigli?
Il file robots.txt è in fondo un "consiglio" che dai ai programmi che accedono al tuo sito. Seguirlo oppure no dipende tutto dalla spunta sull'opzione "ignora il file robots.txt", e l'user-agent si può sempre forgiare senza molta fatica, quindi non basta come filtro...
consigli? uhm... è un problema così grave, pieno di gente che ti tirà giù il sito violentemente ?
edit: noto ora che molte delle tue pagine sono 30+KB solo di html... forse puoi cercare di ottimizzare il codice e i contenuti che vuoi ripetuti in ogni pagina, e a quel punto un download completo non sarà così pesante dal punto di vista della banda
Ultima modifica di dreadnaut : 05-05-2007 alle ore 22.10.45
Magari degli OCR??
il primo risparmio di spazio che mi viene in mente: ovunque, hai link assoluti del tipo
http://www.bastardofuori.altervista.org/files/0.gif. Se li sostituisci con link relativi /files/0.gif magicamente risparmi 39bytes a link... circa 3-4kb a pagina
edit: altra cosa, magari meno importante: filtra via i .rar dalla sitemap - non servono a nulla (google non ci guarda dentro) e appesantiscono il file assai.
Ultima modifica di dreadnaut : 05-05-2007 alle ore 22.18.28
Con i link relativi si risparmierebbe 3-4kb a pagina... Direi che sono un pò pochini no?
Non so se il mio sito viene scaricato, però mi darebbe fastidio, ecco perchè cercavo una protezione...
Ma non esiste già la possibilità di mettere una password quando crei il sito col programma che usi? O sbaglio? O se c'è, serve?
I programmi che scaricano i siti usano lo stesso protocollo dei browser, quindi, se blocchi il tutto con una password, i visitatori dovrebbero avere una password per vedere il sito.
Per bloccare lo scaricamento potresti provare ad utilizzare la variabile $_SERVER['HTTP_USER_AGENT'] del PHP e non fai vedere le pagine a chi ha un user agent uguale a quelli dei programmi scarica-siti.
Mattia vi manda a FunCool - Matriz - Directory Gogol - Sfondo rosso per la Birmania
«Tu mi dai fastidio perché ti credi tanto un Dio!» «Bè, dovrò pur prendere un modello a cui ispirarmi, no?» Woody Allen
un nuovo programma di download siti lo potrebbe scaricare lo stesso...
In pratica non serve a nulla mettere una protezione, tanto se vogliono lo possono sempre scaricare.
Mah... io ho provato e su alcuni siti non mi fa scaricare niente...Originalmente inviato da vincenzoriccio
Sarò io che nn sono buono