Conteggio banda

Ho un problema con la banda. Solitamente non avevo problemi ad arrivare a fine mese, gestendo in maniera ottimale i downloads; quando mi trovavo in difficoltà bloccavo i downloads e la banda mi saliva al più dello 0,1%.
Questo mese invece sale vertiginosamente nonostante io abbia bloccato i downloads. Per paura di links esterni ho fisicamente rimosso i files dal server.
C'è la possibilità di controllare se è tutto regolare o comunque il modo di indagare su questo enorme consumo di banda non giustificato? Perché non so più cosa fare oltre a levare tutti i files da scaricare.

fft.altervista.org

[heracleum]

quando mi trovavo in difficoltà bloccavo i downloads e la banda mi saliva al più dello 0,1%.

+0,1% ogni giorno, giusto?

Beh c'è un altro thread -ripreso- dove si nota un aumento "ingiustificato" di banda mensile, per di più diciamo che ci sono anche accuse di "taroccamento" da parte di AV sulla banda.
Lì ho risposto che probabilmente il tutto è solo dovuto all'indicizzazione delle sue immagini su Google Images, che potrebbe appunto avvenire tutta d'un tratto e generare parecchio leech (anche da chi ingenuamente non sa di farne).
Anche tu sottolinei lo stesso fenomeno...
non saprei:
- è anche vero che entrambi avete un sito con immagini da quel che parrebbe;
- ma, come non molto fa è successo per il conteggio delle sponsorizzazioni, è anche vero che potrebbe esserci (forse ma forse) un bug sul conteggio di banda.
Direi che solo Gianluca può rispondere con certezze, dunque è inutile che chiacchiero oltre.

Ok, ti ringrazio e aspetto una soluzione o anche un suggerimento da Gianluca, perché se senza files consumo 1Gb al giorno per colpa di Google non so proprio come uscirne.

[heracleum]

Mi ero dimenticato di linkarti l'altra discussione:
http://forum.altervista.org/showpost...8&postcount=49
alla quale ora ha risposto Gianluca.
Al di là del rispondere ad alcune accuse infondate, mi sembra di aver dedotto che non è stata apportata alcuna modifica (dunque niente bug) al conteggio di banda che è sempre stato lo stesso.

Dunque direi che alcune impennate improvvise di banda possano dipendere da Google Images, il quale ti ha indicizzato "per benino", se fai questa query:
http://images.google.it/images?q=sit...rca+con+Google
noterai che hai ben 886 immagini indicizzate su google-images.

Non so invece spiegarmi come è possibile consumare 1GB al giorno togliendo i files, non saprei proprio.

[Gianluca]

fft:

ho fatto un controllo approfondito sui vari sistemi per il tracciamento del traffico (alla luce anche dell'altra "segnalazione" di cui parla heracleum) ma mi sembra tutto in ordine.
Prima dell'Estate era stato trovato un baco, a favore degli utenti come quello relativo alle sponsorizzazioni, che non sommava al conteggio del traffico i download parziali dei files.
Dal momento che la cosa era stata sistemata tempo addietro e che comunque l'incidenza dei downloads parziali è bassa non ho ragione di pensare che questo possa influire sul tuo problema, sarei invece più propenso a prendere in considerazione la teoria di heracleum.

Il suggerimento che ti posso dare, forse banale, è quello di suddividere il tuo sito in sezioni, tenere a fianco di un'area di pubblico accesso anche delle aree a cui possano accedere ad esempio solo gli iscritti al sito, questo da una parte ti può aiutare a monitorare il traffico meglio e allo stesso tempo non espone le tue immagini (e i loro url) direttamente al pubblico.

Ok, vi ringrazio ancora per le risposte; personalmente vorrei mantenere il sito libero a tutti in tutte le sue sezioni. Cercando su Google ho trovato questo:

Rimozione di un'immagine dalla Ricerca immagini di Google


La richiesta di rimozione di un'immagine dall'indice delle immagini di Google, deve pervenire dal Webmaster del sito. Per effettuare questa operazione, è necessario chiedere al Webmaster di aggiungere il file robots.txt nella directory principale del server (se non è possibile effettuare questa operazione, installare il file a livello di directory).

Esempio: se il sito è www.yoursite.com/images/dogs.jpg e si desidera escludere dall'archivio delle immagini l'immagine dogs.jpg presente sul sito, è sufficiente creare una pagina denominata www.yoursite.com/robots.txt ed inserire le seguenti istruzioni:

User-Agent: Googlebot-Image
Disallow: /images/dogs.jpg
Per rimuovere tutte le immagini del sito dall'indice, installare il seguente file robots.txt nella directory principale del server:

User-Agent: Googlebot-Image
Disallow: /
Dopo che il Webmaster ha aggiunto il file, inviare un messaggio a googlebot@google.com indicando la modifica e la posizione del file. L'immagine verrà rimossa entro 48 ore. Per ulteriori informazioni sui file robots.txt e sul loro uso, consultare la pagina Web http://www.google.com/webmasters/3.html#B3.

Dovrebbe funzionare, no?

[Gianluca]

Senz'altro può essere utile, io comunque rifletterei anche sulla seconda soluzione che ti ho proposto.

Però c'è qualcosa che non mi quadra; ho visto il funzionamento dell'indicizzazione delle immagini di google e link esterni non ce ne sono; i thumbnail vengono comunque salvati su google e quindi non consumano banda; se poi uno ci clicca sopra allora accede alla mia pagina ma dal phpstats pro non noto nulla di anomalo, nel senso che gli accessi continuano ad essere quelli di sempre, sui 1000 al giorno.
Come posso consumare 1Gb al giorno in questa situazione? Non sono sicuro che il problema sia legato a Google.

[Gianluca]

Sei sicuro che link esterni non ce ne siano? Fai un esperimento, avverti i tuoi utenti e blocca l'accesso per qualche giorno alle cartelle che contengono le immagini più viste e vedi se il traffico continua ad aumentare.
Come ti dicevo lato server non ho riscontrato alcun problema, a parte la questione dei downloads parziali, che comunque non dovrebbe aver alcuna influenza sul tuo problema, non sono state fatte altre modifiche.

[makpaolo]

vero che l'anteprima è salvata da google, ma se clicco sull'immagine google la mostra dal tuo sito

http://images.google.it/imgres?imgur...DUTF-8%26sa%3D

, erciò usa la tua banda.
Dovresti provare a guardare in php-stat -> generale -> dettagli visitatori e vedere ( mi pare lo faccia) le visite dirette ad immagini ( sarà una lista molto lunga da spulciare però).

altro controllo in ->motori ->query ai motori

[gve]

Non credo php-stats possa monitorare i link diretti alle immagini.
Non lo ho mai usato, ma so che e` fatto in php + MySQL + javascript. Come fa a controllare l'accesso diretto alle immagini? A quel che ne so non e` possibile per questi linguaggi controllare un oggetto del server senza che venga richiamata dal browser una risorsa che li utilizzi, come una pagina php: la chiamata diretta a un'immagine non lancia nessuno script, quindi la cosa e` fuori dal controlo di php-stats e non rientra nelle statistiche di utilizzo del sito.
Cio` spiegherebbe anche perche` non ti tornano i conti.

Questo in base alle mie conoscenza, se qualcuno sa che e` altrimenti ben venga; in tal modo, se la cosa fosse possibile, potremmo anche lavorare per farci un filtro anti-leech da applicare quando ci serve, credo. Ma temo di aver ragione.

Intanto per evitare il bloccaggio del sito ho messo la password dal pannello di AV per le cartelle e ho sostituito la home con una che dà accesso solo al forum. Ho fatto così solamente perché come webmaster sono terra terra, spero di non infrangere la regola del 70% del sito aperto a tutti visto che non so come risolvere il problema diversamente. In questo modo dovunque siano le mie immagini ora dovrebbero vedersi delle belle x rosse, giusto?
Quanto al discorso di phpstats sicuramente hai ragione, nel senso che mostra solo gli accessi alle mie pagine, e sinceramente non noto anomalie. Se non ho capito male la cosa più probabile è che grazie all'indicizzazione di google le mie immagini siano diventate popolari e che qualcuno ne abbia approfittato inserendole in qualche luogo molto frequentato del quale ignoro l'esistenza. Giusto?

Grazie ancora a tutti per i consigli.

[heracleum]

Se non ho capito male la cosa più probabile è che grazie all'indicizzazione di google le mie immagini siano diventate popolari e che qualcuno ne abbia approfittato inserendole in qualche luogo molto frequentato del quale ignoro l'esistenza. Giusto?

Esatto.
Cioè quasi 900 (uno sproposito! ottoperuna -per dire- ne ha appena un centinaio) delle tue immagini sono indicizzate e comunque google prima di mostrare l'immagine reale del tuo spazio, mostra un FRAMESET dove sopra c'è il link alla tua img e sotto il tuo sito:
buona norma, così anche se ti espone ad eventuali utilizzi della tua img almeno mostra completamente la tua pagina, dunque conta come visita vera e propria.

Tu dici però che le visite non sono aumentate tutto questo granché ma è anche vero che bastano 10 visite (irrilevanti) di cui 5 -per sfiga- saranno leecher (magari non rendendosene neanche conto) e metteranno le IMG esposte al pubblico direttamente col tuo link in SRC ed ecco che purtroppo la banda cresce a causa delle visite alle pagine dove le img sono esposte ma le visite poco.
Metti già una sola settimana con questo ritmo e puoi immaginarti come il fenomeno cresce esponenzialmente.