Sito lento in caricamento

Ho un sito in wordpress ed ho attivato il servizio di cloudflare, tuttavia il sito risulta molto lento nel primissimo caricamento (credo sia il time to first byte).
Ho visto altri siti sempre su altervista+cloudflare che caricano moolto più rapidamente e non penso sia un problema di plugin perchè al momento ce ne sono pochi attivi.
Ho provato anche a settare cloudflare abbassando il livello di protezione al minimo ma non cambia nulla.
Per caso va utilizzato w3 total cache con cloudflare?

inserisco qualche dato: la prima volta che provo a caricare il mio sito la mattina arrivo anche a
Time total (sec): 27,327
se riprovo subito dopo
Time total (sec): 0,608

questo mi fa pensare che funzioni correttamente il caching, ma qualcos'altro non quadri.

grazie!

[karl94]

Quale sarebbe il sito in questione?