Intanto prova ad aggiungere questo snippet al tuo file .htaccess che trovi nella root del tuo spazio sul server.
Codice:
# BLOCK USER AGENTS
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} spbot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} DigExt [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Sogou [NC,OR]
RewriteCond %{HTTP_USER_AGENT} MJ12 [NC,OR]
RewriteCond %{HTTP_USER_AGENT} majestic12 [NC,OR]
RewriteCond %{HTTP_USER_AGENT} 80legs [NC,OR]
RewriteCond %{HTTP_USER_AGENT} SISTRIX [NC,OR]
RewriteCond %{HTTP_USER_AGENT} HTTrack [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Semrush [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Ezooms [NC,OR]
RewriteCond %{HTTP_USER_AGENT} CCBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} TalkTalk [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Ahrefs [NC]
RewriteRule !^robots\.txt$ - [F]
# BLOCK BLANK USER AGENTS
RewriteCond %{HTTP_USER_AGENT} ^-?$
Questo terrà lontani alcuni dei più noti crawler rompiscatole e ruba-banda (puoi tranquillamente cercarli su google e vederli, specialmente Ahrefs-http://hotpot.se/robots_txt_bots_bad.htm anche se quel che ti ho scritto io lo blocca in maniera MOLTO più efficace). Riguardo agli spambot dunque si chiamano spambot quelli che si registrano per esempio ad un forum e spammano post a manetta, diversamente sono crawler maligni come quelli che ti ho appena suggerito di escludere. Non vi è un rimedio contro gli spambot via .htaccess (senonchè bannarli tramite IP, cosa che però è sconsigliabile, ma se vuoi un paio di IP statici da bannare posso fornirtene alcuni), vi è però un rimedio dipendente da quello che hai sul sito. Mi spiego, se tu hai che so un forum come me puoi utilizzare delle contromisure anti-spam sviluppate internamente al software, senza dover agire dal server con l'.htaccess
Spero di esserti stato di aiuto :)