ho installato Wordpress 2.7 nel mio spazio e ho installato allo stesso tempo un plugin che mi genera la mappa del sito in formato xml.
Fatto ciò cerco di andare in google strumenti per webmaster per far indicizzare il sito a partire dalla mia sitemap. Indicata la sitemap però ottengo da google sempre il sito risultato ossia che il robots.txt non è raggiungibile.
Ho fatto varie prove creare un robots.txt io seguendo le giuste regole oppure cancellarlo e fargli prendere quello di wordpress tramite htaccess ma il problema è sempre quello. Se poi vado nella pagina dove consente di fare la verifica del file ottengo proprio l'errore 500 che dovrebbe essere un errore interno del server. In ogni caso se io cerco di accedere al file lo vedo tranquillamente in maniera pulita e con codice 200.
E' possibile che qualche firewall blocchi l'accesso agli spider di google? Qualche problema con IP?