Google Site Verifier User Agent: il nuovo (o forse no) crawler

Arriva un nuovo spider in casa Google … 🙂 un nuovo crawler /user agent: il suo nome è  Google Site Verifier User Agent. Questo user agent ignora le regole di robots.txt.

Google ha pubblicato il nuovo user agent qui nella documentazione della guida di Google Crawler.

User agent token Google-Site-Verification
Full user agent string Mozilla/5.0 (compatible; Google-Site-Verification/1.0)