Arriva un nuovo spider in casa Google … 🙂 un nuovo crawler /user agent: il suo nome è  Google Site Verifier User Agent. Questo user agent ignora le regole di robots.txt.
Google ha pubblicato il nuovo user agent qui nella documentazione della guida di Google Crawler.
| User agent token | Google-Site-Verification |
| Full user agent string | Mozilla/ |
New Google crawler named Google Site Verifier – say hello to this new spider that does not obey the robots.txt rules https://t.co/wycnB13Lm9 pic.twitter.com/dnZ2LaR7SD
— Barry Schwartz (@rustybrick) September 20, 2022
