Post Tenebras Lire on Nostr: Bloggers une nouvelle entrée pour votre robots.txt User-agent: Google-Extended ...

Bloggers une nouvelle entrée pour votre robots.txt

User-agent: Google-Extended
Disallow: /

Google-Extended c'est le bot de Google pour ramasser du contenu pour Bard ....

source :
https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers

merci npub1jtrf4ha0xglrgghps4ahv36s5mywadtntfrrnzg05p3693kmh84sd6faxg (npub1jtr…faxg) pour ton pouet

#AI