Roelant on Nostr: Eerder schreef ik dat ik AI-crawlers blokkeer en waarom. Daarin stond ook een ...
Eerder schreef ik dat ik AI-crawlers blokkeer en waarom. Daarin stond ook een aanbeveling om ze niet alleen op je robots.txt te vertrouwen, maar ze ook in je firewall te blokkeren.
Je kunt wel nagaan hoe "verbaasd" ik was toen bleek dat er toch nog crawlers door de firewall geblokkeerd werden. 😉
https://roelant.net/2024/ik-blokkeer-ai-crawlers-deel-2/#AI #blog
Published at
2024-04-09 15:17:21Event JSON
{
"id": "ff4da3616458f635297dd0c57918d12c23178102085890df914edce3f37b145b",
"pubkey": "73d4d4c04795df1b3fdac5268d07199bf9ab5c9482c1d96d5b1d04354c03845d",
"created_at": 1712675841,
"kind": 1,
"tags": [
[
"t",
"ai"
],
[
"t",
"blog"
],
[
"proxy",
"https://mastodon.social/users/Roelant/statuses/112241923961739590",
"activitypub"
]
],
"content": "Eerder schreef ik dat ik AI-crawlers blokkeer en waarom. Daarin stond ook een aanbeveling om ze niet alleen op je robots.txt te vertrouwen, maar ze ook in je firewall te blokkeren. \n\nJe kunt wel nagaan hoe \"verbaasd\" ik was toen bleek dat er toch nog crawlers door de firewall geblokkeerd werden. 😉\n\nhttps://roelant.net/2024/ik-blokkeer-ai-crawlers-deel-2/\n\n#AI #blog",
"sig": "a9b919c0f35754f9187f586a405940eea5cb7abd43c031d79722223e0d00163a5fa78f3b94fbb4625b3dc6589dab32cd8f962ac45081a87709936faffb48c964"
}
