nostr_cn_dev on Nostr: 目前看 google的爬虫很温和， ...
目前看 google的爬虫很温和， 间隔时间长。估计是要分析内容决定下一个爬什么。 claudebot 非常粗暴，只要是链接就干。他们遵守我的规则 爬虫间隔时间是3秒。基本是3-5秒爬一次。
Published at
2025-01-17 07:59:43Event JSON
{
"id": "e53bafe9cd65b754403134f43183ea8095f48163485db4e8e49c42639b9c822d",
"pubkey": "fd06f542bc6c06a39881810de917e6c5d277dfb51689a568ad7b7a548d6d54cd",
"created_at": 1737100783,
"kind": 1,
"tags": [
[
"e",
"d76e061defb898707561edd4c185a3a7b13d9fc7ddae93be9c07179fb363e28f",
"",
"root"
],
[
"p",
"fd06f542bc6c06a39881810de917e6c5d277dfb51689a568ad7b7a548d6d54cd"
]
],
"content": "目前看 google的爬虫很温和， 间隔时间长。估计是要分析内容决定下一个爬什么。 claudebot 非常粗暴，只要是链接就干。他们遵守我的规则 爬虫间隔时间是3秒。基本是3-5秒爬一次。\n",
"sig": "bcc3b0c43bd08d06c6e6d2c4fd1a79b75447effe2aba419bd3669bb6bf59a6de51b3822a56a6bde8850fdf4be21820e52d743221c4b60eb087a2a8745695b0aa"
}
