nostr_cndev on Nostr: claude 确实从 https://www.duozhutuan.com ...
claude 确实从
https://www.duozhutuan.com 获取了不少nostr社区的内容,openai,google,facebook也都爬取了一些。但是内容少。nostr社区如果持续产生高质量内容,将会是 ai主要爬去对象。
要想了解nostr群体,获取nostr社区内容是比不可少的。
https://www.duozhutuan.com 如何展现这些内容也是一个课题。
目前看 google的爬虫很温和, 间隔时间长。估计是要分析内容决定下一个爬什么。 claudebot 非常粗暴,只要是链接就干。他们遵守我的规则 爬虫间隔时间是3秒。基本是3-5秒爬一次。
Published at
2025-01-18 02:06:19Event JSON
{
"id": "6d62e42742352bc913ce598b22f8f59c2fa36bf76dfc982747be2cc3b985dc50",
"pubkey": "62033ff8b1d6b0ce95ab255fa1b36ef01c43ca52d4b2a09097c3af59e4471203",
"created_at": 1737165979,
"kind": 1,
"tags": [
[
"client",
"Yakihonne",
"31990:20986fb83e775d96d188ca5c9df10ce6d613e0eb7e5768a0f0b12b37cdac21b3:1700732875747"
],
[
"q",
"e53bafe9cd65b754403134f43183ea8095f48163485db4e8e49c42639b9c822d"
],
[
"p",
"fd06f542bc6c06a39881810de917e6c5d277dfb51689a568ad7b7a548d6d54cd"
]
],
"content": "claude 确实从 https://www.duozhutuan.com 获取了不少nostr社区的内容,openai,google,facebook也都爬取了一些。但是内容少。nostr社区如果持续产生高质量内容,将会是 ai主要爬去对象。\n\n要想了解nostr群体,获取nostr社区内容是比不可少的。\nhttps://www.duozhutuan.com 如何展现这些内容也是一个课题。 nostr:nevent1qgs06ph4g27xcp4rnzqczr0fzlnvt5nhm763dzd9dzkhk7j534k4fngqyrjnhtlfe4jmw4zqxy60gvvra2qftaypvdy9md8gujwyycumnjpz695gp5w",
"sig": "5d7c0cf153d0484eaec32d3985a3f2f4aa72f237f3519e5499fecd8c8a4d6713d9a35f381a0963cd410e3f2adfdc1fdecfefdf498afe65530c72d522e2446e7b"
}