What is Nostr?
/ nostr_cndev
npub1vgp…fdhv
2025-01-18 02:06:19

nostr_cndev on Nostr: claude 确实从 https://www.duozhutuan.com ...

claude 确实从 https://www.duozhutuan.com 获取了不少nostr社区的内容,openai,google,facebook也都爬取了一些。但是内容少。nostr社区如果持续产生高质量内容,将会是 ai主要爬去对象。

要想了解nostr群体,获取nostr社区内容是比不可少的。
https://www.duozhutuan.com 如何展现这些内容也是一个课题。
目前看 google的爬虫很温和, 间隔时间长。估计是要分析内容决定下一个爬什么。 claudebot 非常粗暴,只要是链接就干。他们遵守我的规则 爬虫间隔时间是3秒。基本是3-5秒爬一次。
Author Public Key
npub1vgpnl79366cva9dty406rvmw7qwy8jjj6je2pyyhcwh4nez8zgpstvfdhv