海马 on Nostr: 中文语料库真是厉害了。 ...

中文语料库真是厉害了。
有人打印出chatgpt-4o的分词表最长字符串中文token，前十是这些

https://gist.github.com/ctlllll/4451e94f3b2ca415515f3ee369c8c374

185118 _日本毛片免费视频观看
116852 中国福利彩票天天
128031 久久免费热在线精品
154809 无码不卡高清免费v
172750 大发快三大小单双
177431 给主人留下些什么吧
181679 qq的天天中彩票
184969 _日本一级特黄大片
187822 大发快三开奖结果
49649 彩神争霸邀请码