Web3babycat on Nostr: ##ChatGPT 开源平替 OpenChatKit 发布 ChatGPT的开源平替 OpenChatKit ...
##ChatGPT 开源平替 OpenChatKit 发布
ChatGPT的开源平替 OpenChatKit 来了,源代码、模型权重和训练数据集全部公开,由前OpenAI研究员共同打造。
据悉,OpenChatKit一共包含200亿参数,在EleutherAI的GPT-NeoX-20B(GPT-3开源替代品)上进行了微调,还可以连接其它API或数据源进行检索等等。GitHub刚刚上线,就已经获得了800+标星。
OpenChatKit 一共包含4个基本组件:
1、一个指令调优的大型语言模型。
用 EleutherAI 的 GPT-NoX-20B 对聊天功能进行了微调,后者在carbon-negative计算上具有4300万条指令。
调整重点是多轮对话、问答、分类、提取和摘要等几个任务。
2、定制配方(recipe)。
用来帮助微调模型使其能够为特定任务提供高精度的结果,只需要准备自己的数据集。
3、一个可扩展的检索系统。
可以让你在推理时从文档存储库、API或其他实时更新信息源添加信息。
4、一个由GPT-JT-6B微调而成的调节模型(moderation model)。可以过滤模型对一些问题的响应。
这样的 OpenChatKit 可以为各种应用程序创建专用和通用的聊天机器人。
OpenChatKit的归属单位叫Together。这是一家去年7月才成立的创业公司,专门为AI行业做去中心化的云服务。CEO是Vipul Ved Prakash,他曾在苹果做了5年高级总监。
ChatGPT的开源平替 OpenChatKit 来了,源代码、模型权重和训练数据集全部公开,由前OpenAI研究员共同打造。
据悉,OpenChatKit一共包含200亿参数,在EleutherAI的GPT-NeoX-20B(GPT-3开源替代品)上进行了微调,还可以连接其它API或数据源进行检索等等。GitHub刚刚上线,就已经获得了800+标星。
OpenChatKit 一共包含4个基本组件:
1、一个指令调优的大型语言模型。
用 EleutherAI 的 GPT-NoX-20B 对聊天功能进行了微调,后者在carbon-negative计算上具有4300万条指令。
调整重点是多轮对话、问答、分类、提取和摘要等几个任务。
2、定制配方(recipe)。
用来帮助微调模型使其能够为特定任务提供高精度的结果,只需要准备自己的数据集。
3、一个可扩展的检索系统。
可以让你在推理时从文档存储库、API或其他实时更新信息源添加信息。
4、一个由GPT-JT-6B微调而成的调节模型(moderation model)。可以过滤模型对一些问题的响应。
这样的 OpenChatKit 可以为各种应用程序创建专用和通用的聊天机器人。
OpenChatKit的归属单位叫Together。这是一家去年7月才成立的创业公司,专门为AI行业做去中心化的云服务。CEO是Vipul Ved Prakash,他曾在苹果做了5年高级总监。