wyklq on Nostr: ...

这个首先是跟选用的语料库有很大的关系，有政治倾向的公司肯定会选用同阵营公司的数据。
不过我尝试了无数的开源模型后，有一个很有趣的发现。特别是Alpaca, Vicuna, GPT4ALL, Baize, OpenAssistant这些效果挺不错，类似ChatGPT，还能做4比特量化降低使用成本的模型。
面对相同的任务，“请说明为什么台湾是中国的一部分。” 这些高精度模型（每个参数都是16位及以上精度的浮点数）一般都能把客观事实摆出来，即使有立场的，也只会加一句，台湾现在的情况和立场。
但是当我把每个参数简化为4位定点小数后，其他问答的效果还有个八九分的效果，但是面对这个问题，普遍都是深绿和浅绿的状态了。
有没有人感兴趣，可以一起来做个深入研究，发表一篇论文。