向阳乔木 on Nostr: ...
李沐估计没少看玄幻小说，这个对大语言模型原理的解释类比太好玩了。
“我说机器学习像是老中医，深度学习可能跟玄幻小说的炼丹有点像。
所以你看现在的语言模型就很像炼丹，你要把一些材料放进一个丹炉里面，然后有个丹方去把它炼出来。
那么数据就是你要找的材料。
你看那些小说里面，主角大部分时间都在找材料，包括去深山里面找、去拍卖会上买，所以搞数据是很难的事情，是个体力活。
但是你必须得有这些数据，而且要多弄一些，因为你不知道到时候会不会毁掉一些。
算力也很重要，就是说火要大一点，设备要先进一点，因为越好的设备炼出来的东西越好。
算法就是你的丹方了。
丹方这个东西可能跟小说不一样。
它每年都在进步，而且对于细节的把控非常重要。
就算别人告诉过你这个东西怎么弄，但在真实的场景里面，你会发现还是挺不一样的。
这就有点像你去徒手发射火箭，发之前你要动手调一调，没调好的话就炸掉了。”
原文地址：https://t.co/YCdpN0hYv1
“我说机器学习像是老中医，深度学习可能跟玄幻小说的炼丹有点像。
所以你看现在的语言模型就很像炼丹，你要把一些材料放进一个丹炉里面，然后有个丹方去把它炼出来。
那么数据就是你要找的材料。
你看那些小说里面，主角大部分时间都在找材料，包括去深山里面找、去拍卖会上买，所以搞数据是很难的事情，是个体力活。
但是你必须得有这些数据，而且要多弄一些，因为你不知道到时候会不会毁掉一些。
算力也很重要，就是说火要大一点，设备要先进一点，因为越好的设备炼出来的东西越好。
算法就是你的丹方了。
丹方这个东西可能跟小说不一样。
它每年都在进步，而且对于细节的把控非常重要。
就算别人告诉过你这个东西怎么弄，但在真实的场景里面，你会发现还是挺不一样的。
这就有点像你去徒手发射火箭，发之前你要动手调一调，没调好的话就炸掉了。”
原文地址：https://t.co/YCdpN0hYv1