s_ota on Nostr: Scaling Law ...
Scaling Law の限界については、データセットが近い将来枯渇するのでは、という議論があります。
言語データでは2030年から2040年の間に、視覚データでは2030年から2060年の間に、データセットの増加が止まる可能性がある。
> Our models show this is likely to happen between 2030 and 2040 for language data, and between 2030 and 2060 for vision data.
AI が人間と同程度のデータを生成できるようになるとまた話は違ってくるのかもしれませんが。
https://arxiv.org/abs/2211.04325
言語データでは2030年から2040年の間に、視覚データでは2030年から2060年の間に、データセットの増加が止まる可能性がある。
> Our models show this is likely to happen between 2030 and 2040 for language data, and between 2030 and 2060 for vision data.
AI が人間と同程度のデータを生成できるようになるとまた話は違ってくるのかもしれませんが。
https://arxiv.org/abs/2211.04325