Kris on Nostr: Ein 8B Parameter Modell paßt in 16 GB Speicher, ein 22B Modell nicht. Damit man ...
Ein 8B Parameter Modell paßt in 16 GB Speicher, ein 22B Modell nicht.
Damit man lokal mit solchen Modellen umgehen kann, braucht es mehr lokalen Speicher und in einer Form, die der NPU zugänglich ist.
Bei Intel ist das immer lokales RAM vs VRAM auf der Nvidia, und wenn man mehr als eine GPU im Rechner hat, irgendein Link um die beiden Dinger zusammen zu bringen.
Bei Apple scheint das mit dem lokalen RAM alles unified zu sein.
Damit man lokal mit solchen Modellen umgehen kann, braucht es mehr lokalen Speicher und in einer Form, die der NPU zugänglich ist.
Bei Intel ist das immer lokales RAM vs VRAM auf der Nvidia, und wenn man mehr als eine GPU im Rechner hat, irgendein Link um die beiden Dinger zusammen zu bringen.
Bei Apple scheint das mit dem lokalen RAM alles unified zu sein.