Adam Štrauch on Nostr: V noci jsem naivně stáhnul Llama 3.1 LLM model 405B (230+ GB) s tím, že to ...
V noci jsem naivně stáhnul Llama 3.1 LLM model 405B (230+ GB) s tím, že to zkusím na mém GPU v desktopu. Samozřejmě se to nerozjelo, tak jsem začal zkoumat, co je vlastně potřeba za HW. Tak těch Radon 7900XT GPUček bych potřeboval minimálně 8. Počkám tedy až opadne AI bublina nebo až přijdou nové generace akcelerátorů a ty starší půjdou koupit za nějaké rozumné peníze. Jestli u něčeho v blízké budoucnosti spadne hodnota, tak u tohohle.
Published at
2024-07-31 11:31:18Event JSON
{
"id": "0b459f37b0f3aa0756302dfb671048a5db8b3afb28308c2749b6f6fdf8e25279",
"pubkey": "7eda9418e8949fa51ebe372c67929f80f2a274511f513160a1f8b08ec543c92b",
"created_at": 1722425478,
"kind": 1,
"tags": [
[
"proxy",
"https://mastodonczech.cz/users/bycx/statuses/112880876127889466",
"activitypub"
]
],
"content": "V noci jsem naivně stáhnul Llama 3.1 LLM model 405B (230+ GB) s tím, že to zkusím na mém GPU v desktopu. Samozřejmě se to nerozjelo, tak jsem začal zkoumat, co je vlastně potřeba za HW. Tak těch Radon 7900XT GPUček bych potřeboval minimálně 8. Počkám tedy až opadne AI bublina nebo až přijdou nové generace akcelerátorů a ty starší půjdou koupit za nějaké rozumné peníze. Jestli u něčeho v blízké budoucnosti spadne hodnota, tak u tohohle.",
"sig": "30a3c9346a597f005d375a667545fb353aecb5480ec05066897e5fd7c2fc7ec52a06a0d0393a33ebe870de51ac5b8b8703f343dd8cf6cb524710ef42051c1c5b"
}
