Falk Stern on Nostr: npub1slyc6…ut8j7 Ach, der richtige Energiefresser ist AI und alles was GPUs nutzt. ...
npub1slyc6w2fy6t7sk7e5caxclu2dn629l35n4tkjyxzrqndkpq86x2sfut8j7 (npub1sly…t8j7) Ach, der richtige Energiefresser ist AI und alles was GPUs nutzt.
So ein Eimer mit 8 großen A100/H100 drin hätte gerne knappe 10kW. Davon kriegst du 4 in ein Rack, dann kommt noch das Infiniband Geraffel für den Interconnect dazu, dann bist du bei nem 64 Knoten Cluster mit 512 GPUs mal eben bei nem Megawatt.
Das sind lustige Probleme, wenn man dafür ein RZ sucht. „Wir brauchen 50kW pro Rack“ - „Äh, wir haben unsere Infra auf 6kW pro Rack ausgelegt?“
So ein Eimer mit 8 großen A100/H100 drin hätte gerne knappe 10kW. Davon kriegst du 4 in ein Rack, dann kommt noch das Infiniband Geraffel für den Interconnect dazu, dann bist du bei nem 64 Knoten Cluster mit 512 GPUs mal eben bei nem Megawatt.
Das sind lustige Probleme, wenn man dafür ein RZ sucht. „Wir brauchen 50kW pro Rack“ - „Äh, wir haben unsere Infra auf 6kW pro Rack ausgelegt?“