Kris on Nostr: Das sind 120*320 = 38400 Wattsekunden auf der Nvidia, und 120*45 Wattsekunden auf dem ...

Das sind 120*320 = 38400 Wattsekunden auf der Nvidia, und 120*45 Wattsekunden auf dem Mini.

In kWh sind es 0.0015 kWh auf dem Mac und 0.010 kWh auf der Nvidia. Das sind mikroskopische Mehrverbräuche.

Es gibt jede Menge Dinge, die man an LLMs kritisieren kann – Sourcing der Daten, Bias, Zuverlässigkeit, Energieverbrauch vom TRAINING.

Aber INFERENZ, also das LLM zu verwenden, ist es nicht.