Die wachsenden Energiebedürfnisse der KI kontrollieren

Künstliche Intelligenz (KI) hat in den letzten Jahren enorme Fortschritte gemacht und ist aus vielen Bereichen unseres Lebens nicht mehr wegzudenken. Doch der rasante Aufstieg der KI hat auch seine Schattenseiten: Der Energiebedarf für das Training großer KI-Modelle wächst exponentiell und stellt uns vor gewaltige Herausforderungen. Experten warnen, dass wir an die Grenzen unserer Energiekapazitäten stoßen könnten, wenn wir nicht gegensteuern. In diesem Artikel beleuchten wir die Problematik des steigenden Energiebedarfs von KI-Systemen und zeigen mögliche Lösungsansätze auf.

Der wachsende Energiehunger der KI

Das Training moderner KI-Modelle verschlingt gewaltige Mengen an Energie. Laut einer Schätzung von Forschern der University of California und Google benötigte allein das Training des Sprachmodells GPT-3 etwa 1.300 Megawattstunden – so viel wie 130 amerikanische Haushalte in einem Jahr verbrauchen. Und der Trend geht weiter steil nach oben: Eine Analyse von OpenAI ergab, dass sich der Energiebedarf für KI-Training seit 2012 etwa alle 3,4 Monate verdoppelt hat.

Dieser exponentielle Anstieg ist vor allem darauf zurückzuführen, dass die KI-Modelle immer größer und komplexer werden. Gleichzeitig wächst unsere Energieproduktionskapazität bei weitem nicht in diesem Tempo mit. Menachem Stern vom AMOLF-Forschungsinstitut in den Niederlanden warnt: „Mit dieser Geschwindigkeit laufen wir in Bezug auf die Skalierbarkeit von Machine-Learning-Netzwerken gegen eine Wand.“

Hinzu kommt, dass der hohe Energieverbrauch auch die Klimakrise weiter anheizt. Denn noch immer wird ein Großteil unseres Stroms aus fossilen Energieträgern gewonnen. Die Stromerzeugung ist damit der größte Treiber des Klimawandels. Eine Fortsetzung des aktuellen KI-Booms könnte dieses Problem weiter verschärfen.

Warum KI-Training so energieintensiv ist

Um zu verstehen, warum das Training von KI-Modellen so viel Energie verbraucht, müssen wir einen Blick auf die zugrundeliegende Technologie werfen. Typischerweise werden für das KI-Training spezielle Grafikprozessoren (GPUs) eingesetzt. Diese wurden ursprünglich für die Grafikberechnung entwickelt, eignen sich aber auch hervorragend für die Parallelverarbeitung großer Datenmengen, wie sie beim maschinellen Lernen anfallen.

GPUs können viele Berechnungen gleichzeitig durchführen und sind damit deutlich schneller als herkömmliche Prozessoren (CPUs). Allerdings benötigen sie dafür auch erheblich mehr Energie. Beim Training eines KI-Modells müssen Millionen von Parametern angepasst werden, was komplexe mathematische Operationen erfordert. Je größer und komplexer das Modell, desto mehr Rechenleistung und damit Energie wird benötigt.

Marktführer bei KI-optimierten GPUs ist der Chiphersteller Nvidia. Laut einem Bericht von CB Insights hat Nvidia etwa 95% Marktanteil im Bereich Machine Learning. So wurde beispielsweise ChatGPT auf einem Supercomputer mit 10.000 Nvidia-GPUs trainiert. Diese Dominanz macht deutlich, wie sehr der KI-Boom derzeit von energieintensiver GPU-Technologie abhängt.

Neuromorphe Computer als energieeffiziente Alternative

Angesichts des steigenden Energiebedarfs wird intensiv nach Alternativen zu konventionellen GPUs geforscht. Ein vielversprechender Ansatz sind neuromorphe Computer, die sich am menschlichen Gehirn orientieren. Unser Gehirn kann etwa eine Trillion (10^18) mathematische Operationen pro Sekunde durchführen – und das mit nur 20 Watt Leistungsaufnahme. Zum Vergleich: Einer der leistungsfähigsten Supercomputer des US-Energieministeriums benötigt dafür 20 Megawatt, also etwa eine Million Mal mehr Energie.

Was macht unser Gehirn so energieeffizient? Zum einen nutzt es analoge statt digitaler Signale. Während Computer mit Nullen und Einsen arbeiten, übertragen Neuronen Informationen durch eine Bandbreite von Spannungen. Das spart Energie bei der Signalübertragung. Zum anderen finden im Gehirn Speicherung und Verarbeitung von Informationen am selben Ort statt. In konventionellen Computern hingegen müssen Daten ständig zwischen Speicher und Prozessor hin und her transportiert werden, was viel Energie kostet.

„Wenn sich die Informationen und die Berechnung am gleichen Ort befinden, müssen keine Daten dazwischen hin und her geschickt werden“, erklärt Menachem Stern. „In vielen herkömmlichen Computern macht genau das den Großteil des Energieverbrauchs aus.“

Stern und seine Kollegen von der University of Pennsylvania haben einen Prototyp eines neuromorphen Computers entwickelt. Ihr aktuelles Design ist noch recht groß und enthält nur 32 variable Widerstände als Lernelement. Das Besondere: Das Lernen findet direkt im System statt, während andere Ansätze das Training oft auf herkömmliche Siliziumprozessoren auslagern.

„Unser neuromorpher Computer kann den Energieverbrauch während des Lernens verbessern, nicht nur während der Anwendung“, so Stern. Aktuell ist der Energieverbrauch pro Lernelement noch vergleichbar mit Supercomputern. Die Forscher erwarten aber deutliche Effizienzvorteile bei der Skalierung des Systems.

Optische Computer: Rechnen mit Licht

Eine weitere vielversprechende Technologie sind optische Computer, die Informationen mithilfe von Lichtwellen statt Elektronen übertragen. Auch hier können große Datenmengen parallel verarbeitet werden, allerdings mit einigen Vorteilen: Lichtsignale bewegen sich nahezu mit Lichtgeschwindigkeit und können Daten über ein breites Frequenzspektrum übertragen. Das ermöglicht schnellere Berechnungen. Zudem bewegen sich Photonen (Lichtteilchen) praktisch verlustfrei durch Materialien, während Elektronen auf Widerstand stoßen, was zu Wärmeverlusten führt.

„Photonische Schaltkreise sind von Natur aus sehr energieeffizient“, erklärt Steve Klinger vom Computerhardware-Unternehmen Lightmatter. Rein optische Computer wären in der Theorie deutlich sparsamer als herkömmliche Rechner. Da eine komplette Umstellung der bestehenden Technologie aber sehr aufwändig wäre, arbeitet man derzeit an hybriden Lösungen, die optische Komponenten in Siliziumchips integrieren.

Lightmatter entwickelt zwei Produkte, die sich auf die rechenintensive Verarbeitung mit Licht konzentrieren. Eines davon, Passage, nutzt die Eigenschaften von Licht, um verschiedene Prozessoren effizienter zu verbinden. Dadurch soll die Bandbreite zunächst verzehnfacht und in fünf Jahren verhundertfacht werden. Das zweite Produkt, Envise, soll die mathematischen Matrixmultiplikationen beim KI-Training übernehmen. Durch den Einsatz photonischer Schaltkreise könnte der Energieverbrauch beim Training deutlich reduziert werden.

„Man spart eine Menge Energie, indem man die verfügbare Rechenleistung viel effizienter macht und insgesamt weniger Rechenelemente benötigt, um ein bestimmtes Leistungsniveau zu erreichen“, erläutert Klinger. Lightmatter plant, seine Produkte in Rechenzentren einzusetzen, um die Leistung beim KI-Training zu skalieren.

Effizienzsteigerung bei bestehenden Systemen

Während neue Computertechnologien vielversprechend sind, wird es noch einige Zeit dauern, bis sie entwickelt und breit eingesetzt werden können. In der Zwischenzeit lassen sich auch bestehende Ansätze energieeffizienter gestalten, wie Shaolei Ren von der University of California, Riverside, betont. Da der Energieverbrauch direkt mit den Kosten verknüpft ist, haben Modellentwickler einen Anreiz, den Verbrauch zu senken.

Ein aktueller Trend geht dahin, statt immer größerer Sprachmodelle kleinere, spezialisierte Modelle einzusetzen. Diese können in bestimmten Bereichen sogar bessere Ergebnisse liefern. Microsoft kündigte beispielsweise kürzlich seine Phi-3-Familie kleiner Sprachmodelle an, die einige größere Modelle bei mathematischen, sprachlichen und Programmieraufgaben übertreffen. Solche spezialisierten Modelle benötigen weniger Rechenleistung und Daten zum Training, was den Energieverbrauch deutlich reduzieren kann.

„Die Wahl eines kleineren Modells ist sehr energieeffizient und effektiv, wenn man sich auf bestimmte Bereiche konzentriert“, erklärt Ren. „Wir sehen jetzt viel mehr dieser spezialisierten Modelle als früher.“ Durch die Verkleinerung eines Modells um den Faktor 10 könne der Energieverbrauch sogar um den Faktor 100 gesenkt werden.

Fazit: Energieeffizienz als Schlüssel für nachhaltige KI

Der rasant steigende Energiebedarf von KI-Systemen stellt uns vor große Herausforderungen. Um das enorme Potenzial der Künstlichen Intelligenz in Zukunft nachhaltig nutzen zu können, müssen wir dringend Wege finden, den Energieverbrauch zu reduzieren. Vielversprechende Ansätze wie neuromorphe und optische Computer könnten langfristig für einen Durchbruch sorgen. Kurzfristig gilt es, bestehende Systeme zu optimieren und auf effizientere, spezialisierte Modelle zu setzen.

Die Entwicklung energieeffizienter KI-Technologien wird in den kommenden Jahren eine Schlüsselrolle spielen. Nur wenn es gelingt, den Energiehunger der KI zu zähmen, können wir ihr volles Potenzial ausschöpfen, ohne dabei die Klimaziele aus den Augen zu verlieren. Die Forschung in diesem Bereich voranzutreiben, sollte daher höchste Priorität haben.

Häufig gestellte Fragen