-
Frage gestellt neck22nun am 14 Jun 2023.
-
Christian Gawron Beantwortet am 14 Jun 2023:
Soweit man den Quellen, die ich dazu kenne, vertrauen kann, benutzt OpenAI eine große Zahl (~10.000) von NVIDIA A100 GPUs. Diese Kosten ca. 10.000 € pro Stück.
Zum Vergleich: In unserer Fachhochschule sind wir stolz, 8 A100 GPUs für unsere Praktika im Bereich KI zu haben.Die hohen Hardwarekosten sind ein wichtiger Grund, warum die Privatwirtschaft die Universitäten bei der KI-Forschung abgehängt haben.
-
-
Karsten Weber Beantwortet am 14 Jun 2023:
Wie Christian bereits geschrieben hat, werden häufig spezielle KI-Prozessoren genutzt, um KI-Systeme zu betreiben. Ein anderer Weg wären Computercluster aus handelsüblichen oder auch um KI-Hardwarekomponenten erweiterten PCs. Allerdings ist das eine energetisch meist ineffiziente Variante (man braucht als mehr Strom) im vergleich zu spezieller KI-Hardware. Der Stromverbrauch von Computern wird zunehmend wichtiger (Stichwort Klimawandel): Um ChatGPT-3 zu trainieren, wurde Energie verbraucht, die über 500 Tonnen Co2-Äquivalente darstellen. Das ist eine ganze Menge.
-
Timo Baumann Beantwortet am 14 Jun 2023:
wichtig ist auch der Hinweis, dass OpenAI ein Startup ist. Da ist Time-to-Market im Zweifel wichtiger als die kostengünstigste Lösung. Deshalb mieten sie die Rechenleistung just-in-time anstatt vorab die Computer selbst zu kaufen.
Mittlerweile ist ChatGPT ja trainiert und die Anfragen an ChatGPT haben ganz andere Anforderungen an die Computer-Hardware als das Training: sehr viele gleichzeitige Anfragen von überall. Wohingegen das Training weniger parallelisiert besser funktioniert. Soweit ich weiß, hat OpenAI auch für das Training die Cloud benutzt — laut Listenpreisen soll jedes einmalige Training 31Mio$ gekostet haben. Natürlich bekommt man dann einen Rabatt. Man kann bei solchen KI-Experimenten damit rechnen, dass nichts auf Anhieb funktioniert, sodass man mit einmal Trainieren gerade in der Ausprobierphase nicht ausgekommen sein wird…
Die ChatGPT-Webseite läuft in der Microsoft Cloud (Azure), das heißt es handelt sich nicht um einen Computer oder ein Rechenzentrum, auf dem es läuft, sondern es gibt viele Kopien in vielen Microsoft-Rechenzentren rund um den Globus und Deine Anfrage wird je nach Auslastung (und Nähe) an eine passende Kopie weitergeleitet. Das ist ähnlich wie bei Google-Suchanfragen oder bei Facebook (oder zum Beispiel Spotify, um ein Nicht-Webseiten-Beispiel zu nennen).
Ja, KI braucht viel Strom und das erzeugt CO2. Allerdings: man kann die Auslastung der Rechenressourcen so steuern, dass man möglichst sauberen Strom benutzt (zum Beispiel wenn in der Wüste die Sonne scheint das dortige Rechenzentrum nutzen; Training der Modelle bevorzugt übers Wochenende wenn der sonstige Energiebedarf niedriger ist). Die Wahrheit ist aber auch, dass es in den Tech-Firmen niemanden interessiert, wieviel Strom verballert wird…
Umgekehrt helfen KI und Digitalisierung auch, seeeeehr viel CO2 einzusparen. Durch die Pandemie haben wir uns alle ans Zoomen gewöhnt. Früher sind Manager selbstverständlich für ein einstündiges Gespräch durch die halbe Republik geflogen. Und für ein wichtiges Gespräch auch über den Atlantik. Ich habe auf wissenschaftlichen Konferenzen Leute getroffen, die nur für ihre 30 Minuten Vortrag (plus anschließende Kaffeepause ;-)) um die halbe Welt gejettet sind. Mittlerweile ist es ganz normal, dass man sich auf einer wissenschaftlichen Konferenz per Video zuschaltet, auch um einen Vortrag zu halten. Ein Flugzeug über den Atlantik sind auch 500t CO2.
Übrigens hat gerade eine KI (basierend auf AlphaGo, benannt nach dem Brettspiel) eine effizientere Lösung gefunden um Listen zu sortieren. Weil *sehr viele* Geräte *sehr viele* Listen sortieren, ist die Ersparnis dadurch auf lange Sicht immens.
Kommentare