Von der Verwaltung einzelner Geräte zur Koordination ganzer Systeme: KI-Rechenzentren brauchen neue Betriebskonzepte

(Auszug aus der Pressemitteilung)

KI verändert die IT-Infrastruktur und den Betrieb von Rechenzentren. Die zentrale Herausforderung besteht nicht mehr darin, einfach nur mehr Server, mehr Racks oder mehr umgebende IT-Ausrüstung zu verwalten. Vielmehr geht es um die Koordination eng miteinander vernetzter ganzer IT-Systeme. Laut dem AIDC (AI Data Center) -Experten KAYTUS, hat sich der operative Schwerpunkt von KI-Rechenzentren von der „Verwaltung von mehr Ausrüstung“ hin zur „Koordination komplexerer Systeme“ verlagert. Entsprechend stellt der IT-Infrastrukturanbieter eine Kombination aus drei umsetzbaren Strategien zum sicheren Betrieb der IT-Infrastruktur von KI-Rechenzentren der nächsten Generation vor.

Moderne KI-Infrastrukturen vereinen GPU-Cluster, Hochgeschwindigkeitsverbindungen, Speicher, Stromverteilung, Flüssigkeitskühlung, Umgebungssysteme und Workload-Planung in einer stark vernetzten IT-Architektur. In Rack-basierten KI-Systemen funktionieren die Komponenten für Rechenleistung, Netzwerk, Stromversorgung, Kühlung und Verwaltung nicht mehr als voneinander isolierte Einheiten. Sie agieren als Teile eines einzigen komplexen Systems.

Dieser Wandel ist bereits in den neuesten KI-Infrastrukturdesigns erkennbar. So verbindet die flüssigkeitsgekühlte Rack-Scale-KI-Plattform [1]NVIDIA GB200 NVL72 beispielsweise in ihrem Design 36 Grace-CPUs und 72 Blackwell-GPUs, die über eine NVLink-Domäne als ein einziges großes GPU-System funktionieren. Darüber hinaus integriert NVIDIA in seinem DGX GB System Rechen-Trays, NVLink-Switch-Trays, Management-Switches, Power-Shelves, Sammelschienen und Flüssigkeitskühlverteiler innerhalb des Rack-Systems. Diese IT-Architekturen zeigen, dass sich der Betrieb von KI-Rechenzentren von der Überwachung einzelner Geräte hin zu einer Koordination auf Systemebene entwickelt.

Aus diesem Grund ist ein unterbrechungsfreier Betrieb für KI-Rechenzentren mittlerweile geschäftskritisch geworden. Eine Störung der Kühlung kann die Stabilität der Stromversorgung beeinträchtigen. Ein Stromausfall kann die Migration von Workloads oder das Herunterfahren des Systems auslösen. Netzwerküberlastung kann verteilte Trainings- oder Inferenz-Jobs verzögern. Begrenzte Transparenz über Subsysteme hinweg kann dazu führen, dass sich ein lokales Problem zu einem Risiko auf Serviceebene entwickelt.

Ein realer Cloud-Vorfall veranschaulicht diese Abhängigkeitskette. Beim Vorfall in der Google Cloud-Region „europe-west9“ drang Wasser aus einer undichten Leitung des Kühlsystems in einen Stromverteiler-Raum ein, führte zu einem Brand und erforderte die Stromabschaltung eines gesamten Rechenzentrumsgebäudes für mehrere Stunden. [2]Der Vorfall wirkte sich daraufhin auf mehrere regionale Anbieter und die von der Steuerungsebene abhängige IT-Infrastruktur (Control Plane Dependencies) aus. Die Lehre daraus ist klar: Risiken in Rechenzentren beschränken sich nicht auf eine einzige Gerätekategorie. Sie können sich über Kühl-, Stromversorgungs-, Steuerungs-, Rechen- und Speichersysteme ausbreiten.

Bei KI-Rechenzentren ist diese gegenseitige Abhängigkeit noch ausgeprägter. Angesichts der in KI-Systemen üblichen Dichten (Densities) können selbst geringfügige Ungleichgewichte zwischen elektrischer Last und Wärmeabgabe zu Hotspots, Drosselung oder Systeminstabilität führen. Stromverteilung, Durchflussraten, Druck und Wärmeaustauschkapazität müssen als Teil eines einzigen Betriebssystems koordiniert werden, anstatt als separate Bereiche behandelt zu werden.

Das Ziel besteht nicht nur darin, zu wissen, ob sämtliche Geräte online sind, sondern zu verstehen, wie Rechenleistung, Kühlung, Stromversorgung, Netzwerk und andere IT-Anlagen unter realen Arbeitslasten zusammenwirken.

Warum traditionelle Betriebsabläufe nicht mehr ausreichen

Der Betrieb traditioneller Rechenzentren ist häufig nach einzelnen Gerätekategorien gegliedert: Server, Speicher, Netzwerkgeräte, Kühlsysteme, Stromverteilung und Gebäudeinfrastruktur. Dieses Modell funktioniert, solange die Systeme relativ unabhängig voneinander und potenzielle Ausfallbereiche klar voneinander getrennt sind.

KI-Rechenzentren sind anders. GPU-Cluster erfordern Verbindungen mit hoher Bandbreite und geringer Latenz. Racks mit hoher Dichte erfordern eine präzise Abstimmung zwischen dem Stromverbrauch der Server und der Kühlleistung der Flüssigkeitskühlung. Flüssigkeitsgekühlte Systeme bringen neue Betriebsvariablen mit sich, darunter Kühlmittelqualität, Durchflussrate, Druck, Wärmeaustauschleistung und Leckage-Erkennung. Gleichzeitig sind KI-Workloads dynamisch. Workloads für Training, Feinabstimmung, Inferenz und Mehrmandantenfähigkeit (Multi-Tenancy) können schnell wechselnde Strom- und Wärmeprofile erzeugen.

Daher benötigen Betreiber mehr als nur fragmentierte Warnmeldungen aus einzelnen Systemen. Sie benötigen eine einheitliche Übersicht über den Betrieb, die den Gerätestatus, den Workload-Status, die Kühlleistung, die Stromauslastung und sonstige Anlageninformationen miteinander verknüpft. Dies ist die Grundlage für einen kontinuierlichen, ausfallsicheren Betrieb von KI-Rechenzentren. Diese Übersicht lässt sich durch die Kombination dreier verschiedener Strategien erreichen:

Strategie 1: Einheitliche Transparenz über heterogene Infrastruktur hinweg

In großen KI-Umgebungen verbergen sich Risiken oft in der Fragmentierung. Unterschiedliche Anbieter, Gerätemodelle, Management-Tools und Benutzeroberflächen schaffen blinde Flecken zwischen den Systemen. Ein Server mag funktionsfähig erscheinen, während der Kühlkreislauf, der dieses Rack versorgt, bereits unter Druck steht. Ein Stromversorgungsmodul zeigt vielleicht eine Frühwarnung an, doch die Auswirkungen auf die GPU-Workloads sind möglicherweise nicht sofort erkennbar. Eine Warnung zur Flüssigkeitskühlung wird möglicherweise als Problem der technischen Infrastruktur behandelt, obwohl sie die Rechenverfügbarkeit beeinträchtigen könnte.

Ein einheitliches Management ist daher der erste Schritt hin zu einem Betrieb auf Systemebene. Eine moderne Managementplattform für KI-Rechenzentren sollte eine umfassende Kompatibilität über heterogene Infrastrukturen hinweg unterstützen, einschließlich GPU-Servern, Allzweckservern, Speichersystemen, Netzwerkgeräten, Stromverteilungssystemen und der Infrastruktur zur Flüssigkeitskühlung. Sie sollte Überwachung, Asset-Management, Alarmierung und Betriebssteuerung in einer einzigen Oberfläche zusammenführen, sodass Betreiber Abhängigkeiten erkennen können, die andernfalls unsichtbar blieben.

Beispielsweise unterstützt die KAYTUS KSManage-Managementplattform mehr als 5.000 IT- und Infrastrukturgeräte verschiedener Hersteller und Modelle und hilft Betreibern dabei, ein einheitliches Out-of-Band-Management (OOBM) in großen heterogenen IT-Umgebungen aufzubauen. Dies ermöglicht es Rechenzentrumsteams, von der isolierten Geräteüberwachung zu einem koordinierten Infrastrukturmanagement überzugehen.

Strategie 2: Übergang von reaktiver Wartung zu vorausschauendem Betrieb

Da die KI-Infrastruktur immer enger vernetzt ist, reicht reaktive Wartung nicht mehr aus. Das Abwarten eines Komponentenausfalls kann Kettenreaktionen über Workloads, Racks oder sogar ganze Servicebereiche hinweg auslösen.

Ein vorausschauender Betrieb trägt dazu bei, das Risikomanagement voranzubringen. Durch die Analyse von Telemetriedaten, Protokollen, Komponentenstatus und Systemzusammenhängen in großem Maßstab können intelligente Betriebsplattformen abnormale Aktionsmuster erkennen, bevor sie zu Ausfällen werden, die sich auf den Service auswirken. So können beispielsweise frühe Anzeichen von Problemen mit Festplatten, Speicher, Temperatur oder Stromversorgung den Anwendern helfen, vorbeugende Maßnahmen zu ergreifen, wie z. B. die Migration von Workloads, den Austausch von Komponenten, die Anpassung der Kühlung oder die Aktivierung von Backups.

Dies verändert die Rolle der Betriebsteams. Anstatt auf einzelne, isolierte Alarme zu reagieren, können sie systemübergreifende Risiken identifizieren und Maßnahmen anhand der geschäftlichen Auswirkungen priorisieren. In KI-Rechenzentren ist dies besonders wichtig, da die Verfügbarkeit von Workloads nicht nur davon abhängt, ob ein einzelnes Gerät funktioniert, sondern auch davon, ob die gesamte Infrastrukturkette weiterhin die erforderlichen Leistungs-, Temperatur-, Strom- und Netzwerkbedingungen gewährleisten kann.

Strategie 3: Energieverbrauch optimieren, Verfügbarkeit beibehalten

Auch das Energiemanagement wird zunehmend zu einer Herausforderung auf Systemebene. In KI-Rechenzentren hängt der Stromverbrauch eng mit der GPU-Auslastung, der Workload-Planung, der Rack-Dichte, der Kühleffizienz und den technischen bzw. baulichen Gegebenheiten zusammen. Wenn IT-Last, Kühlleistung und Stromverteilung getrennt voneinander verwaltet werden, kann es für die Betreiber schwierig sein, Energieanomalien zu erkennen, Effizienzlücken zu identifizieren oder den Betrieb zu optimieren, ohne die Systemstabilität zu beeinträchtigen.

Ein systemübergreifender Ansatz für das Energiemanagement sollte Daten zu IT-Geräten, Flüssigkeitskühlung, Stromversorgung und restlichen Betriebsparametern miteinander verknüpfen. Dadurch können Betreiber nicht nur nachvollziehen, wie viel Energie verbraucht wird, sondern auch, warum sie verbraucht wird, wo Effizienzverluste auftreten und wie sich Optimierungsmaßnahmen auf die Workload-Leistung oder die Ausfallsicherheit der Infrastruktur auswirken können.

Mit einheitlicher Überwachung und intelligenter Analyse können Betreiber Leistung und Energieeffizienz kontinuierlich aufeinander abstimmen. Das Ziel besteht nicht einfach darin, den Stromverbrauch zu senken, sondern die Energienutzung zu verbessern und gleichzeitig einen stabilen, vorhersehbaren Betrieb für KI-Workloads aufrechtzuerhalten.

Systemischer Aufbau eines kontinuierlichen Rechenbetriebs

Die Zukunft des Betriebs von KI-Rechenzentren wird nicht davon bestimmt, wie viele Geräte überwacht werden können, sondern davon, wie effektiv IT- und Versorgungssysteme miteinander koordiniert werden können.

Da sich die KI-Infrastruktur in Richtung Rack-basierter, flüssigkeitsgekühlter IT-Architekturen mit hoher Dichte entwickelt, sollten Betreiber die Zusammenhänge zwischen Rechenleistung, Netzwerk, Speicher, Stromversorgung, Kühlung und Workloads verstehen. Der unterbrechungsfreie Rechenzentrumsbetrieb muss zu einem datengesteuerten Prozess werden: Risiken sollten frühzeitig erkannt, Abhängigkeiten sichtbar gemacht und operative Maßnahmen systemübergreifend koordiniert werden.

„Die Gewährleistung eines kontinuierlichen Rechenzentrumsbetriebs erfordert letztlich eine ganzheitliche Strategie. Ein ausfallsicheres Infrastrukturdesign, zuverlässige Stromversorgungs- und Kühlsysteme, intelligente Überwachungstechnologien und klar definierte Betriebsprozesse tragen alle dazu bei, eine hohe Verfügbarkeit aufrechtzuerhalten“, so Raymond Qiao, Director of Technical Support bei KAYTUS Europe. „Plattformen wie KSManage machen Resilienz zu einem fortlaufenden, datengesteuerten Prozess, bei dem Risiken antizipiert, Systeme koordiniert und der Betrieb auch unter ständigen Veränderungen aufrechterhalten werden kann“.

Für KI-Rechenzentren der nächsten Generation ist Resilienz nicht mehr nur eine Frage robuster IT- und Versorgungsinfrastruktur. Es ist eine Frage koordinierter Betriebsabläufe. Unternehmen, die ihre KI-Infrastruktur als integriertes System verwalten, sind besser aufgestellt, um eine hochdichte Nutzung zu unterstützen, die betriebliche Effizienz zu verbessern und eine kontinuierliche Bereitstellung von KI-Diensten zu gewährleisten.

[1] NVIDIA

[2] status.cloud.google.com