Mit der Skalierung von KI-Anwendungen verteilen Unternehmen ihre Inferenz-Workloads zunehmend über verschiedene GPU-Cluster und Rechenzentrumsstandorte. Damit wächst auch die Aufgabe, diese Infrastruktur effizient zu koordinieren. Verantwortliche müssen verfügbare Rechenkapazitäten, Latenzanforderungen und regulatorische Vorgaben zusammenbringen.

Globales Inference Routing schafft dafür eine übergeordnete Steuerungsebene, die eingehende Anfragen anhand definierter Kriterien bewertet und sie geeigneten Inferenzkapazitäten zuweist. So können Unternehmen vorhandene GPU-Ressourcen besser auslasten, Latenzanforderungen berücksichtigen, Lastspitzen über mehrere Standorte verteilen und Vorgaben zum Verarbeitungsort technisch umsetzen.

Damit verändert sich die Optimierung von KI-Infrastrukturen. Lange stand vor allem die Frage im Mittelpunkt, wie Unternehmen möglichst viel Leistung aus einzelnen GPU-Clustern herausholen. Mit geografisch verteilten Inferenzkapazitäten kommt eine weitere Frage hinzu: Welcher Standort oder Ressourcenpool eignet sich für eine bestimmte Anfrage am besten?

Inferenz wird zur Infrastrukturaufgabe

Das Training großer KI-Modelle benötigt erhebliche Rechenkapazitäten. Im produktiven Einsatz rückt zusätzlich die Inferenz in den Mittelpunkt. Chatbots beantworten kontinuierlich Fragen, Bildanalysemodelle verarbeiten neue Daten und Übersetzungsdienste reagieren in Echtzeit auf Benutzereingaben. Jede dieser Interaktionen beansprucht Rechenleistung.

Mit steigendem Anfragevolumen wächst deshalb die Bedeutung einer effizienten Inferenzarchitektur. Bereits kleine Verbesserungen bei Ressourcennutzung und Verarbeitungseffizienz wirken sich bei einer großen Zahl von Anfragen auf Infrastrukturbedarf, Performance und Betriebskosten aus.

Von statischer Zuweisung zu globalem Inference Routing

Intelligentes Inference Routing bezeichnet allgemein die dynamische Verteilung von Inferenzanfragen auf der Grundlage aktueller Betriebsdaten und definierter Regeln. Globales Inference Routing wendet dieses Prinzip auf geografisch verteilte Inferenzkapazitäten an. Für die Auswahl eines geeigneten Verarbeitungsstandorts kann das System verschiedene Faktoren berücksichtigen. Dazu gehören die verfügbare Kapazität, die Netzwerklatenz und vorhandene Daten im KV-Cache. Routing-Policies legen fest, welche Kriterien dabei Vorrang haben sollen.

Der KV-Cache hält bereits berechnete Zustände für zuvor verarbeitete Kontextinformationen vor, beispielsweise für einen System-Prompt oder den bisherigen Verlauf einer Konversation. Sind für eine Anfrage relevante zwischengespeicherte Daten an einem bestimmten Standort bereits verfügbar, nutzt das System diesen Teil der vorherigen Berechnung wieder, anstatt ihn neu zu berechnen. Dadurch reduziert sich der Rechenaufwand. Globales Inference Routing kann daher berücksichtigen, an welchen Standorten relevante Cache-Daten verfügbar sind, und diese Informationen gemeinsam mit der Latenz und der aktuellen Auslastung bewerten. So fließen sowohl der Zustand der verteilten Infrastruktur als auch die Anforderungen einer Anfrage in die Auswahl eines geeigneten Ressourcenpools ein.

Standort, Kapazität und Latenz gemeinsam betrachten

Eine zentrale Steuerungsebene kann laufend Informationen über verfügbare Inferenzressourcen zusammenführen. Je nach Architektur verarbeitet sie dafür Telemetriedaten zu Auslastung und Kapazität sowie Informationen über Standorte und Netzwerkbedingungen. Über die Auswahl eines Standorts hinaus können Routing-Richtlinien auch explizite Latenzziele für eine Arbeitslast definieren, sodass nur Standorte berücksichtigt werden, die die erforderliche Antwortzeit einhalten können. Innerhalb dieser Grenzen werden die übrigen Kriterien – Cache-Verfügbarkeit, Netzwerklatenz und aktuelle Auslastung – entsprechend der Richtlinie gewichtet, wobei für jeden Anwendungstyp eine andere Priorität gilt.

Bei einer latenzkritischen Anwendung kann das System beispielsweise einen geografisch nahen Ressourcenpool bevorzugen. Steigt dessen Auslastung, kann es weitere geeignete Standorte einbeziehen. Wie sich diese Verteilung unter hoher Last auswirken kann, zeigt ein Testszenario über 13 geografisch verteilte Rechenzentren. Nachdem ein einzelner Standort seine Kapazitätsgrenze erreicht hatte, stieg der Durchsatz durch die Verteilung auf mehrere Standorte von 77 auf 114 Requests pro Sekunde, also um rund 48 Prozent.

So wird die geografische Verteilung von GPU-Kapazitäten zu einem aktiven Bestandteil der Inferenzarchitektur. Unternehmen können ihre Ressourcen je nach Anwendung, aktueller Auslastung und infrastrukturellen Rahmenbedingungen einsetzen.

Compliance wird zur Routing-Policy

Neben Performance und Auslastung beeinflussen auch regulatorische und unternehmensinterne Anforderungen die Wahl des Verarbeitungsorts. Unternehmen können für bestimmte Daten oder Anwendungen festlegen, welche Regionen, Infrastrukturen oder Rechtsräume für die Verarbeitung infrage kommen.

Globales Inference Routing kann solche Vorgaben als Policies in die Auswahl des Verarbeitungsorts einbeziehen. Ein Unternehmen kann beispielsweise definieren, dass bestimmte Workloads ausschließlich innerhalb ausgewählter europäischer Regionen verarbeitet werden. Das Routing wählt anschließend Inferenzressourcen innerhalb dieses vorgegebenen Rahmens aus.

So verbindet die Steuerung technische und organisatorische Anforderungen. Für eine kundenorientierte Echtzeitanwendung kann eine niedrige Latenz Priorität erhalten. Bei anderen Workloads können Unternehmen die verfügbare Kapazität oder vorhandene Cache-Daten stärker gewichten. Vorgaben zum Verarbeitungsort definieren wiederum einen verbindlichen Rahmen für die Auswahl.

Dieses Prinzip lässt sich je nach Architektur auch über verschiedene Cloud- und Infrastrukturumgebungen hinweg anwenden. Unternehmen können eigene GPU-Cluster, spezialisierte GPU-Infrastrukturen, Cloud-Ressourcen und Edge-Standorte in eine übergeordnete Orchestrierung einbinden.

Von der einzelnen GPU zum verteilten Ressourcenpool

Mit der zunehmenden Verbreitung produktiver KI gewinnt die Orchestrierung verteilter Rechenkapazitäten weiter an Bedeutung. Dabei verschiebt sich der Fokus zunehmend von der Leistungsfähigkeit einzelner GPU-Cluster auf das Zusammenspiel verschiedener Ressourcenpools. Entscheidend wird, wie flexibel Unternehmen Kapazitäten über Standorte und Infrastrukturumgebungen hinweg einsetzen und an wechselnde Anforderungen anpassen können.

Globales Inference Routing kann sich dabei zu einem wichtigen Baustein moderner KI-Infrastrukturen entwickeln. Mit wachsenden und geografisch verteilten Inferenz-Workloads steigt der Bedarf an einer Steuerungsebene, die Rechenkapazitäten dynamisch koordiniert. Für IT-Verantwortliche bedeutet das, GPU-Kapazitäten stärker als verteilte Infrastruktur zu denken und ihre Nutzung intelligent zu orchestrieren. Damit schaffen sie die Grundlage, auch bei wachsenden Inferenz-Workloads effizient und skalierbar zu betreiben.

Elena Simon

ist General Manager DACH bei Gcore.