Die Red Hat AI Factory ist eine gemeinsam mit Nvidia entwickelte Software-Plattform, die Red Hat AI Enterprise und Nvidia AI Enterprise zu einer End-to-End-KI-Lösung für Unternehmen vereint, die KI in großem Maßstab einsetzen. Die Plattform beschleunigt die Bereitstellung der neuesten KI-Entwicklungen für Unternehmenskunden und liefert Day-0-Support für Nvidias Hardware-Architekturen. Sie soll den Weg zu produktionsreifer KI verkürzen und die Software-Plattform für KI-Fabriken liefern. Diese setzen auf Hardware-beschleunigte Computing-Infrastrukturen, die eine hohe Performance für die Modelle bereitstellen und Support für leistungsstarke GPUs von Nvidia bieten, die den Inference-Stack antreiben. Die KI-Infrastrukturen verschiedener Systemhersteller wie Cisco, Dell Technologies, Lenovo und Supermicro unterstützen die Plattform. Dadurch können IT-Administratoren und IT-Betriebsteams ihre KI-Workloads mit derselben operativen Genauigkeit und Vorhersagbarkeit wie jeden anderen Enterprise-Workload skalieren und verwalten.
Die gemeinsam entwickelte Software-Plattform vereint die Open-Source-Expertise von Red Hat und Nvidia in den Bereichen Kollaboration, Entwicklung und Support. Für Unternehmen stellt sie eine vertrauenswürdige, Enterprise-taugliche Lösung mit einer hochskalierbaren Basis für KI-Bereitstellungen in beliebigen Umgebungen dar – sei es On-Premises, in der Cloud oder am Edge. Sie liefert Kernfunktionen für ein leistungsstarkes KI-Inferencing, für das Tuning und die Anpassungen von Modellen sowie die Bereitstellung und Verwaltung von Agenten, und das mit einem Fokus auf Sicherheit.
Schnelle Amortisation
Unternehmen können KI schnell in den Produktivbetrieb überführen durch schlanke Workflows und den sofortigen Zugriff auf vorkonfigurierte Modelle, darunter die mit einer Absicherung gegen Verletzung des geistigen Eigentums von Dritten versehene Granite-Familie von IBM sowie die offenen Modelle Nemotron und Cosmos, bereitgestellt als Nvidia NIM-Microservices. Darüber hinaus können Unternehmen ihre Modelle mit Nvidia NeMo noch besser an Unternehmensdaten anpassen und so Zeit und Kosten für das Fine-Tuning reduzieren. Unternehmen können so das Maximum aus ihrer Infrastruktur herausholen und die Inference-Performance mit einem einheitlichen, leistungsstarken Stack steigern. Red Hat AI Factory with Nvidia bietet Funktionen für die Überwachung der Modelle und nutzt die Inference-Funktionen von Red Hat AI, die auf vLLM, Nvidia TensorRT-LLM und Nvidia Dynamo basieren, um strenge KI-Service-Level-Ziele zu erfüllen. Auf diese Weise können Unternehmen das Zusammenspiel aus Modellen und Nvidia-GPUs verbessern und die Total Cost of Ownership von KI senken.
Intelligente GPUOrchestrierung
Die Plattform bietet einen On-Demand-Zugriff auf GPU-Ressourcen über eine intelligente Orchestrierung und gepoolte Infrastrukturen, sodass Compute-Kosten auch in dynamischen Umgebungen planbar bleiben. Ein automatisiertes Checkpointing schützt lange laufende Jobs.
Sichere Basis für KI-Workloads
Durch die Nutzung von Red Hat Enterprise Linux als flexibler und stabiler Basis erhalten Unternehmen fortschrittliche Sicherheits- und Compliance-Funktionen, die fest integriert sind und dazu beitragen, Risiken zu reduzieren, Zeit zu sparen und Ausfallzeiten zu minimieren. Damit besteht eine sicherheitsoptimierte Grundlage für geschäftskritische KI-Workloads, die nach Isolierung und einer kontinuierlichen Verifizierung verlangen. Nvidia DOCA Microservices bauen darauf auf und schaffen eine Zero-Trust-Architektur, die KI zur Laufzeit über die gesamte Infrastruktur hinweg absichert.
