NVIDIA – Verteilte Inferenz mit Dynamo planen und messen
Kursüberblick
Untersuchen Sie, wann eine verteilte Inferenzarchitektur gegenüber einem einzelnen Dienst sinnvoll ist. Mit NVIDIA Dynamo vergleichen Sie Routing, getrennte Verarbeitungsschritte und Skalierung unter definierten Qualitäts- und Lastbedingungen.
Dauer: 3 Tage.
Ihre Lernziele
Verteilte Inferenz mit konkreten Lastanforderungen begründen.
Dynamo-Routing und Ressourcenaufteilung durch Messungen bewerten.
Ausfallverhalten und Betriebsaufwand in die Architekturentscheidung einbeziehen.
Inhalte im Detail
Anfrageprofil und Zielwerte vor der Wahl einer verteilten Architektur festlegen.
Dynamo-Komponenten und unterstützte Inferenz-Backends nachvollziehbar zuordnen.
Prefill und Decode als getrennte Ressourcenanforderungen betrachten.
KV-Cache-bezogenes Routing und Datenbewegung im gewählten Setup untersuchen.
Skalierung, Worker-Ausfälle und Wiederverbindung unter kontrollierter Last prüfen.
Leistung, Mehrverbrauch und zusätzliche Betriebsabhängigkeiten gegeneinander abwägen.
Praktische Übungen
Vergleichen Sie eine einfache und eine vereinbarte verteilte Inferenzkonfiguration anhand derselben Mischung aus kurzen und langen Anfragen.
Untersuchen Sie den Effekt wiederkehrender Anfragepräfixe auf Routing und Antwortzeit anhand nachvollziehbarer Messwerte.
Unterbrechen Sie einen Laborworker und prüfen Sie Auswirkungen auf laufende Anfragen, Wiederanlauf und erreichbare Dienstqualität.
Zielgruppe
Fortgeschrittene KI-Plattformteams.
Voraussetzungen
Kubernetes, GPU-Inferenz und Lastmessung für Sprachmodelle.
Software und Übungsumgebung
Getrennte GPU-Laborumgebung mit Testdaten. Hardwaregeneration, Treiber, Softwarestand, Modellrechte und gegebenenfalls benötigte NVIDIA-Lizenzen werden vorab auf die Übungen abgestimmt; Zugang erfolgt lokal oder per Fernzugriff. Vereinbarter Dynamo-Backendstand und ausreichende GPU-Ressourcen; Mehrknotentests nach Laborausstattung.
Teilnahmebestätigung
Sie erhalten eine Teilnahmebestätigung von SCN.
Einordnung des Seminars
Der Einstieg richtet sich nach den genannten Voraussetzungen. Die Lernziele werden an eigenen Aufgaben in einer getrennten Testumgebung bearbeitet.
Ansprechpartner
Ihre Berater für das Training NVIDIA – Verteilte Inferenz mit Dynamo planen und messen
Wir bieten Ihnen Seminare mit einem hohen Praxisbezug an. Die Inhalte und Übungen sind auf Ihre täglichen Aufgaben im Unternehmen ausgerichtet und verzichten vollständig auf Werbehinweise anderer Produkte des Softwareherstellers.
Alle Trainings bei uns sind herstellerunabhängig. Dies ermöglicht es uns kritische Betrachtungen zu den Produkten selbst und Vergleiche zu Wettbewerbern des Herstellers im Seminar anzubieten. Die Kursinhalte sind eigene Inhalte und aus den praktischen Erfahrungen unserer Trainer in Projekten abgeleitet.
Selbstverständlich können die Inhalte bei Firmenseminaren individuell an Ihre Bedürfnisse angepasst werden. Bitte sprechen Sie uns einfach an.
Buchung
Das Seminar wurde auf die Merkliste gesetzt
Das von Ihnen gewählte Seminar wurde bereits auf die Merkliste gesetzt
Bitte wählen Sie einen freien Termin aus
Bitte geben Sie Ihren Wunschtermin im Format tt.mm.jjjj ein
Bitte wählen Sie einen freien Termin aus
Bitte geben Sie den gewünschten Termin im Format tt.mm.jjjj der Schulung ein