OpenAI-Anwendungen – Qualität, Zugriffe und Kosten im Betrieb überprüfen

Sie prüfen eine bestehende KI-Anwendung anhand konkreter Qualitäts- und Betriebsziele. Aus fachlichen Beispielen entsteht ein wiederholbarer Testsatz für Antworten, Werkzeugverhalten und Kosten. Sie nutzen die Ergebnisse, um Änderungen kontrolliert freizugeben und problematische Fälle gezielt an Menschen zu übergeben.

Dauer: 2 Tage.

• KI-Anwendungsänderungen mit wiederholbaren Tests bewerten.
• Qualität, Berechtigungen und Verbrauch getrennt kontrollieren.
• Freigabe und Rücknahme mit nachvollziehbaren Kriterien verbinden.

• Fachliche Erfolgskriterien und kritische Fehlerklassen festlegen; repräsentative Testfälle von einzelnen Vorführbeispielen unterscheiden.
• Antworten mit erwarteten Fakten, Quellenbezug und strukturierten Ergebnissen bewerten; automatische Prüfungen um gezielte menschliche Bewertung ergänzen.
• Modell-, Prompt- und Werkzeugänderungen mit festgehaltenem Versionsstand vergleichen; Streuung und unklare Ergebnisse berücksichtigen.
• Zugriffsgrenzen und Datenflüsse prüfen; Protokolle, Aufbewahrung und sensible Eingaben auf den vorgesehenen Einsatz begrenzen.
• Tokenverbrauch, Antwortzeit, Rate-Limits und Fehlerquoten messen; wirksame Grenzen und Rückfallverhalten in der Anwendung gestalten.
• Freigabe, Beobachtung und Rücknahme einer Änderung anhand messbarer Kriterien organisieren; ungeklärte Fälle an einen Menschen übergeben.

• Einen Testsatz mit normalen Anfragen, fehlenden Informationen und manipulierten Dokumentinhalten erstellen und die Ergebnisse begründet klassifizieren.
• Zwei Anwendungsstände auf derselben Stichprobe vergleichen und eine Freigabeentscheidung mit Qualitäts- und Kostenbelegen treffen.
• Eine Überschreitung des eigenen Budgets sowie einen API-Fehler simulieren und prüfen, ob die Anwendung kontrolliert stoppt oder sinnvoll zurückfällt.

Entwickler, technische Produktverantwortliche und Betriebsteams für Anwendungen mit OpenAI-APIs.

Erfahrung mit einer API-basierten KI-Anwendung, JSON und einfachen Skripten; Verständnis von Modellaufrufen und Werkzeuganbindung.

Die Übung verwendet einen abgestimmten API-Testzugang oder vorbereitete Antwortdaten. Verfügbare Plattformfunktionen und Modellzugänge werden vorab geprüft; Anwendungsgrenzen werden nicht durch bloße Budgetanzeigen ersetzt.

Sie erhalten eine Teilnahmebescheinigung von SCN.

Aufbaukurs für Teilnehmende mit praktischer Erfahrung in den genannten Voraussetzungen.

Besprechen Sie Ihre Lernziele vorab mit dem Trainer. Unsere Ansprechpartner unterstützen Sie bei individuellen Themen und Firmenschulungen.

Diese Angebote behandeln ergänzende Schwerpunkte. Wählen Sie nach Ihren Aufgaben und den jeweiligen Voraussetzungen; eine verbindliche Kursreihenfolge ist damit nicht vorgegeben.

• OpenAI-APIs – Assistenten mit eigenen Daten und Werkzeugen entwickeln