Databricks – Spark-Verarbeitung mit Messungen verbessern
Kursüberblick
Untersuchen Sie langsame Datenverarbeitung anhand von Ausführungsplänen und vergleichbaren Messungen. Sie reduzieren unnötige Datenbewegung, prüfen Tabellenlayout und Compute-Wahl und sichern jede Optimierung gegen fachliche Ergebnisänderungen ab.
Dauer: 3 Tage.
Ihre Lernziele
Spark-Engpässe anhand von Ausführungsdaten eingrenzen.
Optimierungen durch Ergebnis- und Kostenvergleiche absichern.
Leistungsgrenzen mit wiederholbaren Messungen dokumentieren.
Inhalte im Detail
Vergleichbare Ausgangsmessungen mit Datenvolumen, Runtime, Compute und Ergebnisprüfung aufbauen.
Ausführungspläne, Stages und Shuffle anhand einer konkreten langsamen Abfrage lesen.
Joins, Datenverteilung und Skew mit gezielten Varianten statt pauschaler Konfigurationsänderungen untersuchen.
Delta-Dateigrößen, Clustering und Datenfilterung nach tatsächlichem Abfragemuster bewerten.
Photon, adaptive Ausführung und Compute-Optionen mit Kosten und unterstützten Operationen vergleichen.
Regressionstests und Messprotokolle für spätere Daten- oder Runtime-Änderungen anlegen.
Praktische Übungen
Analysieren Sie eine vorbereitete langsame Transformation und formulieren Sie vor der Änderung eine messbare Hypothese zur Ursache.
Vergleichen Sie zwei Join- oder Layoutvarianten auf demselben Datensatz und prüfen Sie Laufzeit, Ressourcenverbrauch und identische Ergebnisse.
Erhöhen Sie gezielt Datenmenge und Ungleichverteilung und dokumentieren Sie, ab wann die gewählte Optimierung ihre Wirkung verliert.
Zielgruppe
Erfahrene Data Engineers und Spark-Entwickler.
Voraussetzungen
Praktische Spark-/PySpark- und SQL-Kenntnisse.
Software und Übungsumgebung
Getrennter Databricks-Workspace mit Unity Catalog, synthetischen Datensätzen und begrenztem Cloudbudget. Cloudanbieter, Region, Runtime und benötigte Funktionen werden vorab festgelegt; Vorschaufunktionen sind kein vorausgesetzter Bestandteil. Geeignete Compute-Ressourcen und begrenzte synthetische Last; keine Produktionsmessungen.
Teilnahmebestätigung
Sie erhalten eine Teilnahmebestätigung von SCN.
Einordnung des Seminars
Aufbaukurs für Teilnehmende mit praktischer Erfahrung in den genannten Voraussetzungen.
Ansprechpartner
Ihre Berater für das Training Databricks – Spark-Verarbeitung mit Messungen verbessern
Wir bieten Ihnen Seminare mit einem hohen Praxisbezug an. Die Inhalte und Übungen sind auf Ihre täglichen Aufgaben im Unternehmen ausgerichtet und verzichten vollständig auf Werbehinweise anderer Produkte des Softwareherstellers.
Alle Trainings bei uns sind herstellerunabhängig. Dies ermöglicht es uns kritische Betrachtungen zu den Produkten selbst und Vergleiche zu Wettbewerbern des Herstellers im Seminar anzubieten. Die Kursinhalte sind eigene Inhalte und aus den praktischen Erfahrungen unserer Trainer in Projekten abgeleitet.
Selbstverständlich können die Inhalte bei Firmenseminaren individuell an Ihre Bedürfnisse angepasst werden. Bitte sprechen Sie uns einfach an.
Buchung
Das Seminar wurde auf die Merkliste gesetzt
Das von Ihnen gewählte Seminar wurde bereits auf die Merkliste gesetzt
Bitte wählen Sie einen freien Termin aus
Bitte geben Sie Ihren Wunschtermin im Format tt.mm.jjjj ein
Bitte wählen Sie einen freien Termin aus
Bitte geben Sie den gewünschten Termin im Format tt.mm.jjjj der Schulung ein