ÖPNV Daten­analyse und BI

Zusammenfassung

Das Projekt „ÖPNV Datenanalyse und BI“ wurde initiiert, um die Herausforderungen in der Analyse und Auswertung von ÖPNV Verkehrsdaten zu bewältigen. Frühere Methoden basierten auf Excel und waren mit aufwendigen Makros verbunden, die mehrere Stunden zur Ausführung benötigten. Das manuelle Zusammenführen von Daten aus verschiedenen Quellen und das Fehlen effektiver Möglichkeiten zur Ergebnisprüfung erschwerten nicht nur die Datenverarbeitung, sondern beschränkten auch die Genauigkeit und die Echtzeitfähigkeit der Auswertungen. Die Eingangsdatenprüfung war zudem unzureichend und auf manuelle Schritte beschränkt.

Unsere Leistungen

Im Rahmen des Projekts wurden folgende Lösungen realisiert:

• Power BI Reports für Pünktlichkeit, Fahrtausfälle und Fahrgastzählung: Die Berichte werden nun in Minuten statt Tagen erstellt, was eine zeitnahe Reaktion auf Veränderungen ermöglicht.
• Automatisierte und standardisierte Eingangsdatenprüfungen: Dies erlaubt das frühzeitige Erkennen von Fehlern und Unstimmigkeiten in den Eingangsdaten.
• Automatisiertes Zusammenführen der Eingangsdaten in einer hochperformanten ProjektDB: Dies ermöglicht eine schnelle Verarbeitung der Daten und verbessert die Gesamteffizienz des Systems.
• Ergebnisprüfung mit Referenzchecks auf Power BI Analytics Ebene: Bietet vielfältige Möglichkeiten zur Validierung der Ergebnisse und erhöht die Vertrauenswürdigkeit der Datenanalysen.

Technische Umsetzung

Die technische Umsetzung umfasste folgende Schritte:

• Data Engineering Arbeiten: Alle relevanten Datenquellen wurden in einer OLAP-Datenbank (DuckDB) integriert. Die Vorbereitung der Daten erfolgte mittels DBT, was eine effiziente und skalierbare Datenverarbeitung ermöglicht.
• Data Analytics: Die bisherigen Excel-basierten Auswertungen und Makros wurden in Power BI überführt, was eine intuitive und leistungsstarke Visualisierung und Analyse der Verkehrsdaten ermöglicht.
• Technology Stack: Das Projekt setzte auf moderne Technologien wie DuckDB, Python, dbt, Power BI, Power Query und DAX, um eine robuste, flexible und skalierbare Lösung zu gewährleisten.