Vom Excel-Chaos zur Datenplattform: ein Lakehouse mit Open Source
Monatsberichte, die drei Tage Handarbeit brauchen. Kennzahlen, die in jeder Abteilung anders aussehen. Eine Excel-Datei, die nur eine Person versteht. Wenn Ihnen das bekannt vorkommt, fehlt nicht noch ein Tool – sondern eine gemeinsame Datenbasis.
Inhalt
Das Wichtigste in Kürze
- Ein Lakehouse verbindet günstigen, offenen Speicher mit den Eigenschaften einer Datenbank: Tabellen, Versionen, saubere Abfragen.
- Mit Open-Source-Bausteinen wie Airbyte, Apache Iceberg, dbt und Superset entsteht eine Plattform ohne Lizenz-Lock-in – betreibbar in der EU oder im eigenen Rechenzentrum.
- Die Medaillon-Architektur (Bronze, Silber, Gold) macht Datenqualität sichtbar und nachvollziehbar.
- Starten Sie mit einer fachlichen Leitfrage und wenigen Quellen. Nutzen nach Wochen, nicht nach Jahren.
Woran Sie merken, dass Excel an Grenzen stößt
Excel ist ein hervorragendes Werkzeug – für Analysen, Planungen und schnelle Rechnungen. Problematisch wird es, wenn Tabellen zur Datenhaltung werden: wenn Exporte aus ERP, CRM und Shop regelmäßig per Hand zusammenkopiert, mit SVERWEIS verknüpft und per E-Mail verteilt werden.
Die typischen Symptome:
- Widersprüchliche Zahlen: Vertrieb und Controlling berichten unterschiedliche Umsätze – und beide haben auf ihre Weise recht.
- Wissensinseln: Wie ein Bericht entsteht, weiß nur eine Person. Ist sie im Urlaub, gibt es keinen Bericht.
- Keine Historie: Wie sah der Lagerbestand vor drei Monaten aus? Niemand weiß es, weil die Datei überschrieben wurde.
- Blockierte KI-Vorhaben: Ein Assistent oder eine Prognose braucht saubere, zugängliche Daten. Die gibt es nicht.
Der Schritt zur Datenplattform ist dann kein Technologie-Projekt, sondern eine organisatorische Entlastung: Daten werden einmal automatisiert geladen, einmal nach festen Regeln aufbereitet und von allen gleich genutzt.
Was ein Lakehouse ist – in einem Absatz
Ein klassisches Data Warehouse speichert strukturierte Daten in einer Datenbank: schnell und zuverlässig, aber oft teuer und an einen Hersteller gebunden. Ein Data Lake legt beliebige Dateien günstig in einem Objektspeicher ab – flexibel, aber schnell unübersichtlich. Ein Lakehouse verbindet beides: Daten liegen in offenen Dateiformaten im Objektspeicher, ein Tabellenformat wie Apache Iceberg sorgt dafür, dass sie sich wie Datenbanktabellen verhalten – mit Schemas, konsistenten Schreibvorgängen und der Möglichkeit, frühere Stände abzufragen.
Die Architektur im Überblick
Eine Datenplattform besteht aus wenigen, klar getrennten Schichten. Jede hat genau eine Aufgabe, und jede lässt sich austauschen, ohne die anderen neu zu bauen.
Ingestion: Daten automatisiert laden
Airbyte bringt fertige Konnektoren für viele gängige Systeme mit – Datenbanken, CRM-Systeme, Shop-Plattformen, Dateiablagen. Geladen wird inkrementell: nur neue und geänderte Datensätze. Für Sonderfälle wie ein älteres ERP mit eigener Schnittstelle entsteht ein kleiner, eigener Konnektor. Sensordaten laufen bei Bedarf über einen separaten Strom-Eingang.
Speicher: offen und austauschbar
Die Daten liegen in einem S3-kompatiblen Object Storage – etwa SeaweedFS oder MinIOauf eigener Hardware oder bei einem europäischen Cloud-Anbieter. Das Format ist offen: Parquet-Dateien, verwaltet von Iceberg. Damit können Sie jederzeit eine andere Abfrage-Engine wie Trino oder DuckDB einsetzen, ohne Daten zu migrieren.
Nicht jedes Unternehmen braucht diesen Aufbau sofort. Bei überschaubaren Datenmengen reicht oft eine gut aufgesetztePostgres- oder ClickHouse-Datenbank. Die übrigen Schichten bleiben gleich – ein späterer Umzug auf Object Storage ist dann ein überschaubarer Schritt.
Transformation: Geschäftslogik als Code
Mit dbt werden Aufbereitungsregeln als SQL-Modelle geschrieben, versioniert und getestet. Die Frage „Wie berechnen wir Umsatz?“ ist danach keine Excel-Formel in einer Datei mehr, sondern eine dokumentierte, überprüfbare Definition – für alle gleich.
Nutzung: Dashboards, KI, Schnittstellen
Auf den aufbereiteten Daten setzen Dashboards in Apache Superset auf, Fachanwendungen über APIs – und zunehmend KI-Assistenten, die Fragen wie „Welche Kunden haben im Quartal weniger bestellt als im Vorjahr?“ direkt beantworten. Ein solcher Assistent ist nur so verlässlich wie die Daten darunter. Deshalb kommt die Plattform zuerst.
Querschnitt: Orchestrierung und Datenqualität
Ein Orchestrierer wie Kestra oder Dagster steuert, wann welche Schritte laufen, in welcher Reihenfolge und was bei Fehlern passiert. Datenqualitätstests prüfen bei jedem Lauf, ob Pflichtfelder gefüllt, Schlüssel eindeutig und Daten aktuell sind. Schlägt ein Test fehl, erfährt es das Team – bevor falsche Zahlen im Management-Bericht landen.
Bronze, Silber, Gold: Qualität in Stufen
Die Medaillon-Architektur teilt die Aufbereitung in drei Stufen. Das klingt nach Formalismus, löst aber ein sehr praktisches Problem: Sie können jederzeit nachvollziehen, woher eine Zahl kommt und was mit ihr passiert ist.
Bronze
Rohdaten, unverändert
| kunde | datum | betrag |
|---|---|---|
| ␣Müller GmbH | 03.02.26 | 1.200,50 |
| MUELLER GMBH | 2026-02-03 | 1200.5 |
| Schmidt KG | 12.02.2026 | 980 EUR |
| Müller GmbH␣ | 4.2.2026 | 450 |
Schreibweisen, Formate, Dublette
Silber
bereinigt & vereinheitlicht
| kunde_id | datum | betrag_eur |
|---|---|---|
| K-1042 | 2026-02-03 | 1200.50 |
| K-2210 | 2026-02-12 | 980.00 |
| K-1042 | 2026-02-04 | 450.00 |
Dublette entfernt · Typen geprüft
Gold
fachlich aufbereitet
| kunde | monat | umsatz |
|---|---|---|
| Müller GmbH | 2026-02 | 1.650,50 € |
| Schmidt KG | 2026-02 | 980,00 € |
Umsatz je Kunde und Monat
- Bronze speichert die Daten so, wie sie geliefert wurden. Nichts wird verändert – das ist Ihre Rückversicherung.
- Silber vereinheitlicht: Datentypen, Schreibweisen, Schlüssel, Dubletten. Hier entsteht eine technisch saubere Basis.
- Gold enthält fachliche Modelle: Umsatz je Kunde und Monat, Liefertreue, Deckungsbeitrag. Das ist die Schicht, die Menschen und KI nutzen.
Warum Open Source – und wo die Grenzen liegen
Für eine Datenplattform im Mittelstand sprechen drei Gründe für offene Bausteine:
- Keine Lizenzkosten pro Nutzer oder Datenvolumen. Die Kosten skalieren mit der Infrastruktur, nicht mit dem Erfolg der Plattform.
- Offene Formate. Ihre Daten liegen in Parquet und Iceberg – lesbar von vielen Werkzeugen, auch in zehn Jahren.
- Freie Wahl des Betriebsorts. Eigenes Rechenzentrum, europäischer Cloud-Anbieter oder eine Mischung – ohne Abhängigkeit von einem einzelnen Hersteller.
Ehrlicherweise gehört dazu: Open Source ist nicht kostenlos. Sie zahlen mit Betriebsaufwand. Jemand muss Updates einspielen, Speicher überwachen und Fehler beheben. Für viele Unternehmen ist deshalb ein Betriebsmodell sinnvoll, bei dem die Plattform professionell betreut wird – während Daten, Code und Know-how bei Ihnen bleiben.
Wie Sie starten
Der häufigste Fehler ist, mit der Technik zu beginnen. Der bessere Einstieg ist eine konkrete fachliche Frage, die heute viel Handarbeit kostet – zum Beispiel ein Monatsbericht oder eine Deckungsbeitragsrechnung. Daran entlang entsteht die Plattform Schritt für Schritt.
- Woche 1–2
Bestandsaufnahme
- Quellen und Zugänge erfassen
- Leitfrage und Kennzahlen festlegen
- Zielarchitektur skizzieren
- Woche 3–6
Fundament
- Speicher und Ingestion aufsetzen
- Erste 2–3 Quellen anbinden
- Bronze- und Silber-Modelle
- Woche 7–10
Erster Nutzen
- Gold-Modelle für die Leitfrage
- Erstes Dashboard im Alltag
- Qualitätstests und Alarme
- ab Woche 11
Ausbau & Betrieb
- Weitere Quellen und Bereiche
- Self-Service für Fachabteilungen
- KI-Anwendungen auf Gold-Daten
Drei Regeln, die sich in der Praxis bewährt haben:
- Eine Leitfrage, wenige Quellen. Lieber drei Quellen vollständig angebunden als zehn halb.
- Früh in den Alltag. Das erste Dashboard sollte in einem echten Termin genutzt werden, nicht in einer Demo.
- Qualität von Anfang an. Tests im ersten Modell sind billig. Nachträglich eingeführte Tests decken meist Altlasten auf, die niemand mehr erklären kann.
Typische Fehler beim Aufbau
Einige Muster sehe ich immer wieder – sie lassen sich mit etwas Disziplin von Anfang an vermeiden:
- Alles auf einmal anbinden. Zwanzig Quellen im ersten Monat führen zu zwanzig halbfertigen Strecken und keinem Nutzen. Besser: entlang der Leitfrage erweitern.
- Logik im Dashboard. Berechnungen, die nur im BI-Werkzeug stehen, sind für andere Anwendungen unsichtbar. Kennzahlen gehören in die Gold-Schicht, Dashboards zeigen sie nur an.
- Berechtigungen vergessen. Sobald Personal- oder Vertriebsdaten auf der Plattform liegen, müssen Zugriffe auf Tabellen- und teils Zeilenebene geregelt sein – und zwar bevor die ersten Nutzer kommen.
- Kein Betriebskonzept. Backups, Monitoring, Updates und ein klarer Ansprechpartner bei Störungen sind nicht optional. Eine Plattform, der niemand vertraut, wird nicht genutzt.
- Excel verbieten. Excel bleibt ein gutes Analysewerkzeug. Ziel ist, dass es auf verlässliche Daten aus der Plattform zugreift – nicht, dass es verschwindet.
Der gemeinsame Nenner: Eine Datenplattform ist weniger ein Software-Projekt als eine neue Arbeitsweise. Technik, Verantwortlichkeiten und Gewohnheiten müssen zusammen wachsen.
Fazit
Eine Datenplattform ist kein Großprojekt mehr, das Jahre dauert und ein Budget im siebenstelligen Bereich verlangt. Mit offenen Bausteinen, einer klaren Schichtung und einem fachlich getriebenen Einstieg entsteht in überschaubarer Zeit eine Datenbasis, der alle vertrauen – und auf der KI-Anwendungen überhaupt erst sinnvoll werden.