Zum Inhalt springen
Alle Projekte
VersicherungBeratungsprojektKI-Plattform & Governance

Eine unternehmensweite KI-Plattform mit Langdock aufbauen

Statt vieler unkoordinierter KI-Werkzeuge eine zentrale Plattform: Assistenten, Dokumentensuche und Modellzugriffe unter verbindlichen Regeln für Datenschutz, Sicherheit und Zugriffsrechte.

Ausgangslage

Mehrere Fachbereiche nutzten generative KI – jeweils mit eigenen Werkzeugen und ohne gemeinsame Regeln. Welche Daten in welches Modell gelangen durften, wer Assistenten für alle freigeben konnte und welche Modelle überhaupt zulässig waren, war nicht einheitlich geklärt.

Für Informationssicherheit und Datenschutz war so kaum nachvollziehbar, wo vertrauliche Inhalte verarbeitet werden. Gleichzeitig wollten die Fachbereiche KI produktiv einsetzen und nicht auf ein Verbot warten.

Ziel: Eine zentral betriebene KI-Plattform auf Basis von Langdock, die Assistenten, Dokumentensuche und Modellzugriffe unter verbindlichen Governance-, Datenschutz- und Security-Vorgaben bereitstellt.

Vorgehen

  1. 01Daten nach Schutzklassen einordnen

    Wissensquellen und Dokumentbestände habe ich gemeinsam mit den Verantwortlichen den Schutzklassen öffentlich, intern, vertraulich und streng vertraulich zugeordnet.

    Für jede Klasse wurde festgelegt, ob und wo sie in Assistenten, RAG-Suchen und Modellaufrufen verarbeitet werden darf – vertrauliche Inhalte etwa nur in freigegebenen Assistenten oder über lokal betriebene Modelle.

  2. 02Zielarchitektur festlegen

    Langdock ist der zentrale KI-Arbeitsplatz für alle Mitarbeitenden. Dahinter steht LiteLLM als Modell-Gateway: Es übernimmt das Routing zwischen den Modellen, Fallbacks bei Ausfällen und Budgets je Team.

    Freigegebene Cloud-Modelle laufen in der EU. Für sensible Daten stehen lokale Modelle über Ollama und vLLM bereit, sodass diese Inhalte die eigene Infrastruktur nicht verlassen.

  3. 03Langdock einrichten und abstimmen

    Die Anmeldung erfolgt per Single Sign-on über Microsoft Entra ID, Gruppen werden per SCIM synchronisiert. Darauf baut ein Rollen- und Workspace-Konzept auf: Mitglieder nutzen die Plattform, nur Editoren und Admins dürfen Inhalte workspaceweit teilen.

    Hands-on konfiguriert habe ich unter anderem Modelle und Standardmodelle, Produktzugriffe je Gruppe, Prompt-Vorlagen sowie Assistenten mit Wissensordnern und Quellenanzeige. Über die API sind bestehende Fachanwendungen angebunden.

  4. 04Regeln gemeinsam verabschieden

    Nutzungsrichtlinien, Freigabekriterien für neue Assistenten und Schulungsinhalte habe ich mit IT, Enterprise-Architektur, Informationssicherheit, Datenschutz und Fachbereichen abgestimmt.

    Wo Anforderungen sich widersprachen, habe ich die Diskussion moderiert, bis tragfähige Entscheidungen standen – damit die Regeln nicht nur auf dem Papier existieren, sondern von allen Seiten getragen werden.

AbbildungZielarchitektur der KI-Plattform
Fachbereiche SSO über Entra ID · Gruppen per SCIM

KI-Arbeitsplatz

Langdock

Assistentenmit Wissensordnern und Quellen
Prompt-Vorlagengeprüft und geteilt
Rollen & WorkspacesMitglied · Editor · Admin
APIfür Fachanwendungen

Modell-Gateway

LiteLLM

Routing · Fallback · Budgets je Team

Cloud-Modelle in der EU

freigegebene Modelle

Lokale Modelle

Ollama · vLLM – für sensible Daten

Ein Zugang, klare Wege. Alle arbeiten in Langdock. Das Gateway entscheidet, welches Modell eine Anfrage verarbeitet – sensible Inhalte bleiben bei lokal betriebenen Modellen.

Ergebnis

Die Fachbereiche nutzen generative KI über eine zentrale, abgesicherte Plattform – mit klaren Rollen, nachvollziehbaren Modellzugriffen und dokumentierten Nutzungsregeln.

Neue Assistenten und Integrationen folgen einem standardisierten Vorgehen. Governance-Vorgaben müssen nicht mehr bei jedem Vorhaben neu verhandelt werden.