Ausgangslage
Mehrere Fachbereiche nutzten generative KI – jeweils mit eigenen Werkzeugen und ohne gemeinsame Regeln. Welche Daten in welches Modell gelangen durften, wer Assistenten für alle freigeben konnte und welche Modelle überhaupt zulässig waren, war nicht einheitlich geklärt.
Für Informationssicherheit und Datenschutz war so kaum nachvollziehbar, wo vertrauliche Inhalte verarbeitet werden. Gleichzeitig wollten die Fachbereiche KI produktiv einsetzen und nicht auf ein Verbot warten.
Ziel: Eine zentral betriebene KI-Plattform auf Basis von Langdock, die Assistenten, Dokumentensuche und Modellzugriffe unter verbindlichen Governance-, Datenschutz- und Security-Vorgaben bereitstellt.
Vorgehen
-
01Daten nach Schutzklassen einordnen
Wissensquellen und Dokumentbestände habe ich gemeinsam mit den Verantwortlichen den Schutzklassen öffentlich, intern, vertraulich und streng vertraulich zugeordnet.
Für jede Klasse wurde festgelegt, ob und wo sie in Assistenten, RAG-Suchen und Modellaufrufen verarbeitet werden darf – vertrauliche Inhalte etwa nur in freigegebenen Assistenten oder über lokal betriebene Modelle.
-
02Zielarchitektur festlegen
Langdock ist der zentrale KI-Arbeitsplatz für alle Mitarbeitenden. Dahinter steht LiteLLM als Modell-Gateway: Es übernimmt das Routing zwischen den Modellen, Fallbacks bei Ausfällen und Budgets je Team.
Freigegebene Cloud-Modelle laufen in der EU. Für sensible Daten stehen lokale Modelle über Ollama und vLLM bereit, sodass diese Inhalte die eigene Infrastruktur nicht verlassen.
-
03Langdock einrichten und abstimmen
Die Anmeldung erfolgt per Single Sign-on über Microsoft Entra ID, Gruppen werden per SCIM synchronisiert. Darauf baut ein Rollen- und Workspace-Konzept auf: Mitglieder nutzen die Plattform, nur Editoren und Admins dürfen Inhalte workspaceweit teilen.
Hands-on konfiguriert habe ich unter anderem Modelle und Standardmodelle, Produktzugriffe je Gruppe, Prompt-Vorlagen sowie Assistenten mit Wissensordnern und Quellenanzeige. Über die API sind bestehende Fachanwendungen angebunden.
-
04Regeln gemeinsam verabschieden
Nutzungsrichtlinien, Freigabekriterien für neue Assistenten und Schulungsinhalte habe ich mit IT, Enterprise-Architektur, Informationssicherheit, Datenschutz und Fachbereichen abgestimmt.
Wo Anforderungen sich widersprachen, habe ich die Diskussion moderiert, bis tragfähige Entscheidungen standen – damit die Regeln nicht nur auf dem Papier existieren, sondern von allen Seiten getragen werden.
KI-Arbeitsplatz
Langdock
Modell-Gateway
LiteLLM
Routing · Fallback · Budgets je Team
Cloud-Modelle in der EU
freigegebene Modelle
Lokale Modelle
Ollama · vLLM – für sensible Daten
Ergebnis
Die Fachbereiche nutzen generative KI über eine zentrale, abgesicherte Plattform – mit klaren Rollen, nachvollziehbaren Modellzugriffen und dokumentierten Nutzungsregeln.
Neue Assistenten und Integrationen folgen einem standardisierten Vorgehen. Governance-Vorgaben müssen nicht mehr bei jedem Vorhaben neu verhandelt werden.