KI-Plattform im Unternehmen: Claude intern bereitstellen

TL;DR

Eine KI-Plattform im Unternehmen mit Claude besteht aus einer selbst betriebenen Chat-Oberfläche, Ihrem Identity Provider und Bedrock im EU-Modus. Wir empfehlen LibreChat (MIT, native Bedrock-Anbindung) statt Open WebUI (Branding-Klausel ab 50 Nutzern, kein natives Bedrock). Pinnen Sie eu.anthropic.claude-sonnet-5-5, stellen Sie RAG-Embeddings auf Bedrock um und planen Sie monatliche Updates ein.

Woraus besteht eine KI-Plattform für alle Beschäftigten?

Eine interne KI-Plattform besteht aus vier Schichten, die Sie selbst kontrollieren: Chat-Oberfläche, Single Sign-on über Ihren Identity Provider, optional ein Gateway für Schlüssel und Budgets, und der Modellendpunkt. Für Claude mit Datenresidenz in der EU ist das Amazon Bedrock mit einem eu.-Inferenzprofil. Alles andere läuft in Ihrem AWS-Konto oder Rechenzentrum.

Schicht	Übliche Wahl	Was sie festlegt
Chat-Oberfläche	LibreChat oder Open WebUI	Funktionen, Lizenz, Update-Aufwand
Identität	Microsoft Entra ID über OpenID Connect	Wer Zugang hat, wer Admin ist
Gateway (optional)	LiteLLM oder keins	Budgets pro Team, OpenAI-kompatible API
Modell	Claude auf Bedrock, eu.-Geo-Profil	Wo Prompts verarbeitet werden
Speicher	MongoDB, Postgres mit pgvector	Wo Chatverläufe und Dokumente liegen

An der Modellschicht passieren die meisten Fehler. Die Modellkarte zu Sonnet 5.5 nennt drei Profile: eu.anthropic.claude-sonnet-5-5 hält Daten in EU-Regionen, us. in den USA und Kanada, global. routet weltweit. Sonnet 5.5 ist seit dem 28. September 2026 auf Bedrock, mit 1 Million Tokens Kontext. Opus 5.5 kam am 22. September 2026 und hat ebenfalls ein eu.-Profil. Eine In-Region-Option in einem EU-Mitgliedstaat gibt es für keins der beiden Modelle auf bedrock-runtime. Das EU-Geo-Profil ist also Ihre Residenzsteuerung. Frankfurt (eu-central-1) ist als Quellregion gelistet.

Der zweite Punkt ist die Grenze zum Modellanbieter. AWS schreibt auf der Datenschutzseite, dass Modellanbieter keinen Zugriff auf Bedrock-Logs, Prompts und Antworten haben. Deshalb sind die gehosteten Claude-Apps eine andere Entscheidung: Das Privacy Center von Anthropic sagt knapp “data is stored in the US”.

Der dritte Punkt wird oft übersehen: die Chatverläufe. Sie liegen in Ihrer Datenbank, nicht bei AWS oder Anthropic. Jedes Gespräch steht im Klartext in MongoDB (LibreChat) oder in der Datenbank von Open WebUI, unter Ihrer Aufbewahrungsregel. Legen Sie Löschfristen und Leserechte vor dem Start fest. Der Betriebsrat fragt danach, und das Verzeichnis von Verarbeitungstätigkeiten braucht den Eintrag ohnehin.

LibreChat oder Open WebUI: Was passt zu Claude auf Bedrock?

Für eine Plattform mit Claude auf Bedrock passt LibreChat besser. Es steht unter MIT-Lizenz, spricht Bedrock nativ an und unterstützt MCP über stdio, SSE und Streamable HTTP. Open WebUI ist stark bei RAG und SCIM, hat aber keinen nativen Bedrock-Anschluss, und seine Lizenz schränkt eigenes Branding ab mehr als 50 Nutzern ein.

Kriterium	LibreChat	Open WebUI
Lizenz	MIT	Open WebUI License: BSD-artig plus Branding-Klausel
Eigenes Branding	Erlaubt	Nur bis 50 Endnutzer in 30 rollierenden Tagen, mit schriftlicher Erlaubnis oder Enterprise-Lizenz
Aktuelles Release (1.10.2026)	v0.8.8 vom 1. Oktober 2026	v0.11.4 vom 21. September 2026
Releases seit Januar 2026	7 nummerierte Releases	31 Releases
Bedrock	Nativer Endpunkt, IAM-Rolle oder Bedrock-API-Key	Nur über OpenAI-kompatiblen Proxy (LiteLLM, stdapi.ai, Bedrock Access Gateway)
SSO	OpenID Connect, Entra-Beispiel, Pflichtrolle, Admin-Rolle, LDAP	OAuth/OIDC, Microsoft nur ein Tenant, LDAP, SCIM 2.0, Trusted Header
RAG	Eigene RAG API mit pgvector, Embeddings standardmäßig openai	Eingebaut, 9 Vektordatenbanken, lokales Embedding-Modell als Standard
Admin-Steuerung	Admin-Panel für Nutzer, Gruppen, Rollen, Konfiguration	Feingranulare RBAC und Nutzergruppen
MCP	stdio, SSE, Streamable HTTP, OAuth pro Nutzer, Freigaberechte	Nativ nur Streamable HTTP, MCPO-Proxy für andere Transporte

Die Bedrock-Zeile gibt den Ausschlag. AWS listet die APIs je Modell, und bei Sonnet 5.5 wie Opus 5.5 ist Chat Completions weder auf bedrock-runtime noch auf bedrock-mantle unterstützt. Open WebUI spricht Cloud-Anbieter im Format von OpenAI Chat Completions an. Die Anbieter-Anleitung nennt Bedrock Mantle als Option ohne Installation, beschreibt sie aber als Zugang zu einer begrenzten Auswahl von Open-Weight-Modellen. Für Claude brauchen Sie eine Übersetzungsschicht. Als erstes nennt die Anleitung das Bedrock Access Gateway, und dieses AWS-Beispiel-Repository ist archiviert. Bleibt LiteLLM, das wir im LiteLLM-EU-Gateway-Leitfaden beschreiben. Das funktioniert, ist aber ein weiterer Dienst, den Sie patchen.

Die Lizenzzeile zählt beim Rollout im Konzern. Die Open WebUI License ist BSD-artig, mit einer vierten Klausel: Name und Logo “Open WebUI” dürfen Sie nicht ändern oder entfernen, außer die Installation hat höchstens 50 Endnutzer in einem rollierenden 30-Tage-Zeitraum, Sie haben eine schriftliche Erlaubnis oder eine Enterprise-Lizenz. Ein Intranet-Portal namens “Muster KI” mit 300 Nutzern ist damit ein Vertriebsgespräch, kein Download. Die MIT-Lizenz von LibreChat kennt keine solche Klausel.

Open WebUI gewinnt trotzdem an zwei Stellen. RAG funktioniert sofort, mit dem lokalen Embedding-Modell sentence-transformers/all-MiniLM-L6-v2, sodass hochgeladene Dokumente den Server zum Einbetten nicht verlassen. Und SCIM 2.0 ist für Entra ID dokumentiert. Wenn Sie neben Claude noch Ollama oder vLLM betreiben oder LiteLLM ohnehin laufen haben, ist Open WebUI eine vernünftige Wahl.

Wie richten Sie LibreChat mit Bedrock in der EU ein?

Klonen Sie LibreChat, setzen Sie Bedrock-Region und EU-Modellliste in der .env, binden Sie Entra ID über OpenID Connect an und hängen Sie eine librechat.yaml per Override-Datei ein. Die Standard-Compose-Datei startet LibreChat auf Port 3080 mit MongoDB, Meilisearch, pgvector und RAG API. Nach unserer Schätzung steht eine Testinstanz an einem Nachmittag, die Härtung für Produktion dauert einige Tage.

1. Repository klonen und Umgebungsdatei kopieren: git clone https://github.com/LibreChat-AI/LibreChat.git, danach cp .env.example .env.
2. Dem Host eine IAM-Rolle mit Bedrock-Rechten geben. Die .env.example empfiehlt für produktive Umgebungen IAM-Rollen oder andere kurzlebige Zugangsdaten. Statische Schlüssel sind die Notlösung.
3. Die Beispiel-Modellliste ersetzen. LibreChat listet dort global.- und us.-Profile und merkt an, dass global. keinen Regionalaufschlag hat. Für Datenresidenz in der EU setzen Sie eu.-Profile ausdrücklich.
4. In Entra ID eine App mit der Redirect-URI https://ihre-domain/oauth/openid/callback registrieren und die OPENID_*-Variablen füllen.
5. RAG-Embeddings auf Bedrock umstellen. Das README der RAG API setzt EMBEDDINGS_PROVIDER standardmäßig auf openai. Dann ginge jede hochgeladene Datei zum Einbetten an OpenAI.
6. docker-compose.override.yaml anlegen und docker compose up -d starten.

# .env (Auszug)
BEDROCK_AWS_DEFAULT_REGION=eu-central-1
BEDROCK_AWS_MODELS=eu.anthropic.claude-sonnet-5-5,eu.anthropic.claude-opus-5-5

ALLOW_EMAIL_LOGIN=false
ALLOW_REGISTRATION=false
ALLOW_SOCIAL_LOGIN=true
OPENID_CLIENT_ID=<application-client-id>
OPENID_CLIENT_SECRET=<client-secret>
OPENID_ISSUER=https://login.microsoftonline.com/<tenant-id>/v2.0/
OPENID_SESSION_SECRET=<zufallswert>
OPENID_SCOPE="openid profile email"
OPENID_CALLBACK_URL=/oauth/openid/callback
OPENID_REQUIRED_ROLE=ki-plattform-nutzer
OPENID_REQUIRED_ROLE_TOKEN_KIND=id
OPENID_REQUIRED_ROLE_PARAMETER_PATH="roles"

# RAG API: Embeddings bei Bedrock statt beim Standard openai
EMBEDDINGS_PROVIDER=bedrock
AWS_DEFAULT_REGION=eu-central-1

# docker-compose.override.yaml
services:
  api:
    image: registry.librechat.ai/librechat-ai/librechat:latest
    volumes:
      - type: bind
        source: ./librechat.yaml
        target: /app/librechat.yaml

# librechat.yaml (Auszug)
version: 1.3.17
endpoints:
  bedrock:
    availableRegions:
      - 'eu-central-1'

Die Override-Datei erledigt zwei Dinge. Sie hängt librechat.yaml ein und tauscht das Image. Die mitgelieferte docker-compose.yml zieht librechat-dev:latest, einen Entwicklungsstand. Das Override-Beispiel im Repository nutzt librechat:latest, das Image der nummerierten Releases. Für Produktion pinnen Sie den Release-Tag, den Sie getestet haben. Die Zeile OPENID_REQUIRED_ROLE stammt aus der Entra-ID-Anleitung und lässt nur Mitglieder einer App-Rolle herein. OPENID_ADMIN_ROLE in derselben Datei macht eine zweite Rolle zu LibreChat-Admins.

Prüfen Sie die Standard-Compose-Datei, bevor Sie etwas freigeben. MongoDB startet mit --noauth, pgvector nutzt myuser und mypassword. Auf dem Laptop ist das in Ordnung. Auf einem Server setzen Sie Zugangsdaten, veröffentlichen keine Datenbank-Ports und stellen die Oberfläche hinter Ihren Reverse Proxy mit TLS.

Welche Einstellungen halten die Daten in der EU?

Drei Standardwerte können Daten unbemerkt aus der EU bringen: ein global.- oder us.-Profil bei Bedrock, der Embedding-Standard openai in der RAG API und Fable-Modelle, die eine Prüfung durch AWS verlangen. Pinnen Sie eu.-Profile, stellen Sie Embeddings auf Bedrock und lassen Sie Fable aus der Modellliste, solange Ihr Datenschutz die Aufbewahrung nicht freigegeben hat.

Inferenzprofil. Tragen Sie in BEDROCK_AWS_MODELS nur eu.-IDs ein. Die Preisseite von Anthropic sagt, regionale und Multi-Region-Endpunkte auf Bedrock und Google Cloud kosten ab Sonnet 4.5 10 Prozent mehr als globale. Dieser Aufschlag ist der Preis der Residenz und der Grund, warum Beispielkonfigurationen global. vorschlagen.

Embeddings. Hochgeladene PDFs werden zerlegt und eingebettet, bevor Claude sie sieht. Mit dem Standard openai passiert das bei OpenAI. Setzen Sie EMBEDDINGS_PROVIDER=bedrock und prüfen Sie, ob das gewählte Embedding-Modell in Ihrer Region angeboten wird.

Fable-Modelle. Die AWS-Seite zur Datenaufbewahrung sagt, Claude Fable 5 und 5.1 verlangen den Modus aws_review. Prompts und Antworten bleiben dann bis zu 30 Tage innerhalb von AWS und können von AWS geprüft werden. An Anthropic gehen sie nicht. Bei Cross-Region-Inferenz liegen die aufbewahrten Daten in der Zielregion. Für ein Werkzeug, das alle Beschäftigten nutzen, würden wir das nicht standardmäßig freischalten. AWS dokumentiert auch eine SCP, die aws_review organisationsweit sperrt.

MCP-Server. Jeder angebundene MCP-Server ist ein eigener Datenfluss, den Sie im AVV und im Verarbeitungsverzeichnis abbilden müssen. LibreChat steuert über Berechtigungsflags, wer MCP-Server nutzen, anlegen und teilen darf. Beschränken Sie CREATE zum Start auf Admins.

Wann ist Claude Team oder Enterprise die bessere Wahl?

Kaufen Sie Claude Team oder Enterprise, wenn Ihnen die eigenen Funktionen von Claude wie Claude Code, Projekte und Desktop-Apps wichtiger sind als Verarbeitung in der EU, und wenn intern niemand eine Webanwendung betreiben will. Betreiben Sie selbst, wenn Datenresidenz in der EU Pflicht ist oder Sie nach Tokens statt nach Sitzen abrechnen wollen.

Laut claude.com/pricing kosten Team-Standardsitze 20 USD pro Monat bei jährlicher und 25 USD bei monatlicher Zahlung, für 2 bis 150 Personen, mit SSO und ohne Training auf Ihren Inhalten als Standard. Enterprise kostet 20 USD pro Sitz plus Nutzung zu API-Preisen und bringt SCIM, Audit-Logs, feingranulare Rollen und eigene Aufbewahrungsregeln. Die Preisseite nennt US-Inferenz mit Faktor 1,1, keine EU-Option. Die Tarife im Detail stehen in unserer Übersicht Claude Kosten und Preise 2026, die rechtliche Einordnung der Bezugswege im DSGVO-Anbietervergleich.

Die eigene Plattform rechnet nach Tokens ab. Sonnet 5.5 kostet in der Claude-API 2 USD pro Million Input-Tokens und 10 USD pro Million Output-Tokens. Bedrock rechnet über AWS Marketplace ab, das EU-Profil kostet 10 Prozent mehr. Ein angenommener Nutzer mit 2 Millionen Input- und 0,4 Millionen Output-Tokens im Monat (unsere Annahme, kein Messwert) kostet auf dieser Basis rund 8,80 USD. Gelegenheitsnutzer kosten Cent-Beträge, Vielnutzer mit langen Dokumenten können über einem Sitzpreis liegen. Infrastruktur und Betriebspersonal kommen dazu. Darum geht es im nächsten Abschnitt.

Selbst betreiben oder auslagern?

Der Eigenbetrieb braucht vier Rollen: jemanden, der Container und Datenbanken patcht, eine Admin-Rolle für Entra, eine für AWS mit IAM, Quoten und Kosten, und First-Level-Support für die Nutzer. Lagern Sie aus, wenn keine dieser Rollen mit Rufbereitschaft existiert. Betreiben Sie selbst, wenn Sie Container auf AWS ohnehin produktiv fahren.

Die wiederkehrende Arbeit ist konkret. Open WebUI hat zwischen Januar und Oktober 2026 31 Releases veröffentlicht, LibreChat sieben nummerierte Releases plus Release Candidates. Jedes Release braucht Changelog-Prüfung, Test auf Staging und Rollout, und Sicherheitsfixes warten nicht bis zum nächsten Wartungsfenster. Neue Modelle kommen genauso schnell: Opus 5.5 und Sonnet 5.5 kamen im September 2026 im Abstand von sechs Tagen auf Bedrock, und jedes braucht einen Eintrag in der Modellliste und eine Entscheidung, ob es den Standard ersetzt. Dazu kommen Backups und Wiederherstellungstests für MongoDB und pgvector, Kostenalarme in AWS und Fragen wie “Warum kann ich kein 40-MB-PDF hochladen?”. Nach unserer Schätzung ist das für einige hundert Nutzer eine Teilzeitaufgabe für eine Engineering-Person plus Supportkapazität, kein Projekt, das mit dem Go-live endet.

Auslagern an einen Managed Service Provider lohnt sich, wenn Sie definierte Verfügbarkeit brauchen und intern niemand nachts erreichbar ist, oder wenn die Plattform mehrere Tochtergesellschaften mit getrennten Mandanten bedienen soll. Weniger sinnvoll ist es für einen Pilot mit 30 Nutzern oder wenn der Anbieter die Plattform im eigenen Cloud-Konto statt in Ihrem betreiben will.

Was Sie von einem Betreiber für diese Plattform verlangen sollten:

1. SLA für die Verfügbarkeit der Oberfläche und ein schriftliches Patch-Fenster für Sicherheitsupdates von Chat-Oberfläche, RAG API und Datenbanken.
2. AVV nach Art. 28 DSGVO, der die Chatverläufe als verarbeitete Daten nennt, mit Aufbewahrungs- und Löschfristen.
3. Liste der Unterauftragsverarbeiter mit Hosting-Region, Eigentümer des AWS-Kontos und allen Monitoring- oder Ticket-Werkzeugen, die Prompts sehen.
4. Zugriffsmodell: Wer kann Gespräche in der Datenbank lesen, wie werden Admin-Zugriffe protokolliert, braucht ein Notfallzugriff Ihre Freigabe?
5. Exit: Deployment als Code in Ihrem AWS-Konto, Export von Nutzern, Gesprächen und Konfiguration, kein proprietärer Fork der Oberfläche.

Auf Punkt 5 würden wir bestehen. Eine Plattform in Ihrem Konto, mit Ihrer IAM-Rolle, kann den Betreiber wechseln, ohne Daten zu migrieren. Eine Plattform im Konto des Anbieters kann das nicht.

FAQ

Was kostet eine KI-Plattform mit Claude pro Nutzer?

Die Tokenkosten hängen von der Nutzung ab. Sonnet 5.5 kostet 2 USD Input und 10 USD Output pro Million Tokens, plus 10 Prozent für das EU-Profil auf Bedrock. Ein angenommener Nutzer mit 2 Millionen Input- und 0,4 Millionen Output-Tokens im Monat kostet rund 8,80 USD. Hosting, Datenbanken und Betriebspersonal kommen hinzu.

LibreChat oder Open WebUI: Was ist besser für Claude auf Bedrock?

LibreChat. Es hat einen nativen Bedrock-Endpunkt und eine MIT-Lizenz. Open WebUI braucht einen OpenAI-kompatiblen Proxy wie LiteLLM, weil Bedrock für Sonnet 5.5 und Opus 5.5 kein Chat Completions anbietet, und seine Lizenz schränkt eigenes Branding ab 50 Nutzern ein.

Funktioniert Open WebUI überhaupt mit Claude auf Bedrock?

Ja, über einen Proxy. Die Dokumentation nennt LiteLLM, stdapi.ai und das Bedrock Access Gateway. Das Repository des Bedrock Access Gateway ist archiviert, LiteLLM ist also die gepflegte Wahl. Der Chat-Completions-Weg über Bedrock Mantle deckt die Claude-5.5-Modelle nicht ab.

Welche Bedrock-Modell-ID hält Claude in der EU?

Das EU-Geo-Profil, zum Beispiel eu.anthropic.claude-sonnet-5-5 oder eu.anthropic.claude-opus-5-5. AWS schreibt, dass EU-Geo Daten in EU-Regionen hält. Die global.-IDs aus der Beispielkonfiguration von LibreChat routen weltweit.

Können wir den Zugang über Entra-ID-Gruppen steuern?

Ja. LibreChat liest App-Rollen aus dem ID-Token über OPENID_REQUIRED_ROLE und macht Admins über OPENID_ADMIN_ROLE. Open WebUI synchronisiert Gruppen über ENABLE_OAUTH_GROUP_MANAGEMENT und unterstützt SCIM 2.0, der Microsoft-Login ist aber auf einen Tenant beschränkt.

Ist Claude Team einfacher als eine eigene Plattform?

Ja. Team enthält SSO, die Apps und Claude Code für 20 bis 25 USD pro Sitz und Monat, ohne eigene Infrastruktur. Der Haken ist der Speicherort: Anthropic schreibt, dass Daten der Claude-Apps in den USA gespeichert werden, und die Preisseite nennt keine EU-Option.

Quellen

1. LibreChat auf GitHub (MIT-Lizenz, Releases) (1. Oktober 2026)
2. LibreChat v0.8.8 Release Notes (1. Oktober 2026)
3. LibreChat Docs: AWS Bedrock (1. Oktober 2026)
4. LibreChat Docs: Entra ID über OpenID (1. Oktober 2026)
5. LibreChat Docs: MCP (1. Oktober 2026)
6. LibreChat .env.example (1. Oktober 2026)
7. LibreChat docker-compose.yml (1. Oktober 2026)
8. LibreChat RAG API README (1. Oktober 2026)
9. Open WebUI auf GitHub (Lizenz, Releases) (1. Oktober 2026)
10. Open WebUI License (1. Oktober 2026)
11. Open WebUI Docs: OpenAI-kompatible Anbieter inkl. Bedrock (1. Oktober 2026)
12. Open WebUI Docs: SSO (1. Oktober 2026)
13. Open WebUI Docs: MCP (1. Oktober 2026)
14. AWS Bedrock Access Gateway (archiviert) (1. Oktober 2026)
15. AWS: Modellkarte Claude Sonnet 5.5 (1. Oktober 2026)
16. AWS: Modellkarte Claude Opus 5.5 (1. Oktober 2026)
17. AWS: Bedrock Datenschutz (1. Oktober 2026)
18. AWS: Bedrock Datenaufbewahrung (1. Oktober 2026)
19. Anthropic: Preise (1. Oktober 2026)
20. Claude: Pläne und Preise (1. Oktober 2026)
21. Anthropic Privacy Center: Serverstandort (1. Oktober 2026)