LLM Gateway für Claude: AI Gateways im EU-Vergleich

TL;DR

Ein LLM Gateway sitzt zwischen Ihren Anwendungen und den Modell-APIs, ein AI Gateway kontrolliert zusätzlich MCP-Server und Agenten. Für Claude unter DSGVO entscheidet weniger das Produkt als drei Punkte: Wo läuft das Gateway, wo liegen die Logs, welches Bedrock- oder Vertex-Profil wird aufgerufen. Selbst betriebene Gateways behalten alle drei in Ihrer Hand.

LLM Gateway oder AI Gateway: Wo liegt der Unterschied?

Ein LLM Gateway ist ein Proxy vor Modell-APIs. Es hält den Provider-Schlüssel, vergibt Zugangsdaten pro Nutzer, setzt Budgets durch und protokolliert Anfragen. Ein AI Gateway ist der Oberbegriff: Es wendet dieselben Kontrollen auch auf MCP-Tool-Server und Agent-to-Agent-APIs an. Jedes AI Gateway enthält ein LLM Gateway, umgekehrt gilt das nicht.

Microsoft zieht die Grenze am deutlichsten. Das AI Gateway in Azure API Management verwaltet Sprachmodell-APIs, MCP-Server, A2A-Agenten und selbst gehostete Modelle. Microsoft betont, dass es kein eigenes Produkt ist, sondern eine Erweiterung des bestehenden API Gateways. Kong und Apigee gehen genauso vor: KI-Plugins oder Policies auf einem API Gateway, das viele Unternehmen ohnehin betreiben.

Anthropic nutzt den engeren Begriff. Die Claude-Code-Dokumentation beschreibt ein Gateway als Proxy, den Ihre Organisation zwischen Claude Code und dem Modellanbieter betreibt, mit fünf Aufgaben: Zugangsdaten, Nutzungserfassung, Kostenkontrolle, Audit-Log und Anbieterwechsel. Das ist ein LLM Gateway im engen Sinn.

Für Unternehmen in der EU zählen drei Fragen mehr als der Begriff:

Frage	Warum sie für die DSGVO zählt
Wo läuft der Gateway-Prozess?	Prompts passieren ihn im Klartext
Wo liegen die Gateway-Logs?	Logs enthalten oft vollständige Prompts und Antworten
Welches Upstream-Profil wird aufgerufen?	`global.`-Profile auf Bedrock routen weltweit

Lautet die Antwort auf alle drei Fragen “in Ihrem EU-Konto”, ist das Gateway für personenbezogene Daten geeignet. Lautet sie bei einer Frage “auf unserer Plattform”, brauchen Sie einen AVV nach Art. 28 DSGVO und einen Blick in die Liste der Unterauftragsverarbeiter.

Welche Gateways können Claude über Bedrock oder Vertex anbinden?

Alle sieben geprüften Produkte leiten Claude über Amazon Bedrock weiter. Sie unterscheiden sich darin, wer sie betreibt, ob Budgets extra kosten und ob sich der Datenpfad auf die EU festlegen lässt. Selbst betriebene Gateways wie Claude apps gateway, LiteLLM, Kong oder Portkey Open Source erreichen EU-Datenhaltung über den Betriebsort. SaaS-Gateways hängen von den Regionsfunktionen des Anbieters ab.

Produkt	Wer betreibt es	EU-Datenhaltung Gateway und Logs	Claude-Upstreams	Budgets und Limits	Lizenz und Preis
Claude apps gateway	Sie (Linux-Container)	Ihre Region, Ihr Postgres	Bedrock, Google Cloud, Foundry, Anthropic API	Spend Limits pro Nutzer und Gruppe	Teil des `claude`-Binarys, keine Lizenzgebühr
LiteLLM Proxy	Sie	Ihre Region, Ihr Postgres	Bedrock, Vertex, Anthropic u. a.	Budgets pro Key, Team, Provider	MIT außerhalb von `enterprise/`
Portkey (jetzt Prisma AIRS AI Gateway)	SaaS, Hybrid oder Sie	Hybrid: Data Plane bei Ihnen, Control Plane bei Portkey	Bedrock, Anthropic, Vertex	Granulare Budgets nur Enterprise	OSS-Gateway MIT; Production 49 USD/Monat
Kong AI Gateway	Sie oder Konnect	Selbst gehostet oder Konnect-Geo EU	Anthropic, Bedrock, Gemini, Vertex	AI Rate Limiting Advanced nur Enterprise	Kong Gateway Apache 2.0
Cloudflare AI Gateway	Cloudflare	Regional Services für AI Gateway nicht unterstützt	Anthropic, Bedrock, Vertex	Request-Limits, bis zu 20 Spend-Regeln	Kernfunktionen kostenlos
Azure API Management	Microsoft (Ihr Tenant)	Region Ihrer APIM-Instanz	Anthropic Messages (v2-Tarife), Bedrock, Vertex-Schema	`llm-token-limit` pro Schlüssel	APIM-Tarif
Apigee	Google (Ihre Org)	Region Ihrer Apigee-Org	Beliebige HTTP-LLM-Backends	`LLMTokenQuota`, HTTP 429	Extensible Policy, Kosten je nach Lizenz

Einige Zeilen brauchen Kontext.

Claude apps gateway ist Anthropics eigenes selbst gehostetes Gateway, seit v2.1.195 im claude-Binary enthalten. Es bedient Claude Code und Claude Desktop, nicht Ihre eigenen Anwendungen. Voraussetzung sind PostgreSQL 14 oder neuer und ein OIDC-Identity-Provider; SAML und LDAP werden nicht unterstützt. WebSearch und der 1-Stunden-Cache-TTL funktionieren über das Gateway nicht, eine Admin-Oberfläche gibt es nicht.

LiteLLM ist die Allzweck-Lösung für eigene Anwendungen. Einrichtung, Budgets und den richtigen Bedrock-EU-Modellstring haben wir im LiteLLM-Leitfaden für die EU beschrieben und wiederholen das hier nicht.

Portkey heißt inzwischen Prisma AIRS AI Gateway und gehört zu Palo Alto Networks. Der gehostete Developer-Plan speichert Logs 3 Tage, Production 30 Tage. Beim Hybrid-Betrieb läuft das Gateway in Ihrem Kubernetes (ab v1.24), muss aber control.portkey.ai erreichen. Eine Region für die Control Plane nennen die geprüften Seiten nicht.

Cloudflare ist der günstigste Einstieg: Kernfunktionen kostenlos, Logpush mit 10 Millionen Requests inklusive, danach 0,05 USD pro Million. Der Haken für EU-Daten: Laut Cloudflares Kompatibilitätstabelle ist AI Gateway nicht mit Regional Services kompatibel, Customer Metadata Boundary ist in Entwicklung, und eine Speicherort-Beschränkung für Logs wird nicht unterstützt. Personenbezogene Daten würden wir dort derzeit nicht durchleiten.

Kong trennt Funktionen nach Lizenz. Das AI-Proxy-Plugin (ab Kong Gateway 3.6) trägt auf seiner Plugin-Seite kein AI-Lizenz-Kennzeichen. AI Rate Limiting Advanced, der PII Sanitizer und das AWS-Guardrails-Plugin gibt es nur im AI Gateway Enterprise Angebot. Konnect bietet ein EU-Geo, Authentifizierung, Abrechnung und Nutzungsdaten werden aber geo-übergreifend geteilt.

Wo sitzt ein EU-Gateway in der Architektur?

Das Gateway steht in Ihrem Netz zwischen Clients und Cloud-Anbieter und hält als einzige Komponente die Provider-Zugangsdaten. Entwickler und Anwendungen erhalten Gateway-Zugangsdaten. Die EU-Entscheidung fällt zweimal: beim Betriebsort von Gateway und Datenbank und bei der Wahl des Inferenzprofils. Wer eines davon falsch setzt, verlässt mit den Daten die EU.

Der Anfrageweg für Claude Code über ein selbst betriebenes Gateway:

Claude Code sendet die Anfrage mit einem Zugang pro Entwickler an die Gateway-URL.
Das Gateway authentifiziert den Entwickler über Ihren IdP und prüft den Modellzugriff nach Gruppe.
Es wendet Budgets und Rate Limits an und schreibt einen Nutzungseintrag in Postgres.
Es übersetzt die Anthropic-Modell-ID in die Provider-ID, etwa eu.anthropic.claude-sonnet-5 auf Bedrock.
Es leitet den Aufruf aus einer EU-Region mit der AWS-Rolle der Organisation weiter.
Telemetrie geht an Ihren eigenen OTLP-Collector, nicht an Anthropic.

Komponente	Wo sie laufen sollte	Was sie speichert
Gateway-Replicas	EU-VPC, private IP	Nichts Dauerhaftes (zustandslos)
Postgres	Gleiche EU-Region	Anmeldestatus, Ausgaben, Audit-Einträge
Upstream	Bedrock-Profil `eu.` oder Vertex-EU-Region	Nur Modellverarbeitung
Logs und Telemetrie	Ihr EU-Logging	Nutzung pro Person, optional Prompts

Die Modellkarte von Sonnet 5 sagt: Das EU-Geo-Profil hält Daten in EU-Regionen, global.anthropic.claude-sonnet-5 routet weltweit ohne Residency-Vorgabe. Anthropic gibt für regionale Endpunkte ab Sonnet 4.5 einen Aufschlag von 10 % gegenüber global an. Ein Gateway, das still auf global steht, spart 10 % und bricht Ihre Zusage zur Datenhaltung. Welche Modelle in Frankfurt verfügbar sind, steht in unserer Bedrock-Erklärung für die EU.

Auch die Client-Seite zählt. Claude Code akzeptiert drei Gateway-Formate: Anthropic Messages über ANTHROPIC_BASE_URL, Bedrock InvokeModel über ANTHROPIC_BEDROCK_BASE_URL und Vertex rawPredict über ANTHROPIC_VERTEX_BASE_URL. Der Kompatibilitätsleitfaden verlangt, anthropic-beta und anthropic-version unverändert weiterzureichen. Ein Gateway mit fester Allowlist heutiger Beta-Werte bricht beim nächsten Claude-Code-Release.

Wie konfigurieren Sie ein Gateway für Claude in der EU?

Legen Sie Region und Modellzuordnung ausdrücklich fest, denn die Voreinstellungen zeigen in die USA. Der eingebaute Katalog von Claude apps gateway nutzt us.-Profile, und die Dokumentation nennt einen models-Block als Pflicht für Bedrock-Regionen außerhalb der USA. Cloudflares Bedrock-Beispiel ruft us-east-1 auf. Behandeln Sie jedes Herstellerbeispiel als US-Konfiguration, bis Sie es ändern.

Eine minimale Claude-apps-gateway-Konfiguration für Frankfurt:

listen:
  host: 0.0.0.0
  port: 8080
  public_url: https://claude-gateway.intern.example.de

oidc:
  issuer: https://login.example.de
  client_id: claude-gateway
  client_secret: ${OIDC_CLIENT_SECRET}
  allowed_email_domains: [example.de]

session:
  jwt_secret: ${GATEWAY_JWT_SECRET}
  ttl_hours: 1

store:
  postgres_url: ${GATEWAY_POSTGRES_URL}

upstreams:
  - provider: bedrock
    region: eu-central-1
    auth: {}

auto_include_builtin_models: false
models:
  - id: claude-sonnet-5
    label: Claude Sonnet 5 (EU)
    upstream_model:
      bedrock: eu.anthropic.claude-sonnet-5

Mit auto_include_builtin_models: false bietet das Gateway keine US-Profile neben Ihrer EU-Zuordnung an. Auf Google Cloud setzen Sie nicht region: global: Dann verteilt Google jede Anfrage laut Doku auf eine beliebige verfügbare Region.

Bei einem anderen Gateway-Produkt, das das Bedrock-Format spricht, sieht die Claude-Code-Seite so aus:

export CLAUDE_CODE_USE_BEDROCK=1
export ANTHROPIC_BEDROCK_BASE_URL=https://llm-gateway.intern.example.de/bedrock
export ANTHROPIC_DEFAULT_SONNET_MODEL=eu.anthropic.claude-sonnet-5

Damit niemand am Gateway vorbei arbeitet, setzen Sie in den Managed Settings allowedProviders auf ["customEndpoint"] und hinterlegen die Gateway-URL im env-Block; das erfordert Claude Code v2.1.285 oder neuer. Wie Anwendungen ihre Schlüssel für das Gateway erhalten, zeigt unser Beitrag Claude API Key erstellen.

Selbst betreiben oder auslagern?

Ein eigenes LLM Gateway kostet wenig Lizenz und viel Aufmerksamkeit. Die Software ist kostenlos oder mitgeliefert, die Arbeit liegt bei Hochverfügbarkeit, Schlüsselrotation und Updates im Takt der Claude-Code-Releases. Auslagern lohnt sich, wenn niemand diese Bereitschaft übernimmt. Es lohnt sich nicht, wenn Sie Kong, APIM oder Apigee ohnehin für andere APIs betreiben.

Was der Eigenbetrieb laut den Betriebsdokumentationen der Hersteller umfasst:

Aufgabe	Warum sie wiederkehrt
Updates	Claude Code bringt pro Release neue Header und Felder; ein veraltetes Gateway bricht Funktionen
Postgres-HA und Backups	Spend Limits von Claude apps gateway greifen bei Postgres-Ausfall standardmäßig nicht (fail open)
Kapazität	Eine Replica sendet standardmäßig höchstens 256 Upstream-Anfragen gleichzeitig
Schlüsselrotation	JWT-Secret, OIDC-Client-Secret, Provider-Zugangsdaten
Modellzuordnung	Jedes neue Claude-Modell braucht einen Eintrag mit EU-Profil
Budget-Review	Team-Limits passen nach einigen Monaten nicht mehr

Unsere Schätzung, keine Herstellerangabe: Für ein Gateway in einer Region mit zwei Replicas und gemanagtem Postgres sollten Sie einige Stunden Plattform-Engineering pro Monat einplanen, plus eine Rufbereitschaft, die es für andere Dienste schon gibt. Beteiligt sind eine Plattform-Engineerin oder ein Plattform-Engineer, die IdP-Administration für Gruppen und jemand aus dem Controlling, der die Budgets verantwortet.

Auslagern würden wir, wenn kein Plattformteam rund um die Uhr erreichbar ist, wenn Claude für viele Mitarbeitende geschäftskritisch ist oder wenn ein Dritter Audit-Nachweise liefern soll. Im Haus behalten würden wir es, wenn ein API-Gateway-Team existiert: KI-Policies in Kong, APIM oder Apigee sind eine Konfigurationsänderung, kein neues System.

Was Sie von einem Dienstleister verlangen sollten, der das Gateway für Sie betreibt:

Ein SLA für den Gateway-Endpunkt und ein zugesagtes Update-Fenster nach jedem Claude-Code-Release.
Einen AVV nach Art. 28 DSGVO, der die EU-Region von Gateway, Datenbank und Logs nennt.
Eine Liste der Unterauftragsverarbeiter, inklusive jeder Hersteller-Control-Plane außerhalb Ihres Kontos (Portkey Hybrid, Konnect).
Ein Zugriffsmodell, bei dem Mitarbeitende des Dienstleisters Prompt-Logs standardmäßig nicht lesen können, mit protokolliertem Notfallzugriff.
Exit-Regeln: Konfiguration als Code in Ihrem Repository, Datenbank-Export und Provider-Zugangsdaten, die in Ihrem Cloud-Konto bleiben.

Herstellersupport ist kein Betrieb. Anthropic empfiehlt, wartet und prüft Drittanbieter-Gateways ausdrücklich nicht. Außer bei Claude apps gateway liegt das Kompatibilitätsrisiko also bei Ihnen oder Ihrem Betreiber. Die grundsätzliche Anbieterfrage behandelt unser DSGVO-Anbietervergleich für Claude.

FAQ

Was ist der Unterschied zwischen LLM Gateway und AI Gateway?

Ein LLM Gateway leitet Modell-API-Aufrufe weiter und verwaltet Schlüssel, Budgets, Logging und Routing. Ein AI Gateway wendet dieselben Kontrollen zusätzlich auf MCP-Tool-Server und Agenten-APIs an. Azure API Management, Kong und Apigee vermarkten AI Gateways, LiteLLM und Claude apps gateway sind LLM Gateways im engen Sinn.

Was kostet ein LLM Gateway?

Claude apps gateway hat keine Lizenz- oder Sitzgebühr, Sie zahlen Rechenleistung und Postgres. LiteLLM und Kong Gateway sind Open Source, Enterprise-Funktionen kosten extra. Portkey Production kostet 49 USD pro Monat. Bei Cloudflare sind die Kernfunktionen kostenlos, Logpush kostet oberhalb von 10 Millionen Requests 0,05 USD pro Million.

Ist Cloudflare AI Gateway DSGVO-tauglich für personenbezogene Daten?

Aus unserer Sicht derzeit nicht. Cloudflares eigene Kompatibilitätstabelle führt AI Gateway als nicht kompatibel mit Regional Services, und eine Speicherort-Beschränkung für Logs fehlt. Nutzen Sie es für Daten ohne Personenbezug oder warten Sie auf vollständige Unterstützung der Data Localization Suite.

Claude apps gateway oder LiteLLM: Was passt besser?

Claude apps gateway für Claude-Code- und Claude-Desktop-Flotten: Anmeldung über Ihren IdP, Kompatibilität mit jedem Claude-Code-Release. LiteLLM für eigene Anwendungen und Routing über mehrere Anbieter. Viele Unternehmen werden beides betreiben, weil Claude apps gateway keinen beliebigen Anwendungsverkehr annimmt.

Hält ein Gateway Claude-Daten automatisch in der EU?

Nein. Das Gateway leitet an das Profil weiter, das Sie konfigurieren, und mehrere Herstellervorgaben zeigen auf us.-Profile. Ordnen Sie jedes Modell einem eu.-Bedrock-Profil oder einer EU-Region auf Vertex zu und vermeiden Sie global, das keine Datenhaltung zusichert.

Greifen Budgets noch, wenn die Gateway-Datenbank ausfällt?

Das hängt vom Produkt ab. Die Spend Limits von Claude apps gateway sind bei einem Postgres-Ausfall standardmäßig offen, Sie können auf “fail closed” umstellen. Unser LiteLLM-Leitfaden zeigt, dass dessen Budgets ohne Datenbank gar nichts begrenzen. Testen Sie das Ausfallverhalten, bevor Sie sich auf ein Limit verlassen.

Quellen

Claude Code Doku: Run Claude Code through a gateway (1. Oktober 2026)
Claude Code Doku: Gateway compatibility guide (1. Oktober 2026)
Claude Code Doku: Other LLM gateways (1. Oktober 2026)
Claude Code Doku: Claude apps gateway (1. Oktober 2026)
Claude Code Doku: Claude apps gateway deployment and operations (1. Oktober 2026)
Claude Code Doku: Claude apps gateway configuration (1. Oktober 2026)
Microsoft Learn: AI gateway capabilities in Azure API Management (1. Oktober 2026)
Cloudflare AI Gateway: Preise (1. Oktober 2026)
Cloudflare Data Localization Suite: Produktkompatibilität (1. Oktober 2026)
Cloudflare AI Gateway: Spend limits (1. Oktober 2026)
Portkey: Preise (1. Oktober 2026)
Portkey Doku: Hybrid Deployment (1. Oktober 2026)
Portkey-AI/gateway auf GitHub (1. Oktober 2026)
Kong Doku: AI Proxy Plugin (1. Oktober 2026)
Kong Doku: AI Rate Limiting Advanced (1. Oktober 2026)
Kong Doku: Konnect Geos (1. Oktober 2026)
AWS: Guidance for Multi-Provider Generative AI Gateway (1. Oktober 2026)
Google Cloud: Apigee LLMTokenQuota Policy (1. Oktober 2026)
AWS: Modellkarte Claude Sonnet 5 (1. Oktober 2026)
Anthropic: Claude on Amazon Bedrock, global vs. regional (1. Oktober 2026)
BerriAI/litellm LICENSE (1. Oktober 2026)
DSGVO (Verordnung (EU) 2016/679) (1. Oktober 2026)