Private LLM in der EU: selbst hosten oder Claude 2026

TL;DR

Ein Private LLM in der EU ist ein Hosting-Entscheid, kein Modellname. Gewichte liegen in Ihrem Netz, in Frankfurt über Bedrock Custom Model Import, oder Sie rufen Gemma 4 in eu-central-1 auf. Claude bleibt hinter eu.anthropic.claude-sonnet-5-5. Die Anthropic-API kennt kein eu. Foundry listet nur Global und US Data Zone.

Was ist ein Private LLM in der EU?

Ein Private LLM in der EU ist ein Sprachmodell, dessen Inferenz unter Ihrer Kontrolle in einem Mitgliedstaat oder in dokumentierter EU-Geografie läuft. Es ist kein Chatbot-Abo. Drei Schichten zählen: wo die Gewichte liegen, wo die Anfrage gerechnet wird, und wer Prompts speichert. Die DSGVO verlangt keinen EU-Standort, Residenz nimmt die Transferfrage aber vom Tisch.

Wir leisten keine Rechtsberatung. Den Anbietervergleich mit AVV steht unter Claude DSGVO-konform nutzen. Wie Sie Claude selbst pinnen, steht in Claude Datenresidenz in der EU.

Private heißt hier nicht “open source”. Gemma 4 und Qwen3-32B stehen unter Apache 2.0. Mistral Large 3 ebenfalls. Llama 4 Scout steht unter der Llama 4 Community License mit einer Schwelle von 700 Millionen monatlich aktiven Nutzern. DeepSeek-V4.1-Flash steht unter MIT. Claude-Gewichte bleiben geschlossen.

Schicht	Was Sie prüfen	Typische Falle
Gewichte	Lizenz, Parameter, Kontext	Llama-MAU-Schwelle, Import-Limit 200 GB Text
Inferenzort	Region, Geo-Profil, eigener GPU-Knoten	inference_geo kennt nur global und us
Speicher	Logs, ZDR, aws_review	Fable 5 und 5.1 bis 30 Tage in der AWS-Grenze

Die Bedrock-Datenschutzseite stellt klar: Modellanbieter haben keinen Zugriff auf Deployment-Accounts, Logs, Prompts oder Completions. Das gilt für Claude und für offene Modelle auf Bedrock gleich. Wer selbst hostet, hat denselben Hebel ohne AWS dazwischen.

Welche drei Wege gibt es 2026?

Ein Private LLM in der EU erreichen Sie 2026 auf drei Wegen. Selbst hosten Sie Gewichte auf eigener Hardware. Auf Bedrock importieren Sie angepasste Gewichte nach Frankfurt oder rufen Gemma 4 und Qwen3 in einer EU-Region auf. Claude bleibt das Qualitätsdefault hinter dem EU-Geo-Profil. Foundry pinnt Claude nicht in eine EU-Zone.

Weg 1: Selbst hosten. Die Gemma-4-31B-it-Karte nennt Apache 2.0, 30,7 Milliarden Parameter, 60 Schichten, 256K Kontext. Qwen3-32B ist Apache 2.0, 32,8 Milliarden Parameter, 32.768 Tokens nativ, mit YaRN bis 131.072. Mistral Large 3 ist Apache 2.0, 675B gesamt, 41B aktiv, 256k Kontext, vLLM ab 1.12.0 auf einer 8xH200-Node. DeepSeek-V4.1-Flash ist MIT, 552B Backbone, 8B Prefill und 16B Decode, 1M Kontext. Die GPU-Rechnung für Flash steht in DeepSeek V4.1 lokal betreiben.

Weg 2: Verwaltetes Open-Weight auf Bedrock. Gemma 4 31B hat die ID google.gemma-4-31b, Launch 31. März 2026, EOL nicht vor dem 31. März 2027, nur bedrock-mantle, kein Geo- und kein Global-Profil. Frankfurt ist die dokumentierte EU-Zeile. Qwen3 32B hat die ID qwen.qwen3-32b-v1:0, Launch 29. April 2025, EOL nicht vor dem 29. April 2026, 32K Kontext, 8K Output, In-Region unter anderem Frankfurt, Stockholm, Mailand, Irland und London. Custom Model Import läuft in eu-central-1, us-east-1, us-east-2 und us-west-2. Textgewichte müssen unter 200 GB liegen, multimodale unter 100 GB, der Kontext unter 128K. Unterstützte Architekturen sind unter anderem Llama 2 bis 3.3, Mistral, Mixtral, Qwen2/Qwen2.5/Qwen3, GPTBigCode. GPT-OSS-Import nur in N. Virginia. Der Katalog steht in Amazon Bedrock erklärt.

Weg 3: Claude mit EU-Pinning. Die Sonnet-5.5-Karte nennt Launch 28. September 2026, EOL nicht vor dem 28. September 2027, 1 Million Tokens Kontext, 128.000 Output, Wissensstand Juni 2026. Das EU-Profil eu.anthropic.claude-sonnet-5-5 routet aus Frankfurt nach Frankfurt, Stockholm, Mailand, Spanien, Irland und Paris. London kommt als Quelle hinzu, nicht als Ziel aus Frankfurt. Google hält Sonnet 5.5 in der Europe-Multi-Region mit 1.250 QPM, 12.500.000 uncached Input-TPM und 1.250.000 Output-TPM. Der EU-Host ist aiplatform.eu.rep.googleapis.com, Location eu. UK und Schweiz liegen außerhalb. Die First-Party-API akzeptiert für inference_geo nur global und us. Workspace-Geo ist nur us. Foundry listet Global Standard und Data Zone Standard (US). Eine EU-Datenzone für Claude ist dort nicht dokumentiert.

Wir empfehlen Weg 3 als Default, sobald die Aufgabe Agenten, Computer Use, Guardrails oder eine Million Tokens Kontext braucht. Weg 2, wenn der Dollarpreis zählt und In-Region in Frankfurt reicht. Weg 1, wenn die Gewichte physisch in Ihrem Rechenzentrum liegen müssen.

Die Modellvergleiche bleiben eigene Seiten: Gemma vs Claude, Mistral vs Claude, Llama vs Claude, Qwen vs Claude.

Was kostet ein Private LLM gegenüber Claude?

Tokenpreise und Import-Minutenpreise stehen auf den Anbieterseiten. Claude Sonnet 5.5 listet 2 / 10 USD je Million Tokens, Opus 5.5 listet 4 / 20. Regionale Endpunkte ab Sonnet 4.5 haben 10 Prozent Aufschlag, EU-Sonnet also 2,20 / 11. Gemma 4 31B in Frankfurt listet 0,17 / 0,48. Custom Model Import in Frankfurt listet 0,07144 USD je Unit und Minute.

Die Anthropic-Preisseite nennt Cache-Reads auf Sonnet 5.5 mit 0,10 USD. Haiku 5.5 bis 100.000 Tokens kostet 0,10 / 0,50. Batch halbiert Input und Output. CCU kostet 0,01 USD, 100 CCU entsprechen 1 USD. US-only inference_geo auf der First-Party-API kostet 1,1x. Priority auf Bedrock liegt 75 Prozent über Standard, Flex und Batch 50 Prozent darunter.

Pfad	Input / Output je 1 Mio. Tokens	Residenz	Betrieb
Claude Sonnet 5.5 global	2 / 10 USD	beliebig	kein GPU
Claude Sonnet 5.5 EU-Geo (10 %)	2,20 / 11 USD	EU-Ziele der Karte	kein GPU
Gemma 4 31B US	0,14 / 0,40 USD	eine US-Region	Mantle /openai/v1
Gemma 4 31B Frankfurt	0,17 / 0,48 USD	eu-central-1	Mantle /openai/v1
Custom Model Import Frankfurt	0,07144 USD je Unit und Minute, Speicher 1,95 USD je Unit und Monat	eu-central-1	Skalierung auf null nach 5 Minuten Idle
Llama 3.1 8B Import (Referenz)	2 Units	Frankfurt oder US	wie Import
Llama 3.1 70B Import (Referenz)	8 Units	Frankfurt oder US	wie Import

Zwei Units in Frankfurt kosten 0,14288 USD je aktiver Minute. Acht Units kosten 0,57152 USD je aktiver Minute. Die Abrechnung läuft in 5-Minuten-Fenstern ab dem ersten erfolgreichen Aufruf. Nach fünf Minuten ohne Aufruf skaliert Bedrock auf null. Standardmaximum sind 3 Kopien je importiertem Modell, erhöhbar über Service Quotas. GPU-Mieten für Selbsthosting haben wir in diesem Lauf nicht auf einer zugelassenen Quelle gelesen, deshalb lassen wir sie leer.

Die API-Tabelle mit Bedrock, Google und Foundry steht unter Claude API Kosten EU.

Welche Lizenzen und AI-Act-Rollen gelten?

Lizenz und KI-Verordnung sind getrennte Fragen. Apache 2.0 und MIT erlauben kommerzielle Nutzung mit Hinweispflicht. Die Llama-4-Community-License verlangt “Built with Llama” und eine Extra-Lizenz ab 700 Millionen MAU. Der AI Act hängt an der Rolle, nicht an der Lizenz. Hochrisiko-Pflichten für Anhang-III-Systeme gelten ab 2. Dezember 2027.

Die EUR-Lex-Zusammenfassung nennt die allgemeine Geltung seit 2. August 2026, KI-Kompetenz und Verbote seit 2. Februar 2025, GPAI-Anbieterpflichten seit 2. August 2025. Die Omnibus-Verordnung (EU) 2026/1744 vom 8. Juli 2026 verschiebt Kapitel III Abschnitte 1 bis 3: Anhang III ab 2. Dezember 2027, Anhang I ab 2. August 2028.

Wer Gemma oder Qwen nur aufruft, bleibt Betreiber des Systems. Wer Gewichte feintunt, importiert oder als eigenen Dienst anbietet, kann zusätzlich Anbieter werden. Die Rollen erklärt AI Act Unternehmen. Fable 5 und 5.1 auf Bedrock verlangen aws_review: Prompts und Completions bleiben bis 30 Tage in der AWS-Grenze, der Modellanbieter sieht sie nicht. Die meisten übrigen Modelle erlauben none. Setzen Sie data_retention_mode auf none, blockiert Bedrock Modelle, die Retention verlangen.

Wie richten Sie den Default in der EU ein?

Pinning ist ein Endpunkt, kein Policy-PDF. Claude nur über eu.anthropic.claude-sonnet-5-5 oder Google locations/eu. Gemma 4 nur über bedrock-mantle.eu-central-1.api.aws/openai/v1. Selbst hosten Sie Qwen3-32B mit vLLM. Sperren Sie global. per IAM. Foundry bleibt für Claude ohne EU-Zone, deshalb gehört es nicht in den Default.

1. Schreiben Sie Residenz ins Lastenheft: ein Mitgliedstaat, EU-Geografie oder global.
2. Wählen Sie den Weg: Claude-EU, Bedrock-In-Region Open-Weight, Import oder eigener Knoten.
3. Legen Sie das Modell fest und lesen Sie die Karte am Tag der Freigabe.
4. Setzen Sie Retention: none, außer Fable ist absichtlich im Scope.
5. Kappen Sie spend auf einem Gateway, damit Apps nicht nach us-east-1 kippen.
6. Dokumentieren Sie Lizenz, AI-Act-Rolle und EOL.

# Weg 3: Claude in der EU-Geografie (Bedrock runtime)
# region eu-central-1, Profil eu.anthropic.claude-sonnet-5-5

import boto3
from openai import OpenAI

# Claude EU-Geo über Converse
br = boto3.client("bedrock-runtime", region_name="eu-central-1")
claude = br.converse(
    modelId="eu.anthropic.claude-sonnet-5-5",
    messages=[{"role": "user", "content": [{"text": "Nenne Residenzgrenzen in zwei Sätzen."}]}],
    inferenceConfig={"maxTokens": 256},
)
print(claude["output"]["message"]["content"])

# Gemma 4 31B in Frankfurt, nur Mantle /openai/v1
gemma = OpenAI(
    api_key="BEDROCK_API_KEY",
    base_url="https://bedrock-mantle.eu-central-1.api.aws/openai/v1",
)
print(gemma.chat.completions.create(
    model="google.gemma-4-31b",
    messages=[{"role": "user", "content": "Nenne Residenzgrenzen in zwei Sätzen."}],
).choices[0].message.content)

# Weg 1: Qwen3-32B im eigenen Netz (vLLM laut Modellkarte, vllm>=0.8.5)
vllm serve Qwen/Qwen3-32B --enable-reasoning --reasoning-parser deepseek_r1

Mistral Large 3 auf einer 8xH200-Node:

pip install 'vllm>=1.12.0'
vllm serve mistralai/Mistral-Large-3-675B-Instruct-2512 \
  --max-model-len 262144 --tensor-parallel-size 8 \
  --tokenizer_mode mistral --config_format mistral --load_format mistral \
  --enable-auto-tool-choice --tool-call-parser mistral

Wir empfehlen Claude auf Bedrock EU als Default in deutschen Unternehmen. Ein Private LLM kommt dazu, nicht stattdessen, sobald Gewichte, Preis oder ein Import-Workflow das Lastenheft gewinnen. Parallel beide Wege hinter einem Gateway, mit getrennten Limits.

FAQ

Was kostet ein Private LLM in der EU gegenüber Claude?

Gemma 4 31B in Frankfurt listet 0,17 / 0,48 USD je Million Tokens. Claude Sonnet 5.5 listet 2 / 10, mit 10 Prozent Aufschlag auf regionalen Endpunkten 2,20 / 11. Custom Model Import in Frankfurt listet 0,07144 USD je Unit und Minute plus 1,95 USD Speicher je Unit und Monat. GPU-Mieten für Selbsthosting haben wir hier nicht verifiziert.

Private LLM vs Claude: wann welches?

Claude Sonnet 5.5 hinter eu.anthropic.claude-sonnet-5-5, wenn Prompts in Mitgliedstaaten bleiben sollen und Sie Agenten, Computer Use oder 1 Million Tokens Kontext brauchen. Ein Private LLM, wenn Apache-2.0-Gewichte, der Frankfurt-Tarif oder ein Import nach eu-central-1 das Lastenheft gewinnen. Foundry ersetzt keinen der beiden Wege für EU-Pinning von Claude.

Bleibt Gemma 4 auf Bedrock in der EU?

In Frankfurt ja, als In-Region auf bedrock-mantle, ohne Geo-Profil. Die Karte unterstützt Geo und Global ausdrücklich nicht. Der Request-Body inklusive Bilder und Video darf 3,5 MB nicht überschreiten. Reasoning-Tokens kommen über die Responses-API zurück, nicht über Chat Completions.

Darf ein deutsches Unternehmen Llama 4 Scout privat betreiben?

Ja, unter der Llama 4 Community License, solange die MAU-Schwelle von 700 Millionen nicht greift und die Acceptable Use Policy eingehalten wird. Scout hat 17B aktiv, 109B gesamt, 10M Kontext. Auf Bedrock bleibt Llama 4 laut den Karten, die wir zuletzt gelesen haben, ohne EU-Geo. Import von Llama 3.x nach Frankfurt ist dokumentiert, Llama 4 steht nicht in der Import-Architekturliste.

Macht Selbsthosten uns zum Anbieter nach dem AI Act?

Aufrufen allein macht Sie zum Betreiber. Feintuning, Re-Release oder ein eigener Dienst für Dritte kann Anbieterpflichten auslösen. GPAI-Modellpflichten gelten für den ursprünglichen Anbieter seit 2. August 2025. Hochrisiko-Systeme nach Anhang III ab 2. Dezember 2027. Klären Sie die Rolle mit Ihrer Compliance, nicht mit diesem Text.

Sehen Anthropic oder Google meine Prompts auf Bedrock?

Laut AWS-Datenschutzseite nein. Modellanbieter haben keinen Zugriff auf die Deployment-Accounts. AWS kann Daten zur Missbrauchserkennung behalten. Fable 5 und 5.1 verlangen bis 30 Tage aws_review in der AWS-Grenze. Selbst hosten Sie, wenn auch AWS die Prompts nicht sehen soll.

Quellen

1. Anthropic: Pricing (19. Oktober 2026)
2. Anthropic: Data residency (19. Oktober 2026)
3. AWS: Claude Sonnet 5.5 Model Card (19. Oktober 2026)
4. AWS: Gemma 4 31B Model Card (19. Oktober 2026)
5. AWS: Qwen3 32B Model Card (19. Oktober 2026)
6. AWS: Custom Model Import (19. Oktober 2026)
7. AWS: Data protection (19. Oktober 2026)
8. AWS: Data retention (19. Oktober 2026)
9. Amazon Bedrock Pricing (19. Oktober 2026)
10. Hugging Face: gemma-4-31B-it (19. Oktober 2026)
11. Hugging Face: Mistral-Large-3-675B-Instruct-2512 (19. Oktober 2026)
12. Hugging Face: Qwen3-32B (19. Oktober 2026)
13. Hugging Face: Llama-4-Scout-17B-16E-Instruct (19. Oktober 2026)
14. Hugging Face: DeepSeek-V4.1-Flash (19. Oktober 2026)
15. Google Cloud: Data residency (19. Oktober 2026)
16. Google Cloud: Claude Sonnet 5.5 (19. Oktober 2026)
17. Google Cloud: Use partner models (19. Oktober 2026)
18. Microsoft Learn: Claude models in Foundry (19. Oktober 2026)
19. EUR-Lex: Verordnung (EU) 2026/1744 (19. Oktober 2026)
20. EUR-Lex: Zusammenfassung KI-Verordnung (19. Oktober 2026)