DeepSeek V4.1 lokal betreiben: VRAM, GPUs und vLLM 2026
DeepSeek V4.1 Flash lokal betreiben: 510 GB Checkpoint, VRAM-Rechnung, 8x H200 oder 4x B200, vLLM- und SGLang-Befehle, MIT-Lizenz und DSGVO im Überblick.
TL;DR
Wer DeepSeek V4.1 lokal betreiben will, braucht für den offiziellen FP8/FP4-Checkpoint rund 510 GB GPU-Speicher, also einen 8x-H200-Server oder vier B200. Bereitstellung per vLLM-Nightly oder SGLang-Preview-Image, denn kein stabiles Release unterstützt das Modell bisher. Die MIT-Lizenz erlaubt kommerzielle Nutzung, und keine Prompt-Daten gehen an DeepSeek.
Was ist DeepSeek V4.1 Flash?
DeepSeek V4.1 Flash ist ein offenes, multimodales Mixture-of-Experts-Modell, am 10. September 2026 auf Hugging Face veröffentlicht. Es hat 552B Backbone-Parameter, aktiviert pro Token 8B im Prefill und 16B im Decode, versteht Bilder und Text, erzeugt Text und verarbeitet bis zu eine Million Token Kontext. Die Gewichte stehen unter MIT-Lizenz.
Die Modellkarte beschreibt einen Causal Encoder-Decoder: 40 Transformer-Schichten, aufgeteilt in 20 Encoder- und 20 Decoder-Schichten. Der globale KV-Cache des Decoders wird aus der Encoder-Ausgabe projiziert. Deshalb berührt der Prefill nur 8B Parameter. Dazu kommt Engram, ein bedingter Speicher mit 196B Parametern, der über Token-N-Gramme nachgeschlagen wird. Sie müssen ihn komplett laden, obwohl jedes Token nur wenige Zeilen davon liest.
| Eigenschaft | Wert | Quelle |
|---|---|---|
| Backbone-Parameter | 552B | Modellkarte |
| Aktive Parameter | 8B Prefill, 16B Decode | Modellkarte |
| Engram-Speicher | 196B Parameter | Modellkarte |
| Experten | 1 geteilter + 384 geroutete, 6 aktiv | Modellkarte, config.json |
| Kontext | 1.048.576 Token (YaRN-Faktor 16 auf 65.536) | config.json |
| Modalitäten | Bild und Text rein, Text raus | Modellkarte |
| Gewichtsformat | FP8 dicht (32x32-Blöcke, UE8M0-Skalen), FP4-Experten | config.json |
| Globaler KV-Cache | 890 Byte pro Token | Modellkarte |
| Lizenz | MIT (Repository und Gewichte) | Modellkarte |
Die Benchmarks der Karte, gemessen mit maximalem Reasoning-Aufwand, nennen 74,2 auf DeepSWE v1.1 und 90,6 auf Terminal-Bench 2.1. Das sind Herstellerwerte, keine unabhängigen Messungen. Vor dem Deployment sind zwei Details wichtig: Das Release enthält kein Jinja-Chat-Template, nur einen Python-Referenz-Encoder. Und die Karte empfiehlt temperature=1.0, top_p 0,95 und ein max_tokens-Budget von mindestens 256K für Reasoning.
Wie viel VRAM braucht DeepSeek V4.1 Flash?
Der offizielle Checkpoint besteht aus 48 Safetensors-Dateien mit zusammen 510,3 GB (475,3 GiB). Das ist die Untergrenze für die Gewichte auf der GPU. Hinzu kommen KV-Cache, Aktivierungen, CUDA Graphs und der Puffer des Sparse-Attention-Indexers. Das vLLM-Rezept setzt als Planungsminimum 614 GB an, also Checkpoint-Größe mal 1,2.
Die 510,3 GB haben wir selbst aus den Dateigrößen im Hugging-Face-Repository (Revision dba1be0a) summiert. Das vLLM-Rezept schlüsselt sie auf: MXFP4-Experten inklusive Draft-Experten 259,5 GiB, Engram-Tabellen in FP8 183,1 GiB, UE8M0-Blockskalen 21,9 GiB, Attention und dichte Projektionen 6,9 GiB, Embedding und LM-Head 3,9 GiB. Engram ist die Überraschung: mehr als ein Drittel des Checkpoints.
| Präzisionsvariante | Herausgeber | Gewichte | Status |
|---|---|---|---|
| Nativ FP8 dicht + MXFP4-Experten | DeepSeek | 510,3 GB (gemessen) | Offiziell, Basis der Rezepte |
| NVFP4-Experten | NVIDIA | ca. 492 GiB (NVIDIA-Karte) | Offizielle NVIDIA-Quantisierung, nur Blackwell |
| BF16 vollständig hochgerechnet | niemand | ca. 1.526 GB (Schätzung) | Nicht veröffentlicht, nicht sinnvoll |
| GGUF 2 bis 4 Bit | nur Community | variiert | Kein Upstream-Support in llama.cpp |
Die BF16-Zeile ist unsere Schätzung: 557,2B Experten-Einträge plus 196,6B Engram plus 7,4B dichte plus 2,0B Embedding-Parameter ergeben rund 763B Werte, mal 2 Byte etwa 1,53 TB. Niemand liefert das aus, und ein Modell mit FP4-Experten hochzurechnen bringt nichts. Auch der NVFP4-Checkpoint von NVIDIA spart keinen Speicher: NVIDIA gibt an, dass er wegen des feineren Skalenlayouts von etwa 476 GiB auf 492 GiB wächst. Sein Vorteil ist W4A4-Rechnen auf Blackwell.
KV-Cache-Schätzung. Die Karte nennt 890 Byte globalen KV-Cache pro Token. Unsere Rechnung, ohne das feste Sliding Window von 128 Token pro Schicht und ohne Laufzeit-Overhead:
- Ein voller Kontext mit 1.048.576 Token: 1.048.576 x 890 B = 0,93 GB (Schätzung)
- 32 parallele Anfragen mit je 128K Token: 32 x 131.072 x 890 B = 3,7 GB (Schätzung)
- 256 parallele Anfragen mit je 32K Token: 256 x 32.768 x 890 B = 7,5 GB (Schätzung)
Der KV-Cache begrenzt also nicht, die Laufzeitpuffer schon. Das vLLM-Rezept beschreibt: Der Indexer reserviert einen Logits-Puffer aus maximalen Batch-Token mal maximaler Kontextlänge: 8.192 x 1M x 2 Byte sind genau 16 GiB. Planen Sie für einen Produktionsserver mindestens 100 GB über den Gewichten ein. Diese 100 GB sind unsere Schätzung und decken sich mit dem 614-GB-Minimum des Rezepts.
Welche GPU-Konfiguration reicht?
Die sichere Wahl ist ein 8x-H200-Server: 1.128 GB HBM, von vLLM und SGLang verifiziert. Vier B200 (720 GB) sind ebenfalls verifiziert. Ein 8x-H100-Server (640 GB) läuft nur mit vLLM und nur, wenn Engram in den Arbeitsspeicher des Hosts ausgelagert wird. Vier H200 liegen unter dem Minimum des Rezepts.
Die Speicherwerte stammen aus NVIDIA-Datenblättern: H100 80 GB, H200 141 GB, DGX B200 1.440 GB für 8 GPUs (180 GB je GPU), RTX PRO 6000 Blackwell 96 GB.
| Konfiguration | GPU-Speicher gesamt | Rest nach 510,3 GB Gewichten | Engine-Status (19.09.2026) |
|---|---|---|---|
| 8x H200 141 GB | 1.128 GB | 617,7 GB | Verifiziert in vLLM und SGLang (TP8) |
| 4x B200 180 GB | 720 GB | 209,7 GB | Verifiziert in vLLM und SGLang (TP4) |
| 8x RTX PRO 6000 96 GB | 768 GB | 257,7 GB | Nicht in den offiziellen Rezepten, nur Community-Berichte |
| 8x H100 80 GB | 640 GB | 129,7 GB | Nur vLLM, mit Engram-CPU-Offload |
| 4x H200 141 GB | 564 GB | 53,7 GB | Unter 614 GB Minimum, raten wir ab |
| 4x RTX PRO 6000 96 GB | 384 GB | passt nicht | Nein |
Der H100-Fall braucht eine Erklärung. Das vLLM-Rezept nennt 8x 80 GB den kleinsten NVIDIA-Knoten, der diesen Checkpoint bedient, und zwar nur mit --engram-config '{"cpu_offload":true}'. Damit wandern die 183 GiB Engram-Tabellen in gepinnten Host-RAM. Ihr Server braucht dann so viel freien Arbeitsspeicher zusätzlich. SGLang führt H100 gar nicht.
Bei der RTX PRO 6000 passt die Rechnung mit acht Karten, aber keines der offiziellen Rezepte markiert sie als verifiziert. Im vLLM-Issue-Tracker gibt es einen Community-Erfahrungsbericht mit 8x RTX PRO 6000 und einen separaten Bug zu sehr niedrigem Decode-Durchsatz auf dieser Konfiguration. Behandeln Sie das als Laboraufbau, nicht als Produktionsziel.
Unsere Empfehlung: 8x H200, wenn Sie auf Hopper setzen, und 4x B200, wenn Sie Blackwell bekommen. Beide lassen Luft für lange Kontexte und Batching ohne Offload-Tricks, ob im eigenen Rechenzentrum oder in einer Colocation in Frankfurt.
Wie starten Sie das Modell mit vLLM oder SGLang?
Kein stabiles Release der beiden Engines unterstützt DeepSeek V4.1 Flash bisher. Das vLLM-Rezept verlangt Version 0.30.0, die noch nicht erschienen ist, und verweist auf das Image vllm/vllm-openai:nightly. Das SGLang-Cookbook schreibt, der Support sei “not shipped in an SGLang release yet”, und nutzt das Preview-Image lmsysorg/sglang:dev-dsv41.
Das letzte vLLM-Release, v0.29.0, erschien am 9. September 2026, einen Tag vor dem Modell. Die Architektur kam am 10. September mit PR 56228 in main. Pinnen Sie in Produktion einen konkreten Nightly-Digest, denn Nightly-Images ändern sich täglich.
vLLM auf 8x H200. Die Argumente stammen aus dem vLLM-Rezept (Basisargumente, Parser, Text-only-Flag). Ausführen im Container vllm/vllm-openai:nightly:
export VLLM_ENGINE_READY_TIMEOUT_S=3600
vllm serve deepseek-ai/DeepSeek-V4.1-Flash \
--tensor-parallel-size 8 \
--tokenizer-mode deepseek_v41 \
--reasoning-parser deepseek_v41 \
--tool-call-parser deepseek_v41 --enable-auto-tool-choice \
--language-model-onlyLassen Sie --language-model-only weg, wenn Sie Bildeingaben brauchen. Auf 8x H100 ergänzt das Rezept --engram-config '{"cpu_offload":true}' --max-num-batched-tokens 4096 --gpu-memory-utilization 0.92 sowie die Umgebungsvariablen VLLM_USE_V2_MODEL_RUNNER=1 und PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True. Eine Falle aus dem Rezept: In vLLM ist Thinking mit Aufwand 50 aktiv, wenn Sie keine Reasoning-Einstellung senden. Ein kleines max_tokens liefert dann leeren Content.
SGLang auf 8x H200. Das ist die verifizierte High-Throughput-Zelle aus den SGLang-Startkonfigurationen:
docker run --gpus all --shm-size 32g -p 30000:30000 --ipc=host \
-v ~/.cache/huggingface:/root/.cache/huggingface \
lmsysorg/sglang:dev-dsv41 \
sglang serve --trust-remote-code \
--model-path deepseek-ai/DeepSeek-V4.1-Flash \
--tp 8 --ep-size 8 --mem-fraction-static 0.8 \
--attention-backend dsv4 --moe-runner-backend flashinfer_mxfp4 \
--max-running-requests 256 --cuda-graph-max-bs-decode 64 \
--reasoning-parser auto --tool-call-parser auto \
--host 0.0.0.0 --port 30000Auf B200, B300 und GB300 nutzt das Cookbook --tp 4 --ep-size 4 und rät, die Backends nicht zu überschreiben. In SGLang ist Thinking standardmäßig aus, bis eine Anfrage reasoning_effort mitsendet. Weil --trust-remote-code Code aus dem Repository ausführt, sollten Sie die geprüfte Modell-Revision pinnen.
Smoke-Test (aus dem vLLM-Rezept, Port 8000; für SGLang 30000). Die richtige Antwort ist 323:
curl http://localhost:8000/v1/chat/completions -H 'Content-Type: application/json' -d '{"model":"deepseek-ai/DeepSeek-V4.1-Flash","messages":[{"role":"user","content":"What is 17*19? Return only the integer."}]}'Ollama und llama.cpp. Für den lokalen Betrieb derzeit keine Option. Die Ollama Library führt nur deepseek-v4.1-flash:cloud, das auf Servern von Ollama läuft. Ihre Prompts verlassen damit Ihre Infrastruktur. Die Konvertierung in llama.cpp ist ein offener, nicht gemergter Pull Request. Auf Hugging Face gibt es Community-GGUFs, aber keine davon stammt von DeepSeek oder den llama.cpp-Maintainern.
Gibt es DeepSeek V4.1 Flash auf Bedrock oder Google Cloud in der EU?
Nein. Stand 19. September 2026 dokumentiert Amazon Bedrock DeepSeek-R1, V3.1 und V3.2, aber kein V4- oder V4.1-Modell. Das verwaltete DeepSeek-Angebot von Google Cloud listet V3.2, V3.1, R1-0528 und OCR. Wer V4.1 Flash mit EU-Datenresidenz nutzen will, muss es heute selbst hosten.
Die Bedrock-Modellliste enthält Modellkarten für drei DeepSeek-Modelle. Das neueste ist DeepSeek-V3.2 (deepseek.v3.2); seine Regionstabelle nennt unter anderem eu-north-1 (Stockholm) und eu-west-2 (London), aber nicht Frankfurt, und es gibt kein Geo- oder Global-Profil. Bei Google Cloud zeigt die DeepSeek-MaaS-Seite dieselbe Generationslücke. Welche Modelle Bedrock tatsächlich in EU-Regionen hält, zeigt unser Artikel Amazon Bedrock erklärt. Kimi K3, ein weiteres Open-Weight-Modell, gibt es auf Bedrock nur über ein globales Profil, wie unsere Analyse zu Kimi K3 auf Bedrock erklärt.
| Option | V4.1 Flash verfügbar | EU-Datenresidenz |
|---|---|---|
| Eigene GPUs oder Colocation in der EU | Ja | Ja, unter Ihrer Kontrolle |
| GPU-VMs in einer EU-Cloud-Region, selbst betrieben | Ja, wenn H200- oder B200-Kapazität verfügbar ist | Ja, Region frei wählbar |
| Amazon Bedrock | Nicht verfügbar | entfällt |
| Google Cloud MaaS | Nicht verfügbar | entfällt |
| Ollama Cloud-Tag | Ja | Auf der Modellseite nicht dokumentiert |
Wenn Sie stattdessen eine verwaltete Claude-Alternative mit EU-Datenresidenz suchen, erklärt unser Leitfaden zu Claude auf AWS Bedrock Frankfurt die EU-Inferenzprofile.
Was bedeuten DSGVO, MIT-Lizenz und AI Act?
Beim Selbsthosten offener Gewichte erreicht kein Prompt und keine Ausgabe DeepSeek. Die Gewichte sind eine Datei, die Inferenz läuft auf Hardware unter Ihrer Kontrolle. Die DSGVO-relevante Verarbeitung bleibt in Ihrem Setup und bei Ihren bestehenden Auftragsverarbeitern. Die MIT-Lizenz erlaubt kommerzielle Nutzung, Änderung und Weitergabe, solange der Copyright-Hinweis erhalten bleibt.
DSGVO. Beim Selbsthosten entfallen für die Modellschicht die üblichen Fragen: Modellanbieter als Auftragsverarbeiter, AVV, Drittlandtransfer, Training mit Kundendaten. Übrig bleibt Ihre eigene Infrastruktur: Hosting- oder Colocation-Vertrag, Zugriffskontrolle, Logging und Aufbewahrung. Zwei Lecks sollten Sie vermeiden: Der Ollama-Tag :cloud sowie Chat und API von DeepSeek sind andere Datenflüsse, die Prompts an Dritte senden. Unser DSGVO-Anbietervergleich zeigt dieselbe Logik für verwaltete Claude-Setups.
Lizenz. Die Karte sagt: “This repository and the model weights are licensed under the MIT License”. Im Repository hängen weder Nutzungsbeschränkungen noch Nutzerschwellen noch eine Acceptable-Use-Policy. Einzige Bedingung: Copyright- und Lizenzhinweis mitliefern, wenn Sie Gewichte oder Code weitergeben. Die NVFP4-Variante von NVIDIA steht ebenfalls unter MIT und ist als “ready for commercial or non-commercial use” gekennzeichnet.
AI Act. Die GPAI-Pflichten gelten für Modellanbieter seit dem 2. August 2025, die allgemeine Anwendung des Gesetzes begann am 2. August 2026, laut Europäischer Kommission. DeepSeek ist Anbieter des Modells. Bauen Sie darauf einen internen Assistenten, sind Sie Anbieter und Betreiber dieses KI-Systems, mit Pflichten wie KI-Kompetenz und Transparenz. Wenn Sie das Modell selbst feintunen oder verändern, prüfen Sie, ob Anbieterpflichten für das Modell auf Sie übergehen. Unser Artikel zu den AI-Act-Pflichten für Unternehmen erklärt die Rollen.
FAQ
Was kostet es, DeepSeek V4.1 Flash selbst zu betreiben?
Der größte Posten ist ein 8x-H200-Server oder vier B200, gekauft oder gemietet. EU-Mietpreise haben wir nicht verifiziert, daher nennen wir keine. Zum Vergleich: Der gehostete Cloud-Tag von Ollama listet im Basistarif 0,15 USD Input und 0,60 USD Output pro 1M Token, schickt Ihre Daten aber an Ollama.
DeepSeek V4.1 Flash vs DeepSeek V4 Flash: Was ändert sich beim Hosting?
V4.1 Flash ist beim Laden deutlich größer: 552B Backbone plus 196B Engram, laut Karte gegenüber 284B Backbone bei V4 Flash. Dafür ist der globale KV-Cache nur etwa ein Viertel so groß, 890 Byte pro Token. Sie brauchen mehr GPU-Speicher für Gewichte, aber viel weniger für lange Kontexte.
Läuft DeepSeek V4.1 Flash auf einer einzelnen GPU oder Workstation?
Der offizielle Checkpoint nicht. Bei 510,3 GB Gewichten braucht selbst die B200 mit 180 GB drei Karten allein für die Gewichte, und die Rezepte nutzen vier. Community-Quantisierungen mit 2 Bit existieren, brauchen aber Laufzeiten außerhalb von Upstream und verlieren Genauigkeit. Für Produktion gelten 4x B200 oder 8x H200 als Minimum.
Gehen beim lokalen Betrieb Daten nach China?
Nein. Inferenz mit heruntergeladenen Gewichten läuft vollständig auf Ihren Servern und ruft DeepSeek nicht auf. Daten verlassen Ihr Netz nur, wenn Sie die gehostete API oder den Chat von DeepSeek oder den Ollama-Cloud-Tag nutzen. Prüfen Sie trotzdem, dass Serving-Image und Monitoring keine Telemetrie nach außen senden.
Welche Engine sollten Sie wählen, vLLM oder SGLang?
Beide haben verifizierte H200- und B200-Konfigurationen, und beide sind für dieses Modell im Vorab-Stadium. Nehmen Sie vLLM, wenn Sie 8x H100 einsetzen müssen, denn nur das vLLM-Rezept deckt das ab. Nehmen Sie SGLang, wenn Sie die verifizierten Low-Latency-Zellen mit DSpark-Speculative-Decoding auf Blackwell wollen. Pinnen Sie in beiden Fällen die Image-Digests.
Gibt es DeepSeek V4.1 Flash auf Amazon Bedrock in Frankfurt?
Nein. Bedrock dokumentiert nur DeepSeek-R1, V3.1 und V3.2, und die Regionstabelle von V3.2 enthält Frankfurt nicht. Eine Modellkarte für V4.1 gibt es auf Bedrock mit Stand 19. September 2026 nicht.
Quellen
- Hugging Face: Modellkarte deepseek-ai/DeepSeek-V4.1-Flash (19. September 2026)
- Hugging Face: DeepSeek-V4.1-Flash config.json (19. September 2026)
- vLLM Recipes: DeepSeek-V4.1-Flash (19. September 2026)
- SGLang Cookbook: DeepSeek-V4.1 (19. September 2026)
- SGLang Startkonfigurationen DeepSeek-V4.1 (19. September 2026)
- Hugging Face: nvidia/DeepSeek-V4.1-Flash-NVFP4 (19. September 2026)
- llama.cpp PR 28696: DeepSeek V4.1 konvertieren (19. September 2026)
- Ollama Library: deepseek-v4.1-flash (19. September 2026)
- NVIDIA H100 Datenblatt (19. September 2026)
- NVIDIA H200 Datenblatt (19. September 2026)
- NVIDIA DGX B200 Spezifikationen (19. September 2026)
- NVIDIA RTX PRO 6000 Blackwell Server Edition (19. September 2026)
- Amazon Bedrock: unterstützte Foundation Models (19. September 2026)
- Google Cloud: DeepSeek-Modelle (MaaS) (19. September 2026)
- Europäische Kommission: AI Act Rechtsrahmen (18. September 2026)