LLM zuhause selbst hosten: was geht

Ihr ChatGPT-Plus-Abo ist schon wieder teurer geworden, oder Sie haben gerade einen Ausschnitt aus einem Arbeitsdokument in einen öffentlichen Chatbot eingefügt und es sofort bereut. Sie besitzen bereits eine Homelab-Box, auf der Proxmox läuft. Die naheliegende Frage folgt sofort: Kann diese Box die KI nicht einfach selbst ausführen?

Die ehrliche Antwort hängt vollständig davon ab, in welcher Hardware-Klasse Sie sich befinden – und die meisten Artikel zu diesem Thema verschweigen das.

TL;DR

Ein Raspberry Pi 5 betreibt 1–3B-Modelle (Gemma 3 1B, Llama 3.2 3B) mit brauchbaren 8–22 Tokens/Sek. — 7B-Modelle fallen unter 1 Tok/Sek. und sind unbrauchbar.
Ein N100/N150-Mini-PC schafft ein 7B-Modell mit 6–9 Tokens/Sek., rein CPU-basiert — lesbar, aber nicht schnell, und die praktische Obergrenze dieser Hardware-Klasse.
Eine GPU oder ein Apple-Silicon-Rechner erreicht ~40 Tokens/Sek. bei einem 7B-Modell und kann 32B-Modelle mit ~15 Tokens/Sek. betreiben — das ist die Klasse, die sich tatsächlich wie ChatGPT anfühlt.
Ein kleines Modell 24/7 auf einem Mini-PC laufen zu lassen, kostet ein paar Euro Strom im Jahr — das ist nicht der teure Teil der Entscheidung.
Ein selbst gehostetes LLM ersetzt privates Formulieren, Zusammenfassen und leichte Code-Hilfe; es ersetzt kein Frontier-Reasoning oder riesige Kontextfenster.

Was „selbst gehostetes LLM“ tatsächlich bedeutet

Ollama ist das Tool, mit dem fast jeder anfängt. Es kapselt llama.cpp unter der Haube, stellt eine OpenAI-kompatible API in Ihrem lokalen Netzwerk bereit und übernimmt die Quantisierung des Modells für Sie — hauptsächlich 4-Bit (Q4), was den RAM-Bedarf eines Modells um rund 75 % senkt, bei einem meist akzeptablen kleinen Qualitätsverlust. Richten Sie eine Chat-Oberfläche wie Open WebUI darauf aus, und Sie haben eine private, ChatGPT-artige Oberfläche, bei der nichts Ihr Netzwerk verlässt.

An der Physik ändert das nichts: Die Geschwindigkeit eines Sprachmodells wird davon begrenzt, wie viele Daten Ihre CPU oder GPU pro Sekunde bewegen kann — und genau dort hört die Hardware-Klasse auf, eine Fußnote zu sein, und wird zur ganzen Geschichte.

Was jede Hardware-Klasse tatsächlich leistet

Warning

Kaufen Sie dafür keine neue Hardware, bevor Sie geprüft haben, in welcher Klasse Sie bereits stehen. Viele Homelabber besitzen bereits etwas aus dieser Tabelle.

Hardware-Klasse	Nutzbare Modellgröße	Tokens/Sek.	Urteil
Raspberry Pi 5 (8 GB)	1–3B (Gemma 3 1B, Llama 3.2 3B)	8–22 Tok/s	Nur für winzige Modelle brauchbar; braucht aktive Kühlung oder drosselt innerhalb von ~90 Sekunden
N100/N150-Mini-PC (16 GB)	bis 7B (Q4)	6–9 Tok/s	Nur CPU, lesbar aber langsam; 13B+ ist unpraktikabel
GPU / Apple Silicon (RTX 4090, M-Serie)	7B–32B	~40 Tok/s (7B), ~15 Tok/s (32B)	Die Klasse, die sich tatsächlich reaktionsschnell anfühlt

Raspberry Pi 5: gut für die kleinsten Modelle, sonst nichts

Auf einem Pi 5 laufen 1–3B-Modelle wie Gemma 3 1B und Llama 3.2 3B mit wirklich brauchbaren 8–22 Tokens/Sek. Wechseln Sie zu einem 7B-Modell, fällt die Generierung unter 1 Token/Sek. — technisch lädt es, aber das ist zu diesem Zeitpunkt kein Chatbot mehr, sondern eine Diashow. Die Arm-CPU des Pi drosselt zudem schnell: Ohne aktive Kühlung halbiert sich die Token-Geschwindigkeit bei anhaltender Inferenz grob innerhalb von etwa 90 Sekunden, sobald der SoC heiß wird.

N100/N150-Mini-PC: die Klasse, die die meisten Homelabs bereits betreiben

Das ist dieselbe N100/N150-Mini-PC-Klasse, die der eigene Homelab-Guide dieser Seite als Standard-Erstbox für Proxmox empfiehlt, und hier werden die meisten Homelabber das tatsächlich testen. Ollama läuft hier vollständig auf der CPU — die integrierte UHD-Grafik wird für die Inferenz nicht genutzt — und ein 7B-Q4-Modell landet bei 6–9 Tokens/Sek. Das ist langsam genug, um es zu bemerken, aber schnell genug, um mitzulesen, und die praktische Obergrenze: 13B+-Modelle werden auf dieser Hardware-Klasse unpraktikabel.

GPU / Apple Silicon: wo es aufhört, ein Kompromiss zu sein

Eine Consumer-GPU wie eine RTX 4090 oder Apple Silicon mit genug Unified Memory verändert das Bild komplett: rund 40 Tokens/Sek. bei einem 7B-Q4-Modell, und 32 GB Unified Memory können ein 32B-Modell mit rund 15 Tokens/Sek. betreiben. Das ist die Klasse, in der sich ein lokales Modell wie eine echte ChatGPT-Alternative anfühlt statt wie ein Proof of Concept. Die meisten Homelabs haben diese Klasse nicht ungenutzt herumstehen — das bedeutet in der Regel eine dedizierte Anschaffung, keine umfunktionierte Box.

Die ehrliche Antwort für einen Proxmox-Mini-PC

In meinem Homelab läuft Proxmox genau auf der N100-Klasse-Mini-PC-Hardware aus der Tabelle oben, ohne dedizierte GPU zum Durchreichen an eine VM. Das bedeutet: Die für die Mini-PC-Klasse beschriebene reine CPU-Obergrenze ist für diese Box kein Gedankenspiel — sie ist die reale. Ein 7B-Modell mit 6–9 Tokens/Sek. ist für leichte, private Aufgaben durchaus nützlich. Es wird ein Frontier-Modell für nichts Anspruchsvolles ersetzen, und etwas anderes vorzutäuschen sorgt nur für enttäuschende erste fünfzehn Minuten.

Was ein lokales LLM ersetzen kann — und was nicht

Ein selbst gehostetes Modell auf Mini-PC-Hardware ist ein solider Ersatz für:

Text formulieren und umschreiben, der Ihr Netzwerk nicht verlassen soll
Persönliche Notizen, E-Mails oder Dokumente zusammenfassen
Leichte Code-Autovervollständigung und Boilerplate-Generierung
Ein einfaches Retrieval-Augmented-Setup über Ihre eigenen Dateien

Es ist kein Ersatz für Frontier-Reasoning, sehr große Kontextfenster, schnelle multimodale (Bild/Audio) Aufgaben oder alles, bei dem das Warten auf 6–9 Tokens pro Sekunde bei einer langen Antwort wirklich nervt. Dafür bleiben ChatGPT oder Claude das bessere Werkzeug — der Job des selbst gehosteten Modells sind die privaten, risikoarmen 80 %, nicht die vollen 100 %.

Es zum Laufen bringen: Ollama in einer Proxmox-VM

Passend dazu, wie Docker-Workloads in einem Proxmox-Homelab sitzen sollten — in einer dedizierten VM, nicht direkt auf dem Hypervisor-Host —, kommen Ollama und eine Chat-Oberfläche als zwei Dienste in einer einzigen Docker-Compose-Datei unter:

services:
  ollama:
    image: ollama/ollama:latest
    volumes:
      - ollama_data:/root/.ollama
    ports:
      - "11434:11434"
    restart: unless-stopped

  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
    ports:
      - "3000:8080"
    depends_on:
      - ollama
    restart: unless-stopped

volumes:
  ollama_data:

Laden Sie ein Modell, das zu Ihrer Hardware-Klasse aus der Tabelle oben passt — ollama pull llama3.2:3b auf einem Pi 5, ollama pull llama3.1:7b auf einem N100-Mini-PC — und es beantwortet Fragen unter http://<vm-ip>:3000 innerhalb weniger Minuten. Wer eine Proxmox-Box von Grund auf aufbaut, kann mit dem Homelab-Einsteiger-Guide dieser Seite beginnen, bevor er dies als zweiten Dienst ergänzt.

Tip

Laden Sie zuerst das kleinste Modell herunter, das Ihre Klasse unterstützt (llama3.2:3b, nicht llama3.1:7b), um zu bestätigen, dass das Setup end-to-end funktioniert, bevor Sie auf einen langsameren Download und eine langsamere erste Antwort warten.

Was der Betrieb tatsächlich kostet

KEY-STAT: ~€32/Jahr — Stromkosten, um einen im Leerlauf 10 W ziehenden N100-Mini-PC mit einem bedarfsgesteuerten Ollama-Dienst 24/7 laufen zu lassen

Mit dem auf dieser Seite üblichen deutschen Haushaltsstrompreis von 37,0 ct/kWh (BDEW, April 2026): Ein zwischen Anfragen bei 10 W im Leerlauf befindlicher Mini-PC zieht 10 × 24 × 365 ÷ 1000 = 87,6 kWh im Jahr, was rund €32/Jahr entspricht — konsistent mit der Leerlaufverbrauchs-Rechnung, die im Mini-PC-Kaufratgeber dieser Seite bereits durchgeführt wurde. Das Modell selbst zieht die höhere Lastangabe von 12–18 W nur während aktiver Generierung, was bei gelegentlicher privater Nutzung höchstens ein paar zusätzliche Euro ausmacht. Strom ist nicht der Grund, das zu lassen — die Tokens/Sek.-Obergrenze aus der Tabelle oben ist es.

Häufig gestellte Fragen

Ist ein selbst gehostetes LLM kostenlos?

Die Software (Ollama, Open WebUI, die Modelle selbst) ist kostenlos und Open Source. Die einzigen Kosten sind die Hardware, die Sie bereits besitzen oder kaufen, plus ein paar Euro Strom im Jahr, wie oben berechnet.

Brauche ich eine GPU, um ein LLM selbst zu hosten?

Nein. Ein Raspberry Pi 5 oder ein N100/N150-Mini-PC betreiben kleine Modelle vollständig auf der CPU, nur eben mit den langsameren Tokens/Sek.-Werten aus der Vergleichstabelle. Eine GPU oder ein Apple-Silicon-Gerät ist nur nötig, wenn 7B+-Modelle sich schnell anfühlen sollen.

Ist ein selbst gehostetes LLM wirklich privat?

Ja, im entscheidenden Sinn: Standardmäßig wird nichts, was Sie eingeben, an ein externes Unternehmen gesendet. Ollama stellt das Modell lokal in Ihrem Netzwerk bereit. Sie sind weiterhin dafür verantwortlich, dieses Netzwerk genauso abzusichern wie jeden anderen selbst gehosteten Dienst.

Kann ein selbst gehostetes LLM ChatGPT oder Claude ersetzen?

Für privates Formulieren, Zusammenfassen und leichte Code-Hilfe auf Mini-PC-Hardware: weitgehend ja. Für Frontier-Reasoning, sehr große Kontextfenster oder schnelle multimodale Aufgaben: nein — dafür bleibt ein gehostetes Modell im Vorteil, und Mini-PC-Hardware ist für diese Klasse von Workload schlicht nicht gebaut.