Eine leistungsfähige Chat-KI muss nicht zwangsläufig auf den Servern eines großen Anbieters laufen. Mit Anwendungen wie LM Studio, Ollama oder Jan lassen sich offene KI-Modelle direkt auf einem Windows-PC, Mac oder Linux-Rechner ausführen. Die Eingaben werden dabei lokal verarbeitet und können nach der Einrichtung sogar ohne Internetverbindung beantwortet werden.
Ganz korrekt ist die häufig verwendete Bezeichnung „ChatGPT offline“ allerdings nicht. Das eigentliche ChatGPT wird weiterhin als Onlinedienst betrieben. Installiert wird stattdessen eine lokale ChatGPT-Alternative, die mit offenen oder frei verfügbaren Modellen arbeitet. Dazu gehören beispielsweise Qwen, Gemma, Llama und die von OpenAI veröffentlichten gpt-oss-Modelle.
Was ist eine lokale KI?
Bei einem Cloud-Chatbot wird eine Frage über das Internet an ein Rechenzentrum übertragen. Dort verarbeitet ein großes Sprachmodell die Eingabe und schickt die Antwort zurück. Bei einer lokalen KI passiert dieser Vorgang auf dem eigenen Rechner.
Dafür werden grundsätzlich zwei Komponenten benötigt:
- eine Anwendung, die das Modell laden und ausführen kann
- ein Sprachmodell, das als mehrere Gigabyte große Datei heruntergeladen wird
Die Anwendung stellt die Oberfläche bereit. Das Modell enthält das eigentliche Sprachwissen und erzeugt die Antworten. Nach dem Download können beide Komponenten vollständig auf dem Laptop arbeiten.
Eine Internetverbindung ist normalerweise nur für die Installation, den Download neuer Modelle und Updates erforderlich. Bereits installierte Modelle, lokale Chats und eingebundene Dokumente lassen sich anschließend offline verwenden. .
Warum sollte man eine KI lokal ausführen?
Der offensichtlichste Vorteil ist der Datenschutz. Interne Dokumente, unveröffentlichte Texte, Verträge, Programmcode oder persönliche Notizen müssen nicht zu einem externen Anbieter übertragen werden.
Das kann besonders interessant sein für:
- Unternehmen und Selbstständige
- Journalisten und Redaktionen
- Entwickler
- Rechtsanwälte und Berater
- Schulen und Bildungseinrichtungen
- Nutzer mit sensiblen persönlichen Daten
Hinzu kommt die Unabhängigkeit vom Internet. Eine lokale KI funktioniert im Zug, im Flugzeug, im Keller oder während einer Störung des Internetanschlusses. Auch ein Benutzerkonto oder ein monatliches Abonnement ist für die lokale Verarbeitung nicht erforderlich.
Komplett kostenlos ist der Betrieb trotzdem nicht. Das Modell benötigt Speicherplatz, belastet Prozessor oder Grafikkarte und verbraucht Strom. Eine schnelle Antwort kann auf leistungsfähiger Hardware außerdem deutlich mehr Energie beanspruchen als eine einfache Textverarbeitung.
Die Hardware entscheidet über Geschwindigkeit und Qualität
Für die lokale KI ist nicht allein die Rechenleistung des Prozessors entscheidend. Mindestens ebenso wichtig sind der Arbeitsspeicher und der Grafikspeicher.
LM Studio empfiehlt für Windows- und Apple-Silicon-Systeme mindestens 16 GB RAM. Unter Windows werden zusätzlich wenigstens 4 GB dedizierter Grafikspeicher empfohlen. Kleinere Modelle lassen sich zwar auch mit 8 GB RAM starten, der verfügbare Spielraum für längere Texte und größere Modelle bleibt dann aber sehr begrenzt.
| Arbeitsspeicher | Sinnvolle Modellgröße | Typische Nutzung |
|---|---|---|
| 8 GB RAM | etwa 1 bis 4 Milliarden Parameter | kurze Texte, einfache Zusammenfassungen und erste Experimente |
| 16 GB RAM | etwa 4 bis 9 Milliarden Parameter | brauchbarer Einstieg für Schreiben, Übersetzen und einfache Analysen |
| 32 GB RAM | etwa 9 bis 20 Milliarden Parameter | längere Dokumente, Programmierung und komplexere Aufgaben |
| 64 GB RAM oder mehr | etwa 20 bis 35 Milliarden Parameter und größer | umfangreiche Modelle, größere Kontextfenster und professionelle Nutzung |
Die Werte sind keine festen Grenzen. Modellformat, Quantisierung, Kontextgröße, Betriebssystem und laufende Programme beeinflussen den tatsächlichen Speicherbedarf erheblich.
Ein Modell mit einer Dateigröße von 6 GB benötigt beim Betrieb nicht automatisch nur 6 GB Arbeitsspeicher. Zusätzlich werden Speicher für den Chatverlauf, die Berechnungen des Modells und die Anwendung selbst benötigt.
Grafikkarte, Prozessor oder NPU?
Eine lokale KI kann grundsätzlich über den normalen Prozessor berechnet werden. Das funktioniert, ist bei größeren Modellen aber häufig langsam. Eine leistungsfähige Grafikkarte beschleunigt die Ausgabe erheblich.
Entscheidend ist dabei der Grafikspeicher. Passt das Modell vollständig in den VRAM, kann die Grafikkarte sämtliche Berechnungen übernehmen. Ist der Speicher zu klein, verteilen Programme wie LM Studio oder Ollama Teile des Modells auf Grafikkarte und Arbeitsspeicher. Dieses sogenannte GPU-Offloading ermöglicht den Betrieb größerer Modelle, reduziert aber die Geschwindigkeit. Je mehr Teile über den Prozessor berechnet werden müssen, desto länger dauert die Antwort. Macs mit Apple Silicon besitzen einen gemeinsamen Speicher für Prozessor und Grafik. Dadurch kann ein großer Teil des installierten Unified Memory für das Modell genutzt werden. Das macht Geräte mit 32 oder 64 GB gemeinsamem Speicher für lokale KI interessant.
Was bedeutet Quantisierung?
Sprachmodelle sind ursprünglich sehr groß. Durch eine Quantisierung werden die Modellwerte vereinfacht und komprimiert. Dadurch sinken Speicherbedarf und Rechenaufwand.
In Programmen wie LM Studio finden sich deshalb häufig Modellvarianten mit Bezeichnungen wie:
- Q3
- Q4
- Q5
- Q6
- Q8
Eine Q4-Version ist für viele Nutzer ein guter Ausgangspunkt. Sie benötigt deutlich weniger Speicher als das unkomprimierte Modell, liefert aber meistens noch eine brauchbare Qualität. LM Studio empfiehlt grundsätzlich eine 4-Bit-Variante oder eine höherwertige Quantisierung, sofern die Hardware ausreichend leistungsfähig ist.
Stärkere Komprimierung spart weiteren Speicher, kann aber die Antwortqualität verschlechtern. Eine höhere Quantisierung benötigt mehr RAM und ist häufig langsamer zu laden.
LM Studio: Der einfachste Einstieg
LM Studio eignet sich besonders für Nutzer, die keine Kommandozeile verwenden möchten. Die Anwendung bietet eine grafische Oberfläche, eine Modellsuche und ein Chatfenster, das an bekannte KI-Dienste erinnert.
Unterstützt werden:
- Windows-PCs mit x64- und ARM-Prozessoren
- Macs mit Apple Silicon
- Linux-Systeme
- GGUF-Modelle über llama.cpp
- MLX-Modelle auf kompatiblen Macs
Modelle lassen sich direkt innerhalb der Anwendung suchen, herunterladen und verwalten. LM Studio bietet außerdem einen lokalen Server mit einer zu OpenAI kompatiblen Schnittstelle. Dadurch können andere Anwendungen auf die lokal installierte KI zugreifen.
Lokale KI mit LM Studio einrichten
1. LM Studio installieren
Die passende Version für Windows, macOS oder Linux wird von der offiziellen Projektseite heruntergeladen und installiert.
2. Ein Modell auswählen
Über den Bereich zur Modellsuche wird ein passendes Modell gesucht. Für einen Laptop mit 16 GB RAM sollte zunächst eine quantisierte Variante mit ungefähr 4 bis 9 Milliarden Parametern gewählt werden.
3. Modell herunterladen
Abhängig vom Modell müssen mehrere Gigabyte übertragen werden. Für diesen Schritt ist eine Internetverbindung notwendig.
4. Modell laden
Nach dem Download wird das Modell im Chatbereich ausgewählt. LM Studio zeigt normalerweise an, ob das Modell voraussichtlich in den verfügbaren Speicher passt.
5. Kontextgröße begrenzen
Für den ersten Test sollte kein gigantisches Kontextfenster eingestellt werden. Ein größerer Kontext ermöglicht längere Gespräche und Dokumente, benötigt aber zusätzlichen Speicher. Werte zwischen 4.096 und 8.192 Tokens sind für erste Versuche meist ausreichend.
6. Offline-Betrieb testen
Nach dem Laden kann die Internetverbindung getrennt werden. Fragen an das Modell sollten weiterhin beantwortet werden. Modellsuche, Downloads und Updates funktionieren offline dagegen nicht.
Ollama: Mehr Kontrolle für Fortgeschrittene
Ollama richtet sich stärker an Entwickler und Nutzer, die eine KI in eigene Programme, Automatisierungen oder lokale Dienste integrieren möchten.
Die Anwendung ist für Windows, macOS und Linux erhältlich. Modelle lassen sich über einfache Befehle herunterladen und starten. Ollama bietet inzwischen außerdem eine eigene grafische Anwendung für Windows und macOS. Diese unterstützt unter anderem Chats mit Dateien und multimodale Modelle.
Ein kleines Modell wird beispielsweise mit folgendem Befehl gestartet:
ollama run qwen3.5:4b
Für einen Rechner mit mehr Arbeitsspeicher kann eine größere Variante verwendet werden:
ollama run qwen3.5:9b
Die offiziellen Ollama-Pakete dieser beiden Varianten sind ungefähr 3,4 GB beziehungsweise 6,6 GB groß. Das theoretisch unterstützte Kontextfenster beträgt bis zu 256.000 Tokens, benötigt bei voller Ausnutzung allerdings erheblich mehr Speicher als die reine Modelldatei.
Beim ersten Start wird das Modell automatisch heruntergeladen. Danach kann es lokal verwendet werden.
Jan: Offene Alternative mit grafischer Oberfläche
Jan kombiniert eine einfache Desktop-Oberfläche mit einem offenen Entwicklungsmodell. Die Anwendung läuft auf Windows, macOS und Linux und kann sowohl lokale als auch externe Modelle verwenden.
Für einen wirklich lokalen Betrieb muss bei der Modellauswahl darauf geachtet werden, dass kein Cloud-Modell aktiviert ist. Jan bietet außerdem einen lokalen, OpenAI-kompatiblen API-Server. Dieser kann standardmäßig ausschließlich auf dem eigenen Rechner erreichbar gemacht werden.
Jan ist damit eine interessante Alternative für Nutzer, die eine grafische Oberfläche suchen, gleichzeitig aber Wert auf eine offen entwickelte Anwendung legen.
Welches Modell eignet sich für den Einstieg?
Die Modelllandschaft verändert sich schnell. Größer bedeutet außerdem nicht automatisch besser. Ein kleineres, gut abgestimmtes Modell kann bei einer konkreten Aufgabe bessere Ergebnisse liefern als ein deutlich größeres Modell.
Im Juli 2026 sind unter anderem folgende Modellklassen für lokale Systeme verfügbar:
Kleine Modelle für 8 bis 16 GB RAM
Modelle mit ungefähr 1 bis 4 Milliarden Parametern benötigen wenig Speicher und reagieren vergleichsweise schnell. Sie eignen sich für:
- kurze Zusammenfassungen
- einfache Übersetzungen
- Textkorrekturen
- Brainstorming
- kleinere Programmieraufgaben
Beispiele sind kleinere Varianten von Qwen3.5, Gemma 4 und Phi-4-mini. Ollama führt Qwen3.5 unter anderem mit 0,8, 2 und 4 Milliarden Parametern.
Mittelgroße Modelle für 16 bis 32 GB RAM
Modelle mit ungefähr 8 bis 14 Milliarden Parametern bieten häufig den besten Kompromiss aus Qualität, Geschwindigkeit und Speicherbedarf.
Für deutsche Texte, alltägliche Büroaufgaben, Programmierung und Dokumentanalysen sind beispielsweise Varianten von Qwen3.5 mit 9 Milliarden Parametern, Qwen3, Gemma und verschiedenen Mistral-Modellen interessant.
gpt-oss für leistungsfähigere Systeme
OpenAI bietet mit gpt-oss-20b und gpt-oss-120b zwei Modelle an, deren Gewichte lokal ausgeführt werden können. Sie sind nicht identisch mit den in ChatGPT verwendeten Modellen, stammen aber direkt von OpenAI.
gpt-oss-20b ist für leistungsfähige Endgeräte gedacht. OpenAI empfiehlt für den Betrieb mit Ollama mindestens ungefähr 16 GB Grafikspeicher oder Unified Memory. CPU-Offloading ist möglich, reduziert die Geschwindigkeit aber deutlich.
Für gpt-oss-120b werden mindestens ungefähr 60 GB Grafikspeicher oder Unified Memory empfohlen. Das Modell ist damit eher für Workstations als für normale Laptops geeignet.
Der Start von gpt-oss-20b über Ollama erfolgt mit:
ollama run gpt-oss:20b
Eigene Dokumente mit der lokalen KI durchsuchen
Eine der interessantesten Funktionen lokaler Modelle ist die Arbeit mit eigenen Dateien. LM Studio unterstützt unter anderem:
- PDF-Dateien
- DOCX-Dokumente
- TXT-Dateien
Kurze Dokumente können vollständig in den Kontext des Modells übernommen werden. Bei längeren Dateien verwendet die Anwendung ein Verfahren namens Retrieval-Augmented Generation, kurz RAG.
Dabei wird nicht das komplette Dokument an das Sprachmodell übergeben. Stattdessen sucht die Software passende Textstellen heraus und stellt sie dem Modell als Kontext zur Verfügung. Das reduziert den Speicherbedarf und ermöglicht Fragen zu umfangreicheren Unterlagen.
Die Dokumente und ihre Verarbeitung können dabei vollständig auf dem eigenen Rechner bleiben. Allerdings kann RAG relevante Passagen übersehen. Wichtige Aussagen sollten deshalb immer mit dem Originaldokument verglichen werden.
Lokal bedeutet nicht automatisch sicher
Eine lokale KI verbessert den Datenschutz, beseitigt aber nicht sämtliche Risiken.
Modelle können falsche Informationen erfinden. Sie können veraltetes Wissen enthalten, Vorurteile reproduzieren oder gefährlichen Programmcode erzeugen. Die Antwort sollte deshalb niemals allein deshalb als korrekt betrachtet werden, weil sie auf dem eigenen Rechner entstanden ist.
Zusätzlich sollten einige Grundregeln beachtet werden:
- Modelle nur aus vertrauenswürdigen Quellen herunterladen
- Lizenz und Modellbeschreibung kontrollieren
- Anwendungen und Runtimes aktuell halten
- lokale API-Server nicht ungeschützt im Netzwerk freigeben
- Cloud-Modelle und externe Werkzeuge bewusst aktivieren
- sensible Dokumente zusätzlich verschlüsseln
- wichtige Ergebnisse immer überprüfen
Auch die Lizenz unterscheidet sich von Modell zu Modell. Ein kostenloser Download bedeutet nicht automatisch, dass ein Modell uneingeschränkt kommerziell verwendet werden darf. Die gpt-oss-Modelle stehen beispielsweise unter Apache 2.0, andere Modellfamilien verwenden eigene Bedingungen.
Lokale KI und Cloud-KI im Vergleich
| Eigenschaft | Lokale KI | Cloud-KI |
|---|---|---|
| Datenschutz | Daten können auf dem Gerät bleiben | Eingaben werden an einen Anbieter übertragen |
| Internetverbindung | nach Einrichtung nicht zwingend erforderlich | normalerweise erforderlich |
| Laufende Kosten | Strom und Hardware | kostenloser Tarif oder Abonnement |
| Einrichtung | Modell und Anwendung müssen installiert werden | meist sofort einsatzbereit |
| Leistung | abhängig von der eigenen Hardware | Zugriff auf sehr große Rechenzentren |
| Aktuelles Wissen | ohne Zusatzwerkzeuge begrenzt | häufig mit Websuche kombinierbar |
| Geschwindigkeit | abhängig von CPU, GPU und Speicher | abhängig von Serverlast und Verbindung |
| Kontrolle | Modelle und Einstellungen frei wählbar | vom jeweiligen Dienst abhängig |
Ersetzt eine lokale KI ChatGPT vollständig?
Für viele alltägliche Aufgaben kann eine lokale KI bereits erstaunlich viel leisten. Texte korrigieren, Inhalte zusammenfassen, Ideen sammeln, Quellcode erklären oder interne Dokumente durchsuchen funktioniert auf aktueller Hardware ordentlich.
Ein vollständiger Ersatz für die großen Cloud-Systeme ist sie trotzdem nicht. Besonders bei komplexen Recherchen, sehr langen Dokumenten, aktuellen Ereignissen, aufwendiger Bildgenerierung und anspruchsvollen Agentenaufgaben haben Cloud-Dienste weiterhin Vorteile.
Der sinnvollste Weg dürfte deshalb für viele Nutzer eine Mischung sein: Sensible Inhalte bleiben lokal, besonders anspruchsvolle oder aktuelle Aufgaben wandern in die Cloud.
Gerade für Redaktionen und Unternehmen ist das interessant. Unveröffentlichte Texte, interne Planungen oder vertrauliche Unterlagen können lokal bearbeitet werden. Faktenprüfung, aktuelle Recherche und die abschließende Qualitätskontrolle bleiben trotzdem unverzichtbar.
Lokale KI ist damit kein Spielzeug für Bastler mehr. Sie benötigt etwas Einarbeitung und ausreichend Arbeitsspeicher, ist inzwischen aber auch für normale Nutzer erreichbar. Ein Laptop mit 16 GB RAM reicht für den Einstieg. Mit 32 GB RAM wird die Auswahl deutlich größer und die Arbeit mit längeren Inhalten spürbar angenehmer.
- 5600MHz RAM can downclock if system specification only supports 5200MHz or 4800MHz
- Best for 13th Gen Intel Core and AMD Ryzen 7000 Series processors
- Intel XMP 3.0 and AMD EXPO supported on the same module
Disclaimer: Titelbild erstellt mit ChatGPT
Bei den hier angezeigten Produkten handelt es sich um Affiliate Links, bei einem Kauf unterstützt ihr meine Arbeit. Letzte Aktualisierung 18.07.2026 / Bilder von der Amazon Product Advertising API. Amazon und das Amazon-Logo sind Warenzeichen von Amazon.com, Inc. oder eines seiner verbundenen Unternehmen.
Unsere Artikel gezielt bei Google anzeigen lassen
Wenn ihr bei Google nach Informationen sucht, werden bestimmte Nachrichten in der sogenannten Schlagzeilen-Box angezeigt. Welche das sind, könnt ihr jetzt direkt mitbestimmen.
Wenn ihr techkrams.de als bevorzugte Quelle hinterlegen, bekommt ihr unsere Inhalte auch öfter ausgespielt. Wie das genau geht, erklären wir hier.
→ Hier können techkrams.de direkt als eure bevorzugte Quelle einstellen.
In diesem Artikel können Partnerlinks enthalten sein. Durch einen Klick darauf gelangt ihr direkt zum Anbieter. Solltet ihr euch dort für einen Kauf entscheiden, erhalten wir eine kleine Provision. Für euch ändert sich am Preis nichts. Partnerlinks haben keinerlei Einfluss auf unsere Berichterstattung.
