KI-BeratungÜber michVideosBuchFAQKontakt
DE|EN
Kostenloses Erstgespräch

Startseite/KI-Begriffe/Lokale KI

Was ist lokale KI?

Lokale KI heißt, ein KI-Modell läuft auf deinem eigenen Rechner oder Handy statt in den Rechenzentren eines Anbieters. Deine Eingaben verlassen das Gerät nicht, und du musst nicht online sein. Möglich ist das, weil manche Firmen Modelle zum Herunterladen freigeben.

KI ohne Bullsh*t #19 · Video von Lukas Hüttis, 1. Dezember 2026, etwa 1 Min.

Das Video erscheint am Dienstag, 1. Dezember, um 9 Uhr.

Das Video ist erschienen. Du findest es auf meinem YouTube-Kanal.

Das Wichtigste in einer Minute

  • Bei ChatGPT, Claude oder Gemini landet deine Frage in den Rechenzentren der Anbieter.
  • Lokale KI läuft auf deinem eigenen Gerät, die Daten bleiben dort.
  • Lokale Modelle sind meist kleiner, langsamer und machen mehr Fehler.
  • Texte korrigieren, übersetzen oder Aufnahmen abtippen klappt auch lokal, ganz ohne Internet.

Lokale KI einfach erklärt

Das ist wie Copyshop gegen eigenen Kopierer. Im Copyshop geht dein Vertrag durch fremde Hände, dafür steht da die große Maschine. Der eigene Kopierer ist kleiner und langsamer, aber kein Blatt verlässt dein Büro.

Links „Copyshop“: eine große Maschine, fremde Hände greifen nach einem Blatt „Vertrag“, darunter „große Maschine“. Rechts „eigener Kopierer“: ein kleiner Kopierer im Rahmen „dein Büro“, darunter „kleiner, langsamer“.
Cloud-KI ist der Copyshop, lokale KI der eigene Kopierer.

Laut ZDF geben einige große KI-Entwickler die sogenannten Gewichte ihrer Modelle frei, also Milliarden von Zahlen, die zusammen bestimmen, was ein Modell kann. Man lädt die Gigabyte großen Modelle über ein Hilfsprogramm herunter und chattet mit ihnen, ohne dass Daten das Gerät verlassen. Handelsübliche Geräte schaffen aber meist nur kleinere Modellversionen, mit mehr Fehlern und langsamer.

Links ein Laptop mit Schloss und einer Tonspur auf dem Bildschirm, darunter „direkt auf dem Gerät“. Rechts ausgegraut und durchgestrichen ein „Rechenzentrum“.
Lokale KI läuft direkt auf dem Gerät, nicht im Rechenzentrum.

Ein Beispiel aus der Praxis: ein Modell von OpenAI zum Herunterladen

Stand: Oktober 2026

Im August 2025 hat OpenAI, die Firma hinter ChatGPT, zwei Modelle zum Herunterladen veröffentlicht, laut OpenAI seine ersten Sprachmodelle zum Herunterladen seit GPT-2. Das kleinere Modell läuft laut OpenAI auf Geräten mit 16 Gigabyte Arbeitsspeicher.

Oben „OpenAI“ mit einem freigegebenen Modell, ein Pfeil führt auf einen Laptop. Daneben „16 GB Arbeitsspeicher“.
Das kleinere Modell läuft laut OpenAI auf Geräten mit 16 Gigabyte Arbeitsspeicher.

Auch andere Firmen geben Modelle frei, laut ZDF etwa Meta (Llama), Mistral AI und Alibaba (Qwen).

Quellen

Was das für dich heißt

Arbeitest du mit vertraulichen Unterlagen, etwa Notizen aus Gesprächen mit Klientinnen und Klienten, ist lokale KI eine Möglichkeit, bei der nichts das Gerät verlässt. Rechne mit kleineren Modellen und mehr Fehlern. Texte korrigieren, übersetzen oder eine Aufnahme abtippen klappt laut ZDF auch lokal.

Oben „kleiner“, „langsamer“, „mehr Fehler“. Darunter drei Zeilen mit Haken und „lokal“: Texte korrigieren, übersetzen, Aufnahmen abtippen.
Kleiner, langsamer, mehr Fehler. Für Texte korrigieren, übersetzen oder Aufnahmen abtippen reicht es laut ZDF.

Häufige Fragen

Ein Gerät mit genug Arbeitsspeicher und ein Hilfsprogramm, über das du ein freigegebenes Modell herunterlädst. Das kleinere Modell von OpenAI läuft laut OpenAI ab 16 Gigabyte Arbeitsspeicher, laut ZDF laufen kleinere Modelle sogar auf dem Smartphone.

Die freigegebenen Modelle selbst sind laut ZDF dauerhaft kostenlos nutzbar. Kosten entstehen durch das Gerät, das stark genug sein muss.

Meist nicht. Handelsübliche Geräte schaffen laut ZDF meist nur kleinere Modellversionen, die mehr Fehler machen und langsamer sind. Für viele Alltagsaufgaben reicht es trotzdem.

Passt dazu

  • KI selbst hosten
    Meine Videos dazu, wie ich KI auf eigener Technik laufen lasse.
  • Lokale Transkription mit Voicebox
    Mein Test, wie gut eine Aufnahme auf dem eigenen Rechner abgetippt wird (als englisches Video mit deutscher Zusammenfassung).
  • Inference
    Lernt ChatGPT aus dem, was du eintippst? Der Unterschied zwischen Training und Antworten.
  • LLM
    Wie ChatGPT schreibt, und warum gut klingend nicht dasselbe ist wie richtig.
  • Vorherige Folge: KI-Detektor
    Warum ein KI-Detektor eine Einschätzung liefert und keinen Beweis.
  • Nächste Folge: Vibe Coding
    Software nach Zuruf: wofür das reicht, und wann jemand reinschauen sollte.
  • Alle KI-Begriffe
    Jeder Begriff in etwa einer Minute erklärt.

Du willst KI nutzen, ohne Klientendaten aus der Hand zu geben?

Ich arbeite 1:1 mit Selbstständigen, Beratern, Coaches und kleinen Teams an praktischen KI-Workflows. Das Erstgespräch ist kostenlos, dauert 15 Minuten und ist kein Verkaufsgespräch.

Kostenloses Erstgespräch buchen

Alle KI-Begriffe →