LLMs lokal auf der Kommandozeile ausführen mit Docker Desktop 4.40

Mit dem Docker Model Runner lassen sich KI-Modelle direkt aus Docker Desktop heraus starten – mit GPU-Beschleunigung und verpackt als OCI-Artefakt.

3 comments

Juhu ne abgespeckte Variante Bullshit, jetzt für Zuhause. Noch weniger nützlich aber kostet meinen eigenen Strom.
Aber gibt's einen Grund warum das ein separater Unterbefehl ist? Oder haben da die Shareholder zugeschlagen und gesagt, macht mal irgendwas mit KI und dann hat man eben so halblebig einen Alias für die normalen Docker-Befehle eingeführt...?
Was ist "Docker Desktop"? Warum keine normalen docker/podman container?