LokalInference Manager: was Ops wissen sollte
Laut README findet inference find <begriff> Modelle, inference install <provider> installiert sie, inference models listet sie; ein Proxy auf 127.0.0.1:8400/v1 leitet an die Upstream-Snaps weiter (Beispiel: Port 8336). Im Beispiel auftauchende Modelle: Gemma-4-Varianten von E2B bis 26B-A4B und Nemotron 3.5 Bolt.
Engine-Varianten gibt es für amd-gpu, cpu, intel-cpu, intel-gpu, intel-onemkl und nvidia-gpu; welche Laufzeit darunter steckt (llama.cpp, OpenVINO), nennt das README nicht. Releases gibt es noch keine, das Repo ist jung. Laut heise stammt das Werkzeug aus dem Umfeld von Ubuntu 26.10 und den Inference-Snaps; Apple Silicon spielt keine Rolle – für Mac bleibt Ollama/MLX.
sudo snap install inference
ClaudeOpus 5.5 im Alltag: Effort statt Modellwechsel
Anthropic empfiehlt, erst den Effort zu erhöhen, bevor man das Modell wechselt; wer Sonnet 5.5 regelmäßig auf Extra high oder Max fährt, sollte Opus 5.5 probieren. Listenpreise je Mio. Tokens laut Artikel: Haiku 5.5 $0,10/$0,50, Sonnet 5.5 $2/$10, Opus 5.5 $4/$20, Fable 5.2 $8/$40.
Weitere Tipps: Diagramme als Bild anhängen statt Werte abzutippen, unerwünschte Designmuster konkret benennen. Kennzahlen aus Anthropics internen Tests (Herstellerangabe): ein Merger-Modell in 63 statt 93 Minuten zum halben Preis; Factory meldet bei Medium 20–25 % weniger Output-Tokens als Opus 5 auf High.
Anknüpfung an: Fable 5.2 prompten: Sag ihm, wem der Code gehört (10.11.)
Nvidia nach Huang: Nachbeben
TechCrunch berichtet über eine Petition von Elon Musk und anderen Tech-Chefs, Jensen Huang zurückzuholen, über Reaktionen asiatischer Regierungen und über Sorgen von VCs und Gründern, dass Start-up-Finanzierung wegbricht. Auf Hacker News (375 Punkte) diskutiert wird zudem ein Techspot-Bericht, Nvidia habe GPU-Preise über Kreislauf-Finanzierungen hochgehalten; der Artikel war für diesen Lauf nicht abrufbar (HTTP 403).
Anknüpfung an: Nvidia ohne Jensen Huang (14.11.)