Lokalllama-modchip: was hinter den 64 GB steckt
Ausgangspunkt ist Unsloths UD-IQ1_S-Build von DeepSeek V4 Flash (284,33 Mrd. Parameter, 13,17 Mrd. aktiv), der mit 82,5 GB nicht in 64 GB RAM passt. Das Projekt behält Embeddings, Shared Experts und Teile der MLA-Attention in Q4_K/Q5_K, packt Attention-Ausgänge und die 256 gerouteten Experten in ein eigenes Format Fractal-64 (Tensortyp 40) und kommt so auf 60,7 GB; Spitzenbedarf 57,6 GiB bei 256K Kontext. Alle sechs Experten je Schicht laufen weiter mit.
Dazu kommen AVX-512-Kernel für den Prefill (+77 % laut Projekt), ein n-Gramm-Drafter für spekulatives Decoding und KV-Snapshots unter /dev/shm, die einen 40-Tool-Claude-Code-Prompt in 13–33 ms wiederherstellen. Kleinere Variante: Nemotron 3.5 30B-A3B mit 15,4 GB für 16–32 GB RAM. Für Apple Silicon gibt es Metal-Shader und Community-Messungen auf M4 Max/Pro. Achtung: Ollama, LM Studio und normales llama.cpp lehnen die Dateien ab (unknown tensor type 40). Alle Zahlen sind Projektangaben.
git clone https://github.com/synchopate/llama-modchip.git && cd llama-modchip && ./modchip chat
Hugging Face Papers: Weltmodelle, Agenten-Evolution, Weight-Space Programming
Oben in den Daily Papers vom 09.11. (noch wenige Stimmen): EvoWorld, das Videomodelle Szenen außerhalb des Bildausschnitts weiterentwickeln lässt (13), und ein Positionspapier, was in der Debatte um sich selbst verbessernde Agenten übersehen wird (13). Dazu Video-Coder (agentisches Coding für Videogenerierung) und eine Untersuchung zu Fähigkeiten und Grenzen von Weight-Space Programming.
Anknüpfung an: Weight-Space Programming: Honnibal trennt, was wirklich gezeigt wurde (04.11.), Weight-Space Programming: LLM liest und schreibt Netzgewichte (03.11.)