TurboFieldfare: 26 miliardi di parametri in 2GB di RAM

TurboFieldfare è un runtime scritto in Swift e Metal (il linguaggio e le API grafiche di Apple) pensato apposta per il modello Gemma 4 26B, un modello "MoE" (Mixture of Experts: invece di attivare tutta la rete neurale per ogni parola generata, ne accende solo una fetta, gli "esperti" più adatti al contesto). Il file completo pesa 14,3 GB, ma il programma tiene in RAM solo il nucleo condiviso (1,35 GB) e la cache KV (KV cache: la "memoria a breve termine" del modello, dove tiene i calcoli già fatti per non rifarli ad ogni parola nuova), e va a pescare sul disco solo gli esperti che servono token per token.

Risultato: gira anche su un MacBook Air M2 con 8 GB di RAM, cosa normalmente impensabile per un modello da 26 miliardi di parametri. Non è un wrapper sopra strumenti già noti come MLX o llama.cpp, ma un motore scritto da zero solo per questo modello — per questo riesce a spremere così bene poca memoria.

Il trend è chiaro: modelli sempre più grandi che girano su hardware sempre più modesto, in locale, senza passare dal cloud. Vantaggi concreti: nessun costo per token, nessun dato che esce dal tuo computer, nessuna dipendenza da un servizio esterno che un giorno potrebbe cambiare prezzo o sparire.

Il progetto è ancora giovane (il repository lo dice chiaramente: il numero misurato è "un punto di riferimento, non un tetto massimo di prestazioni") e richiede macOS 26 e Metal 4, quindi non gira su hardware vecchio. Ma la direzione — inferenza locale seria anche su laptop di fascia bassa — è quella su cui vale la pena tenere d'occhio.