Prince Canuma, sviluppatore della libreria Python MLX-VLM per eseguire modelli vision-LLM su Mac con il framework MLX di Apple, ha rilasciato Nativ. È un’app desktop macOS che avvolge MLX in un’interfaccia completa: chat e server API su localhost, con una forma simile a LM Studio. L’app riconosce i modelli MLX già presenti nella cache locale di Hugging Face, così non li riscarichi.

Perché ti riguarda. Se hai un Mac e vuoi far leggere immagini a un modello senza mandare i tuoi dati a un cloud, finora dovevi configurare MLX-VLM da terminale. LM Studio e Ollama coprono bene i modelli di testo in locale, ma i vision-LLM (modelli che combinano testo e immagini) restavano appannaggio di chi scrive Python. Nativ porta il multimodale locale a chi preferisce un’interfaccia grafica. È il proseguimento di un filo che stiamo seguendo: l’inferenza locale si sta diffondendo su form factor diversi, dai modelli a 1 bit nel browser a LM Studio Bionic, e ora anche ai vision-LLM.

Se vuoi provarci. Il punto di partenza: scarica l’app dal sito del progetto e puntala a un modello MLX già scaricato da Hugging Face.

Nel dettaglio

MLX è il framework open source di Apple per il machine learning su Apple Silicon, progettato per sfruttare la memoria unificata dei chip M. A differenza di CUDA, che richiede GPU NVIDIA dedicate, MLX gira su qualsiasi Mac con chip M1 o successivi. MLX-VLM, sempre di Canuma, è il livello sopra: prende i modelli vision-linguistici (architetture come LLaVA, Idefics, Qwen-VL) e li adatta a girare con MLX. Finora usarlo significava installare Python, gestire le dipendenze e lanciare script da terminale.

Nativ chiude quel gap. L’app rileva i modelli già scaricati nella cartella di cache di Hugging Face, li elenca in un’interfaccia di chat, e offre anche un endpoint API su localhost, con la stessa logica di LM Studio. Puoi puntare un altro strumento o uno script alla stessa porta e usare il modello come se fosse un’API cloud, solo che gira sul tuo Mac e niente lascia la macchina.

Cosa cambia rispetto a LM Studio: LM Studio supporta principalmente modelli di testo in formato GGUF tramite llama.cpp, e ha aggiunto alcune capacità vision in modo incrementale. Nativ parte dal presupposto opposto: costruisce sopra MLX nativo di Apple e punta ai vision-LLM in primo luogo. I due strumenti possono coesistere: chi ha già modelli in cache li ritrova in entrambi.

Il caso d’uso più concreto è il multimodale locale. Hai uno scan di contratto, uno screenshot di un’interfaccia, una foto di un prodotto: lo dai al modello e gli chiedi di estrarre dati, descrivere cosa vede, riassumere. Fino a oggi, per farlo senza cloud serviva Python e pazienza. Ora basta trascinare il file nella chat.

Limiti concreti. L’app è nuova e Mac-only: niente Windows, niente Linux. La disponibilità di modelli vision in formato MLX dipende da chi li converte, e non tutti i modelli hanno un equivalente MLX pronto. La qualità dell’inferenza locale su Apple Silicon regge per modelli piccoli e medi, mentre i modelli frontier restano fuori portata per memoria e velocità. Infine, è un progetto di uno sviluppatore: il supporto a lungo termine dipende da quanto la comunità ci costruisce sopra.

Per chi lavora con documenti visivi o dati sensibili e vuole sperimentare con i vision-LLM senza cloud, è il primo tentativo serio di rendere la cosa accessibile a chi non programma.