← Tutti i progetti
Attivo ottobre 2026

Un'AI locale in casa

Un assistente AI che gira sul mio PC, non nel cloud: un'interfaccia web per tutta la famiglia e un agente da terminale che lavora sul codice — su una scheda video da 12 GB e senza il supporto ufficiale che ci si aspetterebbe.

llama.cppVulkanDockerWSL2Open WebUIOpenCodeSelf-hosting

L’idea

Gli assistenti AI migliori vivono nel cloud, e ogni domanda esce di casa. Volevo provare l’alternativa: un’AI che gira in casa mia, su un PC che ho già, per due usi. Da una parte un’interfaccia web in stile chat, per me e per la famiglia, con documenti da consultare. Dall’altra un agente da terminale che lavora su un progetto — legge i file, li modifica, compila, lancia i test — in C, C++, Java, .NET, Python e Node, compreso questo stesso sito.

Il problema: una scheda video “sbagliata”

Il PC ha un Ryzen 9, 128 GB di RAM e una Radeon RX 6700 XT da 12 GB. La RAM è tanta; i 12 GB di memoria video sono il limite vero. E il software AMD per il calcolo (ROCm) non supporta ufficialmente questa scheda su Windows, e in WSL funziona solo con le schede più recenti. Così il motore di inferenza gira nativo su Windows con Vulkan, tramite llama.cpp, e tutto il resto vive in WSL.

La scelta dei modelli segue lo stesso vincolo: i modelli MoE (“mixture of experts”) attivano solo una piccola parte dei loro pesi a ogni parola, quindi si possono tenere gli “esperti” in RAM e solo il nucleo sulla scheda. Con un’opzione di llama.cpp si decide con precisione cosa sta dove, ed è per questo che l’ho preferito a strumenti più semplici.

Come è fatto

Claude Code o OpenCode? Una prova vera

La domanda interessante era quale agente usare con un modello locale. Claude Code ha l’esperienza che già conosco, e il motore parla anche il protocollo Anthropic, quindi non serve nemmeno un traduttore in mezzo. L’alternativa è OpenCode, un agente aperto nato per funzionare con qualunque modello. Invece di fidarmi della fama, ho dato a entrambi gli stessi due compiti, con lo stesso modello, su copie isolate, con un’ora di tempo:

CompitoClaude CodeOpenCode
Uno script per trovare i link rotti nel sito24 minuti, funziona ma con un falso positivo5,5 minuti, corretto
Un programma C++ con CMake e test, verificato da uno script che i modelli non vedononon finito in un’ora24 minuti, corretto

La differenza non dipendeva dalla configurazione — la cache dei prompt funzionava in entrambi — ma da come lavora l’agente: Claude Code, pensato per i modelli Claude, fa più giri e più riscritture, e con un modello locale più lento si paga cara. OpenCode è il client principale. Lo uso anche dal Mac sui progetti locali, e gli passo la memoria che avevo già preparato per Claude (file di istruzioni globali e per progetto), che sa già leggere quasi tutta da solo.

Un’avvertenza sulla prova. Mentre Claude Code lavorava al compito in C++, la scheda video è stata resettata due volte dal watchdog di Windows (vedi sotto): quel risultato è quindi falsato almeno in parte, e non è un verdetto definitivo. Il resto del quadro regge: OpenCode ha chiuso entrambi i compiti, anche dopo, in modo corretto.

Una scheda video che si resettava da sola

Windows controlla che la scheda video risponda entro due secondi, e se non lo fa la riavvia. Con i modelli divisi tra scheda e RAM, certe operazioni Vulkan duravano di più: la scheda veniva resettata (sette volte in una giornata) e la richiesta in corso falliva con un errore di “dispositivo perso”. La soluzione è stata allungare quei tempi nel registro di Windows, e dopo il riavvio non si è più resettata.

Il doppio della velocità, con un limite

Con la previsione di token multipli (MTP) il modello propone due parole alla volta e il modello le verifica: circa l’85% viene accettato, e la scrittura passa da 16 a 33-37 parole al secondo. Il prezzo è che funziona una richiesta alla volta, quindi le altre vanno in coda. Nel confronto con una sola prova la variabilità dell’agente (quanti tentativi fa) pesava più della velocità: la prova in C++ con OpenCode è riuscita in 36 minuti invece di 24. Ho scelto MTP come configurazione principale, tenendo la versione senza come ripiego. Il collo di bottiglia che resta è la lettura dei prompt, e lì servirebbe una scheda con più memoria.

Cercare nei documenti, e scriverne

Open WebUI può rispondere sui documenti caricati, e per farlo deve “capire” il testo: serve un modello di embedding. Quello predefinito è pensato per l’inglese, quindi l’ho sostituito con uno multilingue, piccolo, che gira sul processore accanto al modello di chat senza scaricarlo; la ricerca combina il significato con la corrispondenza delle parole. Un tranello: questa versione salva tutte le impostazioni nel database e le variabili d’ambiente contano solo al primo avvio, quindi ho scritto uno script che le cambia a container fermo, dopo una copia di sicurezza. Così ho anche scoperto che l’indirizzo dell’interfaccia era rimasto quello vecchio, senza HTTPS.

Per provare la scrittura di documenti ho chiesto ai due modelli la stessa guida d’uso per la famiglia. Ne è uscita una guida unica, convertita in PDF e Word con pandoc, dove ho corretto i punti in cui i modelli avevano inventato dettagli — un promemoria utile: scrivono bene, ma i fatti vanno controllati.

Backup per un PC che di notte dorme

Un backup a orario fisso non ha senso su una macchina spenta per la maggior parte del tempo. Qui un timer parte quindici minuti dopo l’accensione e poi ogni quattro ore: copia gli account, la cronologia, i documenti caricati e la configurazione degli agenti sul NAS (con la copia sicura dei database SQLite, e tenendo le ultime 14), e se il NAS non risponde salta il giro. Se un backup fallisce, arriva una mail — l’ho provato con un guasto simulato. Poi lo verifico davvero: contenuto completo e controllo di integrità dei database. Solo i modelli restano fuori, perché si riscaricano.

Un accesso da maneggiare con cura

OpenCode ha anche un’interfaccia web, comoda, ma dà accesso a una shell, ai file e alla chiave di GitHub. Per questo la tengo ascoltare solo sul PC stesso, con password, e dal Mac la apro attraverso un tunnel SSH: non è mai esposta alla rete.

Aspettative realistiche

Questi modelli vanno bene per modifiche circoscritte, spiegazioni, documentazione, test e script. Nei lavori lunghi su molti file sono comunque nettamente sotto i modelli cloud: sbagliano più spesso le chiamate agli strumenti e perdono il filo dopo molti passaggi. Non è un sostituto, è un complemento che costa solo corrente.

Cosa ho imparato

Stato

Funzionante dal 17 ottobre 2026 (e già ritoccato lo stesso giorno): motore, modelli, interfaccia web con HTTPS, ambiente di sviluppo, due agenti (uno anche sul Mac) e backup con avviso sono in piedi, e il confronto è fatto. La guida d’uso per la famiglia c’è; restano gli aggiornamenti automatici. La configurazione è tutta in un repository privato, senza i modelli, che si possono riscaricare.

Stack

llama.cpp (Vulkan) · llama-swap · Open WebUI · OpenCode · Claude Code · WSL2 · Docker · Windows 11 · PowerShell · Bash