Gemma-4-12B-it-heretic in locale: guida a Ollama e alle quantizzazioni GGUF

Come eseguire Gemma-4-12B-it-heretic con Ollama, scegliere tra Q4_K_M e Q8_0 e valutare memoria, modalità thinking e limiti delle misurazioni pubblicate.

Newsletter del 16 ottobre 2026

Link originale

Eseguire Gemma-4-12B-it-heretic in locale richiede due scelte concrete: quale quantizzazione caricare e se attivare la modalità thinking. La scheda del modello su Hugging Face propone file GGUF e comandi per Ollama e llama.cpp, indicando la modalità senza thinking come configurazione consigliata. È un punto operativo importante: secondo l’autore, il ragionamento può consumare il budget di token e lasciare incompleta la risposta finale.

Il repository ospita una variante di google/gemma-4-12B-it, modificata automaticamente con Heretic per ridurre i rifiuti. Può interessare a sviluppatori e sperimentatori che vogliono valutarla sul proprio hardware, rispettando la licenza del modello di base. La documentazione offre un punto di partenza, ma non dimostra prestazioni generali equivalenti all’originale.

Che cosa cambia e che cosa dimostrano i numeri

L’autore descrive il modello come sottoposto ad abliteration, con rimozione dell’allineamento di sicurezza. Riporta zero rifiuti su 100 prompt dannosi e una divergenza KL di 0,0284 rispetto al modello originale. Sono risultati dichiarati nella scheda, non misurazioni indipendenti.

Nel materiale fornito non compaiono i prompt del test, il protocollo completo né risultati su attività come programmazione, comprensione dell’italiano o rispetto delle istruzioni. Il conteggio dei rifiuti riguarda quindi il comportamento sul campione indicato: non misura quanto siano corrette o utili le risposte.

Anche l’affermazione dell’autore secondo cui la modifica comporterebbe una perdita minima di capacità va distinta dai dati disponibili. La divergenza KL riportata, senza ulteriori condizioni di valutazione, non basta a stabilire che tutte le capacità siano preservate.

La conseguenza pratica è semplice: meno rifiuti non significa maggiore affidabilità. Per scegliere questo modello servono prove sui propri compiti leciti e rappresentativi.

Q4_K_M o Q8_0: scegliere con criteri verificabili

La scheda elenca due quantizzazioni, con dimensioni e indicazioni differenti. La tabella separa quanto documentato da ciò che resta da verificare.

L’indicazione di 8-12 GB di VRAM per Q4_K_M appartiene alla documentazione del repository. Non è accompagnata da una configurazione hardware completa o da misure di velocità. Va quindi usata come riferimento iniziale, non come garanzia per ogni macchina.

La dimensione del file, inoltre, non documenta da sola il fabbisogno complessivo durante l’esecuzione. Prima di scegliere, conviene registrare memoria utilizzata, configurazione del contesto e completamento delle risposte. Per Q8_0 la definizione «quasi senza perdita» resta una valutazione dell’autore, priva di un confronto dettagliato nella fonte.

Avvio con Ollama e controllo del thinking

La scheda propone questo comando:

ollama run igorls/gemma-4-12B-it-heretic-GGUF

All’interno della sessione interattiva indica poi:

/set nothink

Per le richieste tramite API Ollama, la stessa impostazione si esprime aggiungendo al corpo della richiesta:

{
  "think": false
}

Questo frammento mostra soltanto l’opzione relativa al thinking: non costituisce una richiesta API completa.

Secondo l’autore, la modifica del modello riguarda la risposta diretta, senza thinking. La scheda raccomanda questa modalità soprattutto per scrittura creativa e interpretazione di personaggi. È dunque una configurazione iniziale coerente con l’uso descritto, da verificare sul proprio carico di lavoro.

Chi sceglie il thinking deve prestare attenzione a num_predict e num_ctx: la fonte suggerisce valori elevati per evitare risposte troncate, ma non fornisce soglie numeriche. Non esiste quindi, nell’evidenza disponibile, una coppia di valori consigliabile per tutti.

L’alternativa llama.cpp e un confronto riproducibile

Per llama.cpp, il comando riportato carica esplicitamente il file Q4_K_M:

llama-cli -m gemma-4-12B-it-heretic-Q4_K_M.gguf -p "Your prompt here"

Per disabilitare il thinking, la scheda suggerisce di omettere --jinja, oppure di usare un prompt che chiuda il blocco di ragionamento. Non specifica versioni dei runtime: queste istruzioni vanno quindi verificate nell’ambiente scelto.

Una valutazione utile può partire da un piccolo insieme stabile di richieste: spiegazione di codice, estrazione di dati da testo e riscrittura in italiano. Sono criteri proposti per il confronto, non test già eseguiti sul modello.

Per ogni configurazione, registrare:

• correttezza rispetto a una risposta o a requisiti verificabili;
• rispetto del formato richiesto;
• presenza di risposte incomplete;
• tempo di completamento e memoria osservati.

Conviene cambiare una variabile alla volta, mantenendo gli stessi prompt. Il confronto potrà così chiarire se Q8_0 o il thinking producano benefici concreti per l’impiego previsto, senza attribuire loro vantaggi non misurati.

FAQ: licenza, accesso e limiti

La pubblicazione dei file consente qualsiasi utilizzo?

No. La scheda richiama esplicitamente la licenza del modello di base e il rispetto delle norme applicabili. Il materiale fornito non ne riporta i termini completi: prima dell’adozione occorre consultarli, senza dedurre permessi dalla sola disponibilità dei pesi.

È documentato un servizio di inferenza ospitato?

Nella scheda acquisita non risultava alcun Inference Provider associato. L’evidenza disponibile documenta soprattutto l’esecuzione tramite runtime locali; non consente di affermare quale sia la disponibilità successiva di servizi ospitati.

Zero rifiuti significa che il modello risponderà sempre?

No. Il risultato dichiarato riguarda 100 prompt del test dell’autore. Non garantisce lo stesso comportamento su richieste diverse e non dimostra accuratezza, completezza o sicurezza delle risposte. Queste proprietà richiedono valutazioni separate.