Il segnale

Qualcuno ha scritto su X di aver pre-addestrato transformer senza backprop. Nessun paper, nessun modello, una frase. E il settore si è fermato a leggere.

A scriverlo non è un anonimo. È Samip Dahal, di Q Labs. Il gruppo del NanoGPT Slowrun, quello che studia la generalizzazione con dati limitati e calcolo infinito. Lo stesso Dahal ha firmato q0, il paper sul pretraining efficiente scritto con Princeton. Due settimane fa, altro paper con la NYU: le scelte di architettura possono cambiare gli esponenti delle leggi di scala. In meglio.

Ora il post: abbiamo pre-addestrato transformer con ottimizzazione zeroth-order, senza backprop. Il paper, dicono, arriverà.

Vediamo perché, se è vero, è enorme. E perché, finché il paper non c'è, non è niente.

Il muro del backprop

Il backprop è il motore dell'addestramento. Per correggere i pesi devi sapere quanto hanno sbagliato. E per saperlo devi ripercorrere la rete al contrario, strato per strato. Quella risalita costa memoria. La memoria di addestramento cresce con il modello. Quella di inferenza no. È il muro che separa chi addestra da chi usa.

I metodi zeroth-order provano a buttarlo giù senza guardare dentro la rete. Non calcolano la discesa. Perturbano i pesi, misurano la perdita, stimano la direzione. Due passaggi in avanti. Zero indietro.

Nel 2023 il paper MeZO, oral a NeurIPS, ha dimostrato che funziona. Fine-tuning di un modello da 30 miliardi con la memoria dell'inferenza. Col backprop, sullo stesso hardware, ne reggevi 2,7. Ma solo fine-tuning. Il pretraining restava chiuso.

Chiuso da cosa? Dalla maledizione della dimensionalità. La stima zeroth-order peggiora al crescere delle dimensioni. Un paper del 2025 di Polytechnique Montréal con il laboratorio di Huawei ci ha provato sui modelli piccoli e ha chiuso la porta: per il pretraining, l'ostacolo principale è la dimensionalità. Un altro gruppo si è fermato a GPT-2 small, cento milioni di parametri. Il frontier, mai.

Quindi il claim di Q Labs rompe esattamente il muro che la letteratura diceva intoccabile. Per questo non è rumore. Per questo serve il paper.

La stiva sbagliata

Adesso la parte che ti riguarda. Se il pretraining non ha più bisogno del muro del backprop, la memoria del training scende verso quella dell'inferenza. E la geografia dei costi si sposta.

  • Le GPU da addestramento valgono meno
  • I cluster da miliardi diventano sovradimensionati
  • Il fossato non è più il numero di schede, è l'algoritmo

E l'algoritmo, a differenza del data center, si copia.

Poi ci sono i numeri. Nel prospetto per l'IPO Anthropic ha dichiarato 518 miliardi di dollari di impegni su cloud e calcolo. Sono decenni di bollette, firmate su una scommessa: serve sempre più ferro per addestrare. Se la scommessa si sposta, le firme restano.

E non è la prima crepa. Il caso DeepSeek l'abbiamo raccontato qui: pesi aperti, costi dimezzati, settore in corsa. La direzione è la stessa da un anno: l'efficienza batte la scala.

Prima il paper

Ora la regola di casa. Noi non ti diciamo che è vero. Non c'è paper, non c'è un numero, non c'è una replica. C'è una frase su X. Il nostro mestiere è vendere verifiche, non risposte. Figurarsi se ci fidiamo delle promesse.

Ma la direzione conta più della notizia. Che il paper arrivi e regga, o che arrivi e crolli, la traiettoria non cambia: meno calcolo per la stessa intelligenza. Chi costruisce su questa traiettoria incassa due volte. Chi scommette contro paga sempre, anche quando ha ragione sul singolo annuncio.

Prima il paper. Poi la rivoluzione. Intanto: l'efficienza batte la scala, e i fossati si spostano.

Cosa fai tu

Se il backprop cade, cambia chi allena i modelli. Non cambia chi possiede i dati e i processi. Quella è l'unica posizione che non si svaluta.

Quindi la tua intelligenza non deve stare nel layer che si muove. Non nel modello, che cambia ogni tre mesi. Non nel paradigma di training, che forse cambia adesso. Nei tuoi dati, nei tuoi processi, a casa tua.

E in mezzo, il pezzo che ti fa sopravvivere a ogni scossa: il router. Cambi cavallo quando vuoi, senza ricominciare da zero. Quando il prossimo annuncio sposta i fossati, tu sei già dall'altra parte.

L'AI in casa tua. Con kairion. Il router è qui. Parliamone.