L’anno scorso (non è mai troppo tardi nella vita) ho scoperto Salvatore Sanfilippo, antirez.
Penso di aver guardato buona parte dei suoi video.
Davvero un’ottima fonte da cui imparare.
E ho deciso di prendere qualche appunto dai suoi video e scriverli qua, magari mi serviranno in futuro.
Inizio con una live con Mr. Rip sul suo progetto DS4.
“I vecchi dovrebbero fare da miccia per le potenzialità dei giovani.”
“C’è una maggioranza silente di persone a cui invece il messaggio arriva”
Eccomi! Ti prego, continua a comunicare, stai avendo un grande impatto sulla vita di migliaia di persone.
Come dice Mr. Rip, si percepisce che è un puro, che non sta lì per i soldi e che non ha alcun secondo fine malvagio.
“mi rendo conto che sto avendo degli effetti che sono significativi, perchè ho visto delle persone molto capaci e giovani che mi hanno detto: guarda io non ho mollato questo ambiente perchè vedevo i tuoi video e mi hai dato in qualche modo uno sprono. Allora, visto che è così ne vale la pena.”.
“io per fare un video devo studiare”
Questo è molto interessante, e potrebbe essere una cosa su cui puntare per il futuro. Per creare contenuti di valore si è “costretti” ad imparare. Una forzatura positiva.
“il motivo per cui fare video per me non è particolarmente pesante, è che siccome non c’è una componente economica, non c’è neanche una aspettativa per ciò che accadrà, allora così è facile”.
Penso sia proprio questo l’aspetto più importante che me lo fa apprezzare. Dà valore perchè ha bisogno di dare valore, ma senza nulla in cambio, senza doverci per forza guadagnare soldi.
“dopo un po’ di mesi ho smesso di guardare le statistiche del canale”.
Questo si percepisce dai video, perchè fa video con titoli e copertine semplici, non per attirare clic, non per fare più views, non per far felice gli sponsor. Ma per comunicare. Per dare valore.
“il canale Youtube è la testimonianza del mio muovermi in questi argomenti come persona. Parlo solo delle cose che sto facendo in quel momento”.
“sento l’esigenza che devo accendere la telecamera e dire quella cosa lì”
in merito alla sua esigenza di comunicare.
Indice
Elephant in the Brain
[18:30] Mr. Rip consiglia il libro di Elephant in the Brain di Robin Hanson (overcomingbias.com) e Kevin Simler (meltingasphalt.com), che parla dei motivi nascosti, dell’elefante nel cervello (invece che nella stanza).
Cioè noi facciamo cose perchè abbiamo delle motivazioni nascoste che evitiamo di guardare negli occhi, ma una volta che le riconosciamo e le accettiamo, siamo anche più onesti con noi stessi.
Un libro sull’esplorazione del pensiero.
Ban di Fable
In merito a Fable e al fatto che è stato bloccato dagli USA:
“che si vada verso la direzione di vietare le AI quando man mano le AI diventano più potenti, mi pare l’unica cosa logica.”
perchè se gli chiedi di fare un danno enorme e quella ti spiega come farla, la devi ammansuetirla ma al momento i sistemi di filtro sono imperfetti, oppure la devi vietare.
“Una cosa che rende Fable più potente è che è più grosso, quindi i parametri sono una soglia limite per non avere problemi.”
quindi il numero di parametri è un valore fondamentale.
“man mano che il numero di parametri cresce, la potenza intellettuale di queste macchine cresce e diventano anche automaticamente più pericolose”
cosa vista con GPT 5.5 che ha trovato un sacco di bug e zero-day.
Amodei, CEO di Antrophic, dice che il modello Fable è pericoloso, perchè lato sicurezza informatica, se trova bug che ti permettono di entrare nei computer e di fare danni, allora è decisamente pericoloso se usato dalle persone sbagliate.
Salvatore dice che Fable (Mythos depotenziato) è significativamente più potente rispetto a GPT 5.5.
Ma che bug vengono trovati che sono così pericolosi?
Mythos fa attacchi a cui neanche i top hacker hanno pensato.
“le macchine su questa roba qua, sono già umane a livelli altissimi, o leggermente super umane“.
Quindi è possibile che in un futuro neanche troppo lontano, una nazione potrebbe usare questi sistemi per colpire “i nemici”.
“sono venuti fuori bug che erano lì da 15 anni nei sistemi che hanno subito più auditing, kernel di linux, quello di OpenBSD“
e questo in futuro porterà ad avere sempre meno problemi di sicurezza. Il problema però è oggi, dove i sistemi hanno ancora molti bug non ancora scoperti.
Antrophic ha così deciso di dare il suo modello Mythos alle aziende più importanti che producono software in modo tale da sistemare i bug prima che li trovino i cattivi.
Chiamato Progetto Glasswing.
Una buona azione!
Ma il governo americano, dopo 2 giorni dal rilascio di Fable, capisce che il modello è pericoloso e lo blocca solo per i non residenti USA, una cosa senza senso visto che anche tra gli americani potrebbero esserci delle persone con cattive intenzioni.
Il fatto che una nazione possa decidere di bloccare (solo per gli altri) qualcosa di così rivoluzionario, è proccupante.
E lo è ancor di più perchè a nessuno in Europa interessa sviluppare un modello simile “per averlo in casa”.
Che la sicurezza dei cittadini europei sia realmente in pericolo?
Salvatore propone di far tornare i cervelli che lavorano in quelle aziende AI, pagandogli lo stesso stipendio per 10 anni. La UE dà i soldi alle imprese per sviluppare questi modelli.E poi fare una collaborazione con i cinesi per rilasciare modelli open weight.
È uno sgarro agli americani? Probabilmente sì, però se mi banni un modello di frontiera…
Bisognerebbe mettere dei paletti etici sull’uso dell’AI. Tipo non puoi tracciare i cittadini (riconoscimento facciale).
DeepSeek 4 e modelli cinesi
I modelli sono statici, sono stati allenati con le informazioni disponibili fino alla data X.
Per sopperire alla mancanza delle funzioni affiornate, se gli chiedi una cosa nuova il modello può fare delle ricerche online.
Il modello locale può usare il browser per farlo, quindi è come se navigassi tu, senza limitazioni.
Ma perchè la Cina ha rilasciato questi modelli open weight?
Hanno rilasciato sia pesi che continuano a produrre paper scientifici che poi usano anche gli americani, quindi non è solo marketing.
Secondo Salvatore i cinesi hanno rilasciato tutto perchè si sono accorti che gli LLM prima o poi diventeranno una commodity (indica un bene primario standardizzato, il cui valore è indipendente da chi lo produce).
I cinesi hanno 1/40 delle GPU degli americani, quindi un quarantesimo della forza computazionale, quindi partono indietro.
Ma se riescono a tirar fuori un modello come DeepSeek 4 molto simile come prestazioni a modelli di frontiera americani, può voler dire che gli americani non hanno fatto molta ricerca, hanno solo scaling.
È per questo che ChatGPT e Antrophic sono sempre lì vicino a rincorrersi, ma senza un chiaro vincitore che svolta e fa il salto di qualità.
Riflessione interessante, siamo ad un bivio: se gli LLM non ricevono aiuto dall’AI stessa per svilupparsi, prima o poi i cinesi recupereranno gli americani. Se invece l’AI aiuterà sé stessa nella ricerca, il primo che riesce farà il salto di qualità e lascierà tutti indietro.
Il problema dello scaling è Taiwan (Taiwan Semiconductor), che è il principale produttore di chip per le GPU e TPU.
Salvatore pensa che Taiwan e la Cina si dichiareranno alleati in un futuro, e che quindi la CIna recupererà lo svantaggio hardware.
E se Taiwan decidesse di non passare più le macchine ai competitor della Cina, metti in crisi le aziende come OpenAI e Antrophic.
“Alla lunga soldi nell’AI generativa non ce ne saranno, e quindi i cinesi hanno detto piuttosto che fare OpenAI e Antrophic, facciamo i paladini della ricerca e degli LLM open weight”.
Non ci saranno soldi nell’AI generativa perchè se diventa commodity i margini saranno troppo bassi.
DwarfStar 4 (DS4)
I modelli piccoli con qualche (7, 14, 32, ..) miliardi di parametri non sono minimamente paragonabili ai modelli di frontiera, ma quando esce DeepSeek 4 con 284 miliardi di parametri (modello di semi frontiera) open weight, Salvatore ha una intuizione.
Prende il modello da 140 GB, crea una quantizzazione (riduzione di qualità, una sorta di zip).
Ecco che nasce il progetto DwarfStar 4 DS4 di Salvatore Sanfilippo. Ovvero far girare in locale su computer “consumer” (96 GB di RAM) modelli open weight come DeepSeek 4 Flash.
Quantizzazione: nel Machine Learning, consiste nel ridurre la precisione dei parametri di un modello (es. da 32-bit a 8-bit interi), per ridurre il consumo di memoria e velocizzare i calcoli.
Con il MoE, mixture of experts, sono presenti 256 esperti, ogni layer ha degli esperti, ma ne vengono attivati solo 6 per ogni token generato. 1 esperto invece è condiviso, viene attivato sempre per tutti i 43 layer che ha il modello.
E Salvatore dice, l’esperto condiviso lo tiene ad alta qualità, mentre applica una quantizzazione sul resto.
I risultati sono eccezionali, quasi come il modello non compresso.
L’obiettivo è di fare stare il modello (da 140 GB) in 80 GB di RAM.
In RAM perchè è molto veloce. Arriva a leggere 400 token al secondo.
Lui voleva che tu ti scarichi il modello, lo lanci e doveva funzionare. Bene. Prevedendo di poter cambiare il modello in base al migliore in circolazione in futuro.
Al momento i modelli open weight più importanti sono quelli rilasciati da Qwen (Alibaba), Xiaomi, Gemma (Google), llama (Meta).
I modelli piccoli servono solo per il riassunto, ma non fanno poi molto.
La parte più importante sono i modelli open weight grossi.
Ora sta provando a fare inferenza condivisa con 2 MacBook insieme.
Implementa SSD streaming che consente di caricare i “pesi” di modelli linguistici di grandi dimensioni direttamente dall’unità SSD anziché saturare la memoria RAM.
- Vantaggi: permette di far girare modelli enormi (es. oltre 400B di parametri) su hardware consumer o dispositivi con memoria RAM limitata.
- Controindicazioni: Il continuo scambio di dati (“swap”) può accelerare l’usura delle unità.
Il progetto ha 140.000 righe di codice, tutte scritte con l’AI dandogli tutte le linee guida da seguire.
Ha fatto il lavoro in 1 mese con l’AI, cosa che dice ci avrebbe messo un anno e mezzo per farlo a mano da solo.
Il modello non è censurato mentre pensa, quindi puoi vedere la fase di thinking, quello che fa e come ragiona, cosa che nei modelli attuali viene nascosto spesso.
Ha introdotto il concetto che la KV Cache potesse stare sul disco. Anche questa è una innovazione. Salvi lo stato su disco, servi un’altra chat e poi lo ricarichi.
Ha usato ChatGPT 5.5 per generare tutto il codice, Opus 4.8 non è in grado di farlo.
Sul futuro dell’AI
Siamo in un punto in cui il progresso dell’AI è rallentato dalla regolamentazione e non dallo scaling hardware.
Salvatore pensa che ora dovranno agire sui filtri per limitare il modello in alcune risposte. Perchè?
Perchè ci sono troppi soldi di mezzo, per cui il governo di Trump non può vietare l’uso dei modelli perchè altrimenti casca la borsa.
Se l’America dovesse vietare i nuovi modelli, nessuno sarebbe più incentivato a fare ricerca per produrli, quindi scoppierebbe la bolla AI con effetti disastrosi in borsa.
Quando rilasceranno DeepSeek 4 Pro, gratuitamente e con open weight, sarà molto simile a ChatGPT 5.5 che invece è a pagamento, dove OpenAI ha investito un sacco di soldi. Se non gli permetti di rilasciare un modello più potente, crollerà la borsa.
Mr. RIP dice: esploderà la bolla dell’AI non perchè non porta i risultati che ha promesso, ma perchè li porterà gratis.
“L’AI non ci deluderà: o ci sarà un miglioramento bestiale dell’essere umano, o moriamo tutti”.
Quando non puoi più scalare i modelli la prima cosa che fai è non comprare più schede video, ti bastano quelle che hai. NVIDIA inizia a pubblicare quarti di m… (non buoni).
Perchè se Trump ti vieta di pubblicare i nuovi modelli, se non puoi venderlo che lo sviluppi a fare visto il costo di sviluppo elevato?
Potrebbe diventare nazionalizzata come spesa militare, ma l’America ha già un debito troppo elevato e difficilmente è una strada perseguibile.
Quindi il riassunto è che l’America non si può permettere di bannare i nuovi modelli, che dovranno essere limitati in qualche modo.
Lavorare gratis
“lavoro gratis, mi sta bene ma sento che sto facendo una rinuncia di qualche tipo”
“mentre negli anni ’90 tutti quelli che avevano 20 anni come me dicevano scriviamo open source, oggi la gente pensa, ma a me lavorare gratis chi me lo fa fare?”
RIP: “se ti ispira una persona o un progetto, tu vai e dai te stesso gratis, perchè quello che poi hai in termine di futuro compounding e di capitale umano che stai costruendo vale di più”
Al minuto [37:52]:
“tu esisti se fai le cose, e certe volte se aspetti che ti pagheranno per farle, nessuno ti paga e non esisterai mai”.
Ah, quanta verità!
Programmare con l’AI
Salvatore dice che fa:
- processo ablativo subito dopo aver scritto il codice, dicendo all’AI di togliere tutta la complessità, anche se il codice attualmente funziona già
- gli dice la struttura di ogni parte del progetto (sempre in lingua inglese). Devi fare la funzionalità X? Allora devi usare questi comandi qua, deve funzionare così, devi impostare questo componente così, usa questa chiamata di sistema per fare Y, … gli dice ogni dettaglio
- gli dà i test da fare e su cosa porre attenzione
“non è vero che genera il token più probabile, pensa a quello che vuole fare”
Nessuno tra i maggiori ricercatori AI pensa che l’AI sia una macchina statistica.
RIP domanda: “non ti dispiace non scrivere codice?”
Risposta di Salvatore:
“tantissimo. Ma, mica noi umani non dobbiamo scrivere codice, ma dobbiamo scriverlo come se fosse una poesia.”
Quando scrivi codice, devi avere una visione di prodotto, intenzionalità di quello che vuoi fare.
Scrivo codice per avere un prodotto finale utilizzabile con queste caratteristiche precise.
Idea di progetto
Hai un’altra idea di progetto da suggerire ai giovani?
“gli agenti quelli con cui tu parli via telegram o whatsapp, ce ne sono due, secondo me c’è spazio, non sono fatti bene”.
“possono essere ripensate le interfacce di interazione essere umano e AI in modo da renderle più interessanti”.
“Con gli AI agent c’è un’interfaccia grafica dove non vedi niente. Nell’interazione uomo-macchina, là c’è un sacco da esplorare”
“l’interfaccia vocale è stancante rispetto a scrivere, è meno precisa. Gli devi dire apri parentesi, chiudi parentesi”
