Il successo di DeepSeek e il modello R1
DeepSeek ha recentemente catturato l’attenzione del mondo dell’intelligenza artificiale con il suo modello R1, sviluppato con un investimento inferiore ai 6 milioni di dollari. Questo risultato ha dimostrato che è possibile ottenere prestazioni elevate senza dover spendere somme astronomiche, aprendo la strada a nuove opportunità per le aziende e i ricercatori nel campo dell’AI.
La tecnica della distillazione: un approccio innovativo
La chiave del successo di DeepSeek risiede nell’adozione della tecnica della distillazione, un metodo che consente di migliorare le prestazioni di modelli più piccoli utilizzando le risposte di modelli più grandi. Questo approccio è stato anche impiegato dai ricercatori delle università di Stanford e Washington, che hanno sviluppato il modello s1 con un investimento sorprendentemente basso di meno di 50 dollari.
Utilizzando il modello Qwen2.5 di Alibaba come base, hanno creato un database di 1.000 domande e risposte, integrando il ragionamento del modello Gemini 2.0 Flash Thinking Experimental di Google.
Risultati sorprendenti con costi minimi
Grazie all’uso di 16 GPU NVIDIA H100, l’addestramento del modello s1 è stato completato in meno di 30 minuti, con una spesa totale di meno di 50 dollari in crediti di cloud computing. Questo risultato non solo dimostra l’efficacia della distillazione, ma evidenzia anche come sia possibile ottenere risultati di alta qualità senza investimenti eccessivi. I ricercatori hanno affermato che le prestazioni del modello s1 sono comparabili a quelle di modelli più costosi come o1 di OpenAI e R1 di DeepSeek, specialmente nelle capacità matematiche e nella generazione di codice.
Le implicazioni etiche e legali
Tuttavia, l’uso delle API di Gemini per sviluppare modelli concorrenti solleva interrogativi etici e legali. I termini di servizio di Google vietano esplicitamente tale utilizzo, e i ricercatori coinvolti hanno violato queste condizioni. Al momento, Google non ha rilasciato
