Microsoft annunciato il lancio di Phi-2, un piccolo modello linguistico (SML) in grado di superare Llama 2 e altri concorrenti. Sviluppato da Microsoft Research, il modello ha dimostrato eccellenti capacità di ragionamento e di comprensione del linguaggio. I ricercatori hanno condotto diversi test e hanno scoperto che ha ottenuto risultati migliori rispetto all’intelligenza artificiale di Meta e di Google. in alcuni compiti.
Phi-2 fa parte di un famiglia di modelli basati su trasformatori che hanno un numero minore di parametri. Secondo Microsoft, l’idea alla base del loro sviluppo si basa sulla premessa che è possibile ottenere prestazioni vicine a modelli più estesi, come Llama o Mistral. Per avere un’idea della scala, Phi-2 ha 2,7 miliardi di parametri.mentre GPT-4 ne avrebbe circa 1.700 miliardi.
Nonostante questa limitazione, L’intelligenza artificiale di Microsoft è in grado di eguagliare o superare modelli fino a 25 volte più grandi.. In una serie di test matematici e di programmazione, Phi-2 ha ottenuto risultati migliori dell’intelligenza artificiale Llama 2 di Meta. Gli sviluppatori si sono spinti oltre e lo hanno messo a confronto con Gemini Nano 2, dove ha è riuscito a risolvere problemi di fisica in modo simile all’intelligenza artificiale di Google.
“Con soli 2,7 miliardi di parametri, Phi-2 supera i modelli Mistral e Llama-2 con 7B e 13B parametri su diversi benchmark aggregati”, hanno dichiarato gli sviluppatori. “In particolare, ottiene prestazioni migliori rispetto al modello Llama-2-70B, 25 volte più grande, in compiti di ragionamento a più fasi, cioè codifica e matematica”.
Phi-2 offre risposte meno tossiche e distorte rispetto a Llama 2
Come è stato possibile ottenere questi risultati con un minor numero di parametri? Il segreto è nella formazione. Phi-2 è stato addestrato con un set che comprende testi sintetici di NLP, sottoinsiemi di codice ottenuti da Stack Overflow, gare di programmazione e altro ancora.
Microsoft ha dichiarato che la qualità dei dati di addestramento gioca un ruolo fondamentale nelle prestazioni del modello. A differenza di GPT-4, Microsoft effettua una selezione dei dati web, filtrati in base al loro valore educativo. Il team di ricerca ha utilizzato un insieme di “qualità da libro di testo”, una strategia applicata fin dalla prima versione di Phi.
“La nostra combinazione di dati di addestramento contiene insiemi di dati sintetici creati appositamente per insegnare al modello il ragionamento di senso comune e la conoscenza generale, tra cui la scienza, le attività quotidiane e la teoria della mente”.
La formazione di Phi-2 ha richiesto 14 giorni e sono state utilizzate 96 schede grafiche NVIDIA A100. Sebbene non siano stati eseguiti ulteriori affinamenti, l’SML offre una minore tossicità e distorsione nelle sue risposte.Microsoft Research ha dichiarato di aver condotto test approfonditi con benchmark accademici e strumenti interni.
Purtroppo, Phi-2 sarà disponibile solo per progetti di ricerca.. L’SML sarà offerto come parte di Azure AI Studio per incoraggiare lo sviluppo di modelli linguistici. La licenza attuale non ne consente l’uso in applicazioni commerciali., come ChatGPT.