Intel ha presentato un nuovo chip con cui intende competere con NVIDIA nel campo dell’intelligenza artificiale. Il Gaudi 3 è un acceleratore di intelligenza artificiale che promette prestazioni di addestramento fino a 1,7 volte superiori e un’inferenza migliore del 50% rispetto all’H100. Inoltre, sarebbe fino al 40% più efficiente e costerebbe una frazione di quello che si pagherebbe per un processore NVIDIA.
L’azienda ha approfittato dell’inizio del suo Visione 2024 per presentare i suoi prossimi prodotti per l’intelligenza artificiale. Gaudi 3 è un acceleratore per l’addestramento e l’esecuzione di modelli linguistici di grandi dimensioni (LLM). e altri carichi di lavoro complessi. Secondo Intel, il chip vanta un aumento di 4 volte nel calcolo dell’intelligenza artificiale per i carichi di lavoro BF16 e una larghezza di banda della memoria 1,5 volte superiore rispetto al suo predecessore (Gaudi 2).
Gaudi 3 è prodotto con processo a 5 nanometri e consente il funzionamento in parallelo di tutti i suoi motori, con conseguenti calcoli di deep learning più rapidi ed efficienti. Tra le sue caratteristiche vi è un motore AI dedicato con 64 core di elaborazione dei tensori (TPC) e otto motori di moltiplicazione matriciale (MME).. Secondo Intel, ogni MME può eseguire 64.000 operazioni parallele, accelerando le attività di deep learning.
Oltre a ciò, Gaudi 3 integra 128 GB di memoria HBM2E, una larghezza di banda di 3,7 TB e 96 MB di SRAM integrata.. Questa capacità di memoria consente di elaborare in modo efficiente grandi insiemi di dati utilizzando un minor numero di acceleratori. La nuova bestia di Intel può collegarsi ad altri acceleratori tramite Ethernet, poiché ogni unità offre 24 porte integrate da 200 Gb.
Tutto questo suona bene, ma… come si comporta rispetto all’H100?
Gaudi 3 vs. H100: come Intel supera NVIDIA nell’intelligenza artificiale
Durante la presentazione del Gaudi 3 a Vision 2024, Intel ha fornito alcune dati sulle prestazioni del suo nuovo acceleratore di intelligenza artificiale. Il produttore sostiene che il suo chip offre miglioramenti significativi delle prestazioni per i compiti di addestramento e inferenza. A tal fine, ha preso come riferimento un H100 in modelli come Flame 2 e GPT-3.
Secondo Intel, Gaudi 3 è fino al 50% più veloce nel tempo di addestramento per modelli come Llama 2 (7B e 13B parametri) e GPT-3 (175B parametri). Inoltre, l’acceleratore Intel è fino a 50 % più veloce nelle prestazioni di inferenza e offre un’efficienza energetica migliore del 40 %. per modelli come Llama (7B e 70B parametri) e Falcon (180B parametri).
Rispetto a una NVIDIA H200, Gaudi 3 è fino al 30% più veloce nell’inferenza per Llama (7B e 70B) e Falcon (180B).
Intel offrirà Gaudi 3 in due varianti: la prima come scheda con il fattore di forma presente in altri sistemi di intelligenza artificiale. Questo modello, con 128 GB di memoria HBM2E, è offerto in gruppi di otto per nodo server. Intel lancerà Gaudi 3 anche come scheda PCIe , focalizzata su carichi di lavoro come il fine-tuning o l’inferenza. Questa variante presenta gli stessi 128 GB di memoria e un TDP di 600 watt.
Intel ha confermato che Gaudi 3 sarà disponibile per produttori come Dell, Lenovo, HP e Supermicro. nel secondo trimestre del 2024. Le aziende che desiderano acquisirle singolarmente dovranno attendere il terzo trimestre dell’anno, anche se Il modello PCIe arriverà entro la fine del 2024.
Sebbene Intel abbia parlato di un costo inferiore, non ha fornito dettagli sul prezzo.