466 FP8 TFLOP a 300 W

Tenstorrent ha presentato un processore Wormhole di prossima generazione per carichi di lavoro AI che promette di fornire prestazioni decenti a un prezzo basso. L’azienda offre attualmente due schede PCIe aggiuntive che trasportano uno o due processori Wormhole oltre alle workstation TT-LoudBox e TT-QuietBox rivolte agli sviluppatori di software. L’intera versione di oggi è rivolta agli sviluppatori e non a coloro che distribuiranno le schede Wormhole per i loro carichi di lavoro commerciali.

“È sempre utile rendere disponibili agli sviluppatori più prodotti. Il controllo delle versioni dei sistemi di sviluppo con la scheda Wormhole™ aiuta gli sviluppatori a scalare e lavorare su software AI multi-chip.ha affermato Jim Keller, CEO di Tenstorrent.Oltre a questo lancio, siamo lieti che la registrazione e la riproduzione audio della nostra seconda generazione, Blackhole, stiano andando bene.“

Ogni processore Wormhole ha 72 core Tensix (con cinque core RISC-V che supportano diversi formati di dati) con 108 MB di RAM statica (SRAM) per fornire 262 TFLOPS FP8 a 1 GHz con una potenza di progettazione termica di 160 W. La scheda Wormhole n150 a chip singolo trasporta 12 GB di memoria GDDR6 con una larghezza di banda di 288 GB/s.

I processori wormhole forniscono scalabilità flessibile per soddisfare le diverse esigenze di carico di lavoro. In una configurazione workstation standard con quattro schede Wormhole n300, i processori possono combinarsi per funzionare come una singola unità, apparendo come una rete unificata ed estesa di core Tensix software. Questa configurazione consente agli acceleratori di lavorare sullo stesso carico di lavoro, di suddividerlo tra quattro sviluppatori o di eseguire fino a otto modelli IA distinti contemporaneamente. Il vantaggio cruciale di questa scalabilità è che funziona in modo nativo senza necessità di virtualizzazione. Negli ambienti data center, i processori Wormhole potranno scalare all’interno di un singolo dispositivo utilizzando PCIe o all’esterno di un singolo dispositivo utilizzando Ethernet.

Dal punto di vista delle prestazioni, il Wormhole n150 a chip singolo di Tenstorrent (72 core Tensix da 1 GHz, 108 MB di SRAM, 12 GB GDDR6 a 288 GB/s) è in grado di fornire 262 TFLOPS FP8 a 160 W, mentre la scheda Wormhole n300 Dual-chip (128 core Tensix da 1 GHz , 192MB SRAM, 24GB GDDR6 aggregati a 576GB/s) può fornire fino a 466 FP8 TFLOPS a 300W (secondo Tom Hardware).

Per contestualizzare i 466 FP8 TFLOPS a 300 W, confrontiamoli con ciò che Nvidia, leader del mercato AI, offre a questa potenza di progettazione termica. L’A100 di Nvidia non supporta FP8, ma supporta INT8 e ha una prestazione di picco di 624 TOPS (1248 TOPS con scarsità). Al contrario, l’H100 di Nvidia supporta FP8 e ha una prestazione di picco di 1.670 TFLOPS (3.341 TFLOPS con rarefazione) a 300 W, una differenza significativa rispetto al Wormhole n300 di Tenstorrent.

Ma c’è un grosso problema. La carta Wormhole N150 di Tenstorrent è offerta a $ 999, mentre la N300 è offerta a $ 1.399. Al contrario, la scheda Nvidia H100 può essere venduta per $ 30.000, a seconda delle quantità. Naturalmente non sappiamo se quattro o otto processori Wormhole saranno in grado di fornire le prestazioni di una singola scheda H300, anche se lo faranno rispettivamente con un TDP di 600 W o 1200 W.

Oltre alle schede, Tenstorrent offre agli sviluppatori workstation precostruite con quattro schede n300 all’interno del meno costoso TT-LoudBox basato su Xeon con raffreddamento attivo e del TT-QuietBox premium alimentato da EPYC con raffreddamento a liquido.

fonti: tentorrent, Tom Hardware