OpenAI presenta Jalapeño: il chip per inference che promette prestazioni superiori

Durante la recente conferenza Hot Chips, OpenAI ha svelato Jalapeño, il suo nuovo chip progettato per l’inference, che si distingue per un notevole miglioramento delle prestazioni rispetto ai processori attualmente considerati all’avanguardia. I primi risultati di benchmark, condotti su InferenceX di Semianalysis, evidenziano un aumento sia nel numero di token per utente sia nella throughput per kilowatt.

Il confronto è stato effettuato utilizzando come riferimento un sistema Nvidia Blackwell. Tuttavia, OpenAI ha avvertito che la concorrenza nel settore potrebbe evolversi rapidamente prima della piena distribuzione del prodotto. Jalapeño è stato sviluppato in collaborazione con Broadcom e integra i modelli proprietari di OpenAI nel processo di progettazione, con l’obiettivo di creare una piattaforma multigenerazionale che coordini chip, memoria e modelli.

L’architettura di Jalapeño è stata concepita per ridurre i ritardi nelle fasi di prefill e comunicazione, che sono spesso colli di bottiglia durante l’inference. Come dichiarato nel comunicato aziendale, “Abbiamo progettato Jalapeño per minimizzare il movimento dei dati e i ritardi di comunicazione.” Questo approccio consente di allocare e mantenere localmente lo stato del modello, inclusa la KV cache utilizzata durante la generazione delle risposte, mentre il sistema attiva la combinazione adeguata di calcolo, memoria e rete per ciascuna fase di inference.

Richard Ho, responsabile hardware di OpenAI, ha commentato: “I risultati mostrano un avanzamento delle prestazioni molto significativo rispetto allo stato dell’arte. Jalapeño può gestire più lavoro di intelligenza artificiale per unità di potenza, restituendo risposte più rapidamente. È molto efficiente nel servire un gran numero di clienti, mantenendo anche una bassa latenza.”

OpenAI prevede un primo dispiegamento in volumi ridotti entro la fine del 2026, con una distribuzione più ampia programmata per il 2027. Questa innovazione potrebbe rappresentare un cambiamento significativo nel modo in cui le aziende gestiscono le operazioni di intelligenza artificiale, offrendo maggiore efficienza e prestazioni elevate.