OpenAI Jalapeño: i primi benchmark battono Nvidia Blackwell sull'inferenza
Al Hot Chips conference di Stanford, OpenAI ha presentato i primi risultati del suo chip custom Jalapeño, sviluppato con Broadcom e progettato da zero per l'inferenza LLM. Sui benchmark InferenceX di SemiAnalysis, Jalapeño registra più token per utente e più throughput per kilowatt rispetto ai processori di inference state-of-the-art attualmente disponibili, inclusi i sistemi Blackwell di Nvidia. Il chip va in volume production nel 2027, con 128 chip per rack, 1,7 exaFLOPS e 27 TB di HBM. OpenAI sottolinea che Jalapeño non sostituirà le GPU Nvidia per il training, ma punta a ridurre drasticamente il costo dell'inferenza. Il So what? Se confermato in produzione, il controllo verticale del silicio sposta il baricentro economico dell'AI inference: il costo marginale di una risposta AI potrebbe crollare, riducendo la dipendenza da Nvidia per il serving.