OpenAI и Broadcom представили Jalapeño — ускоритель для инференса LLM, ориентированный на энергоэффективность и масштаб

OpenAI i Broadcom predstavili Jalapeño — akcelerator za inferencu LLM, fokusiran na energetsku efikasnost i skalabilnost

Prijatelji, želim da podelim vest iz ekosistema OpenAI: OpenAI i Broadcom predstavili su Jalapeño — novi akcelerator za inferencu LLM.

Šta se desilo: čip je dizajnirao OpenAI, a proizveo Broadcom; od dizajna do tape‑outa — 9 meseci.

Ključne stvari: rani testovi pokazuju znatno bolju performansu po vat‑u; arhitektura smanjuje prenos podataka i balansira računanje, memoriju i mrežu.

Implementacija: planira se skaliranje do gigavatnih data centara i višepokolenjska platforma sa partnerima.

Zašto je važno: smanjiće troškove i latenciju inferencije, čineći LLM‑servise bržim i dostupnijim.

Kako će ovo uticati na Vašu infrastrukturu i planove za korišćenje LLM?

#OpenAI #Čipovi #VeštačkaInteligencija #Infrastruktura