OpenAI dice que no está satisfecha con el hardware de inferencia de Nvidia, ahora está considerando AMD, Cerebras, Groq

OpenAI ya no está contenta con los chips de IA de Nvidia, especialmente cuando se trata de qué tan rápido pueden responder a los usuarios. La compañía comenzó a buscar otras opciones el año pasado, y ahora está hablando con AMD, Cerebras, e incluso estaba hablando con Groq antes de que eso se cerrara.

Esta tensión comenzó a hacerse real cuando OpenAI se dio cuenta de que los chips de Nvidia no eran lo suficientemente rápidos para cosas específicas como escribir código y manejar tareas de software a software.

Un insider supuestamente dijo que OpenAI quiere nuevos chips para manejar al menos el 10% de sus necesidades de inferencia en el futuro. Esa es la parte donde la IA responde a los usuarios, no la parte donde aprende cosas.

OpenAI quiere chips más rápidos para codificación y respuestas de usuarios

La mayor parte del trabajo actual de OpenAI todavía se ejecuta en Nvidia, pero detrás de escena, está probando chips que podrían hacer todo más rápido.

Esto incluye chips equipados con SRAM, que ayudan a acelerar las cosas al colocar la memoria justo al lado del procesador. Nvidia y AMD todavía usan memoria que se encuentra fuera del chip, lo que ralentiza las cosas.

Personas dentro de OpenAI señalaron a Codex, la herramienta que escribe código, como el lugar donde la lentitud era el mayor problema. Algunos miembros del personal incluso culparon el rendimiento débil al hardware de Nvidia. En una llamada de prensa el 30 de enero, el CEO de OpenAI, Sam Altman, dijo: "Los clientes que usan nuestros modelos de codificación darán una gran importancia a la velocidad para el trabajo de codificación".

Sam agregó que los usuarios regulares de ChatGPT no se preocupan tanto por la velocidad, pero para desarrolladores y empresas, cada segundo cuenta. Dijo que OpenAI acababa de firmar un acuerdo con Cerebras para ayudar a acelerar las cosas.

Al mismo tiempo, empresas como Anthropic y Google están obteniendo mejores resultados usando sus propios chips. Las TPU de Google están construidas específicamente para el tipo de trabajo que necesita la inferencia. Eso las ha hecho más rápidas al responder, especialmente para modelos como Claude y Gemini.

Las conversaciones OpenAI-Groq se cerraron después del acuerdo de licencia de Nvidia

OpenAI también estaba en conversaciones con Groq, otra startup que construye chips rápidos, pero esas conversaciones no llegaron lejos. Nvidia entró y firmó un acuerdo de licencia de $20 mil millones con Groq. Eso le dio a Nvidia acceso a los diseños de Groq y mató los planes de OpenAI de trabajar con ellos.

Una fuente cercana a la situación dijo que los chips de Groq fueron construidos exactamente para lo que OpenAI necesitaba. Pero una vez que Nvidia aseguró el acuerdo, esa puerta se cerró. Aunque la licencia no era exclusiva, Groq ahora se está enfocando en software basado en la nube, y Nvidia tomó algunos de los diseñadores de chips de Groq para sí misma.

Cerebras, por otro lado, dijo que no cuando Nvidia intentó comprarlos. En cambio, siguieron adelante e hicieron su propio acuerdo con OpenAI. Groq también recibió ofertas de inversión que valoraban su valor alrededor de $14 mil millones, pero eso ahora ha cambiado ya que está vinculada con Nvidia.

OpenAI no se ha alejado completamente de Nvidia. En una declaración pública, un portavoz dijo: "Confiamos en Nvidia para impulsar la gran mayoría de nuestra flota de inferencia", y llamó su rendimiento por dólar el mejor del mercado. Nvidia también dijo: "Los clientes continúan eligiendo Nvidia para inferencia porque entregamos el mejor rendimiento y costo total de propiedad a escala".

El acuerdo de inversión de Nvidia de $100 mil millones todavía está en el limbo

El año pasado, Nvidia dijo que planeaba invertir hasta $100 mil millones en OpenAI. Ese efectivo estaba destinado a ayudar a OpenAI a comprar chips más avanzados, y a cambio, Nvidia obtendría una participación en la compañía. Reuters dijo que el acuerdo debía cerrarse en unas pocas semanas. Todavía no lo ha hecho.

Mientras ese acuerdo se estancó, OpenAI siguió adelante y firmó acuerdos con AMD y otros para probar chips que podrían competir directamente con los de Nvidia. Pero a medida que OpenAI cambió sus planes de productos, el tipo de hardware que necesitaba también cambió. Eso ralentizó las conversaciones aún más, dijo alguien familiarizado con la situación.

El sábado, se le preguntó al CEO de Nvidia, Jensen Huang, sobre la fricción. Él dijo: "Eso es una tontería", e insistió en que Nvidia todavía planea invertir en grande en OpenAI. Pero detrás de escena, está claro que ambas partes están explorando sus opciones.

Al mismo tiempo, Nvidia ha estado buscando nuevas ideas de chips. Se acercó tanto a Cerebras como a Groq para ver si estarían abiertos a ser comprados. Cerebras rechazó eso y redobló su apuesta en su acuerdo con OpenAI.

En este momento, OpenAI está usando GPT4o para impulsar la mayoría de sus servicios. Pero según como van las cosas, al menos parte de ese trabajo se ejecutará en chips de AMD o Cerebras en el futuro cercano. La compañía no está tratando de deshacerse completamente de Nvidia, pero está claro que quiere más control sobre qué tan rápido funcionan sus sistemas.

Afina tu estrategia con mentoría + ideas diarias - 30 días de acceso gratuito a nuestro programa de trading