17.000 tokens por segundo con un modelo grabado en el silicio: AMD compra Taalas

AMD anunció el 6 de agosto la compra de Taalas, una startup de Toronto que fabrica chips donde el modelo de IA no se carga: viene grabado en el silicio. Su demostrador, el HC1, genera 16.960 tokens por segundo por usuario. Una NVIDIA H200, sobre el mismo modelo, genera 230.

El número es real. Lo que casi nadie aclaró es contra qué se mide y a qué costo: ese chip corre exactamente un modelo, Llama 3.1 8B, y para correr otro hay que fabricar uno nuevo.

Qué es Taalas

Taalas se fundó en agosto de 2023 en Toronto y salió del sigilo en febrero de 2026. La dirige Ljubisa Bajic, cofundador y ex CEO de Tenstorrent, que antes diseñó arquitecturas en AMD y en NVIDIA.

Los números explican por qué AMD la miró: levantó más de 200 millones de dólares entre Pierre Lamond, Quiet Capital y Fidelity —los últimos 169 millones en febrero—, pero según Futurum Group gastó cerca de 30 millones y llegó al silicio funcional con 24 personas. Toda la pila de software la mantiene un solo ingeniero.

AMD no reveló cuánto pagó. La operación queda sujeta a aprobaciones regulatorias y Bajic pasa a reportar a Vamsi Boppana, que dirige el grupo de IA de AMD.

Cómo se graba un modelo en el silicio

Un acelerador convencional guarda los pesos en memoria HBM y los trae al chip para cada operación. Ese ida y vuelta es el cuello de botella de la inferencia, y también la razón por la que la escasez de memoria empujó los precios de medio mercado hacia arriba.

Taalas lo elimina sacando la HBM del diseño. Los pesos van en una mask ROM fabricada dentro del propio chip: cada celda guarda un parámetro de 4 bits y resuelve la multiplicación con un único transistor. La SRAM a bordo queda para el KV cache y los adaptadores de fine-tuning, lo único que cambia entre consultas.

El HC1 se fabrica en el nodo N6 de TSMC, ocupa un die de 815 mm² y consume unos 250 W, según el desglose de EE Times. Diez placas entran en un servidor estándar refrigerado por aire, con 2,5 kW.

Lo interesante no es eso, sino el costo. Un chip por modelo sería inviable si hubiera que rediseñarlo entero, y Taalas personaliza solo 2 de las más de 100 capas de máscara: del modelo al chip terminado pasan dos meses. La empresa lo resume en la frase que preside su sitio: el modelo es la computadora.

Qué mide el número de 17.000 tokens por segundo

Los 16.960 tokens por segundo del HC1 son por usuario, corriendo Llama 3.1 8B, y salen de mediciones de la propia Taalas: ningún tercero los validó todavía. La cifra mide la velocidad a la que el chip le genera texto a una sola persona, no el rendimiento agregado de un servidor completo.

Esa última columna ordena una confusión que arrastró buena parte de la cobertura. Se publicó que el HC1 es 48 veces más rápido que las GPU de NVIDIA y también que rinde 73 veces una H200. Las dos son correctas: el 73× se mide contra la H200 y el 48× contra la B200, que es la generación actual.

El otro lado de la cuenta es donde el enfoque se defiende mejor que en la velocidad: 0,75 centavos de dólar por millón de tokens en Llama 3.1 8B, y 7,6 centavos en un DeepSeek-R1 simulado de 671.000 millones de parámetros.

El costo de congelar un modelo

Llama 3.1 8B salió en julio de 2024. El chip que lo corre a 16.960 tokens por segundo no corre ningún otro, y cambiarlo exige rehacer las dos capas de máscara y volver a fabricar. Taalas dice que ese re-spin cuesta unas 100 veces menos que entrenar un modelo frontera: es cierto, y también una comparación cómoda con una de las cosas más caras que hace la industria.

El techo de capacidad es el otro límite. Un chip aguanta unos 8.000 millones de parámetros, o hasta 20.000 millones separando la SRAM. El HC2, previsto para este año, apunta a esos 20.000 millones. Un DeepSeek-R1 completo necesitaría unos 30 diseños distintos.

La comparación con Etched ordena el panorama: las dos dicen grabar IA en silicio y hacen cosas opuestas. El Sohu de Etched graba la arquitectura transformer, no los pesos, que siguen siendo mutables en 144 GB de HBM3E por chip: un servidor de ocho unidades entra un modelo de 400.000 a 600.000 millones de parámetros y puede cambiarlo cuando quiera. Taalas eligió el extremo contrario.

Es un chip que no se actualiza. No hay firmware que arregle un modelo que quedó viejo.

AMD compra piezas, no pelea de frente

Taalas encaja en un patrón. AMD viene comprando pedazos del problema de la IA en vez de armar un competidor de entrenamiento contra NVIDIA: Nod.ai por compiladores, Silo AI por modelos, ZT Systems por armado de racks, Brium y el equipo de Untether AI por optimización de inferencia, más Lamini y MK1. Ninguna fue una GPU mejor; todas fueron una pieza que le faltaba a la plataforma.

El contraste con NVIDIA da la medida. En diciembre de 2025, NVIDIA licenció la tecnología de Groq por unos 20.000 millones de dólares y mantuvo el control desde afuera. AMD compró la empresa entera, con el flujo de diseño y un equipo que ya conoce sus arquitecturas por dentro: Bajic trabajó ahí antes de fundar Tenstorrent.

El uso previsto es la decodificación desagregada: el prompt se procesa en las GPU Instinct, flexibles, y la generación de tokens pasa al silicio de Taalas, más rápido pero de una sola función. Los racks Helios son donde eso conviviría. AMD ya tiene comprometidos 6 gigavatios de GPU con OpenAI y hasta 2 con Anthropic: a un cliente que sirve el mismo modelo en volumen, un chip de un solo modelo le cierra la cuenta.

Conclusión

Taalas resolvió un problema real por el camino más incómodo: si el modelo no se mueve, el hardware no necesita ser flexible. Los 16.960 tokens por segundo no son marketing, son la consecuencia de sacar la memoria externa de la ecuación.

Para quien opera inferencia a escala sobre un modelo estable —un asistente en producción, una API que sirve millones de consultas del mismo modelo— la propuesta cierra: costo por token muy bajo y una latencia que ninguna GPU alcanza. Para cualquier otro caso, un chip que queda obsoleto con el modelo siguiente es un riesgo difícil de justificar.

AMD no compró el HC1: compró el flujo que convierte un modelo en máscaras en dos meses. Queda por ver si eso termina en un producto que vende, o en una herramienta para fabricarle silicio a medida a los tres o cuatro clientes que le compran gigavatios.

Preguntas frecuentes

¿Qué es un chip de modelo específico?

Es un circuito integrado diseñado para ejecutar un único modelo de IA, con sus pesos grabados en el silicio durante la fabricación. A diferencia de una GPU, que carga cualquier modelo desde la memoria, no puede ejecutar otra cosa: el modelo es parte del hardware.

¿El chip de Taalas reemplaza a las GPU?

No. AMD plantea usarlo junto a sus GPU Instinct: el prompt se procesa en la GPU y la generación de tokens pasa al chip de Taalas. El entrenamiento sigue siendo territorio exclusivo de las GPU.

¿Qué pasa cuando sale un modelo nuevo?

Hay que fabricar un chip nuevo. Taalas rehace dos de las más de 100 capas de máscara, unos dos meses desde el modelo hasta el chip terminado. El anterior sigue corriendo el modelo con el que nació.

¿Cuándo llega esta tecnología a los productos de AMD?

AMD no dio fechas. La compra queda sujeta a aprobaciones regulatorias y la compañía dijo que integrará la tecnología en su hoja de ruta de aceleradores y en soluciones a nivel de sistema con las GPU Instinct.