Entendiendo el hardware detrás de la IA local

GPU, RAM y VRAM

En el artículo anterior vimos que todos los modelos de inteligencia artificial dependen de dos recursos fundamentales:

• Memoria para almacenar sus parámetros.
• Procesamiento para realizar los cálculos necesarios durante la inferencia.

Sin embargo, decir que un modelo necesita memoria y procesamiento es solo una parte de la historia.

La siguiente pregunta es inevitable:

¿Qué componentes de un computador proporcionan esos recursos?

Cuando las personas comienzan a explorar la IA local suelen escuchar términos como CPU, GPU, RAM, VRAM, ancho de banda o TFLOPS. A menudo estos conceptos aparecen mezclados en discusiones sobre requisitos de hardware, recomendaciones de tarjetas gráficas o configuraciones de servidores.

El problema es que muchas veces se presentan como especificaciones aisladas, sin explicar cómo participan realmente en la ejecución de un modelo.

En este artículo analizaremos el papel que desempeña cada uno de estos componentes y veremos por qué algunas configuraciones son mucho más adecuadas para inteligencia artificial que otras.

Los dos recursos fundamentales

Antes de entrar en detalles, recordemos una idea importante del artículo anterior. Todo modelo necesita:

1. Un lugar donde almacenar sus parámetros.
2. Capacidad para procesar los cálculos de inferencia.

En un computador moderno existen dos tipos principales de memoria:

• RAM
• VRAM

Y dos tipos principales de procesadores:

• CPU
• GPU

Comprender las diferencias entre estos componentes es fundamental para entender qué modelos podremos ejecutar y qué rendimiento obtendremos.

Los procesadores: quién realiza los cálculos

Cuando un modelo genera una respuesta debe realizar millones o miles de millones de operaciones matemáticas. Alguien tiene que hacer ese trabajo. Dependiendo de la configuración del sistema, esos cálculos pueden ejecutarse en una CPU, en una GPU o en una combinación de ambas.

CPU: el procesador de propósito general

La CPU (Central Processing Unit) es el componente principal del computador. Es responsable de coordinar prácticamente todo lo que ocurre en el sistema:

• Ejecutar el sistema operativo.
• Administrar procesos.
• Gestionar memoria.
• Coordinar dispositivos.
• Ejecutar aplicaciones.

Su diseño está optimizado para resolver problemas complejos y variados con la menor latencia posible. Podemos pensar en la CPU como un especialista altamente capacitado capaz de adaptarse rápidamente a diferentes tareas.

¿Cómo está diseñada una CPU?

Una CPU moderna suele disponer de un número relativamente reducido de núcleos.Por ejemplo:

• 8 núcleos.
• 16 núcleos.
• 32 núcleos.
• 64 núcleos.

Estos núcleos son extremadamente sofisticados. Gran parte de los transistores de una CPU se destinan a:

• Cachés.
• Predicción de instrucciones.
• Ejecución fuera de orden.
• Control de flujo.

Todo esto permite minimizar los tiempos de espera y acelerar tareas complejas. Sin embargo, existe un costo. La CPU dispone de menos unidades dedicadas exclusivamente a realizar cálculos masivos.

GPU: diseñada para el paralelismo

La GPU (Graphics Processing Unit) nació originalmente para renderizar gráficos. Cuando un videojuego muestra una imagen en pantalla debe calcular millones de píxeles simultáneamente. Resolver este problema requería una arquitectura completamente distinta a la de una CPU. En lugar de utilizar pocos núcleos extremadamente sofisticados, las GPUs utilizan miles de núcleos más simples.

La filosofía es sencilla: Si el problema puede dividirse en muchas tareas similares, resulta más eficiente procesarlas en paralelo. Y resulta que eso describe perfectamente el comportamiento de los modelos modernos de inteligencia artificial.

¿Por qué la IA se ejecuta principalmente en GPUs?

Los modelos de lenguaje realizan principalmente operaciones matemáticas sobre matrices enormes. Por ejemplo:

• Multiplicaciones de matrices.
• Sumas de matrices.
• Transformaciones vectoriales.

Estas operaciones son altamente paralelizables. Miles de cálculos pueden ejecutarse simultáneamente sin depender unos de otros. La arquitectura de una GPU encaja perfectamente con este tipo de trabajo.

Por esta razón una GPU moderna puede superar ampliamente a una CPU en tareas de inferencia. No porque sea más inteligente. Sino porque puede realizar muchos más cálculos al mismo tiempo.

Entonces, ¿puedo ejecutar IA únicamente con CPU? Sí.De hecho, muchos motores de inferencia permiten ejecutar modelos exclusivamente sobre CPU.Sin embargo, existen limitaciones importantes.Los modelos pequeños pueden funcionar razonablemente bien.Pero a medida que aumenta el tamaño del modelo, la cantidad de cálculos necesarios crece enormemente.Es común que una GPU moderna genere varias veces más tokens por segundo que una CPU.Por esta razón, aunque las CPUs siguen siendo importantes, la mayoría de los sistemas de IA modernos dependen principalmente de GPUs.

La memoria: dónde vive el modelo. Ahora sabemos quién realiza los cálculos.Pero todavía falta responder una pregunta igualmente importante.

¿Dónde se almacenan los parámetros mientras el modelo está funcionando? Aquí aparecen dos tipos de memoria fundamentales.

RAM: la memoria principal del sistema La RAM (Random Access Memory) es la memoria principal del computador. Cuando abrimos una aplicación o ejecutamos un programa, sus datos suelen cargarse desde el almacenamiento hacia la RAM. Sus principales características son:

• Gran capacidad.
• Acceso rápido.
• Uso compartido por todo el sistema.

Actualmente es común encontrar equipos con:

• 32 GB
• 64 GB
• 128 GB
• 256 GB de memoria RAM.

VRAM: la memoria de la GPU

La VRAM es la memoria integrada en la tarjeta gráfica. Su función consiste en almacenar los datos que la GPU necesita procesar. En inteligencia artificial suele utilizarse para almacenar:

• Parámetros del modelo.
• Tensores temporales.
• Cachés de inferencia.

Aunque normalmente dispone de menor capacidad que la RAM, ofrece velocidades mucho más elevadas. Y esta diferencia tiene un impacto enorme en el rendimiento.

RAM vs VRAM: la diferencia que realmente importa

Cuando las personas comienzan a investigar sobre IA local suelen pensar que RAM y VRAM son esencialmente lo mismo. Pero fueron diseñadas para objetivos distintos.

La RAM prioriza capacidad.

La VRAM prioriza velocidad.

Una forma sencilla de imaginarlo es pensar en una fábrica. La GPU representa a los trabajadores. La VRAM representa el almacén que está justo al lado de la línea de producción. La RAM representa un almacén más grande, pero más alejado. Ambos contienen materiales, pero el acceso rápido al almacén cercano permite trabajar mucho más eficientemente.

El papel del ancho de banda

Hasta ahora hemos hablado principalmente de capacidad. Pero existe otra característica igual de importante: la velocidad con la que los datos pueden moverse. A esto lo llamamos ancho de banda. Podemos imaginarlo como una autopista. No importa cuántos trabajadores tengamos si los materiales llegan lentamente. Muchos modelos modernos pasan gran parte del tiempo leyendo parámetros desde memoria. Por esta razón, una GPU con gran ancho de banda puede superar ampliamente a otra con características aparentemente similares.

TFLOPS: una medida de potencia de cálculo

Cuando se comparan GPUs es frecuente encontrar referencias a los TFLOPS.

TFLOPS significa: Tera Floating Point Operations Per Second

Es decir, billones de operaciones matemáticas por segundo. Cuanto mayor sea este valor, mayor será la capacidad teórica de cálculo. Sin embargo, los TFLOPS no cuentan toda la historia. Una GPU con enormes capacidades de cálculo puede seguir teniendo problemas si la memoria no es capaz de suministrar datos con suficiente rapidez. Por esta razón, el rendimiento real depende del equilibrio entre potencia de cálculo y ancho de banda.

¿Qué ocurre cuando el modelo no cabe en la GPU?

Esta es una de las preguntas más importantes para cualquier persona interesada en IA local. Idealmente, el modelo debería cargarse completamente dentro de la VRAM. Pero esto no siempre es posible. Cuando la GPU no dispone de suficiente memoria pueden ocurrir varias situaciones.

Escenario 1: Todo el modelo cabe en VRAM

Esta es la situación ideal.

Toda la información permanece dentro de la memoria de la GPU.

Se obtiene el mejor rendimiento posible.

Escenario 2: Parte en VRAM y parte en RAM

Algunos motores de inferencia permiten dividir el modelo. Una parte permanece en la GPU. Otra parte se almacena en la RAM.

Esto permite ejecutar modelos más grandes, pero introduce penalizaciones de rendimiento debido a las transferencias constantes de datos.

Escenario 3: Solo CPU y RAM

También es posible ejecutar modelos completamente sobre CPU.

Aunque esto amplía enormemente la compatibilidad, suele implicar velocidades significativamente inferiores.

PCIe: la autopista entre CPU, RAM y GPU

Cuando una GPU necesita acceder a información almacenada fuera de su propia memoria, utiliza el bus PCI Express o PCIe.

Podemos imaginar PCIe como la autopista que conecta los distintos componentes del sistema.

Si un modelo está repartido entre RAM y VRAM, gran parte de la información deberá viajar constantemente por esta conexión.

Por esta razón:

• PCIe 4.0 suele ofrecer mejor rendimiento que PCIe 3.0.
• PCIe 5.0 ofrece aún más ancho de banda.

Aunque para muchos escenarios la cantidad de VRAM disponible sigue siendo mucho más importante que la generación de PCIe utilizada.

Los dos errores más comunes al construir un equipo para IA

• Error #1: Priorizar la CPU sobre la GPU Para inferencia, la GPU suele tener un impacto mucho mayor en el rendimiento.
• Error #2: Pensar que más RAM reemplaza más VRAM La RAM permite almacenar modelos más grandes.La VRAM permite ejecutarlos rápidamente.Son recursos complementarios.

Todo sistema de inteligencia artificial depende de cuatro componentes fundamentales:

• CPU
• GPU
• RAM
• VRAM

La CPU coordina el sistema. La GPU realiza la mayor parte de los cálculos de inferencia. La RAM proporciona capacidad de almacenamiento general. La VRAM proporciona acceso extremadamente rápido a los datos que necesita la GPU.

Comprender cómo interactúan estos componentes es fundamental para diseñar un sistema capaz de ejecutar modelos de inteligencia artificial de forma eficiente. Sin embargo, todavía queda una pregunta importante por responder. ¿Cómo saber qué modelo puedo ejecutar con mi hardware?

En el próximo artículo analizaremos cómo se clasifican los modelos modernos, qué significan tamaños como 7B, 32B o 70B, qué es la cuantización y cómo elegir el modelo adecuado para cada escenario.