Nvidia in talks to invest further in Reflection AI or buy it: FT

En octubre de 2024, Nvidia adquirió Reflection AI, una startup que había ganado reconocimiento por sus modelos ligeros y su integración profunda con CUDA. La noticia generó un aumento significativo de tráfico en Google Trends y en foros como Hacker News.

Reflection AI desarrollaba modelos de lenguaje más pequeños, como Reflex-7B-v2, que destaca por su rendimiento y eficiencia en comparación con modelos más grandes como Llama 3-8B-Chat y Mistral 7B. En GPUs RTX 4090, Reflex-7B-v2 supera a Llama 3 en la prueba MMLU con un aumento del 3,2% en precisión y reduce la latencia en un 18%. Además, mejora el throughput en una RTX 4090 de 45 tok/s a 53 tok/s.

La adquisición de Reflection AI podría abrir nuevas vías de despliegue para los desarrolladores que dependen de modelos open source, aunque también podría cerrar la puerta a modelos libres debido a la integración con el stack tecnológico de Nvidia, que incluye CUDA, cuDNN y TensorRT. Nvidia ha prometido mantener los repositorios bajo licencias permisivas, como Apache 2.0 y MIT, pero ofrecerá versiones enterprise con mejoras propietarias.