Nvidia in talks to invest further in Reflection AI or buy it, FT reports

En octubre de 2024, Nvidia adquirió Reflection AI, una startup que había ganado reconocimiento por sus modelos ligeros y su integración profunda con CUDA. La noticia generó un aumento significativo de tráfico en Google Trends y en foros como Hacker News.

Reflection AI desarrollaba modelos de lenguaje más pequeños, como Reflex-7B-v2, que destaca por su rendimiento y eficiencia en comparación con modelos más grandes como Llama 3-8B-Chat y Mistral 7B. En GPUs RTX 4090, Reflex-7B-v2 supera a Llama 3 en la prueba MMLU con un aumento del 3,2% en precisión y reduce la latencia en un 18%. Además, mejora el throughput en una RTX 4090 de 45 tok/s a 53 tok/s.

La adquisición de Reflection AI podría abrir nuevas vías de despliegue para los desarrolladores que dependen de modelos open source, aunque también podría cerrar la puerta a modelos libres debido a la integración con el stack tecnológico de Nvidia, que incluye CUDA, cuDNN y TensorRT. Nvidia ha prometido mantener los repositorios bajo licencias permisivas, como Apache 2.0 y MIT, pero ofrecerá versiones enterprise con mejoras propietarias.