yoDEV Decisions: compara Jev con GPT, Gemini, Claude o cualquier LLM con tus propios datos

yoDEV Decisions es una herramienta gratuita que permite miembros de yoDEV comparar el rendimiento de Jev con otros LLM, como GPT-4o mini, Gemini 2.5 Flash, Claude Haiku 4.5 y Llama 3.3 70B. La herramienta ejecuta la misma pregunta en cada modelo, fila por fila, y compara resultados en términos de exactitud, calibración, costo y latencia.

Jev demostró ser competitivo con los LLM populares en tareas como clasificación de intención en español, detección de spam, moderación en español y sentimiento en español. En comparación con Gemini 2.5 Flash, Jev alcanzó una precisión del 82-98% frente al 84-98% del LLM en cada tarea.

Costo fue otro punto en el que Jev brilló. El modelo fue el más barato en todos los conjuntos de datos, con un costo de $0.08 por cada 1,000 filas en Banking77, frente a $0.28 para Gemini 2.5 Flash y $1.84 para Claude Haiku 4.5.

Una característica clave de yoDEV Decisions es la estrategia combinada que permite aprovechar tanto el poder de Jev como el de los LLM cuando sea necesario. En el caso del análisis de sentimientos en español, combinar Jev con Gemini solo procesó el 40.5% de las filas, alcanzando una precisión del 74.5%, superando a Jev por sí solo.

Para usar la herramienta, se debe registrarse en decisions.yodev.dev con una cuenta de yoDEV, conectar una cuenta de OpenRouter para acceder a los LLM y subir un conjunto de datos en CSV con hasta 2,000 filas. La herramienta guarda automáticamente los resultados, incluyendo métricas de exactitud, latencia y costos, en tu yoDEV Workplace.