Harness Engineering: el modelo casi nunca es el problema

Un reciente experimento demostró que la calidad del código generado por una IA no depende tan solo del modelo que se utiliza, sino mucho más de la infraestructura que la rodea. Los investigadores establecieron tres configuraciones distintas con el mismo modelo de IA, la misma tarea de código y tres diferentes configuraciones de infraestructura.

El resultado más sorprendente fue que la calidad del código dependía mucho más del harness engineering - la infraestructura de ingeniería que rodea al modelo de IA - que del modelo en sí.

Para entender esto mejor, imagina a un piloto y su coche. El modelo de IA es el piloto, mientras que el harness es todo lo demás: las herramientas, el entorno, la retroalimentación y cómo el modelo recuerda entre sesiones. Si el piloto tiene un buen coche, buenos frenos y un camino bien señalizado, pero no sabe leer las indicaciones de la pista, va a tener problemas independientemente de su habilidad al volante.

De la misma manera, un modelo de IA con una infraestructura adecuada, pero malentendido, puede producir resultados deficientes.

Los investigadores identificaron cinco frentes de infraestructura que afectan el rendimiento de un agente de IA: las instrucciones brindadas al inicio, las herramientas permitidas para su uso, la reproducibilidad del entorno, qué recuerda el modelo entre sesiones y cómo recibe retroalimentación sobre su rendimiento. Cada mejora en un de estos frentes puede aumentar significativamente el rendimiento del agente de IA.

Una forma práctica de asegurarse de que todo el harness esté optimizado es escribir todas las reglas y estándares en un archivo de instrucciones dentro del repositorio del proyecto. Los equipos que han adoptado esta práctica han visto mejoras en su rendimiento, pasando de una correcta respuesta en un 20% de las veces a un 95% simplemente al organizar y documentar sus reglas de manera clara y accesible.