GenAI vs MLOps: Algo cambió

La forma de modelar los problemas en el área de la ciencia de datos ha cambiado desde que ChatGPT fue lanzado en noviembre de 2022. Toda la industria se ha movido hacia modelos generativos y, aunque siguen existiendo oportunidades en los modelos clásicos, hay mucho boom (o incluso una burbuja) en torno a los proyectos de GenAI.

No obstante, centros de investigación, consultoras y universidades han realizado estudios sobre este tipo de iniciativas, y los resultados son alarmantes: investigaciones recientes muestran que cerca del 95 % de los proyectos de GenAI fracasan al ser implementados en empresas (MIT).

¿Por qué?

El fracaso o éxito de un proyecto no depende de un solo factor, sino de una combinación de múltiples elementos, tanto humanos como técnicos. Si tuviera que apostar por las causas de estos fracasos, pensaría en problemas de diseño e implementación de la solución, costos del proyecto, falta de foco en un problema realmente significativo, plazos no cumplidos, etc.

Todas estas razones son importantes, pero creo que existe un punto clave que no siempre se considera en los modelos clásicos de ciencia de datos y que puede ser el factor diferenciador entre el éxito y el fracaso de este tipo de soluciones: el usuario.

Los proyectos de GenAI no deben implementarse únicamente como proyectos tradicionales de ciencia de datos, sino como productos. Su éxito no debería evaluarse solo por cumplir el objetivo técnico de la solución (generar texto, imágenes, video, etc.), sino también mediante métricas de desempeño, como latency, estabilidad, costos de inferencia, entre otras.

Además, el usuario no puede estar presente solo al inicio y al final del proyecto; debe involucrarse activamente en todas las etapas del ciclo de vida: diseño, entrenamiento, validación y puesta en producción.

Diagrama clásico de Ciencia de Datos: MLOps

Los problemas de ciencia de datos están muy bien estudiados y ya existe un framework (o línea de tiempo) claro sobre cómo abordar este tipo de proyectos. El diagrama clásico que representa este enfoque es el siguiente:

Dato: Hecho por NanoBanana. Realmente pruebenlo.

Generalmente, el cliente o usuario de la solución está involucrado principalmente en los extremos del proceso y, durante la etapa de entrenamiento, cumple un rol más cercano al de supervisor o aprobador que al de ejecutor. La participación del usuario suele darse de la siguiente manera:

• Inicio: El cliente o usuario tiene un problema y no sabe exactamente cómo resolverlo. Busca alternativas y plantea la posibilidad de solucionarlo mediante modelos de machine learning, construyendo un caso de uso a partir de su dolor o necesidad.
• Entrenamiento: El cliente o usuario actúa principalmente como validador o aprobador de la solución, más que como ejecutor. Su rol no es entrenar el modelo, sino evaluar y aprobar la solución en función de los resultados obtenidos.
• Final: El cliente es un consumidor de la solución. Se beneficia de los resultados y, con el tiempo, si detecta que las predicciones dejan de ser óptimas, levanta la alerta para revisar o ajustar el modelo.

GenAI: el usuario no solo en los extremos, sino en el centro de la solución

Los proyectos de GenAI aún no cuentan con un marco de trabajo 100 % validado por la industria. Sin embargo, según mi experiencia tanto profesional como académica, creo que un buen diagrama para una solución de GenAI podría definirse de la siguiente manera:

El usuario participa tanto en la etapa inicial como en el entrenamiento y como consumidor final del producto. Creo que los modelos son cada vez mejores y que, en general, seguirán mejorando en el futuro; sin embargo, la validación humana sigue siendo vital para el éxito de estos proyectos. Al final, son las personas quienes consumen la solución y quienes mejor conocen sus necesidades, más que cualquier tipo de testing realizado únicamente en el backend.

Como en cualquier pieza de software, es obligatorio contar con pruebas técnicas dentro del proyecto. No obstante, el feedback real solo puede obtenerse a través del usuario. Por lo tanto, mientras mayor sea la cantidad y calidad del feedback, mejor será la solución.

El rol del usuario se mantiene tanto al inicio como al final del proyecto, pero en la etapa de entrenamiento adquiere una importancia distinta:

• Entrenamiento: El rol del usuario deja de ser únicamente el de validador o aprobador y pasa a ser el de ejecutor activo. El usuario debe interactuar con la solución para detectar problemas, limitaciones u oportunidades de mejora según el contexto real de uso. Todos estos hallazgos deben ser registrados y monitoreados por el equipo, de modo que la solución pueda ajustarse e iterarse continuamente para evitar estos problemas en el futuro.

¿Qué cambia?

El usuario o cliente deja de ser solo un aprobador o validador para convertirse en un ejecutor activo. El paradigma cambia respecto a los modelos clásicos, ya que el cliente pasa a ser una fuente directa de entrenamiento, y no únicamente un aprobador de la solución. Su participación no debe ser optativa, sino obligatoria, si se quiere construir una solución robusta y sostenible en producción.

Este punto, aunque puede parecer obvio, no siempre es evidente en algunos proyectos. En muchas empresas, quienes lideran este tipo de iniciativas provienen del mundo de la ciencia de datos, lo que puede introducir ciertos sesgos: se tiende a priorizar el modelo o la métrica técnica por sobre la experiencia real del usuario. En estos casos, el enfoque termina debilitando la solución en lugar de fortalecerla.

Idea.

Los proyectos de GenAI suelen convertirse en productos finales, no en soluciones intermedias. Por ello, es fundamental involucrar a los usuarios desde el inicio del proceso y no solo al final. Ignorar este aspecto puede ser uno de los factores que explica el bajo nivel de éxito de este tipo de iniciativas en las empresas.

Quienes venimos desde la ciencia de datos no deberíamos olvidar este punto: en soluciones de GenAI, el usuario no es un elemento opcional, sino una condición necesaria para su éxito.