Ciencia y validación

Medir la calidad. Conocer el coste. Elegir con evidencia.

Un sistema generativo debe evaluarse según la tarea que resuelve y las condiciones en que se utilizará. Con GAIA©, comparamos modelos y configuraciones para identificar, entre las alternativas probadas, las que cumplen los criterios acordados de calidad, coherencia y tiempo de respuesta.

Ciencia y validaciónVolver a Algorithm G

Definir

Establecemos la tarea, la información disponible, los límites y los criterios de aceptación. El software GAIA© estructura estos requisitos en un Genesis Prompt que sirve de base para diseñar el sistema.

Diseñar

Construimos la arquitectura adecuada para la tarea. Puede combinar instrucciones de sistema, recuperación de información, consultas web, selección de modelos y procesamiento de resultados.

Validar

Comparamos configuraciones mediante pruebas automáticas y análisis estadístico, con revisión humana cuando es necesaria. Evaluamos el rendimiento con casos representativos del uso previsto.

Medir el valor

Calculamos el coste por tarea que cumple los criterios de aceptación, incluidos los intentos fallidos y las repeticiones. Una configuración más económica solo se selecciona si también cumple los requisitos definidos.

Investigación apoyada por computación de alto rendimiento.

A través del Centro Nacional de Computação Avançada de Portugal, nuestra investigación y evaluación computacional utilizan MareNostrum 5, en el Barcelona Supercomputing Center. Esta infraestructura permite explorar alternativas y estudiar el equilibrio entre calidad, rapidez y coste.

La infraestructura de investigación apoya la evaluación; no significa que cada solución desplegada funcione en un superordenador.

FCT
Centro Nacional de Computação Avançada
Barcelona Supercomputing Center

Coste por tarea aceptada

Coste de las ejecuciones evaluadas ÷ tareas que cumplen los criterios de aceptación

Cada comparación detalla el alcance de los costes, las condiciones de prueba, la configuración de referencia y la fecha de los precios.

Referencias del software y la investigación

GAIA© cuenta con registros de derechos de autor en la UE y en Estados Unidos. Estos registros protegen el software; el rendimiento se evalúa mediante pruebas.

Registro en la UE
3079/D/24
Registro en EE. UU.
TXu 2-557-783
Leer el working paper en SSRN

¿Qué le gustaría hacer avanzar?

Cuéntenos cuál es la tarea, a quién se dirige y cómo sería un resultado útil.

Conversar sobre una aplicación