Ciência e validação
Medir a qualidade. Conhecer o custo. Escolher com evidência.
Um sistema generativo deve ser avaliado pela tarefa que consegue resolver, nas condições em que vai ser utilizado. Com GAIA©, comparamos modelos e configurações para identificar, entre as alternativas testadas, aquelas que cumprem os critérios acordados de qualidade, consistência e tempo de resposta.
Definir
Estabelecemos a tarefa, a informação disponível, os limites e os critérios de aceitação. O software GAIA© estrutura estes requisitos numa Genesis Prompt que serve de base ao desenho do sistema.
Desenhar
Construímos a arquitetura adequada à tarefa. Pode combinar instruções de sistema, recuperação de informação, consultas à web, seleção de modelos e tratamento dos resultados.
Validar
Comparamos configurações através de testes automáticos e análise estatística, com revisão humana quando necessária. Avaliamos o desempenho em casos representativos da utilização prevista.
Medir o valor
Calculamos o custo por tarefa que cumpre os critérios de aceitação, incluindo tentativas falhadas e repetições. Uma configuração mais económica só é selecionada se também cumprir os requisitos definidos.
Investigação apoiada por computação de alto desempenho.
Através do Centro Nacional de Computação Avançada, a nossa investigação e avaliação computacional recorrem ao MareNostrum 5, no Barcelona Supercomputing Center. Esta infraestrutura permite explorar alternativas e estudar os compromissos entre qualidade, rapidez e custo.
A infraestrutura de investigação apoia a avaliação; não significa que cada solução disponibilizada funcione num supercomputador.



Custo por tarefa aceite
Custo das execuções avaliadas ÷ tarefas que cumprem os critérios de aceitação
Cada comparação explicita o âmbito dos custos, as condições do teste, a configuração de referência e a data dos preços.
Referências do software e da investigação
GAIA© tem registos de direitos de autor na UE e nos EUA. Estes registos dizem respeito à proteção do software; a avaliação do desempenho resulta dos testes.
- Registo na UE
- 3079/D/24
- Registo nos EUA
- TXu 2-557-783
O que gostaria de fazer avançar?
Conte-nos qual é a tarefa, a quem se destina e o que seria um resultado útil.
