Ciência e validação

Medir a qualidade. Conhecer o custo. Escolher com evidência.

Um sistema generativo deve ser avaliado pela tarefa que consegue resolver, nas condições em que vai ser utilizado. Com GAIA©, comparamos modelos e configurações para identificar, entre as alternativas testadas, aquelas que cumprem os critérios acordados de qualidade, consistência e tempo de resposta.

Ciência e validaçãoVoltar à Algorithm G

Definir

Estabelecemos a tarefa, a informação disponível, os limites e os critérios de aceitação. O software GAIA© estrutura estes requisitos numa Genesis Prompt que serve de base ao desenho do sistema.

Desenhar

Construímos a arquitetura adequada à tarefa. Pode combinar instruções de sistema, recuperação de informação, consultas à web, seleção de modelos e tratamento dos resultados.

Validar

Comparamos configurações através de testes automáticos e análise estatística, com revisão humana quando necessária. Avaliamos o desempenho em casos representativos da utilização prevista.

Medir o valor

Calculamos o custo por tarefa que cumpre os critérios de aceitação, incluindo tentativas falhadas e repetições. Uma configuração mais económica só é selecionada se também cumprir os requisitos definidos.

Investigação apoiada por computação de alto desempenho.

Através do Centro Nacional de Computação Avançada, a nossa investigação e avaliação computacional recorrem ao MareNostrum 5, no Barcelona Supercomputing Center. Esta infraestrutura permite explorar alternativas e estudar os compromissos entre qualidade, rapidez e custo.

A infraestrutura de investigação apoia a avaliação; não significa que cada solução disponibilizada funcione num supercomputador.

FCT
Centro Nacional de Computação Avançada
Barcelona Supercomputing Center

Custo por tarefa aceite

Custo das execuções avaliadas ÷ tarefas que cumprem os critérios de aceitação

Cada comparação explicita o âmbito dos custos, as condições do teste, a configuração de referência e a data dos preços.

Referências do software e da investigação

GAIA© tem registos de direitos de autor na UE e nos EUA. Estes registos dizem respeito à proteção do software; a avaliação do desempenho resulta dos testes.

Registo na UE
3079/D/24
Registo nos EUA
TXu 2-557-783
Ler o working paper na SSRN

O que gostaria de fazer avançar?

Conte-nos qual é a tarefa, a quem se destina e o que seria um resultado útil.

Conversar sobre uma aplicação