
Formula o mesmo pedido de forma ligeiramente diferente e um modelo de linguagem responde de maneira completamente distinta. Segundo a equipa do projeto QuantPi, este é o problema mais comum que surge quando se testa a inteligência artificial generativa. Os investigadores construíram uma plataforma que cria testes por si própria, deteta instabilidade e enviesamentos e produz documentação para auditores. Experimentaram-na também num sistema que recomenda candidatos a emprego — e no fim podes verificar quanta confiança tens nas respostas da IA.
A inteligência artificial generativa ajuda cada vez mais a avaliar candidatos a emprego, a atender clientes e a apoiar decisões empresariais. A sua maior força é a rapidez. Mas tem uma fraqueza fácil de ignorar: pode reagir de forma completamente diferente a uma pequena alteração na formulação de uma pergunta, na língua ou no contexto. Para as empresas, isto significa uma dupla tarefa. Têm de detetar essas anomalias e precisam também de documentação que comprove que o risco foi testado e está controlado.
O projeto QuantPi, apoiado pelo Conselho Europeu de Inovação, abordou este problema. Produziu uma plataforma para gerir os riscos da inteligência artificial generativa, construída em torno da tecnologia PiCrystal. A ferramenta cria automaticamente conjuntos de testes, verifica o comportamento do modelo e transforma os resultados em documentação pronta para auditoria, ligada aos requisitos do Regulamento da União Europeia sobre Inteligência Artificial. A plataforma examina os sistemas a partir de três ângulos: resultados instáveis, enviesamentos e disponibilidade de provas que possam ser apresentadas durante uma auditoria.
O que surge mais frequentemente nestes testes? Lukas Bieringer, responsável por políticas e subvenções na QuantPi, responde sem rodeios: «É tipicamente um comportamento inconsistente ou instável perante variações realistas dos dados de entrada – a mesma classe de prompts produz resultados materialmente diferentes consoante a formulação, a língua ou o contexto.»
Na prática, um sistema pode passar facilmente num teste de referência simples e depois falhar ao encontrar utilizadores reais, que formulam os seus pedidos à sua maneira. Só então vêm à luz os enviesamentos e as desigualdades entre grupos, diferenças invisíveis nos resultados médios.
A equipa verificou isto num caso concreto. Foi avaliado um sistema de recomendação de candidatos baseado num grande modelo de linguagem, tendo como parceiros a plataforma de recrutamento Stepstone e o laboratório de garantia de IA TÜV AI.Lab. A conclusão é importante para quem possa ver o seu currículo parar a um sistema destes. Testar ferramentas de IA usadas na contratação exige conjuntos de dados grandes e representativos. Só eles permitem o teste interseccional, em que se podem verificar características sobrepostas de diferentes grupos. A média funciona aqui como uma cortina: esconde diferenças importantes na forma como o sistema trata cada segmento.
A segunda ideia da QuantPi é separar a camada das provas da camada da apresentação. Resulta de uma observação simples: diferentes pessoas numa empresa precisam de informação diferente sobre o mesmo sistema.
Para que estas perspetivas não se afastem umas das outras, existe uma regra. Bieringer explica: «O princípio-chave da conceção: todas as perspetivas devem derivar da mesma base estatística de provas, para que uma afirmação ao nível da administração possa sempre ser rastreada até um resultado de teste específico.»
A automatização não significa que o juízo humano se torne desnecessário. As pessoas definem para que serve o sistema, escolhem que definições de equidade ou de segurança se aplicam, fixam limiares de aceitação e decidem se uma ferramenta é implementada, adiada ou retirada. A divisão de papéis é clara: a plataforma mede o risco e as pessoas responsáveis decidem que nível dele é aceitável.
Também não basta um teste feito uma só vez. A monitorização é acionada sempre que a situação muda: após uma atualização do modelo, um prompt revisto ou um novo índice de recuperação. A deriva dos dados de entrada, a deriva dos resultados e as alterações nas regras também exigem uma nova avaliação, porque qualquer uma delas pode invalidar os resultados anteriores.
Segundo Bieringer, para muitas empresas o maior obstáculo já não é o conhecimento das regras. Di-lo com franqueza: «O que não conseguem fazer é produzir provas técnicas de conformidade que resistam perante um organismo notificado ou um auditor – particularmente nos sistemas generativos, onde os relatórios de referência tradicionais são insuficientes e faltam, até à data, normas harmonizadas.» A plataforma da QuantPi destina-se a preencher exatamente esta lacuna, convertendo testes técnicos em provas que diferentes equipas podem usar antes e depois da implementação.
A IA generativa pode ser temperamental: a mesma pergunta feita por outras palavras pode produzir uma resposta completamente diferente, e os resultados médios dos testes podem esconder um tratamento desigual de determinados grupos. O projeto QuantPi mostra que uma avaliação sólida destes sistemas exige testes automatizados e repetíveis, dados representativos e uma base de provas partilhada por todos, do analista à administração. A última palavra sobre que risco é aceitável continua, porém, a pertencer às pessoas.
5 perguntas · um minuto