O mesmo pedido, outra resposta: como apanhar as esquisitices da inteligência artificial generativa + test

Dois colegas a analisar documentos e gráficos em monitores num escritório

Formula o mesmo pedido de forma ligeiramente diferente e um modelo de linguagem responde de maneira completamente distinta. Segundo a equipa do projeto QuantPi, este é o problema mais comum que surge quando se testa a inteligência artificial generativa. Os investigadores construíram uma plataforma que cria testes por si própria, deteta instabilidade e enviesamentos e produz documentação para auditores. Experimentaram-na também num sistema que recomenda candidatos a emprego — e no fim podes verificar quanta confiança tens nas respostas da IA.

Índice

⇑Rápida, mas nem sempre previsível

A inteligência artificial generativa ajuda cada vez mais a avaliar candidatos a emprego, a atender clientes e a apoiar decisões empresariais. A sua maior força é a rapidez. Mas tem uma fraqueza fácil de ignorar: pode reagir de forma completamente diferente a uma pequena alteração na formulação de uma pergunta, na língua ou no contexto. Para as empresas, isto significa uma dupla tarefa. Têm de detetar essas anomalias e precisam também de documentação que comprove que o risco foi testado e está controlado.

⇑Testes que se escrevem sozinhos

O projeto QuantPi, apoiado pelo Conselho Europeu de Inovação, abordou este problema. Produziu uma plataforma para gerir os riscos da inteligência artificial generativa, construída em torno da tecnologia PiCrystal. A ferramenta cria automaticamente conjuntos de testes, verifica o comportamento do modelo e transforma os resultados em documentação pronta para auditoria, ligada aos requisitos do Regulamento da União Europeia sobre Inteligência Artificial. A plataforma examina os sistemas a partir de três ângulos: resultados instáveis, enviesamentos e disponibilidade de provas que possam ser apresentadas durante uma auditoria.

⇑O principal problema: a inconsistência

O que surge mais frequentemente nestes testes? Lukas Bieringer, responsável por políticas e subvenções na QuantPi, responde sem rodeios: «É tipicamente um comportamento inconsistente ou instável perante variações realistas dos dados de entrada – a mesma classe de prompts produz resultados materialmente diferentes consoante a formulação, a língua ou o contexto.»

Na prática, um sistema pode passar facilmente num teste de referência simples e depois falhar ao encontrar utilizadores reais, que formulam os seus pedidos à sua maneira. Só então vêm à luz os enviesamentos e as desigualdades entre grupos, diferenças invisíveis nos resultados médios.

⇑Uma lição vinda do recrutamento

A equipa verificou isto num caso concreto. Foi avaliado um sistema de recomendação de candidatos baseado num grande modelo de linguagem, tendo como parceiros a plataforma de recrutamento Stepstone e o laboratório de garantia de IA TÜV AI.Lab. A conclusão é importante para quem possa ver o seu currículo parar a um sistema destes. Testar ferramentas de IA usadas na contratação exige conjuntos de dados grandes e representativos. Só eles permitem o teste interseccional, em que se podem verificar características sobrepostas de diferentes grupos. A média funciona aqui como uma cortina: esconde diferenças importantes na forma como o sistema trata cada segmento.

⇑Uma base de provas, muitas perspetivas

A segunda ideia da QuantPi é separar a camada das provas da camada da apresentação. Resulta de uma observação simples: diferentes pessoas numa empresa precisam de informação diferente sobre o mesmo sistema.

  • Um cientista de dados precisa de resultados de teste detalhados por métrica e por subgrupo.
  • Um jurista precisa de referências a cláusulas específicas das regras.
  • Um responsável de governação precisa de uma visão geral de todo o portefólio de sistemas.
  • Uma administração precisa de alguns indicadores de risco residual.

Para que estas perspetivas não se afastem umas das outras, existe uma regra. Bieringer explica: «O princípio-chave da conceção: todas as perspetivas devem derivar da mesma base estatística de provas, para que uma afirmação ao nível da administração possa sempre ser rastreada até um resultado de teste específico.»

⇑São sempre as pessoas que decidem

A automatização não significa que o juízo humano se torne desnecessário. As pessoas definem para que serve o sistema, escolhem que definições de equidade ou de segurança se aplicam, fixam limiares de aceitação e decidem se uma ferramenta é implementada, adiada ou retirada. A divisão de papéis é clara: a plataforma mede o risco e as pessoas responsáveis decidem que nível dele é aceitável.

Também não basta um teste feito uma só vez. A monitorização é acionada sempre que a situação muda: após uma atualização do modelo, um prompt revisto ou um novo índice de recuperação. A deriva dos dados de entrada, a deriva dos resultados e as alterações nas regras também exigem uma nova avaliação, porque qualquer uma delas pode invalidar os resultados anteriores.

⇑Conhecer as regras não chega

Segundo Bieringer, para muitas empresas o maior obstáculo já não é o conhecimento das regras. Di-lo com franqueza: «O que não conseguem fazer é produzir provas técnicas de conformidade que resistam perante um organismo notificado ou um auditor – particularmente nos sistemas generativos, onde os relatórios de referência tradicionais são insuficientes e faltam, até à data, normas harmonizadas.» A plataforma da QuantPi destina-se a preencher exatamente esta lacuna, convertendo testes técnicos em provas que diferentes equipas podem usar antes e depois da implementação.

⇑O que fica para lembrar

A IA generativa pode ser temperamental: a mesma pergunta feita por outras palavras pode produzir uma resposta completamente diferente, e os resultados médios dos testes podem esconder um tratamento desigual de determinados grupos. O projeto QuantPi mostra que uma avaliação sólida destes sistemas exige testes automatizados e repetíveis, dados representativos e uma base de provas partilhada por todos, do analista à administração. A última palavra sobre que risco é aceitável continua, porém, a pertencer às pessoas.

⇑Cinco perguntas: quanta confiança tens nas respostas da IA? (teste)

5 perguntas · um minuto

1. Um chatbot deu-te uma resposta. O que costumas fazer?

2. Alguma vez recebeste da IA duas respostas diferentes à mesma pergunta?

3. Uma empresa avalia o teu currículo com a ajuda da IA. Como reages?

4. Uma aplicação de IA tem uma classificação média de 4,8 em 5. O que pensas?

5. Quem achas que deve decidir se um sistema de IA é implementado?


publicado: 2026-11-14
Comentarios
StudentNews Group Websites for students and future students — in Poland since 2007, across Europe since 2014. Over 50 websites and millions of users a year (Google Analytics). Studies in Europe Universities in Europe Bachelor’s Master’s Doctorate MBA Study guide Work abroad Travel For partners Advertising and cooperation Reach (online report) Contact advertising@studentnews.eu © 2003–2026 Grupa StudentNews.pl sp. z o.o., Modlnica, Poland
Privacy Policy