Pesquisar

Canais

Serviços

Publicidade
Publicidade
Publicidade
Geração de melhores resultados

Cientistas de Oxford usam IA para identificar alucinações das próprias IAs

Pedro S. Teixeira - Folhapress
21 jun 2024 às 13:45
- Rawpixel.com no Freepik
siga o Bonde no Google News!
Publicidade
Publicidade

Grandes modelos de inteligência artificial tendem a contar mentiras, e fazer isso de forma convicta, quando não tiveram contato com informação suficiente sobre um assunto.

Cadastre-se em nossa newsletter

Publicidade
Publicidade


Leia mais:

Imagem de destaque
Observação da Lua

Gedal promove evento gratuito de astronomia neste sábado em Londrina

Imagem de destaque
Unicentro de Guarapuava

Nova espécie de abelha é descoberta por professora no Paraná

Imagem de destaque
Conheça a trajetória

César Lattes atuou por avanço da ciência no Brasil e chamou Einstein de besta e plagiador

Imagem de destaque
Sobrevivência a longo prazo

Espécie de musgo do deserto se mostra promissora para colonização de Marte

O comportamento, chamado de alucinação, é a principal barreira para aplicação da tecnologia em tarefas delicadas, por exemplo, nos consultórios médicos e nos tribunais, segundo artigo publicado na revista Nature.

Publicidade


Esse mesmo artigo propõe uma solução que provou ser mais eficiente do que a checagem humana: usar outros dois modelos de IA para identificar o risco de a primeira plataforma gerar várias respostas com significados diferentes para a mesma pergunta.


É o caso, por exemplo, da pergunta "onde está a torre Eiffel?" As IAs testadas responderam coisas como "é Paris", "a capital da França ", "Roma" e "Berlim". Nessas quatro respostas, há três significados diferentes, o que aponta a confusão do modelo de inteligência artificial.

Publicidade


O autor do estudo, o pesquisador da Universidade de Oxford Sebastian Farquhar, definiu essa situação como "estado de alta entropia semântica", ao emprestar da física o conceito de "nível de entropia" -uma medida do quanto um sistema está caótico.


Essa medida acabou mostrando alta relação com a probabilidade da inteligência artificial alucinar -ou confabular, como diz o estudo.

Publicidade


"O grande desafio foi distinguir inconsistência de significado de inconsistência na escolha de palavras", escreveu Farquhar na rede social X. A solução foi agrupar as respostas que tinham o mesmo significado, mesmo que tivessem diferenças lexicais e sintáticas.


No caso das respostas sobre a torre Eiffel, "Paris" e "capital da França" ficam agrupadas como as respostas de maior probabilidade, "Roma" fica em um grupo e "Berlim" em outro. O modelo então calcula a desorganização dos resultados com um estimador estatístico e recomenda que a pergunta seja reformulada se a entropia for considerada alta.

Publicidade


Os resultados apresentados por Farquhar e mais três pesquisadores mostraram que a técnica é 20% mais eficaz do que a supervisão humana. Nos casos testados, em que os mínimos detalhes importavam, a revisão de uma pessoa é especialmente falha, afirma o artigo.


O método também teve mais precisão do que outras abordagens já testadas, como a classificação prévia de perguntas que geram confabulações e a medida de entropia das palavras nas respostas.

Publicidade


Os pesquisadores por trás da técnica, que trabalham na Deepmind (o braço de desenvolvimento de IA do Google), sugeriram usar o detector de alucinações para censurar as perguntas problemáticas e, assim, gerar melhores resultados. Os resultados obtidos com essa abordagem também indicaram avanços.


Imagem
Londrina recebe fórum de desenvolvimento e discute prioridades dos próximos anos
Com o objetivo de abrir um espaço para debater o planejamento e o desenvolvimento dos municípios paranaenses para os próximos quatro anos, a Seplan realizou em Londrina a terceira edição do Fórum de Planejamento e Desenvolvimento Territorial.


COMO ISSO FOI FEITO

Publicidade


Farquhar e seu grupo testaram o método em questionários, testes matemáticos e perguntas sobre detalhes biográficos. "Nas biografias, escolhemos personagens famosos o suficiente para ter páginas no Wikipedia em vários idiomas, mas informação na internet insuficiente para gerar uma boa resposta no ChatGPT", descreve o artigo.


O principal exemplo foi a história do campeão de motociclismo britânico Freddie Frith, que dominou a modalidade no pré e no pós-Segunda Guerra Mundial.


As IAs usadas na checagem identificaram que as informações sobre Frith ter sido presidente do sindicato de pilotos e sua data de nascimento (1911) tinham alta entropia. Os dois trechos, de fato, estavam errados -Frith nascera em 1909 e nunca presidira a entidade.


Todos os dados biográficos foram checados com uma base de biografias disponível na internet, chamada FactualBio. Os testes envolveram 21 indivíduos e 150 fatos.


Para agrupar as respostas com o mesmo sentido e medir se a pergunta gerava um "comportamento caótico", os autores do estudo usaram dois modelos de inteligência artificial, o GPT-3.5 (o cérebro do ChatGPT) e o DeBERTa (um modelo da Microsoft usado em buscadores como o Bing e o Google).


"Basta repetir a pergunta de três a cinco vezes para gerar uma amostra suficiente para o modelo funcionar", escreveu Farquhar.


Ao ChatGPT, primeiro é questionado se a primeira resposta leva à mesma conclusão do que a segunda. O modelo precisa responder se há relação lógica, se não há ou se as respostas são contraditórias.


Depois, os pesquisadores usam o DeBERTa para estimar o quanto o sentido das respostas é similar. O modelo mais simples apresentou uma eficácia similar ao GPT, com menor custo e mais agilidade.


APLICAÇÃO


De acordo com Farquhar, a descoberta vai permitir o uso de inteligência artificial em áreas "especializadas e sensíveis". Será, por exemplo, mais confiável usar uma inteligência artificial como assistente em um diagnóstico.


Uma alucinação comum, segundo o estudo, é a confusão entre marcadores usados para diagnosticar câncer.


O processo de checagem aumenta o custo com inteligência artificial de cinco a dez vezes por pergunta, de acordo com o autor do estudo. Há gasto adicional com as perguntas às IAs auxiliares e com o agrupamento das respostas.


"Em situações nas quais a confiabilidade do resultado importa, vale cada centavo", diz Farquhar.


Ele previne, entretanto, que seu modelo de checagem não resolve problemas relacionados à inconsistência de dados sobre o assunto e treinamento ruim por parte do desenvolvedor da IA.


Em artigo também publicado na Nature nesta quarta, a coordenadora do curso de ciência da computação do RMIT (Royal Melbourne Institute of Technology), Karin Verspoor chancelou os resultados de Farquhar, mas fez um alerta: "Estão combatendo fogo com fogo".


A escolha pode se provar um problema quando há pressa do mercado para encontrar aplicações de IA em áreas diversas, como a descoberta de medicamentos, o desenvolvimento de materiais e avanços matemáticos e computacionais, segundo análise de Verspoor.


Imagem
Sistema lucrativo sustenta desinformação nas redes sociais
Um estudo realizado pela ABC (Academia Brasileira de Ciências) aponta que a desinformação científica é "sustentada por um ecossistema lucrativo que inclui a monetização de conteúdo enganoso".
Publicidade

Últimas notícias

Publicidade