A descoberta científica está entre as actividades humanas mais sofisticadas. Para começar, cientistas precisam dominar o que já se sabe e localizar uma lacuna relevante nesse conhecimento.
Depois disso, é necessário transformar essa lacuna numa pergunta de pesquisa e planear, desenhar e executar um experimento para chegar a uma resposta.
Em seguida, vem a etapa de analisar e interpretar os resultados - que, muitas vezes, acabam gerando uma nova pergunta de investigação.
Será que um processo tão intricado pode ser automatizado? Na semana passada, a Sakana AI Labs anunciou a criação de um “cientista de IA” - um sistema de inteligência artificial que, segundo a empresa, é capaz de produzir descobertas científicas na área de aprendizagem de máquina de forma totalmente automatizada.
A proposta é usar grandes modelos de linguagem generativos (LLMs), como os que estão por trás do ChatGPT e de outros chatbots de IA, para fazer brainstorming, escolher uma ideia promissora, programar novos algoritmos, gerar gráficos de resultados e redigir um artigo a resumir o experimento e as suas conclusões, incluindo referências.
A Sakana afirma que a ferramenta consegue percorrer todo o ciclo de vida de um experimento científico por apenas US$15 por artigo - menos do que custa o almoço de um cientista.
É uma promessa ambiciosa. Mas ela se sustenta? E, mesmo que se sustente, seria realmente uma boa notícia para a ciência ter um exército de cientistas de IA a despejar artigos a uma velocidade sobre-humana?
Como um computador pode “fazer ciência”
Uma parte importante da ciência acontece de forma aberta e, na prática, quase todo o conhecimento científico foi registado em algum lugar (caso contrário, não teríamos como “saber” que ele existe). Milhões de artigos científicos podem ser acedidos gratuitamente na internet em repositórios como arXiv e PubMed.
Treinados nesse tipo de acervo, os LLMs aprendem a linguagem da ciência e os seus padrões. Por isso, talvez nem seja surpreendente que um LLM generativo consiga produzir algo com aparência de um bom artigo científico - ele absorveu inúmeros exemplos que consegue imitar.
O ponto menos óbvio é se um sistema de IA consegue, de facto, gerar um artigo científico interessante. E aqui está o essencial: ciência de qualidade exige novidade.
Mas isso é interessante?
Cientistas não procuram ouvir aquilo que já é conhecido. O que interessa é aprender algo novo - sobretudo algo novo que seja significativamente diferente do que já se sabe. Para isso, é preciso exercer julgamento sobre o alcance e o valor de uma contribuição.
O sistema da Sakana tenta lidar com a “interessância” de duas maneiras. A primeira é atribuir uma “pontuação” a ideias de novos artigos com base na semelhança com pesquisas já existentes (indexadas no repositório Semantic Scholar). O que for parecido demais é eliminado.
A segunda é incluir uma etapa de “revisão por pares” - recorrendo a outro LLM para avaliar qualidade e novidade do artigo gerado. Também aqui há muitos exemplos públicos de revisões por pares em sites como openreview.net, que servem de guia sobre como criticar um artigo. Os LLMs também absorveram esse material.
A IA pode ser uma má avaliadora da produção de IA
As reacções ao que a Sakana AI gera têm sido divergentes. Há quem descreva os resultados como “lixo científico interminável”.
Até a revisão feita pelo próprio sistema sobre o que ele produz considera, no melhor dos casos, que os artigos são fracos. É provável que isso melhore à medida que a tecnologia evolui, mas a dúvida central permanece: artigos científicos automatizados têm valor?
Além disso, ainda está em aberto se LLMs conseguem avaliar, de modo confiável, a qualidade de pesquisa. O meu próprio trabalho (a ser publicado em breve na Research Synthesis Methods) indica que LLMs não são particularmente bons em julgar o risco de viés em estudos de pesquisa médica - embora isso também possa melhorar com o tempo.
O sistema da Sakana automatiza “descobertas” em pesquisa computacional, o que é muito mais simples do que em áreas científicas que dependem de experimentos físicos. Nos testes da Sakana, os experimentos são feitos com código - e código também é texto estruturado, algo que LLMs podem ser treinados para gerar.
Ferramentas de IA para apoiar cientistas - não para substituí-los
Há décadas, investigadores de IA desenvolvem sistemas para apoiar o trabalho científico. Dado o volume gigantesco de pesquisas publicadas, até localizar estudos relevantes para uma pergunta científica específica pode ser difícil.
Ferramentas de busca especializadas usam IA para ajudar cientistas a encontrar e sintetizar trabalhos existentes. Entre elas estão o já citado Semantic Scholar e soluções mais recentes como Elicit, Research Rabbit, scite e Consensus.
Ferramentas de mineração de texto, como o PubTator, vão além e extraem dos artigos pontos centrais, por exemplo mutações genéticas específicas e doenças, bem como as relações estabelecidas entre elas. Isso é particularmente útil para curar, organizar e manter informação científica.
A aprendizagem de máquina também tem sido usada para apoiar síntese e análise de evidência médica, em ferramentas como Robot Reviewer. E resumos que comparam e contrastam afirmações entre artigos, como os do Scholarcy, ajudam a realizar revisões de literatura.
O objectivo de todas essas ferramentas é tornar o trabalho dos cientistas mais eficiente - não substituí-los.
A pesquisa com IA pode agravar problemas já existentes
Embora a Sakana AI diga que não enxerga o papel de cientistas humanos a diminuir, a visão da empresa de “um ecossistema científico totalmente movido por IA” teria implicações profundas para a ciência.
Uma preocupação é que, se artigos gerados por IA inundarem a literatura científica, sistemas de IA futuros podem acabar sendo treinados com produção de IA e sofrer model collapse. Em outras palavras, podem tornar-se cada vez menos eficazes em inovar.
Mas os impactos na ciência vão muito além do efeito sobre sistemas de “ciência com IA” em si.
Já existem maus actores na ciência, incluindo “fábricas de artigos” que produzem trabalhos falsos em escala. Esse problema tende a piorar quando um artigo científico pode ser gerado com US$15 e um prompt inicial vago.
A necessidade de procurar erros em uma montanha de pesquisa gerada automaticamente pode rapidamente exceder a capacidade de cientistas reais. O sistema de revisão por pares, ao que tudo indica, já está quebrado; despejar ainda mais pesquisa de qualidade duvidosa não vai consertá-lo.
A ciência se apoia, fundamentalmente, na confiança. Cientistas enfatizam a integridade do processo científico para que possamos confiar que a nossa compreensão do mundo (e, agora, das máquinas do mundo) é válida e está a melhorar.
Um ecossistema científico em que sistemas de IA sejam protagonistas levanta questões fundamentais sobre o significado e o valor desse processo - e sobre que nível de confiança deveríamos depositar em cientistas de IA. É esse tipo de ecossistema científico que queremos?
Karin Verspoor, Decana, School of Computing Technologies, RMIT University, RMIT University
Este artigo foi republicado de The Conversation sob uma licença Creative Commons. Leia o artigo original.
Comentários
Ainda não há comentários. Seja o primeiro!
Deixar um comentário