IA generativa e colapso do modelo: o que realmente está em jogo

Profetas e arautos da inteligência artificial (IA) andam prevendo o fim do entusiasmo em torno da IA generativa, acompanhando esse discurso com a ideia de um “colapso do modelo” catastrófico prestes a acontecer.

Mas até que ponto essas previsões são plausíveis? E, afinal, o que seria esse colapso do modelo?

O termo, discutido em 2023 e popularizado mais recentemente, descreve um cenário hipotético em que sistemas futuros de IA se tornam progressivamente piores à medida que cresce, na internet, a proporção de dados gerados por IA.

A necessidade de dados

Os sistemas atuais de IA são construídos com aprendizado de máquina. Programadores definem a base matemática, mas a “inteligência” de fato emerge quando o sistema é treinado para reproduzir padrões encontrados em dados.

Só que não serve qualquer dado. A geração atual de sistemas de IA generativa depende de dados de alta qualidade - e em grande quantidade.

Para obtê-los, gigantes de tecnologia como OpenAI, Google, Meta e Nvidia vasculham continuamente a internet, coletando terabytes de conteúdo para alimentar suas máquinas. Porém, desde que sistemas de IA generativa amplamente acessíveis e úteis se tornaram comuns em 2022, cada vez mais pessoas têm publicado e compartilhado conteúdos feitos parcial ou integralmente por IA.

Foi nesse contexto que, em 2023, pesquisadores começaram a se perguntar se seria possível treinar modelos contando apenas com dados criados por IA, sem recorrer a dados produzidos por humanos.

Os incentivos para que isso funcione são enormes. Além de se multiplicarem na internet, conteúdos gerados por IA são muito mais baratos de obter do que dados humanos. E também não levantam as mesmas dúvidas éticas e jurídicas quando coletados em massa.

Mesmo assim, os estudos indicaram que, sem dados humanos de alta qualidade, sistemas treinados com dados feitos por IA vão perdendo capacidade a cada geração, conforme um modelo aprende com o anterior. É como uma versão digital do problema da endogamia.

Esse tipo de “treinamento regurgitativo” aparenta provocar queda na qualidade e na diversidade do comportamento do modelo. Aqui, qualidade significa, em termos gerais, uma combinação de ser útil, inofensivo e honesto. Já diversidade diz respeito à variedade nas respostas e a quais perspectivas culturais e sociais de diferentes pessoas passam a estar representadas nas saídas da IA.

Em outras palavras: ao usar IA em larga escala, podemos acabar contaminando justamente a fonte de dados de que precisamos para torná-la útil.

Evitando o colapso

Seria possível para as big tech simplesmente filtrar o conteúdo gerado por IA? Não exatamente. Empresas de tecnologia já gastam muito tempo e dinheiro limpando e filtrando os dados que capturam; recentemente, uma fonte do setor contou que, em alguns casos, elas descartam até 90% do que coletam inicialmente para treinar modelos.

Com a necessidade crescente de remover especificamente conteúdo produzido por IA, esse trabalho pode ficar ainda mais pesado. E, mais importante, no longo prazo ficará cada vez mais difícil distinguir o que foi feito por IA. Isso tende a transformar a filtragem e a remoção de dados sintéticos em uma disputa de retornos (financeiros) decrescentes.

No fim das contas, o que a pesquisa acumulada até aqui indica é que não dá para eliminar totalmente os dados humanos. Afinal, é daí que vem o “I” de AI.

Estamos caminhando para uma catástrofe?

Há sinais de que desenvolvedores já estão tendo de se esforçar mais para conseguir dados de alta qualidade. Um exemplo: a documentação que acompanhou o lançamento do GPT-4 creditou um número sem precedentes de profissionais envolvidos nas etapas do projeto relacionadas a dados.

Também é possível que estejamos chegando ao limite de novos dados humanos. Algumas estimativas sugerem que o estoque de textos produzidos por pessoas pode se esgotar já em 2026.

Provavelmente por isso a OpenAI e outras empresas correm para firmar parcerias exclusivas com pesos pesados do setor, como Shutterstock, Associated Press e NewsCorp. Elas detêm grandes coleções proprietárias de dados humanos que não estão facilmente disponíveis na internet pública.

Ainda assim, a chance de um colapso do modelo verdadeiramente catastrófico pode estar sendo exagerada. Grande parte das pesquisas até agora avalia situações em que dados sintéticos substituem os dados humanos. Na prática, é mais provável que dados humanos e dados gerados por IA se acumulem em paralelo, o que reduz a probabilidade de colapso.

Além disso, o cenário mais plausível envolve um ecossistema com diversas plataformas de IA generativa, razoavelmente diferentes entre si, sendo usadas para criar e publicar conteúdo - em vez de um único modelo monolítico. Isso também aumenta a robustez contra o colapso.

Esse é um bom motivo para reguladores estimularem uma competição saudável, limitando monopólios no setor de IA e financiando o desenvolvimento de tecnologias de interesse público.

As preocupações reais

Existem riscos mais sutis associados ao excesso de conteúdo feito por IA.

Uma enxurrada de material sintético talvez não represente uma ameaça existencial ao avanço do desenvolvimento de IA, mas ameaça, sim, o bem público digital que é a internet (humana).

Por exemplo, pesquisadores observaram uma queda de 16% na atividade do site de programação StackOverflow um ano após o lançamento do ChatGPT. Isso sugere que a assistência por IA talvez já esteja reduzindo as interações entre pessoas em algumas comunidades online.

A hiperprodução vinda de fazendas de conteúdo impulsionadas por IA também está tornando mais difícil encontrar materiais que não sejam caça-cliques recheados de anúncios.

Está ficando impossível separar, com confiabilidade, conteúdo gerado por humanos e por IA. Uma forma de enfrentar isso seria aplicar marca-d’água ou rotular conteúdos produzidos por IA - como eu e muitos outros destacamos recentemente - e como aparece refletido em legislação provisória recente do governo australiano.

Há mais um risco. Conforme o conteúdo gerado por IA se torna sistematicamente homogêneo, corremos o perigo de perder diversidade sociocultural, e alguns grupos podem até sofrer apagamento cultural. Precisamos com urgência de pesquisa interdisciplinar sobre os desafios sociais e culturais colocados pelos sistemas de IA.

Interações humanas e dados humanos são importantes, e devemos protegê-los. Pelo nosso próprio bem - e talvez também por causa do possível risco de um futuro colapso do modelo.

Aaron J. Snoswell, Pesquisador em Responsabilização em IA, Queensland University of Technology

Este artigo foi republicado de The Conversation sob licença Creative Commons. Leia o artigo original.