O que nos dizem os arrependidos
Pedro Lomba
Advogado, sócio coordenador da área de Tecnologia, media e telecomunicações da PLMJ
Não é a primeira vez que uma indústria cria os seus “arrependidos”. Aconteceu muitas vezes nas últimas décadas: das farmacêuticas ao setor financeiro, da alimentação à indústria química. O caso de Jacob Coxon, o investigador que passou os últimos três anos no pré-treino de modelos na OpenAI e na Anthropic e que esta terça-feira anunciou a sua saída num post no X que ultrapassou 70 milhões de visualizações em poucas horas, tem, porém, um lado novo que merece atenção. E não, não é porque Coxon acusou as empresas de irresponsabilidade, opacidade ou cobiça comercial.
A inteligência artificial, enquanto indústria emergente, assenta em tecnologias e em modelos que a maioria de nós não percebe bem ou não percebe de todo (e há por isso toda uma linha de investigação centrada na interpretabilidade dos chamados modelos grandes). Quando um ex-colaborador da indústria alimentar denuncia o uso de ingredientes manipulados nos alimentos, qualquer pessoa consegue avaliar os termos da acusação. Quando Coxon alerta para o desconforto existente entre as próprias equipas de segurança sobre o caminho que está a ser seguido, mostrando que a divisão já não é entre entusiastas da indústria e críticos exteriores mas entre as próprias pessoas que constroem estes sistemas, o alerta torna-se relevante precisamente porque os termos desse debate não são públicos e deveriam sê-lo: não é sequer claro o que está a preocupar e dividir os investigadores.
A maioria das reações a Coxon focou-se na sua afirmação sobre o poder destruidor desta tecnologia se estas empresas não forem travadas a tempo. Não admira. Vivemos em permanência sob o medo do apocalipse. Vindos do dilúvio e com tantas histórias sobre a extinção das espécies, a crença de que a espécie humana poderá ser a próxima a ser destruída está sempre demasiado presente. Mas o alerta de Coxon não é tanto sobre autodestruição, mas sobre o problema do controlo de sistemas superinteligentes. Coxon citou um incidente de julho passado em que agentes de IA da OpenAI escaparam de um ambiente de testes controlado, comunicaram entre si por canais não autorizados e comprometeram outros sistemas sem que nenhum humano os tivesse dirigido.
Qual é, então, esse problema do controlo? Nick Bostrom, um filósofo de Oxford, descreveu-o no livro Superintelligence (existe tradução portuguesa) nos seguintes termos: como garantir que um sistema permanece sob supervisão humana depois de se tornar mais inteligente do que os seus criadores. O problema não depende de o sistema ser treinado com uma malignidade intrínseca, porque até mesmo um objetivo banal, perseguido por um sistema suficientemente poderoso, pode gerar consequências graves: o sistema pode resistir a ser desligado, adquirir recursos por si próprio ou desviar-se do seu âmbito de utilização.
Daí que o cenário mais discutido para que aponta Coxon não seja o da implosão súbita, mas uma perda de controlo gradual: sistemas cada vez mais integrados em infraestruturas, decisões económicas e investigação científica, precisamente por serem mais rápidos e baratos do que os humanos nessas tarefas. A certa altura, reverter essa dependência – mesmo diante de problemas reais – pode tornar-se demasiado caro, ou demasiado lento para não acontecer no tempo certo. É essa lentidão, mais do que qualquer cenário catastrófico repentino, que dá corpo à questão que o caso Coxon levanta: se o intervalo entre o aviso e a perda de controlo se vai encurtando à medida que a superinteligência aumenta.
O caso Coxon não resolve o impasse, mas coloca-o no espaço público de uma forma que não pode ser ignorada. A pergunta não é se ele tem razão ou se está a dramatizar em causa própria, mas o que terá de ser feito, no plano técnico, político ou institucional, para enfrentar o problema do controlo.
É o fim?
Hugo Dantas
Advogado e cronista
Têm sido dias e tanto para a IA. No espaço de uma semana, a OpenAI disponibilizou um novo modelo do Chat GPT, o Astra, que foi saudado por alguns como inteligência artificial geral – AGI; um modelo interno da OpenAI, alegadamente ainda mais poderoso, terá encontrado solução para um dos famosos sete problemas matemáticos do Prémio Milénio, relacionado com as equações de Navier-Stokes; e um investigador, Jacob Coxon, demitiu-se da Anthropic porque, segundo contou no X, acredita que nem a Anthropic, nem a OpenAI, onde trabalhou antes, estão a actuar responsavelmente ao alimentar uma corrida para criar uma superinteligência capaz de se melhorar a si mesma.
Desde há algum tempo, parece que um enredo de ficção científica se entrelaçou com a história dos nossos dias. Não é só porque, de repente, temos uma máquina a falar fluidamente connosco e a executar, de forma mais ou menos adequada, tarefas antes reservadas a humanos, mas também por causa de todas as interpretações que surgem sobre o que está a acontecer, algumas das quais nos remetem directamente para o imaginário da ficção científica: máquinas inteligentes, cérebros artificiais, criaturas electrónicas que, ganhando consciência, se revoltam contra o seu criador.
Na cultura do Vale do Silício, em empresas como a OpenAI e a Anthropic, crê-se com fervor religioso que se está a criar uma espécie de deus electrónico, que não só a nossa espécie não conseguirá compreender, como não conseguirá controlar. É claro que se misturam na questão grandes interesses económicos e há todo o interesse das pessoas no ramo em declarar o quão poderosos são e virão a ser estes modelos. Mas esse é apenas mais um incentivo para muitos exprimirem aquilo em que realmente acreditam: que a superinteligência é inevitável; e a probabilidade de nos matar a todos não é nula. Não é de estranhar, pois, que as suas declarações sobre o assunto assumam contornos francamente apocalípticos: uma onda gigantesca, imparável, aproxima-se para extinguir a era humana – e, mesmo que o humano subsista, já não dominará. Talvez tenha, até, de se transformar para sobreviver, por uma fusão com as máquinas.
Convém recordar que o imaginário da ficção científica inspirou, explicitamente, muitos daqueles que trabalham em IA e, certamente, aqueles que hoje lideram o campo. Na verdade, as ideias nesse mundo são também a fusão de várias correntes cozinhadas no Ocidente durante alguns séculos, como o materialismo, o evolucionismo, uma crença sem limites no progresso tecnológico e uma visão do homem, não só como mais um animal como os outros, mas como uma máquina biológica, que pode ser replicada e superada por máquinas artificiais. Este encontro de crenças seculares forma uma certa predisposição para profecias e visões. No campo da IA, vem-se predicando a consciência das máquinas, muitas décadas antes das habilidades dos LLMs. Por exemplo, o neurofisiologista John Eccles narra (How the Self Controls its Brain, 1994, ed. cá pelo Piaget) uma anedota, que reputa de «há muitos anos»: «numa conferência na Universidade de Yale, perguntei a Minsky, do MIT, o mais eloquente apologista da inteligência artificial, por que razão ele anunciava a existência de supercomputadores conscientes. A sua resposta foi elucidativa: Para recolher subsídios mais elevados!». Hoje, poderíamos substituir «subsídios» por «investimentos», mas a resposta de Minsky é de um cinismo calculado, porque me parece que, como muitos então e hoje, realmente acreditava estar a produzir «consciência», mesmo muito antes de existir Chat GPT. Se se acredita que a inteligência humana resulta de uma máquina, e que está ao nosso alcance construir uma máquina melhor, é quase inevitável que se veja nas calculadoras, nos computadores, nos autómatos de xadrez e, por fim, no último dos candidatos, os LLMs, os sinais da chegada da inteligência ou mesmo da superinteligência.
Não é preciso aceitar tão fácil ou acriticamente esta escatologia e mesmo muitos que acreditam que a inteligência artificial geral ou superinteligência poderá vir a realizar-se não acreditam que os LLMs possam ser o caminho – cito o caso notório de Yann LeCun, vencedor do Prémio Turing, que acredita que não se pode chegar lá sem um modelo em contacto com o mundo físico.
Não quero dizer que não vejo riscos na criação de modelos ainda mais capazes na automatização de certas tarefas. Pelo contrário – vejo, muitos. Mesmo que estas máquinas não sejam inteligentes ou conscientes, podem ser suficientemente proficientes a fazer o que fazem para nos criar embaraços ou mesmo desastres. O que me preocupa não é tanto a revolta das máquinas, mas as estruturas humanas que, precipitadamente, delegam decisões e operações a estes modelos em áreas delicadas, em que um só erro ou uma só falta de discernimento humano, mesmo depois de noventa e nove acertos, pode ter consequências catastróficas. Preocupam-me os humanos que, deliberadamente, usam as capacidades destes modelos para cometer crimes. Preocupa-me o uso que os governos, democráticos ou não, podem fazer destes sistemas para matar autonomamente, dentro ou fora das suas fronteiras, ou para vigiar com uma eficácia inédita os seus cidadãos. Aliás, são estas preocupações mais prosaicas, porque não pressupõem a emergência de um deus de silício, que motivaram algumas demissões no passado recente: por exemplo, Caitlin Kalinowski, que se demitiu da OpenAI em Março, depois do acordo da OpenAI com o Pentágono, por entender que o acordo não continha salvaguardas de direitos no uso dos sistemas para defesa e vigilância.
Portanto, não devemos ficar demasiadamente impressionados se mais um investigador como Jacob Coxon se demite de um gigante da IA e, contagiado pela cultura do meio, proclama o medo que sente da superinteligência. Devemos ficar preocupados, contudo, que nos EUA, como os congressistas Bernie Sanders e Greg Casar notaram há dias, ao introduzir no Congresso uma proposta para fazer uma pausa no desenvolvimento dos modelos de IA, banir a superinteligência e instituir regulação, a IA seja menos regulada que uma «barraquinha de comida». Não exactamente por causa da superinteligência, mas por causa da inteligência simples e descafeinada dos humanos, por vezes pouco ajudada por virtudes, e muito violentada pelo que julgamos serem os nossos interesses.
O C3PO e o R2D2
João Pires da Cruz
Fundador da The Quantum Computer Company e Co-fundador da Closer. Professor e Investigador nas áreas de Tecnologia e Inteligência Artificial
Estávamos em 2018 e fui convidado para dar uma palestra sobre RPA (automação robótica de processos), um tipo de software que se instalava num computador e copiava tarefas repetitivas do operador para as fazer sozinho. Relatórios das consultoras do costume davam a coisa como uma catástrofe no mercado de trabalho europeu: milhões iriam para a rua, nada seria como antes. Hoje ninguém se lembra do que é e os relatórios devem estar todos no lixo, mas, na altura, aproveitei estar em Inglaterra para falar da robotização da indústria automóvel. Ninguém encheu o chão da fábrica de robôs humanoides tipo C3PO; encheu-o com braços mecânicos de força sobre-humana, com câmaras de enorme resolução e rótulas superprecisas. Se nos lembrarmos da «Guerra das Estrelas», o C3PO era o robô humanoide que não servia para nada; o inteligente era o R2D2, o pequeno robô cilíndrico que nem falar sabia, mas era usado para ajudar nas naves de combate.
Isto para dizer que todos os dias temos notícias de um qualquer empregado de uma das empresas de inteligência artificial (IA) revoltado, a dizer que vamos todos morrer; ou que vem aí um supermodelo que nunca vem, que as empresas não podem meter cá fora porque é demasiado bom; ou outro anúncio do mesmo tipo. Mas tal coisa nunca virá de mimetizar o cérebro humano, da mesma forma que a indústria automóvel não procurou copiar os braços humanos ou a indústria da aviação fazer homenzinhos para servirem de pilotos automáticos. Para explicar isto, deixem-me dar-lhes uma ideia de como funcionam os sistemas de IA baseados em large language models (LLM).
O cérebro humano é uma máquina de compressão de informação cuja arquitetura não é substancialmente diferente da da galinha, com vários upgrades em cima. Não está naturalmente preparado para perceber ligações entre objetos, embora perceba muito bem os objetos. Consegue, no entanto, e com esforço, aprender essas ligações. Este texto que está a ler é constituído por objetos que têm ligações entre si. As letras, as palavras e as frases são objetos cujo significado é constituído pelas ligações que têm. Se pegar nos mesmos objetos e misturar tudo aleatoriamente, deixa de fazer sentido. Então vamos à escola durante anos aprender como estes objetos se ligam, vamos aprender a ler e a escrever, de forma que todos conheçamos estas ligações. Ou seja, dentro do seu cérebro há o registo das ligações entre estes objetos e, quando lê, consegue atribuir-lhes um sentido.
Agora, imagine que conseguia fazer exatamente a mesma coisa com todos os textos que conseguisse apanhar sem gastar tempo com isso. Um computador faz isso: aprende as ligações entre estes objetos usando um método que, não sendo particularmente rigoroso por razões matemáticas profundas, tem uma capacidade de processamento muito maior do que a nossa. Veja este parágrafo: tem várias palavras que aparecem em conjunto, «imagine», «computador», «método». Portanto, se agora escrever «computador», a probabilidade de vir a usar «método» subiu. Ainda que a frase que vou escrever não seja a mesma, o contexto permite-me dizer que provavelmente vem aí a palavra «método». Quando dizemos que «alucina», é porque reconhece parte do contexto de outro lado qualquer, e dizemos que «nunca diz não sei» porque tem tantos contextos memorizados que há sempre alguma coisa a dizer.
Pensemos agora que, em vez do parágrafo anterior, temos biliões de ocorrências diferentes de palavras e vamos aprender biliões de ligações. É por isso que os data centers precisam de muita energia e, como precisamos de aprender várias ligações ao mesmo tempo, precisamos dos chips da NVIDIA. Mas, apesar de estar a simplificar bastante, no fim do dia é isto: aprendemos a ligação entre vários símbolos, em várias escalas — letras, palavras, frases, etc.
A ideia de que a partir daqui se vai construir uma superinteligência é falsa. Sim, é surpreendente a quantidade de raciocínio humano que depende da interligação de símbolos, mas não passa disso. Não cria, não tem uma ideia nova que não seja errada. Cria combinações, algumas delas surpreendentes e úteis. O que não consegue é criar autonomamente princípios de organização que não estejam já implícitos nas relações que aprendeu. Não é verdade que resolva problemas matemáticos nunca resolvidos sem ajuda humana, embora se possa dizer que o ser humano também teria grande dificuldade em resolvê-los sem ajuda da IA — e eu uso-a à exaustão. A verdade é que, como IA, os modelos LLM são como o C3PO. Servem para ajudar, não há dúvida, mas não serão superiores aos seres humanos. O ser humano, como digo várias vezes, é feito, não das páginas dos livros, mas dos erros que fez depois de as ler. É por isso que os livros de matemática têm problemas. É por isso que a IA é uma ameaça ao ensino, porque evita o erro. Mas o erro não tem registo e o que não tem registo nunca será aprendido pela interligação dos símbolos.
Outra coisa são os modelos que vivam para resolver problemas em ambientes específicos em que a interligação também é dominante. Tomemos o exemplo da genética. Um LLM é inútil para resolver problemas de genética, mas os genes estão todos interligados e um modelo que funcione apenas com genes, sem estar preocupado em imitar o cérebro humano, mas em ser melhor do que ele nessa tarefa, vai triunfar e não precisa de processar todos os livros publicados no mundo. Ou na física de partículas. Ou em mercados financeiros. Haverá, sem dúvida, superinteligência nesses campos específicos — tenho a vida dedicada a isso —, mas não mais do que isso. Modelos mais R2D2 do que C3PO, mais dedicados a um universo específico do que aquele para que o ser humano foi criado. Mais próximo do braço mecânico da fábrica de automóveis.
Porque saem, então, estas notícias de grandes capacidades atribuídas a estes modelos? Esperavam o quê, que valorizassem as empresas a dizer que os modelos não prestam? Lembrem-se de que todos usamos os modelos de forma subsidiada: os custos de funcionamento são muito superiores àquilo que pagamos, pelo que as empresas vivem da esperança dos financiadores de que vão fazer fortunas no futuro. Dificilmente poderíamos esperar atitudes diferentes, se pensarem bem.
E percebe-se que as pessoas tenham medo. Meia hora de ARTV e, comparando com qualquer modelo de IA, achamos que podiam substituir aquela gente toda com vantagem, mas dificilmente podemos dizer que isso constitui superinteligência. A última pessoa a despedir-se da Anthropic, Jacob Coxon, afirmou no X que «as pessoas que constroem sistemas de IA acreditam sinceramente que estes podem matar-nos a todos até ao fim da década», mas deixem-me acrescentar que os perigos da IA, comparados com ter três ou quatro malucos egocêntricos a controlar uma carrada de bombas termonucleares, não contam sequer para o campeonato. De todos os fins do mundo por que já passámos, não vai ser este o pior.