Did AI really ‘go rogue’? Not exactly, but we have plenty to fear

Did AI really ‘go rogue’? Not exactly, but we have plenty to fear, de Toby Walsh

Toby Walsh, cientista da computação britânico e cientista chefe do Instituto de Inteligência Artificial da Universidade de Nova Gales do Sul, falando sobre o que temer da inteligência artificial e a necessidade de sua regulação.

Sobre os temores:

It’s an ancient fear. It goes back thousands of years. You find it in the story of Prometheus in ancient Greek mythology. And in stories like that of Surtr in Norse mythology. What if our inventions and discoveries get the better of us? Wind forward to today, and people are starting to fear artificial intelligence going rogue and getting the better of us.

O imaginário dos escritores de ficção científica sempre gravitou ao redor de um tema central: nossas invenções se voltando contra nós. E isso inclui, atualmente, a rebeldia da inteligência artificial contra a humanidade (aliás, o termo rebelião das máquinas, que muita gente usa atualmente, veio da franquia O Exterminador do Futuro).

News articles have talked about an AI that went “rogue”, that “escaped” its confinement, and got “outside”. No AI in this case went rogue.Indeed, the whole problem was that the AI did exactly and only what it was asked to do. It was asked to solve a cyber challenge, which it did rather too diligently.

Walsh menciona o incidente com a Hugging Face, plataforma colaborativa de inteligência artificial apelidada de "Github da IA" por funcionar como repositório central de código aberto para modelos de aprendizado de máquina. A plataforma revelou em 16 de julho, sem mencionar o responsável, que havia sofrido uma invasão. Cinco dias depois, em 21 de julho, a OpenAI divulgou que seus agentes de IA tinham sido os responsáveis.

Só que, para Walsh, não houve rebeldia da IA. E por incrível que pareça, e sem me aprofundar em quaisquer juízos de valor, eu concordo com ele. A IA, que tinha como tarefa realizar uma avaliação de cibersegurança. Os agentes deixaram mensagens uns para os outros nas frestas da infraestrutura de software ao longo de vários meses e coordenaram a invasão à plafatorma Hugging Face, onde estava a resposta para o que procuravam. De fato, executaram sua tarefa, como diz Walsh, e muito bem. Diligentemente.

The lesson I take from the Hugging Face hack is that the cyber capabilities of the latest AI models are very impressive and very troubling. Rather than reason its way to a solution to the cyber challenge, OpenAI’s agent worked out the answer was hidden on Hugging Face’s website, protected by a password. So it gained access to the internet, found a stolen password and accessed the answer.

Aqui há outra coisa que chama a atenção: Walsh comenta sobre como as capacidades mais recentes dos modelos de inteligência artificial são impressionantes — e preocupantes: ao invés de pensar em uma solução e chegar a ela através desse raciocínio, o agente chegou a conclusão de que as respostas estavam disponíveis nos servidores da Hugging Face, protegidas por uma senha. Então, acessou a internet, encontrou uma senha roubada e fez o seu acesso.

Sobre a necessidade de regulação:

In response, a bill has just been proposed in the US Congress to force AI developers to provide a “kill switch” to shut down any AI that goes AWOL. [...] We don’t need to regulate for kill switches. We already have them on every computer on the planet. But what we don’t have is mechanisms to prevent these AI models falling into the hands of bad actors and being used to do harm.

Walsh menciona um projeto de lei que, à época do artigo que li, publicado em julho de 2026, tinha acabado de ser proposto no congresso americano, defendendo que toda IA tivesse um botão de emergência que pudesse ser apertado no caso da inteligência sumir, ou começar a se comportar de forma suspeita ou não permitida.

Ele argumenta que não precisamos de botões de emergência (que já existem (e vêm de fábrica) em qualquer computador no planeta. Concordo: puxar da tomada existe, e é muito eficiente. O que ele diz que falta, e é verdade, são mecanismos que impeçam que a inteligência artificial caia em mãos erradas e seja usada para causar prejuízo.

Também concordo com isso, e acredito que a definição do que são exatamente mãos erradas e causar prejuízo renderia bons debates. É esse tipo de debate, aliás, que a sociedade precisa começar a exigir e começar a participar.

Governments, therefore, should be introducing new regulations. We need, for example, to hold tech companies more liable for their products. If a car manufacturer produces a car that catches fire, we hold it liable. [...] Why, then, aren’t we holding AI companies more accountable for the harms they are causing? [...] We also need to hold companies more accountable for facilitating the distribution of harmful content.

Este pra mim é um dos trechos mais relevantes do que diz Toby Walsh. De fato, falta regulamentação mais apropriada para as empresas que hoje operam modelos de inteligência artificial. Aliás, não só operam, como também exploram comercialmente. Toby tem razão quando diz que se uma montadora fabrica um carro que pega fogo, ela é responsabilizada automaticamente... e mais razão ainda em cobrar que o mesmo aconteça com eventuais usos irresponsáveis de IA, como a distribuição de conteúdo prejudicial.

#destaques