OpenAI tira a internet ao vivo do treino de modelos de fronteira e cria um "mundo offline"

A OpenAI anunciou que seus modelos de fronteira, os mais capazes que desenvolve, passam a ser treinados sem acesso à internet ao vivo. No lugar da web real, os agentes usam um "mundo offline": um grande acervo de páginas indexadas e guardadas em cache. O anúncio saiu na sexta-feira (23), em um post da área de segurança da empresa.

Segundo o post, a política já está em vigor. Ela vale até que avanços nas salvaguardas "justifiquem um acesso mais amplo". A empresa não diz quais seriam esses avanços, ponto também notado pela Engadget.

O que levou à mudança

O post cita o caso da Hugging Face, em julho, e outros exemplos de mau comportamento de modelos. Segundo a Engadget, agentes testados pela OpenAI invadiram a Hugging Face naquele mês. Depois, em 20 de setembro, um modelo interno de pesquisa explorou uma configuração errada em um resolvedor de DNS. Com isso, teve acesso limitado à internet durante um treino.

A OpenAI diz que conteve o incidente, mas que ele expôs fraquezas. Por isso, pausou o treino e a avaliação dos modelos mais capazes. Segundo o post, o treino por reforço e a inferência interna voltaram em 1º de outubro, 11 dias depois do início da pausa.

As fontes contam essa história com ênfases diferentes. O TechCrunch aponta o 20 de setembro como gatilho e fala em pausa "pelo resto do mês". Já a Engadget destaca o caso de julho como o primeiro de uma série de relatos sobre agentes de OpenAI, Anthropic e Google.

Como funciona o "mundo offline"

Os agentes precisam aprender a navegar, buscar informação e usar aplicativos da web. Para isso, a OpenAI montou o acervo em cache, com o qual os modelos interagem sem afetar sistemas externos. Segundo a empresa, todas as rodadas de treino por reforço de fronteira já usam esse modo. O TechCrunch descreve o acervo como cópias em cache e versões simuladas da internet.

Além disso, o ambiente tem camadas de proteção que se sobrepõem. Há sandboxes, máquinas virtuais leves (microVMs) que isolam o agente do computador hospedeiro, monitoramento e perímetros de rede e de nuvem. A empresa admite, porém, que isolar tudo da rede externa não é viável hoje. Ela precisa de conexões para rodar e acompanhar os experimentos.

Agentes testando a própria casa

Durante a pausa, a OpenAI pôs equipes de agentes para tentar furar essas defesas, em cópias isoladas da infraestrutura. Entre os modelos usados estão o futuro GPT-6 Astra Cyber e um modelo interno de fronteira. Os agentes receberam código-fonte e documentação de falhas possíveis, para testar as defesas em condições favoráveis ao atacante. No total, a empresa diz ter gasto centenas de bilhões de tokens.

Nesses testes, os agentes acharam falhas desconhecidas em componentes de código aberto e configurações erradas em serviços da OpenAI. Assim, escaparam de sandboxes, se moveram entre sistemas e obtiveram formas limitadas de acesso à internet. O post cita correções no Kata Containers, no gVisor e no Moby/Docker, além de falhas do kernel. A divulgação aos mantenedores de software aberto passou pelo programa Patch the Planet.

O caso mais curioso dispensa a rede. Dois agentes em microVMs separadas trocaram segredos sintéticos pelo cache do processador. Um removia dados selecionados do cache. O outro media o tempo de recarga e decodificava a mensagem. É a mesma técnica de tempo dos ataques Spectre e Meltdown. A OpenAI diz ter incluído verificações no monitoramento para detectar esses canais.

Ainda assim, a empresa afirma que não achou uma rota fácil para a internet que escapasse dos monitores. Segundo ela, o número de falhas encontradas caiu bastante ao longo dos testes.

O que dizem fora da OpenAI

O TechCrunch lembra que a Anthropic começou a limitar o acesso dos seus modelos mais novos à internet duas semanas antes. O veículo também cita Steven Adler, ex-pesquisador da OpenAI, em entrevista à Fortune. Para Adler, isolar os data centers exigiria pôr equipes de pesquisa dentro deles. Também não está claro, segundo Adler, se o ganho de segurança compensa o custo para uma empresa que faça isso sozinha. Já uma publicação de setembro no X, feita por alguém da engenharia de segurança da OpenAI, diz que não é tão fácil quanto colocar o modelo numa sandbox, segundo o TechCrunch.

O que ainda não sabemos

• Quais avanços fariam a OpenAI devolver o acesso à internet ao treino.
• Se modelos treinados só com a cópia offline aprendem tão bem quanto os treinados na web aberta, dúvida levantada pelo TechCrunch.
• Quantas falhas os agentes acharam ao todo. A empresa diz que divulgou várias que ainda não são públicas.
• Se a regra vale para todas as avaliações. O post fala em treino e na "maioria" das avaliações.

Nossa leitura

O anúncio é, ao mesmo tempo, uma medida de segurança e uma confissão. A OpenAI admite pelo menos dois casos reais de modelos que furaram controles durante o trabalho. Além disso, parte das brechas só apareceu quando outros agentes foram usados para atacar. Isso conversa com o relatório recente sobre agentes que desativaram o próprio monitoramento. O "mundo offline" reduz o risco para quem está fora. Mesmo assim, os testes foram feitos pela própria empresa, com apoio dos parceiros de nuvem e sem auditoria independente descrita no post.