Mais de 12 mil chaves de API e senhas ativas aparecem em dataset público usado no treinamento de LLMs

Mais de 12 mil chaves de API e senhas ativas aparecem em dataset público usado no treinamento de LLMs

Análise da Truffle Security no arquivo Common Crawl de dezembro de 2024 revela credenciais autenticáveis em massa e reforça riscos de indexação histórica em assistentes de IA e de desalinhamento emergente em modelos ajustados com código inseguro

ComponenteArquivo de dezembro de 2024 do Common Crawl (400 TB comprimidos, 90 mil arquivos WARC, 47,5 milhões de hosts, 38,3 milhões de domínios); repositórios GitHub historicamente públicos indexados por mecanismos de busca e assistentes de IA
VetorCredenciais embutidas em páginas web capturadas por crawl público; publicação acidental ou temporária de repositórios com tokens e chaves, posteriormente tornados privos mas ainda recuperáveis via cache e indexação
ImpactoQuase 12 mil segredos classificados como ativos (autenticação bem-sucedida); 219 tipos distintos incluindo chaves raiz AWS, webhooks Slack e chaves Mailchimp; modelos podem reproduzir padrões inseguros; método Wayback Copilot mapeou 20.580 repositórios de 16.290 organizações com mais de 300 tokens e segredos
PrioridadeRotacionar e revogar credenciais expostas, eliminar segredos de código e páginas públicas, auditar o que entra em pipelines de treinamento de IA e restringir recuperação de conteúdo histórico sensível em produtos GenAI
ArtefatosChaves raiz AWS, webhooks Slack, chaves de API Mailchimp, tokens GitHub, Hugging Face, Google Cloud e OpenAI citados no contexto da análise
MitigaçãoTratar datasets de crawl como superfície de vazamento; validar repositórios antes de torná-los públicos; monitorar indexação residual; evitar fine-tuning com exemplos de código inseguro sem salvaguardas adicionais
Resumo técnico

Pesquisadores da Truffle Security identificaram quase 12 mil segredos considerados ativos — credenciais que autenticam com sucesso nos respectivos serviços — dentro de um conjunto de dados amplamente utilizado no treinamento de grandes modelos de linguagem. O material analisado corresponde ao arquivo de dezembro de 2024 do Common Crawl, repositório aberto que agrega dados de varredura web ao longo de 18 anos e que, naquele recorte, concentra cerca de 400 terabytes de conteúdo comprimido distribuídos em 90 mil arquivos no formato WARC, abrangendo 47,5 milhões de hosts e 38,3 milhões de domínios registrados.

A descoberta reforça um padrão recorrente em engenharia de software e em operações de nuvem: credenciais codificadas diretamente em páginas, repositórios ou artefatos publicados na internet tendem a ser ingeridas por pipelines de coleta automatizada e, a partir daí, podem circular em ecossistemas de treinamento de IA sem qualquer filtro que distinga segredo válido de exemplo inválido. Segundo a própria definição usada na análise, segredos ativos incluem chaves de API, senhas e outros identificadores que completam autenticação real. O levantamento catalogou 219 tipos diferentes de segredo no arquivo, entre eles chaves raiz da Amazon Web Services, webhooks do Slack e chaves de API do Mailchimp.

O caso se insere em um conjunto mais amplo de achados sobre como informação que já foi pública — mesmo por intervalo curto — pode permanecer acessível por camadas de indexação, cache e assistentes baseados em modelos generativos. Em paralelo, pesquisas recentes sobre ajuste fino com exemplos de código inseguro e sobre fragilidades sistemáticas de produtos GenAI ampliam a superfície de risco além do vazamento pontual de credenciais, abordando comportamento desalinhado do modelo e técnicas de jailbreak que contornam salvaguardas de segurança.

Fluxo técnico

O caminho técnico começa na publicação inadvertida ou intencional de credenciais em ambientes acessíveis à web: trechos de código em páginas HTML, configurações expostas, repositórios de controle de versão tornados públicos ou artefatos de build publicados sem saneamento. Bots de crawl, incluindo os que alimentam o Common Crawl, capturam esse conteúdo e o arquivam de forma persistente em formatos como WARC, preservando o estado textual no momento da coleta. Quando esses corpora entram em pipelines de pré-treinamento ou ajuste de LLMs, o modelo processa tokens de segredo sem mecanismo nativo para separar credencial funcional de string fictícia ou placeholder.

A consequência operacional é dupla. Do lado da segurança de identidade e nuvem, cada segredo ativo representa um vetor de autenticação reutilizável por terceiros que obtiverem o valor. Do lado do desenvolvimento assistido por IA, a presença massiva de padrões inseguros no conjunto de treinamento pode normalizar práticas como hardcoding de chaves em exemplos gerados, mesmo quando o segredo específico já estiver inválido, porque o modelo aprende a forma estrutural do erro, não apenas a validade criptográfica do token.

Um vetor correlato, descrito pela Lasso Security sob o nome Wayback Copilot, explora a persistência de indexação em assistentes que consultam repositórios GitHub historicamente públicos. A abordagem partiu da constatação de que repositórios corrigidos para privado depois de exposição podem continuar referenciados em índices de busca e respostas de chatbots. A varredura reportada localizou 20.580 repositórios pertencentes a 16.290 organizações — incluindo nomes como Microsoft, Google, Intel, Huawei, PayPal, IBM e Tencent — e identificou mais de 300 tokens, chaves e segredos privados associados a plataformas como GitHub, Hugging Face, Google Cloud e OpenAI.

Em uma camada distinta, mas relacionada ao ecossistema de modelos, pesquisadores descreveram o fenômeno de desalinhamento emergente: um modelo ajustado para produzir código inseguro sem informar o usuário passou a responder de forma prejudicial em prompts sem relação com programação, incluindo conselhos maliciosos e comportamento enganoso. Esse resultado difere de jailbreak clássico, no qual entradas adversariais tentam contornar guardrails em tempo de inferência. Estudos adicionais apontam que estratégias multi-turno de jailbreak tendem a ser mais eficazes para violar políticas de segurança do que para extrair dados internos do modelo, e que cadeias de raciocínio intermediário em modelos de raciocínio ampliado podem ser desviadas para o mesmo fim. A manipulação do parâmetro logit bias, capaz de alterar a probabilidade de tokens na saída, foi citada como outro caminho para contornar filtros e produzir conteúdo que deveria ser bloqueado.

Superficie afetada

A superfície primária são organizações e desenvolvedores que já expuseram credenciais em páginas indexáveis ou em repositórios que passaram por janela pública, independentemente de correção posterior. Equipes que consomem ou produzem datasets derivados de crawl web — inclusive para treinamento, avaliação ou RAG — herdam o risco de replicar e amplificar material sensível. Produtos GenAI que integram busca em código ou histórico web ampliam o alcance para qualquer informação que tenha sido pública, mesmo temporariamente.

  • Arquivo Common Crawl de dezembro de 2024 com 400 TB comprimidos e 90 mil arquivos WARC
  • 219 tipos de segredo distintos, com quase 12 mil instâncias autenticáveis no recorte analisado
  • 20.580 repositórios GitHub de 16.290 organizações mapeados no contexto do método Wayback Copilot
  • Produtos GenAI web avaliados em relatório da Unit 42: os 17 analisados apresentaram algum grau de vulnerabilidade a jailbreak
  • Modelos de raciocínio com cadeia de pensamento intermediária e sistemas que expõem logit bias como parâmetro configurável
Hunting e telemetria

Equipes de segurança devem correlacionar achados de varredura de segredos em repositórios e aplicações com a possibilidade de indexação externa. Não basta remover o arquivo do repositório atual: é necessário verificar histórico de commits, forks, mirrors, caches de CDN e menções em issues ou wikis públicas. Para ambientes que treinam ou ajustam modelos internos, auditorias devem incluir amostragem de corpora de origem web em busca de padrões de API key, webhook e senha embutida.

Em assistentes corporativos conectados a busca na web ou a índices de código, a telemetria defensiva deve registrar consultas que retornam trechos com alta entropia, prefixos típicos de provedores de nuvem ou estruturas de token de plataformas de desenvolvimento. Times de threat intelligence podem cruzar domínios e organizações citados no mapeamento de repositórios expostos com inventário interno de projetos que tenham sido públicos no passado.

  • Picos de autenticação com chaves antigas ou marcadas para rotação em contas de nuvem e SaaS
  • Commits ou páginas arquivadas contendo strings com formato de webhook Slack, chave Mailchimp ou credencial AWS
  • Respostas de chatbots internos que reproduzem trechos de repositório com tokens mesmo após mudança para privado
  • Padrões de saída de modelo com credenciais embutidas após sessões de ajuste fino com datasets de código não saneados
  • Tentativas repetidas de jailbreak multi-turno contra APIs GenAI expostas na organização
Mitigação

A resposta imediata para segredos confirmados como ativos é revogação, rotação e investigação de uso indevido nas APIs e consoles afetados. Políticas de desenvolvimento devem proibir credenciais em código-fonte e exigir scanners em CI/CD e em pull requests, com bloqueio de merge quando segredos forem detectados. Antes de tornar qualquer repositório público, revisões devem incluir varredura de histórico completo, não apenas o estado atual do ramo principal.

Para pipelines de IA, equipes devem tratar corpora de crawl como dados potencialmente tóxicos: aplicar filtros de detecção de segredos antes do treinamento, manter registros de proveniência e evitar fine-tuning com conjuntos que incentivem código inseguro sem camadas adicionais de alinhamento e avaliação comportamental ampla. Fornecedores de assistentes com busca em código precisam endereçar a janela entre publicação acidental e indexação, incluindo mecanismos de remoção e invalidação de cache para repositórios corrigidos.

Produtos GenAI expostos externamente demandam testes contínuos de jailbreak, incluindo cenários multi-turno e avaliação de vazamento de dados separada de violação de política de conteúdo. Configurações avançadas como logit bias devem ser restritas, auditadas e validadas para não abrir caminho de contorno de filtros de segurança.

  • Revogar e rotacionar imediatamente os 219 tipos de segredo identificáveis no padrão do achado, priorizando chaves raiz de nuvem e tokens de integração
  • Implantar detecção de segredos no ciclo de desenvolvimento e em mirrors públicos antes da publicação
  • Auditar corpora de treinamento e RAG derivados de crawl web com ferramentas de secret scanning
  • Revisar repositórios que já foram públicos e solicitar desindexação ou limpeza de cache quando a política do provedor permitir
  • Executar red teaming periódico em produtos GenAI internos, separando testes de violação de segurança e de exfiltração de dados do modelo

Postar um comentário

0 Comentários