Uso corporativo de IA generativa já aparece em 51% das redes analisadas mensalmente, enquanto criminosos usam LLMs, deepfakes e automação para escalar fraude, pós-exfiltração e manipulação de modelos.
| Componente | Serviços de IA generativa, LLMs, modelos hospedados em plataformas abertas, ferramentas de suporte a escrita e fluxos corporativos que enviam prompts a serviços externos. |
| Vetor | Interação direta com chatbots, uso indireto por assistentes de tradução e escrita, engenharia social com mídia sintética, envenenamento de dados de treinamento ou recuperação e uso criminoso de LLMs para análise de logs e dados roubados. |
| Impacto | Aumento da escala de personificação, maior risco de exposição de comunicações internas e propriedade intelectual, automação de análise pós-exfiltração e manipulação de respostas de modelos por conteúdo adversarial. |
| Prioridade | Inventariar serviços de IA usados na rede, controlar envio de dados sensíveis em prompts, revisar modelos e fontes de recuperação, monitorar abuso de identidade sintética e validar deteções geradas por LLMs antes de produção. |
| Artefatos | Foram citados mais de 100 modelos comprometidos enviados ao Hugging Face, 3,6 milhões de artigos de propaganda atribuídos à rede Pravda em 2024 e respostas de chatbots ecoando narrativas dessa rede em 33% dos testes descritos. |
| Telemetria | Serviços de IA foram observados em pelo menos 51% das redes empresariais mensalmente; 1,25% dos prompts enviados de dispositivos corporativos foram classificados como alto risco de exposição sensível e 7,5% continham informação potencialmente sensível. |
A adoção de IA generativa deixou de ser um tema restrito a laboratórios e passou a compor tanto a superfície de ataque quanto a operação defensiva das organizações. O quadro técnico descrito envolve três frentes principais: abuso de modelos por criminosos para acelerar engenharia social, malware e análise de dados roubados; manipulação de ecossistemas de IA por envenenamento de modelos ou de conteúdo recuperado durante inferência; e exposição corporativa causada pelo envio de informações internas a serviços de IA usados direta ou indiretamente por funcionários. A combinação desses fatores cria uma superfície híbrida, na qual o risco não está apenas no modelo em si, mas no dado que entra no prompt, na fonte que alimenta a resposta, na ferramenta integrada ao navegador ou ao endpoint e no processo que confia em uma saída automatizada sem validação humana.
O uso empresarial observado é amplo: serviços de IA aparecem em pelo menos 51% das redes analisadas mensalmente. O dado mais sensível é a composição dos prompts, pois 1 em 80 solicitações enviadas de dispositivos corporativos, equivalente a 1,25%, foi classificada como alto risco de exposição de informação sensível, enquanto 7,5% continham conteúdo potencialmente sensível. Entre os serviços citados, ChatGPT aparece em 37% das redes, Microsoft Copilot em 27%, Grammarly em 25%, DeepL em 18%, QuillBot em 11%, Vidyard em 21% e Gamma em 8%. Para segurança defensiva, esses números indicam que a governança de IA precisa ser tratada como controle de saída de dados, gestão de SaaS, proteção de identidade e revisão de cadeia de suprimentos de informação, não apenas como política de uso aceitável.
No lado ofensivo, LLMs e mídia generativa ampliam a capacidade de ataques de personificação. A interação por texto e áudio pode ocorrer em tempo real, sem roteiro fixo, enquanto vídeo sintético avança em disponibilidade e qualidade. Isso reduz o custo de campanhas que antes exigiam preparação manual, gravação, edição ou operadores especializados. O impacto direto é a erosão de mecanismos tradicionais de verificação baseados em voz, face ou padrões comportamentais, especialmente quando uma organização usa esses sinais como prova suficiente em fluxos de suporte, aprovação financeira, recuperação de conta ou validação de identidade. O vetor não depende necessariamente de exploração técnica de software; ele explora confiança operacional, contexto personalizado e a aparência de comunicação legítima.
Outra camada envolve envenenamento de LLMs. O risco pode ocorrer no treinamento, quando dados ou modelos manipulados induzem saídas maliciosas, ou na recuperação durante inferência, quando conteúdo adversarial publicado na internet passa a ser consumido por sistemas que consultam fontes externas. O material cita mais de 100 modelos comprometidos enviados ao Hugging Face, em uma dinâmica semelhante a ataque de cadeia de suprimentos de software, com potencial de distribuir código nocivo ou desinformação. Também há o caso da rede Pravda, associada à Rússia, com 3,6 milhões de artigos de propaganda em 2024; testes descritos indicaram que chatbots líderes repetiram narrativas dessa rede em 33% das respostas. Esse padrão mostra que o dado recuperado pelo modelo deve ser avaliado como dependência externa e sujeito a controle de procedência, reputação e validação.
A superfície afetada inclui endpoints corporativos, navegadores, extensões, serviços SaaS de produtividade, assistentes de tradução, ferramentas de suporte ao cliente, bots internos e pipelines de segurança que usam LLMs para análise. O risco não se limita a usuários que abrem explicitamente um chatbot: ferramentas de escrita, apresentação, vídeo e tradução podem processar trechos de documentos, mensagens, contratos, registros financeiros, dados de clientes e propriedade intelectual. Em ambientes onde não há inspeção de tráfego, classificação de dados ou bloqueio seletivo por aplicação, a organização pode ter envio recorrente de conteúdo sensível para provedores externos sem visibilidade suficiente para responder a incidentes.
No ecossistema criminoso, a superfície inclui fóruns, lojas de credenciais, logs de infostealers e ferramentas maliciosas que usam IA para filtrar, resumir e priorizar dados já roubados. Foi citado um exemplo em que um ator usou ChatGPT para refinar código voltado à extração de credenciais de logs de eventos do Windows. Também foram citados LummaC2, com detecção de bots baseada em IA para filtrar ambientes de análise, fornecedores como Gabbers Shop, que alegam limpar e organizar grandes bases de credenciais com IA, e DarkGPT, usado para consultar logs de infostealers em linguagem natural. Nesse fluxo, a IA não precisa criar malware inédito para elevar o risco; basta acelerar a seleção de credenciais, domínios, chaves de API e tokens de sessão úteis para fraude, tomada de conta ou intrusão empresarial.
- Serviços de IA generativa acessados diretamente por usuários corporativos, incluindo
ChatGPTeMicrosoft Copilot. - Ferramentas indiretas com IA, como
Grammarly,DeepL,QuillBot,VidyardeGamma, capazes de processar conteúdo empresarial. - Modelos e repositórios abertos, incluindo Hugging Face, quando consumidores importam artefatos sem validação de procedência.
- Fluxos de threat intelligence, malware analysis, SAST, DAST, fuzzing e engenharia reversa que dependem de respostas de LLMs para acelerar análise.
A telemetria defensiva deve separar três classes de evento: uso corporativo legítimo de IA com risco de exposição, abuso externo com engenharia social sintética e manipulação de modelos ou fontes. Para uso corporativo, os sinais mais úteis estão em proxy, CASB, EDR, DNS, logs de navegação e classificação de dados. O objetivo é identificar serviços de IA acessados, volume de prompts, usuários com maior frequência, tipos de documento enviados e presença de conteúdo como credenciais, chaves de API, tokens de sessão, dados financeiros, identificadores de clientes e trechos de código proprietário. A investigação deve considerar ferramentas que chamam IA em segundo plano, pois a ausência de acesso explícito a um chatbot não elimina o envio indireto de conteúdo.
Para engenharia social e threat intelligence, a busca deve cobrir domínios que imitam instituições confiáveis, nomes de arquivo com extensão dupla e sinais linguísticos de fraude. Exemplos citados incluem domínios como mofa-gov-np.fia-gov[.]net e militarytc[.]com, além de nomes como tax_return_2025.pdf.exe. Esses artefatos devem alimentar regras de detecção, mas não substituem análise contextual. Em pipelines que usam LLMs para extrair TTPs, IoCs ou regras, as saídas precisam ser rastreáveis até o documento original e revisadas antes de virar bloqueio, alerta ou enriquecimento automático. A mesma lógica vale para decompilação e análise de malware por LLM: a ferramenta pode acelerar a leitura, mas falso positivo, alucinação e inferência sem base ainda precisam ser controlados.
- Acessos a domínios e aplicações de IA a partir de dispositivos corporativos, com volume, usuário, departamento e tipo de dado enviado.
- Prompts contendo credenciais, chaves de API, tokens, dados financeiros, informação de cliente, estratégia interna ou propriedade intelectual.
- Domínios visualmente semelhantes a instituições confiáveis e arquivos com nomes enganosos, extensão dupla ou tema fiscal e administrativo.
- Consultas internas ou externas que usem LLMs para resumir logs de infostealer, credenciais, domínios, tokens de sessão ou chaves de API.
- Modelos baixados de repositórios abertos sem validação, especialmente quando o artefato executa código ou integra pipelines de segurança.
A primeira medida é inventariar o uso real de IA, incluindo aplicações acessadas por navegador, integrações corporativas, extensões e ferramentas de produtividade. A partir desse inventário, a organização deve classificar quais serviços podem receber dados internos, quais exigem contrato e controles adicionais, e quais devem ser bloqueados ou isolados. Controles de DLP e inspeção de conteúdo precisam mirar prompts e uploads, não apenas anexos tradicionais. Para serviços permitidos, a política deve definir quais categorias de informação são proibidas, como credenciais, tokens, chaves de API, dados financeiros, informações de cliente, planos estratégicos e código proprietário sensível.
Em operações de segurança, a mitigação exige validação de cadeia de confiança. Modelos, datasets e fontes de recuperação devem ter procedência registrada, revisão de integridade e testes antes de uso em produção. Saídas de LLMs usadas para hunting, criação de regras, extração de IoCs, fuzzing, análise de firmware ou engenharia reversa devem preservar evidência original e passar por revisão técnica. Para engenharia social com deepfake, fluxos de aprovação precisam usar canais alternativos e fatores resistentes a mídia sintética, em vez de depender apenas de voz, vídeo ou reconhecimento facial. Quando houver suspeita de exposição por prompt, a resposta deve incluir identificação do serviço, usuário, dado enviado, possibilidade de retenção pelo provedor e rotação de segredos quando chaves, tokens ou credenciais estiverem envolvidos.
- Criar inventário de serviços de IA observados em proxy, DNS, CASB, EDR e logs de autenticação.
- Aplicar DLP para prompts, uploads e integrações de ferramentas de escrita, tradução, vídeo, apresentação e atendimento.
- Bloquear ou restringir envio de credenciais, tokens, chaves de API, dados financeiros, informação de cliente e propriedade intelectual.
- Validar modelos e artefatos obtidos em repositórios abertos antes de integrá-los a ambientes de segurança ou desenvolvimento.
- Exigir revisão humana para deteções, IoCs, regras e conclusões produzidas por LLMs antes de automação operacional.
- Reforçar processos de aprovação sensíveis com verificação fora de banda para reduzir risco de personificação por áudio ou vídeo sintético.
0 Comentários