Inteligência Artificial nas organizações: Lições da AWS sobre segurança e supervisão humana

Escrito por Maria Andrade, advogada especializada em proteção de dados para empresas de tecnologia e fintechs na NDM Advogados.

Há mais de 10 anos oferecemos assessoria jurídica e contábil completa para empresas tech crescerem com segurança e poderem focar no que importa.

Atualizado em 25/02/2026

No cenário corporativo de alta performance, vivemos um paradoxo brutal: a Inteligência Artificial (IA) é o motor da velocidade competitiva, mas, se operada sem governança, torna-se o caminho mais curto para a exposição catastrófica de dados e a interrupção de serviços críticos.

1. O Caso AWS: Quando a autonomia supera a governança de IA

Recentemente, o ecossistema digital global acendeu um alerta vermelho após um incidente grave na AWS (Amazon Web Services). Um agente de IA interno, conhecido como Kiro, causou uma interrupção de mais de 13 horas em serviços de nuvem e APIs de conexão.

O que ocorreu foi que o agente Kiro, projetado para otimizar custos e resolver erros de sistema, decidiu apagar e recriar instâncias de produção para “corrigir” uma inconsistência. Como a IA possuía permissões de acesso elevadas (privilégios administrativos) e não havia um filtro de validação humana (human-in-the-loop), ela executou a exclusão em massa, derrubando o acesso de milhares de clientes.

Para líderes e investidores precisa ficar a lição: as ferramentas de IA não podem ser autônomas e intocáveis, mas um ativo que exige controle rigoroso. Ignorar a governança gera um risco técnico e de negligência estratégica que compromete a sobrevivência do negócio.

Nesse artigo, vamos falar sobre quais as medidas operacionais e de segurança interna precisam ser adotadas pelas empresas para o uso correto de ferramentas de IA e o que pode ser aprendido com as indisponibilidades enfrentadas pela AWS.

2. Lições aprendidas com o Incidente da Kiro AI

Antes de avançarmos para as práticas, vale pontuar o que o mercado aprendeu com a falha da Amazon:

• IA Agêntica exige contenção: Dar “capacidade de ação” a uma IA sem limites de permissão é um erro de arquitetura.
• O mito da auto-correção: IAs podem interpretar “soluções lógicas” (como resetar um sistema) de forma radical, ignorando o impacto comercial.
• Responsabilidade não se delega: Mesmo que a IA cometa o erro, a responsabilidade jurídica e reputacional permanece com a empresa controladora.

3. O Fator Humano: Por que a IA não pode operar no piloto automático

A ideia de que a IA pode operar sem supervisão é um mito perigoso. O fator humano é o que garante que as decisões automatizadas sejam éticas e voltadas aos objetivos de longo prazo da empresa. 

A conformidade exige a chamada “explicabilidade do modelo”, ou seja, sua organização precisa ser capaz de demonstrar o “porquê” de cada decisão, mitigando riscos de vieses e garantindo a equidade nos resultados.

Outra medida importante é o monitoramento de performance e a revalidação constante das bases de treino como pilares de sustentação da integridade operacional. A transparência técnica permite que a empresa entenda quais parâmetros influenciam a tomada de decisão, permitindo a contestação de resultados automatizados quando necessário.

Ainda, a responsabilidade por decisões automatizadas é compartilhada: o desenvolvedor responde pela integridade técnica do produto, enquanto o cliente responde pelo eventual uso indevido da solução no contexto do seu negócio.

4. Privacy by Design: segurança como requisito de arquitetura.

A privacidade não é um ajuste final. Para uma IA sustentável, o Privacy by Design deve ser o alicerce. Integrar o jurídico especializado no design evita retrabalhos e garante suporte a auditorias.

Para preservar a privacidade de forma prática, sua arquitetura deve integrar quatro pilares:

• Minimização:  Coleta e armazenamento estritamente limitados ao necessário para a finalidade pretendida (Princípio da Necessidade).
• Criptografia:  Codificação robusta para garantir que apenas partes autorizadas acessem informações sensíveis.
• Educação:  Treinamento contínuo para que times de tecnologia e usuários compreendam os fluxos de dados e riscos de segurança.
• Anonimização:  Técnicas que removem informações identificáveis para que os dados sejam processados sem comprometer a identidade do titular, quando necessário.

5. Gestão de riscos e a resiliência cibernética

A segurança da informação em tempos de IA exige que líderes olhem além dos firewalls tradicionais. Estamos lidando com ameaças sofisticadas como  Model Inversion  (reconstrução de dados privados a partir de respostas do modelo),  Ataques de Extração  (cópia do comportamento do modelo via API) e o já conhecido  Data Poisoning .

O cenário de risco no Brasil é alarmante, 395 casos de incidentes de segurança foram comunicados à ANPD apenas em 2025 . Um exemplo real do impacto dessas brechas foi o vazamento de  mais de 11 milhões de chaves Pix , onde dados cadastrais expostos tornaram-se combustível para golpes de engenharia social em larga escala.

Para mitigar esses riscos sua organização deve possuir documentos vivos e testados:

• Política de Segurança da Informação (PSI):  Diretrizes claras de uso e proteção dos sistemas e ferramentas da empresa e as medidas de segurança implementadas e exigidas aos funcionários e parceiros.
• Plano de Resposta a Incidentes (PRI):  O guia de sobrevivência para minimizar danos em momentos de crise.

6. Governança de dados e novas tecnologias

Uma governança eficiente exige um  ROPA (Registro de Operações de Tratamento de Dados Pessoais)  que seja um documento honesto e fiel à realidade. É fundamental mapear o que a IA coleta, processa e transforma, sem omitir processos ou incluir medidas de segurança que não são aplicadas na prática.

Para escalar o treinamento de modelos sem herdar passivos jurídicos, o uso de  Dados Sintéticos  e de  Modelos Federados  (Model Federated) surge como solução estratégica. Essas abordagens permitem que a IA aprenda e evolua sem a necessidade de expor dados pessoais reais de usuários, garantindo agilidade para startups com times enxutos. Também, definir papéis claros entre desenvolvedores, operadores e o DPO (Encarregado de Dados) garante que a responsabilidade não se dilua na execução acelerada. 

7. Conclusão: O futuro da IA é ético e transparente

A conformidade com a LGPD e o uso seguro da Inteligência Artificial deixaram de ser burocracias regulatórias para se tornarem diferenciais competitivos. Para o investidor moderno, a governança de dados é um indicador de maturidade tecnológica e saúde financeira para uma inovação sustentável.

Sua organização está realmente no controle da tecnologia ou apenas reagindo aos resultados, e riscos, que ela entrega?

8. FAQ (Perguntas Frequentes)

O que causou a queda da AWS pelo agente Kiro AI? O incidente ocorreu devido à autonomia excessiva da ferramenta Kiro AI, que executou comandos de exclusão e recriação de ambientes de produção sem supervisão humana, resultando em 13 horas de indisponibilidade.

Quais as principais boas práticas para o uso de IA nas empresas? As boas práticas para o uso de IA incluem a implementação do Human-in-the-loop (supervisão humana), a aplicação do princípio do privilégio mínimo para permissões de agentes e a adoção do Privacy by Design para garantir a conformidade com a LGPD.

Como evitar erros de autonomia em agentes de IA? Para evitar falhas como as do Caso AWS, é fundamental estabelecer limites de segurança, monitoramento em tempo real e um Plano de Resposta a Incidentes (PRI) que contemple decisões automatizadas errôneas.

Por que a governança de dados é vital no uso de IA? A governança garante que a IA utilize dados de qualidade, respeite a privacidade dos usuários e que as decisões do modelo sejam explicáveis, mitigando riscos jurídicos e operacionais para a organização.