Pesquisadores de segurança da Varonis Threat Labs relataram que conseguiram enganar o Copilot, uma ferramenta de inteligência artificial, fazendo com que ela revelasse informações sobre como se auto-hackear. O problema, identificado como "CoSnitch", foi provocado pela insistência dos pesquisadores em questionar as respostas do Copilot, que, em sua ânsia de ajudar, acabou cometendo um erro crítico.
Os especialistas começaram perguntando ao Copilot como executar um prompt automático sem interação do usuário. A IA respondeu que a intenção do usuário era necessária e que os prompts não poderiam ser acionados sozinhos. No entanto, os pesquisadores continuaram a fazer perguntas, desafiando as respostas do Copilot, que ofereceu justificativas técnicas diferentes a cada recusa, permitindo que a equipe mapeasse lentamente sua arquitetura interna.
O post no blog da Varonis explica que essa abordagem é chamada de "meta-hacking", onde a resistência da IA se torna uma oportunidade para explorar suas limitações. Eventualmente, o Copilot revelou um parâmetro de URL não documentado chamado "autorun=1", que supostamente não funcionava mais, além de todas as proteções que foram implementadas para desativá-lo.
Os pesquisadores testaram o parâmetro e, conforme descrito, ele funcionou. Eles conseguiram criar uma URL maliciosa que fazia o Copilot carregar em uma sessão autenticada via navegador, acionando a execução automática do prompt e processando o resultado sem a ação explícita do usuário. Essa técnica poderia ser utilizada para uma variedade de ações maliciosas, especialmente para exfiltrar dados de aplicativos conectados, como Gmail e OneDrive.
A Varonis informou que a vulnerabilidade foi divulgada à Microsoft em dezembro do ano passado e que foi corrigida em 18 de agosto. Embora o problema tenha sido resolvido, os pesquisadores alertam que essa técnica de meta-hacking pode ser aplicada a qualquer plataforma de IA com interface de linguagem natural, e mais investigações sobre o assunto estão a caminho.
