Investigadores dos Estados Unidos realizaram, pela primeira vez, uma análise sistemática do uso de grandes modelos de linguagem (LLMs) por cibercriminosos, demonstrando o quão perigosa a tecnologia generativa pode ser nesse contexto.

Embora serviços clandestinos, como o WormGPT, sejam capazes de gerar códigos maliciosos úteis, a maioria das tentativas de phishing criadas por essas ferramentas ainda pode ser identificada por usuários humanos. Os detalhes técnicos dessa pesquisa foram divulgados em um artigo pré-publicado.

A equipe de pesquisadores investigou a ameaça crescente dos chamados “Aplicativos Maliciosos baseados em LLM” (Malla), que utilizam modelos de linguagem para atividades maliciosas, como criação de códigos maliciosos, design de e-mails de phishing e programação de sites fraudulentos. A facilidade de uso dessa tecnologia permite que indivíduos com pouco conhecimento técnico executem ataques cibernéticos complexos, elevando, segundo os autores, o “cenário de ameaças a um nível sem precedentes”. O estudo visa tanto informar sobre o ecossistema econômico desses serviços quanto auxiliar no desenvolvimento de contramedidas.

Uso de APIs de Modelos de Linguagem

Para oferecer serviços criminosos, os operadores de Malla não criam seus próprios modelos de linguagem. Em vez disso, eles se valem de APIs de modelos de linguagem já existentes, burlando seus mecanismos de segurança por meio de prompts específicos. Além dos modelos da OpenAI e Anthropic, há uma utilização crescente de modelos “sem censura” ou de código aberto, como aqueles disponíveis no Hugging Face.

O estudo identificou oito principais modelos de linguagem usados por Malla e 182 prompts que contornam as proteções das APIs públicas. O GPT-3.5-turbo foi o modelo mais frequentemente visado por esses ataques, seguido pelos modelos Davinci-003 e Davinci-002, da OpenAI, que foram descontinuados em janeiro de 2024. Também foram explorados modelos como Claude-instant, Claude-2–100k, e variantes do modelo Llama-2, da Meta, no setor de código aberto.

Essa pesquisa destaca o uso emergente de tecnologias de IA para fins criminosos, sublinhando a necessidade de novas estratégias de segurança para mitigar os riscos apresentados por esses modelos de linguagem avançados.

Fonte:
https://t3n.de/news/cybercrime-ki-sprachmodelle-angreifern-oft-genutzt-1651911/