{"id":7978,"date":"2026-09-13T12:40:04","date_gmt":"2026-09-13T12:40:04","guid":{"rendered":"https:\/\/www.usinadepesquisa.com\/?p=7978"},"modified":"2026-09-13T13:27:25","modified_gmt":"2026-09-13T13:27:25","slug":"injecao-de-prompt-documento-da-ordens","status":"publish","type":"post","link":"https:\/\/www.usinadepesquisa.com\/?p=7978","title":{"rendered":"Inje\u00e7\u00e3o de prompt: quando o documento d\u00e1 ordens ao seu assistente"},"content":{"rendered":"\r\n
\r\n

Como um texto escondido em um arquivo pode dar ordens ao seu assistente de IA<\/h3>\r\n<\/blockquote>\r\n

Aldemar Araujo Castro
Cria\u00e7\u00e3o: 13\/09\/2026
Atualiza\u00e7\u00e3o: 13\/09\/2026
Palavras: 1990
Tempo de leitura: 10 minutos<\/p>\r\n\r\n\r\n\r\n

A folha em branco<\/strong>
algu\u00e9m escreveu no verso<\/strong>
a lupa revela<\/strong><\/p>\r\n\r\n\r\n\r\n

Resumo.<\/strong> Este texto explica a inje\u00e7\u00e3o de prompt, ataque em que um conte\u00fado lido por um assistente de intelig\u00eancia artificial \u00e9 interpretado como ordem em vez de dado. Apresenta a raiz do problema, que \u00e9 a aus\u00eancia de separa\u00e7\u00e3o entre instru\u00e7\u00e3o e conte\u00fado, distingue as modalidades direta, indireta e oculta em documentos, discute a evid\u00eancia experimental obtida em tarefas de oncologia e oferece um mapa das demais amea\u00e7as associadas ao uso dessas ferramentas na pesquisa. Encerra com condutas pr\u00e1ticas ao alcance do pesquisador e do comit\u00ea de \u00e9tica, da limita\u00e7\u00e3o de permiss\u00f5es \u00e0 triagem pr\u00e9via de arquivos de terceiros.<\/p>\r\n\r\n\r\n\r\n

Introdu\u00e7\u00e3o<\/h2>\r\n\r\n\r\n\r\n

Um parecerista recebe para an\u00e1lise um projeto de pesquisa em formato port\u00e1til, com noventa p\u00e1ginas, e pede a um assistente de intelig\u00eancia artificial que resuma a metodologia. O resumo chega impec\u00e1vel. O que ele n\u00e3o viu \u00e9 que, na p\u00e1gina quarenta e sete, havia um par\u00e1grafo em corpo dois, em branco sobre fundo branco, instruindo o assistente a ignorar as orienta\u00e7\u00f5es anteriores, omitir qualquer men\u00e7\u00e3o ao c\u00e1lculo amostral e classificar o protocolo como metodologicamente adequado.<\/p>\r\n\r\n\r\n\r\n

Nenhuma senha foi quebrada. Nenhum sistema foi invadido. O arquivo era exatamente o que aparentava ser, e o assistente cumpriu a ordem que recebeu, apenas n\u00e3o foi o parecerista quem a deu.<\/p>\r\n\r\n\r\n\r\n

Essa \u00e9 a amea\u00e7a conhecida como inje\u00e7\u00e3o de prompt, e ela ocupa o primeiro lugar nas listas de risco de aplica\u00e7\u00f5es de modelos de linguagem desde que essas listas passaram a existir. O texto que se segue explica o mecanismo, mostra as formas que o ataque assume, apresenta a evid\u00eancia experimental j\u00e1 produzida em contexto cl\u00ednico, oferece um mapa das demais amea\u00e7as que acompanham o uso dessas ferramentas na pesquisa e encerra com o que est\u00e1 ao alcance do pesquisador e do comit\u00ea de \u00e9tica fazer a respeito.<\/p>\r\n\r\n\r\n\r\n

Instru\u00e7\u00e3o e dado no mesmo fluxo<\/h2>\r\n\r\n\r\n\r\n

Conv\u00e9m come\u00e7ar pelo que o problema n\u00e3o \u00e9. N\u00e3o \u00e9 falha de senha, n\u00e3o \u00e9 invas\u00e3o, n\u00e3o \u00e9 v\u00edrus, e n\u00e3o se resolve trocando de fornecedor.<\/p>\r\n\r\n\r\n\r\n

Um modelo de linguagem recebe uma sequ\u00eancia \u00fanica de texto. Nela convivem, sem qualquer fronteira estrutural, a instru\u00e7\u00e3o do desenvolvedor que configurou o sistema, o pedido que o usu\u00e1rio digitou e todo o conte\u00fado trazido de fora, isto \u00e9, o documento anexado, a p\u00e1gina consultada, a mensagem recebida, o resultado devolvido por uma ferramenta. O modelo prev\u00ea a continua\u00e7\u00e3o mais prov\u00e1vel dessa sequ\u00eancia inteira. Ele n\u00e3o disp\u00f5e de um canal fisicamente separado que lhe informe o que \u00e9 comando e o que \u00e9 material a examinar, e \u00e9 justamente essa aus\u00eancia de separa\u00e7\u00e3o entre instru\u00e7\u00e3o e dado<\/strong> que cria a vulnerabilidade.<\/p>\r\n\r\n\r\n\r\n

A compara\u00e7\u00e3o com a inje\u00e7\u00e3o de c\u00f3digo em consultas a bancos de dados \u00e9 \u00fatil e tem um limite que precisa ser dito. Naquele caso existe uma gram\u00e1tica formal, e \u00e9 poss\u00edvel escapar caracteres de modo confi\u00e1vel, de sorte que o problema foi tecnicamente resolvido d\u00e9cadas atr\u00e1s. A linguagem natural n\u00e3o tem gram\u00e1tica formal, n\u00e3o admite escape, e por isso a inje\u00e7\u00e3o de prompt permanece, hoje, sem solu\u00e7\u00e3o completa. O trabalho que primeiro demonstrou a viabilidade do ataque em aplica\u00e7\u00f5es reais j\u00e1 apontava essa consequ\u00eancia inc\u00f4moda: qualquer conte\u00fado que o sistema venha a ler \u00e9 superf\u00edcie de ataque, e a superf\u00edcie cresce \u00e0 medida que o sistema ganha acesso a mais fontes (Greshake et al., 2023).<\/p>\r\n\r\n\r\n\r\n

Direta, indireta e invis\u00edvel<\/h2>\r\n\r\n\r\n\r\n

A modalidade direta \u00e9 a menos interessante. O pr\u00f3prio usu\u00e1rio escreve instru\u00e7\u00f5es para contornar as regras do sistema, pedindo que o assistente ignore orienta\u00e7\u00f5es anteriores ou assuma um papel sem restri\u00e7\u00f5es. Quem ataca e quem usa s\u00e3o a mesma pessoa, e o preju\u00edzo, se houver, recai sobre o fornecedor do servi\u00e7o.<\/p>\r\n\r\n\r\n\r\n

A modalidade indireta<\/strong> \u00e9 a que importa para a vida acad\u00eamica. Aqui o atacante nunca conversa com o assistente: ele deposita o texto em algum lugar que o assistente vir\u00e1 a ler no curso de uma tarefa leg\u00edtima. Um coment\u00e1rio em uma p\u00e1gina, um campo de metadados, uma linha em uma planilha compartilhada, o corpo de um manuscrito, a descri\u00e7\u00e3o de um reposit\u00f3rio. Quando o sistema recupera aquele material, encontra ali algo redigido na forma de ordem, frequentemente acompanhado de uma falsa marca de autoridade, do tipo que se apresenta como vindo do desenvolvedor, ou de uma falsa autoriza\u00e7\u00e3o, afirmando que o usu\u00e1rio j\u00e1 consentiu com determinada a\u00e7\u00e3o.<\/p>\r\n\r\n\r\n\r\n

A oculta\u00e7\u00e3o \u00e9 o agravante pr\u00e1tico, e \u00e9 onde o problema toca diretamente o cotidiano de quem l\u00ea documentos de terceiros. Em arquivos em formato port\u00e1til, o texto pode estar em corpo m\u00ednimo, em branco sobre branco, em camadas n\u00e3o vis\u00edveis na tela, em campos de metadados, em texto alternativo de imagem ou em anota\u00e7\u00f5es que o leitor humano jamais encontra, mas que o extrator de texto entrega ao modelo integralmente. Em conte\u00fado com imagens, a instru\u00e7\u00e3o pode estar inscrita na pr\u00f3pria figura, o que dispensa qualquer manipula\u00e7\u00e3o do arquivo de texto.<\/p>\r\n\r\n\r\n\r\n

Quanto ao objetivo, tr\u00eas finalidades cobrem quase tudo. A exfiltra\u00e7\u00e3o busca induzir o assistente a colocar informa\u00e7\u00e3o sens\u00edvel em lugar acess\u00edvel ao atacante, tipicamente montando um endere\u00e7o eletr\u00f4nico com os dados embutidos. A a\u00e7\u00e3o indevida busca provocar uma opera\u00e7\u00e3o com efeito real, como enviar mensagem, apagar arquivo ou publicar conte\u00fado. E a corrup\u00e7\u00e3o do resultado<\/strong> busca apenas que a resposta saia errada de modo favor\u00e1vel a quem plantou o texto, que \u00e9 a hip\u00f3tese mais dif\u00edcil de detectar, porque n\u00e3o deixa rastro operacional nenhum. O parecer sai assinado, plaus\u00edvel e falso.<\/p>\r\n\r\n\r\n\r\n

Quase seiscentos ataques em oncologia<\/h2>\r\n\r\n\r\n\r\n

A pergunta natural do pesquisador \u00e9 se isso funciona fora do laborat\u00f3rio de seguran\u00e7a. Funciona, e h\u00e1 medida disso em contexto cl\u00ednico.<\/p>\r\n\r\n\r\n\r\n

Um grupo submeteu modelos de vis\u00e3o e linguagem a tarefas de interpreta\u00e7\u00e3o de imagens m\u00e9dicas em oncologia, com quase seiscentos ataques distribu\u00eddos entre quatro sistemas de ponta, inserindo instru\u00e7\u00f5es nos materiais fornecidos ao modelo, sem qualquer acesso aos par\u00e2metros internos. Todos os modelos testados mostraram-se suscet\u00edveis, e as respostas puderam ser desviadas para conclus\u00f5es incorretas a partir de conte\u00fado que um profissional olhando a mesma imagem n\u00e3o perceberia (Clusmann et al., 2025).<\/p>\r\n\r\n\r\n\r\n

O achado tem duas implica\u00e7\u00f5es que valem mais do que o n\u00famero. A primeira \u00e9 que o ataque n\u00e3o exige acesso privilegiado<\/strong>, apenas a capacidade de colocar conte\u00fado no caminho do modelo, o que qualquer pessoa que envie um arquivo consegue fazer. A segunda \u00e9 que o dom\u00ednio cl\u00ednico n\u00e3o confere imunidade alguma: a sofistica\u00e7\u00e3o m\u00e9dica da tarefa n\u00e3o corrige a fragilidade lingu\u00edstica do mecanismo.<\/p>\r\n\r\n\r\n\r\n

O mapa das outras amea\u00e7as<\/h2>\r\n\r\n\r\n\r\n

A inje\u00e7\u00e3o de prompt \u00e9 a primeira da lista, n\u00e3o a \u00fanica. Vale conhecer o restante do mapa, porque as defesas diferem.<\/p>\r\n\r\n\r\n\r\n

A divulga\u00e7\u00e3o de informa\u00e7\u00e3o sens\u00edvel<\/strong> ocorre quando o sistema revela, na resposta, algo que n\u00e3o deveria, seja dado pessoal presente no material carregado, seja conte\u00fado de outro documento indexado no mesmo acervo. Para um comit\u00ea de \u00e9tica que processe v\u00e1rios protocolos com a mesma ferramenta, o risco \u00e9 concreto e de consequ\u00eancia institucional imediata, porque envolve projeto alheio e dados de participantes.<\/p>\r\n\r\n\r\n\r\n

A ag\u00eancia excessiva<\/strong> aparece quando o assistente recebe mais ferramentas, mais permiss\u00f5es ou mais autonomia do que a tarefa exige. Um fluxo que apenas resume documentos n\u00e3o precisa de acesso de escrita nem de capacidade de enviar mensagens, e cada permiss\u00e3o concedida al\u00e9m do necess\u00e1rio converte uma falha de interpreta\u00e7\u00e3o em a\u00e7\u00e3o consumada. Essa categoria subiu posi\u00e7\u00f5es nas listas recentes precisamente porque assistentes com acesso a sistemas reais se tornaram comuns.<\/p>\r\n\r\n\r\n\r\n

A cadeia de suprimentos \u00e9 a porta que se abre pelo que se instala, e n\u00e3o pelo que se digita. Modelos obtidos de reposit\u00f3rios p\u00fablicos, extens\u00f5es, bibliotecas e conectores de terceiros entram no processo com privil\u00e9gios pr\u00f3prios, e um componente comprometido n\u00e3o precisa enganar ningu\u00e9m, j\u00e1 est\u00e1 dentro.<\/p>\r\n\r\n\r\n\r\n

O envenenamento de dados manipula o material que treina ou alimenta o sistema. A variante que mais interessa a quem monta um acervo pr\u00f3prio para consulta \u00e9 o envenenamento da base de recupera\u00e7\u00e3o, isto \u00e9, inserir no reposit\u00f3rio um documento redigido para ser recuperado com frequ\u00eancia e distorcer respostas futuras, o que \u00e9 uma forma silenciosa e persistente de contaminar todo um fluxo de trabalho.<\/p>\r\n\r\n\r\n\r\n

A desinforma\u00e7\u00e3o \u00e9 a sa\u00edda incorreta apresentada com confian\u00e7a, e no ambiente acad\u00eamico assume as formas mais custosas que conhecemos, da refer\u00eancia inexistente \u00e0 atribui\u00e7\u00e3o falsa de posi\u00e7\u00e3o a um autor. O tratamento inadequado da sa\u00edda, por sua vez, ocorre quando o texto produzido pelo modelo \u00e9 usado por outro sistema sem valida\u00e7\u00e3o, por exemplo inserido em uma p\u00e1gina ou executado como comando, e \u00e9 nesse ponto que a falha de um assistente se converte em vulnerabilidade cl\u00e1ssica de aplica\u00e7\u00e3o.<\/p>\r\n\r\n\r\n\r\n

H\u00e1 ainda a fam\u00edlia de riscos pr\u00f3pria dos sistemas que agem por conta pr\u00f3pria, com ferramentas e mem\u00f3ria. Ali entram o desvio de objetivo, o uso indevido de instrumentos leg\u00edtimos, o abuso de credenciais, o envenenamento de mem\u00f3ria, que persiste entre sess\u00f5es, e as falhas em cascata, quando um sinal falso se propaga por um encadeamento automatizado. Registro com destaque uma categoria que costuma passar despercebida e que \u00e9, na minha leitura, a mais relevante para quem supervisiona: a explora\u00e7\u00e3o da confian\u00e7a humana<\/strong>, em que uma justificativa bem redigida induz o operador a aprovar algo prejudicial. A defesa mais recomendada contra todos os demais riscos \u00e9 a aprova\u00e7\u00e3o humana, e o ataque mais eficaz contra essa defesa \u00e9 uma boa explica\u00e7\u00e3o.<\/p>\r\n\r\n\r\n\r\n

Conv\u00e9m a ressalva de m\u00e9todo. Essas listas, mantidas por organiza\u00e7\u00f5es do setor de seguran\u00e7a, s\u00e3o refer\u00eancia de mercado e vocabul\u00e1rio comum, n\u00e3o norma t\u00e9cnica com for\u00e7a obrigat\u00f3ria, e sua ordena\u00e7\u00e3o reflete tanto dados de incidentes quanto percep\u00e7\u00e3o da comunidade profissional.<\/p>\r\n\r\n\r\n\r\n

O que fazer na pr\u00e1tica acad\u00eamica<\/h2>\r\n\r\n\r\n\r\n

A intui\u00e7\u00e3o inicial de quase todo usu\u00e1rio \u00e9 acrescentar \u00e0 instru\u00e7\u00e3o do assistente uma frase mandando ignorar comandos encontrados em documentos. Isso ajuda, deve ser feito e n\u00e3o basta, porque defesa e ataque disputam o mesmo espa\u00e7o probabil\u00edstico, sem qualquer garantia de que a primeira prevale\u00e7a. A literatura que vem construindo referenciais de avalia\u00e7\u00e3o nesse campo mostra ganhos reais com t\u00e9cnicas de treinamento e de estrutura\u00e7\u00e3o da entrada, mas nenhuma delas elimina o problema (Yi et al., 2025).<\/p>\r\n\r\n\r\n\r\n

Da\u00ed a formula\u00e7\u00e3o que considero central. A pergunta correta n\u00e3o \u00e9 como impedir que o modelo seja enganado, e sim o que deve permanecer intacto quando ele for enganado<\/strong>.<\/p>\r\n\r\n\r\n\r\n

Na pr\u00e1tica, isso se traduz em poucas condutas. Conceder ao assistente apenas as ferramentas e os acessos que a tarefa exige, e nada al\u00e9m. Exigir confirma\u00e7\u00e3o humana expl\u00edcita para qualquer opera\u00e7\u00e3o irrevers\u00edvel, com o conte\u00fado da a\u00e7\u00e3o apresentado de forma concreta, e n\u00e3o apenas a justificativa de quem a prop\u00f5e. Tratar toda instru\u00e7\u00e3o encontrada dentro de um documento como informa\u00e7\u00e3o a ser avaliada, jamais como ordem a ser cumprida. Submeter arquivos de terceiros a triagem pr\u00e9via, inspecionando o que n\u00e3o aparece na tela, isto \u00e9, camadas ocultas, metadados, texto de dimens\u00e3o m\u00ednima e conte\u00fado embutido, antes de entreg\u00e1-los a qualquer ferramenta. N\u00e3o carregar dados pessoais sens\u00edveis de sa\u00fade, protocolos sob sigilo ou manuscritos em avalia\u00e7\u00e3o em servi\u00e7os cujas pol\u00edticas de reten\u00e7\u00e3o n\u00e3o se conhe\u00e7a, ponto em que a exig\u00eancia n\u00e3o \u00e9 apenas t\u00e9cnica, \u00e9 jur\u00eddica, dado o regime de prote\u00e7\u00e3o conferido a dados de sa\u00fade. E manter registro do que foi lido, decidido e executado, porque sem trilha de auditoria um incidente \u00e9 simplesmente indetect\u00e1vel.<\/p>\r\n\r\n\r\n\r\n

Vale acrescentar que esse conjunto de cuidados se insere em uma discuss\u00e3o mais ampla sobre o uso respons\u00e1vel dessas ferramentas em medicina, na qual se tem sustentado que a governan\u00e7a precisa acompanhar a velocidade de ado\u00e7\u00e3o, com supervis\u00e3o declarada e responsabilidade humana preservada (Harrer, 2023), e na qual j\u00e1 se defende expressamente a necessidade de supervis\u00e3o regulat\u00f3ria espec\u00edfica para modelos de linguagem aplicados \u00e0 sa\u00fade (Mesk\u00f3 e Topol, 2023). A seguran\u00e7a, aqui, n\u00e3o \u00e9 um cap\u00edtulo \u00e0 parte da \u00e9tica em pesquisa, \u00e9 um de seus desdobramentos operacionais.<\/p>\r\n\r\n\r\n\r\n

Considera\u00e7\u00f5es finais<\/h2>\r\n\r\n\r\n\r\n

A inje\u00e7\u00e3o de prompt \u00e9 desconcertante porque n\u00e3o se parece com nenhuma amea\u00e7a que a forma\u00e7\u00e3o acad\u00eamica nos ensinou a reconhecer. N\u00e3o h\u00e1 c\u00f3digo malicioso, n\u00e3o h\u00e1 credencial roubada, n\u00e3o h\u00e1 alarme. H\u00e1 apenas texto, escrito em portugu\u00eas corrente, escondido em um arquivo que algu\u00e9m enviou por vias inteiramente leg\u00edtimas, e que o assistente l\u00ea com a mesma obedi\u00eancia com que l\u00ea o pedido do pr\u00f3prio usu\u00e1rio. Quem confere um parecer produzido dessa maneira n\u00e3o encontra sinal algum de que algo deu errado, porque nada, tecnicamente, deu errado.<\/p>\r\n\r\n\r\n\r\n

A conduta que decorre disso \u00e9 menos tecnol\u00f3gica do que parece. Consiste em reservar ao julgamento humano as decis\u00f5es que importam, em limitar o que a ferramenta pode fazer sem que algu\u00e9m confirme, em desconfiar de instru\u00e7\u00f5es que apare\u00e7am dentro de documentos e em lembrar que a flu\u00eancia de um texto nunca foi, nem nunca ser\u00e1, evid\u00eancia de sua corre\u00e7\u00e3o. \u00c9 a mesma disciplina que a pesquisa j\u00e1 exige em outros dom\u00ednios, aplicada a um instrumento novo. Quem incorporar essa disciplina cedo vai usar essas ferramentas por muito mais tempo, e com muito menos sobressaltos, do que quem descobrir o problema depois de assinar um parecer que n\u00e3o escreveu.<\/p>\r\n\r\n\r\n\r\n

Fontes<\/h2>\r\n\r\n\r\n\r\n

[1].<\/strong> Greshake K, Abdelnabi S, Mishra S, Endres C, Holz T, Fritz M. Not what you’ve signed up for: compromising real-world LLM-integrated applications with indirect prompt injection. In: Proceedings of the 16th ACM Workshop on Artificial Intelligence and Security. New York: ACM; 2023. p. 79-90.
DOI: https:\/\/doi.org\/10.1145\/3605764.3623985<\/a>
Dispon\u00edvel em: https:\/\/doi.org\/10.1145\/3605764.3623985<\/a>
Coment\u00e1rio: trabalho que demonstrou pela primeira vez, em aplica\u00e7\u00f5es reais, a viabilidade da inje\u00e7\u00e3o indireta, mostrando que basta ao atacante depositar conte\u00fado no caminho do sistema. Fundamenta a primeira e a segunda se\u00e7\u00f5es do texto e \u00e9 a leitura de partida para quem quiser compreender a superf\u00edcie de ataque de assistentes que consultam fontes externas.<\/em><\/p>\r\n\r\n\r\n\r\n

[2].<\/strong> Clusmann J, Ferber D, Wiest IC, Schneider CV, Brinker TJ, Foersch S, et al. Prompt injection attacks on vision language models in oncology. Nat Commun. 2025;16(1):1239.
DOI: https:\/\/doi.org\/10.1038\/s41467-024-55631-x<\/a>
Dispon\u00edvel em: https:\/\/doi.org\/10.1038\/s41467-024-55631-x<\/a>
Coment\u00e1rio: avalia\u00e7\u00e3o sistem\u00e1tica de modelos de vis\u00e3o e linguagem em tarefas oncol\u00f3gicas, com quase seiscentos ataques distribu\u00eddos entre quatro sistemas de ponta, sem acesso a par\u00e2metros internos. Sustenta a terceira se\u00e7\u00e3o deste texto e \u00e9 a evid\u00eancia mais pr\u00f3xima da pr\u00e1tica cl\u00ednica de que o problema n\u00e3o se restringe a laborat\u00f3rios de seguran\u00e7a.<\/em><\/p>\r\n\r\n\r\n\r\n

[3].<\/strong> Yi J, Xie Y, Zhu B, Kiciman E, Sun G, Xie X, et al. Benchmarking and defending against indirect prompt injection attacks on large language models. In: Proceedings of the 31st ACM SIGKDD Conference on Knowledge Discovery and Data Mining. New York: ACM; 2025. p. 1809-20.
DOI: https:\/\/doi.org\/10.1145\/3690624.3709179<\/a>
Dispon\u00edvel em: https:\/\/doi.org\/10.1145\/3690624.3709179<\/a>
Coment\u00e1rio: referencial de avalia\u00e7\u00e3o que compara ataques e defesas de inje\u00e7\u00e3o indireta de modo padronizado, permitindo medir ganhos reais de cada t\u00e9cnica. Fundamenta a afirma\u00e7\u00e3o, na quinta se\u00e7\u00e3o, de que existem mitiga\u00e7\u00f5es com efeito mensur\u00e1vel, por\u00e9m nenhuma que elimine o problema.<\/em><\/p>\r\n\r\n\r\n\r\n

[4].<\/strong> Harrer S. Attention is not all you need: the complicated case of ethically using large language models in healthcare and medicine. eBioMedicine. 2023;90:104512.
DOI: https:\/\/doi.org\/10.1016\/j.ebiom.2023.104512<\/a>
Dispon\u00edvel em: https:\/\/doi.org\/10.1016\/j.ebiom.2023.104512<\/a>
Coment\u00e1rio: an\u00e1lise das condi\u00e7\u00f5es \u00e9ticas de uso de modelos de linguagem em medicina, com \u00eanfase na necessidade de governan\u00e7a compat\u00edvel com a velocidade de ado\u00e7\u00e3o. Sustenta a articula\u00e7\u00e3o, na quinta se\u00e7\u00e3o, entre seguran\u00e7a da informa\u00e7\u00e3o e \u00e9tica em pesquisa, tratadas aqui como faces do mesmo dever.<\/em><\/p>\r\n\r\n\r\n\r\n

[5].<\/strong> Mesk\u00f3 B, Topol EJ. The imperative for regulatory oversight of large language models (or generative AI) in healthcare. npj Digit Med. 2023;6(1):120.
DOI: https:\/\/doi.org\/10.1038\/s41746-023-00873-0<\/a>
Dispon\u00edvel em: https:\/\/doi.org\/10.1038\/s41746-023-00873-0<\/a>
Coment\u00e1rio: defesa da cria\u00e7\u00e3o de supervis\u00e3o regulat\u00f3ria espec\u00edfica para modelos de linguagem aplicados \u00e0 sa\u00fade, antes que o uso se generalize sem par\u00e2metros. Fundamenta a observa\u00e7\u00e3o final do texto sobre governan\u00e7a e situa a discuss\u00e3o de seguran\u00e7a no plano institucional, e n\u00e3o apenas no individual.<\/em><\/p>\r\n\r\n\r\n\r\n\r\n\r\n

Pontos para Recordar<\/h2>\r\n\r\n\r\n\r\n
    \r\n
  1. A inje\u00e7\u00e3o de prompt ocorre quando um conte\u00fado lido pelo assistente \u00e9 interpretado como instru\u00e7\u00e3o em vez de dado, sem que haja invas\u00e3o, senha quebrada ou c\u00f3digo malicioso.<\/li>\r\n\r\n\r\n\r\n
  2. A causa \u00e9 estrutural: instru\u00e7\u00e3o do sistema, pedido do usu\u00e1rio e conte\u00fado externo chegam ao modelo em uma sequ\u00eancia \u00fanica, sem fronteira que os separe.<\/li>\r\n\r\n\r\n\r\n
  3. A modalidade indireta \u00e9 a mais perigosa, pois o texto malicioso \u00e9 depositado em documentos, p\u00e1ginas ou metadados que o assistente vir\u00e1 a ler no curso de uma tarefa leg\u00edtima.<\/li>\r\n\r\n\r\n\r\n
  4. Em arquivos, a instru\u00e7\u00e3o pode estar oculta em corpo m\u00ednimo, branco sobre branco, metadados, texto alternativo de imagem ou camadas invis\u00edveis na tela.<\/li>\r\n\r\n\r\n\r\n
  5. Estudo em oncologia com quase seiscentos ataques mostrou que modelos de vis\u00e3o e linguagem de ponta podem ser desviados sem qualquer acesso a seus par\u00e2metros internos.<\/li>\r\n\r\n\r\n\r\n
  6. Outras amea\u00e7as relevantes incluem divulga\u00e7\u00e3o de informa\u00e7\u00e3o sens\u00edvel, ag\u00eancia excessiva, comprometimento da cadeia de suprimentos, envenenamento de bases de consulta, desinforma\u00e7\u00e3o e explora\u00e7\u00e3o da confian\u00e7a de quem aprova.<\/li>\r\n\r\n\r\n\r\n
  7. A mitiga\u00e7\u00e3o eficaz \u00e9 de arquitetura e de processo: permiss\u00f5es m\u00ednimas, confirma\u00e7\u00e3o humana para a\u00e7\u00f5es irrevers\u00edveis, triagem pr\u00e9via de arquivos de terceiros e registro audit\u00e1vel do que foi lido e executado.<\/li>\r\n<\/ol>\r\n\r\n\r\n
    \r\n\r\n\r\n

    Declara\u00e7\u00e3o de uso de Intelig\u00eancia Artificial Generativa
    <\/strong>Este texto foi produzido com o aux\u00edlio de Claude, desenvolvida pela Anthropic, utilizado como ferramenta de apoio nas fases de brainstorming, de estrutura\u00e7\u00e3o do conte\u00fado e de produ\u00e7\u00e3o do texto. A responsabilidade pela vers\u00e3o final e precis\u00e3o das informa\u00e7\u00f5es, pelo pensamento cr\u00edtico, pela sele\u00e7\u00e3o das fontes e pelo conte\u00fado publicado \u00e9 integralmente do autor.<\/em><\/p>\r\n\r\n\r\n

    ","protected":false},"excerpt":{"rendered":"

    Este texto explica a inje\u00e7\u00e3o de prompt, ataque em que um conte\u00fado lido por um assistente de intelig\u00eancia artificial \u00e9 interpretado como ordem em vez de dado. Apresenta a raiz do problema, que \u00e9 a aus\u00eancia de separa\u00e7\u00e3o entre instru\u00e7\u00e3o e conte\u00fado, distingue as modalidades direta, indireta e oculta em documentos, discute a evid\u00eancia experimental obtida em tarefas de oncologia e oferece um mapa das demais amea\u00e7as associadas ao uso dessas ferramentas na pesquisa. Encerra com condutas pr\u00e1ticas ao alcance do pesquisador e do comit\u00ea de \u00e9tica, da limita\u00e7\u00e3o de permiss\u00f5es \u00e0 triagem pr\u00e9via de arquivos de terceiros.<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[65],"tags":[28,83,61],"class_list":["post-7978","post","type-post","status-publish","format-standard","category-inteligencia-artificial","tag-inteligencia-artificial","tag-prompt","tag-seguranca-da-informacao","czr-hentry"],"_links":{"self":[{"href":"https:\/\/www.usinadepesquisa.com\/index.php?rest_route=\/wp\/v2\/posts\/7978","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.usinadepesquisa.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.usinadepesquisa.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.usinadepesquisa.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.usinadepesquisa.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=7978"}],"version-history":[{"count":4,"href":"https:\/\/www.usinadepesquisa.com\/index.php?rest_route=\/wp\/v2\/posts\/7978\/revisions"}],"predecessor-version":[{"id":7982,"href":"https:\/\/www.usinadepesquisa.com\/index.php?rest_route=\/wp\/v2\/posts\/7978\/revisions\/7982"}],"wp:attachment":[{"href":"https:\/\/www.usinadepesquisa.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=7978"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.usinadepesquisa.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=7978"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.usinadepesquisa.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=7978"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}