O viés de automação e a erosão do julgamento crítico humano na era da inteligência artificial
Aldemar Araujo Castro
Criação: 27/06/2026
Atualização: 27/06/2026
Palavras: 1590
Tempo de leitura: 8 minutos
Resumo
Este texto examina o viés de automação, a tendência humana de confiar em excesso nas recomendações de sistemas inteligentes, e discute por que ele representa o risco mais relevante na adoção da inteligência artificial. A partir de evidências da pesquisa em fatores humanos e em apoio à decisão clínica, distingue os erros de comissão e de omissão, desfaz a falácia do humano no controle, expõe o paradoxo das explicações automatizadas e propõe o caminho da supervisão passiva para a parceria cognitiva. O leitor encontrará um argumento central: a inteligência artificial complementa, não substitui o julgamento humano.
Introdução
A inteligência artificial chegou às rotinas profissionais acompanhada de uma promessa sedutora: decisões mais rápidas, diagnósticos mais precisos e redução dos erros humanos. Em hospitais, tribunais, cockpits e centrais de operação, sistemas automatizados passaram a sugerir condutas, sinalizar anomalias e recomendar escolhas. A expectativa é intuitiva. Se a máquina processa mais dados do que qualquer pessoa e raramente se cansa, confiar nela pareceria a atitude mais racional.
Essa confiança, contudo, tem um custo silencioso. À medida que delegamos tarefas cognitivas a sistemas inteligentes, delegamos também, sem perceber, parte do nosso julgamento crítico. O risco mais relevante não está em a inteligência artificial errar, pois toda tecnologia falha. O risco está em o ser humano aceitar a resposta automatizada sem a devida verificação, mesmo quando dispõe de informações em sentido contrário. É nesse ponto que emerge o viés de automação, uma das falhas mais estudadas na relação entre pessoas e sistemas inteligentes.
Este texto percorre o fenômeno em cinco movimentos. Primeiro define o viés de automação e a sutil conversão do operador em validador passivo. Em seguida examina os dois modos pelos quais ele produz erro, discute por que a presença formal de um humano não garante segurança, expõe o paradoxo das explicações automatizadas e, por fim, propõe a transição da supervisão passiva para a parceria cognitiva. O argumento de fundo é simples de enunciar e difícil de praticar: a inteligência artificial complementa, não substitui.
O que é o viés de automação
O viés de automação designa a tendência cognitiva de confiar de forma excessiva nas recomendações de sistemas automatizados, aceitando suas sugestões inclusive diante de evidências contrárias. Trata-se de um fenômeno consolidado na literatura de fatores humanos, que o descreve como resultado da interação dinâmica entre características pessoais, situacionais e próprias da automação (Parasuraman e Manzey, 2010). Não é, portanto, sinal de incompetência individual, mas um padrão previsível, que acomete tanto iniciantes quanto especialistas e não se resolve apenas com a prática.
Na rotina, o efeito é uma inversão discreta de papéis. O profissional deixa de atuar como avaliador crítico da informação e passa a funcionar como validador passivo da decisão automatizada. A máquina aponta, o humano confirma. O sistema recomenda, o operador executa. O algoritmo classifica, e a pessoa apenas referenda. Cada um desses gestos parece inofensivo, mas o conjunto desloca a responsabilidade decisória sem que isso se torne visível.
Esse deslocamento é o que torna o fenômeno perigoso. Formalmente, o humano permanece no controle, pois é dele a assinatura final. Operacionalmente, porém, ele pode já ter cedido a parte mais importante da sua autonomia: a disposição de questionar. Quando a confiança se intensifica, o sistema automatizado deixa de ser um auxílio à decisão e passa a operar como árbitro implícito do julgamento, não por uma transferência formal de autoridade, mas pelo uso rotineiro.
Errar pelo que sugere e pelo que silencia
O viés de automação não produz um único tipo de falha. Ele se manifesta por dois caminhos distintos, identificados em estudos clássicos sobre apoio automatizado à decisão (Skitka et al., 1999). Compreender essa dupla natureza é essencial, porque cada caminho exige uma defesa diferente.
O primeiro é o erro de comissão. Ocorre quando o operador age com base em uma recomendação equivocada do sistema, sem confrontá-la com as fontes alternativas disponíveis. Um exemplo eloquente vem da aviação simulada: diante de um alarme falso de incêndio em um motor, praticamente todos os pilotos desligaram a turbina, ainda que outros instrumentos não confirmassem o problema (Skitka et al., 1999). A sugestão da máquina prevaleceu sobre a leitura crítica do conjunto.
O segundo é o erro de omissão. Acontece quando o humano deixa de agir porque o sistema não emitiu nenhum alerta. A ausência de aviso é interpretada como ausência de problema, num raciocínio tácito e arriscado: se houvesse algo errado, a máquina teria detectado. Essa presunção reduz a vigilância e atrasa intervenções necessárias. No contexto clínico, uma revisão sistemática mostrou que os sistemas de apoio à decisão melhoram o desempenho médio, mas introduzem novos erros quando o profissional segue conselhos incorretos ou deixa de corrigir omissões do sistema, com casos em que respostas certas foram trocadas por erradas após a recomendação automatizada (Goddard et al., 2012). A própria ferramenta criada para reduzir o erro pode, assim, gerar uma categoria nova de engano.
A falácia do humano no controle
Diante desses riscos, uma resposta recorrente soa tranquilizadora: haverá sempre um humano supervisionando o sistema. A afirmação é correta no plano formal e insuficiente no plano operacional. Supervisionar não é o mesmo que compreender, e estar no fluxo decisório não significa estar cognitivamente engajado. Quando o papel humano se reduz a aprovar decisões já formuladas pela máquina, o conceito de humano no controle se converte em falácia.
A pesquisa em fatores humanos descreve aqui um paradoxo da automação: quanto mais autônomo, confiável e robusto se torna um sistema, menor tende a ser a consciência situacional do operador e menor a sua capacidade de retomar o controle manual quando isso se faz necessário (Endsley, 2017). Quem passa longos períodos apenas observando um sistema que raramente falha sai do ciclo ativo de decisão, perde contexto e sensibilidade operacional, e demora a reagir quando ocorre a falha súbita.
A esse afastamento somam-se outros dois fatores. A fadiga cognitiva corrói a vigilância, pois monitorar sistemas que quase nunca erram é tarefa mentalmente desgastante e pouco estimulante, que reduz a capacidade de detectar sinais sutis. E há a aprovação cega, também chamada de rubber-stamping, em que a máquina decide e o humano apenas confirma. A supervisão vira formalidade, e a decisão automatizada é aceita não porque foi avaliada, mas porque parece tecnicamente autorizada. Nos três casos, a presença do humano persiste como aparência, enquanto a função crítica se dissolve.
O paradoxo da inteligência artificial explicável
Uma solução frequentemente proposta para esses problemas é tornar os sistemas mais transparentes por meio da inteligência artificial explicável, conhecida pela sigla XAI. A intuição é razoável: se o sistema justifica suas recomendações, o operador teria condições de avaliá-las melhor. As explicações importam, mas não eliminam, por si sós, o viés de automação. Aqui reside um paradoxo desconfortável.
Explicações demasiado simples podem aumentar a confiança indevida na máquina, inclusive quando ela erra. O usuário recebe uma justificativa aparentemente clara, acredita ter compreendido a decisão e baixa a guarda. A clareza superficial produz uma falsa sensação de segurança. No extremo oposto, explicações demasiado complexas geram sobrecarga cognitiva, e o operador, submerso em detalhes técnicos, perde a capacidade de avaliar criticamente o que lhe é apresentado. Em ambos os casos, a transparência mal desenhada pode agravar o problema que pretendia resolver.
Há, contudo, um caminho promissor. Estudos sobre tomada de decisão assistida por inteligência artificial mostram que funções de forçamento cognitivo, isto é, intervenções que exigem do usuário um momento deliberado de reflexão antes de aceitar a sugestão, reduzem a confiança indevida e melhoram o desempenho, ainda que ao custo de maior esforço e de alguma resistência por parte dos usuários (Buçinca et al., 2021). A lição é precisa: explicar não basta. É preciso desenhar a interação de modo que o humano seja levado a questionar, verificar e decidir, e não apenas a concordar.
Da supervisão passiva à parceria cognitiva
O desafio, então, não é manter o humano como mero fiscal da inteligência artificial, mas construir uma colaboração efetiva entre inteligências. No modelo tradicional, a relação é de operador e ferramenta: a pessoa monitora passivamente e reage quando algo dá errado. Esse arranjo funciona mal justamente nos ambientes em que o erro é raro, sutil ou difícil de perceber. O modelo mais adequado é o da parceria, em que o sistema comunica incertezas e limites, e o humano interpreta, compara, contesta e decide.
Essa colaboração não nasce da confiança cega, e sim da desconfiança institucionalizada. Não se trata de rejeitar a inteligência artificial, mas de projetar todo sistema crítico assumindo que ela pode falhar, por erro técnico, por interpretação equivocada ou por aceitação passiva do operador. A desconfiança estruturada transforma o questionamento em rotina e impede que a revisão humana seja apenas simbólica. Nesse desenho, discordar da máquina não é resistência ao progresso, e sim parte integrante da segurança.
Para que isso ocorra, as organizações precisam criar condições reais de exercício do julgamento. Três medidas se destacam. A primeira é o design friccional, que introduz atritos deliberados em decisões sensíveis, como pedidos de confirmação, exigência de justificativa ou comparação com fontes independentes, em consonância com as funções de forçamento cognitivo já mencionadas (Buçinca et al., 2021). A segunda é a auditoria contínua, que pode incluir falhas simuladas inseridas na rotina para verificar se o operador permanece vigilante, preservando a atenção diante de sistemas aparentemente infalíveis, cuja raiz atencional está bem documentada (Parasuraman e Manzey, 2010). A terceira é o treinamento voltado à exceção, que capacita o profissional não apenas a operar quando tudo funciona, mas a julgar, detectar inconsistências e intervir quando o sistema falha. Acima de tudo, é necessário garantir tempo e carga cognitiva adequados, pois a supervisão apressada degenera com facilidade em aprovação automática.
Considerações finais
O verdadeiro desafio da era da inteligência artificial não é construir máquinas perfeitamente inteligentes, e sim projetar sistemas em que pessoas e algoritmos colaborem de forma consciente, crítica e questionadora. A supervisão humana só é segura quando o humano dispõe de condições reais para compreender, discordar, verificar e intervir. Sem essas condições, o humano no controle permanece como uma reconfortante aparência de segurança, enquanto a responsabilidade crítica se esvazia por dentro.
Para o pesquisador, o clínico e o jurista, a implicação é direta e exigente. A inteligência artificial pode ampliar enormemente a nossa capacidade de decidir, desde que não terceirizemos o julgamento que nos cabe. Compete a cada profissional, e às instituições que os formam e empregam, cultivar a desconfiança produtiva que mantém o pensamento ativo diante da resposta pronta. A meta não é confiar menos na máquina nem confiar mais, mas confiar de modo calibrado, convertendo a relação com a tecnologia em uma autêntica parceria cognitiva.
Fontes
- Parasuraman R, Manzey DH. Complacency and bias in human use of automation: an attentional integration. Hum Factors. 2010;52(3):381-410. DOI: https://doi.org/10.1177/0018720810376055 Disponível em: https://journals.sagepub.com/doi/10.1177/0018720810376055
Comentário: Artigo de referência que integra, em um único modelo teórico, a complacência e o viés de automação, antes tratados separadamente. Demonstra que ambos derivam da alocação de atenção sob carga de múltiplas tarefas e que afetam tanto novatos quanto especialistas. Sustenta, neste texto, a definição do fenômeno e a fundamentação da auditoria contínua como medida de mitigação.
- Goddard K, Roudsari A, Wyatt JC. Automation bias: a systematic review of frequency, effect mediators, and mitigators. J Am Med Inform Assoc. 2012;19(1):121-127. DOI: https://doi.org/10.1136/amiajnl-2011-000089 Disponível em: https://academic.oup.com/jamia/article-abstract/19/1/121/732254
Comentário: Revisão sistemática voltada à saúde que reúne a evidência sobre o viés de automação em sistemas de apoio à decisão clínica. Mostra que tais sistemas melhoram o desempenho médio, mas introduzem erros não reconhecidos quando o profissional segue conselhos incorretos. Ancora, neste texto, a discussão dos erros de comissão e omissão no ambiente clínico.
- Skitka LJ, Mosier KL, Burdick M. Does automation bias decision-making? Int J Hum Comput Stud. 1999;51(5):991-1006. DOI: https://doi.org/10.1006/ijhc.1999.0252 Disponível em: https://dl.acm.org/doi/abs/10.1006/ijhc.1999.0252
Comentário: Estudo experimental seminal que comparou taxas de erro em tarefa de voo simulada, com e sem auxílio automatizado. Identificou empiricamente os erros de comissão e de omissão e documentou a elevada taxa de aceitação de sugestões equivocadas. Fornece, neste texto, a base conceitual e o exemplo do alarme falso de incêndio.
- Endsley MR. From here to autonomy: lessons learned from human-automation research. Hum Factors. 2017;59(1):5-27. DOI: https://doi.org/10.1177/0018720816681350 Disponível em: https://journals.sagepub.com/doi/10.1177/0018720816681350
Comentário: Síntese de décadas de pesquisa que formula o paradoxo da automação: maior autonomia e confiabilidade do sistema acompanham menor consciência situacional do operador e menor capacidade de retomada do controle. Sustenta, neste texto, a crítica à falácia do humano no controle e o problema do operador fora do ciclo. - Buçinca Z, Malaya MB, Gajos KZ. To trust or to think: cognitive forcing functions can reduce overreliance on AI in AI-assisted decision-making. Proc ACM Hum-Comput Interact. 2021;5(CSCW1):Article 188, 1-21. DOI: https://doi.org/10.1145/3449287 Disponível em: https://dl.acm.org/doi/10.1145/3449287
Comentário: Investigação experimental que testa funções de forçamento cognitivo como estratégia para reduzir a confiança indevida em recomendações automatizadas. Evidencia que explicações nem sempre bastam e que atritos deliberados melhoram o desempenho, embora exijam mais esforço. Fundamenta, neste texto, o paradoxo da explicabilidade e a proposta de design friccional.
Pontos para Recordar
- O viés de automação é a tendência de confiar em excesso nas recomendações de sistemas automatizados, aceitando-as mesmo diante de evidências contrárias.
- Sob o viés de automação, o profissional deixa de ser avaliador crítico da informação e passa a validador passivo da decisão da máquina.
- O erro de comissão ocorre quando o operador age sobre uma sugestão equivocada do sistema sem confrontá-la com fontes alternativas.
- O erro de omissão ocorre quando o humano deixa de agir porque o sistema não emitiu alerta, presumindo que a ausência de aviso significa ausência de problema.
- O paradoxo da automação indica que sistemas mais autônomos e confiáveis tendem a reduzir a consciência situacional do operador e sua capacidade de retomar o controle.
- Tornar a inteligência artificial explicável não elimina o viés de automação, pois explicações simples demais geram confiança indevida e complexas demais geram sobrecarga cognitiva.
- A segurança depende de desconfiança institucionalizada, com design friccional, auditoria contínua e treinamento voltado à exceção, de modo a converter supervisão passiva em parceria cognitiva.
***
Declaração de uso de Inteligência Artificial Generativa. Este texto foi produzido com o auxílio de Claude, desenvolvida pela Anthropic, utilizado como ferramenta de apoio nas fases de brainstorming, de estruturação do conteúdo e de produção do texto. As imagens foram produzidas com auxílio do ChatGPT da OpenAI. A responsabilidade pela versão final e precisão das informações, pelo pensamento crítico, pela seleção das fontes e pelo conteúdo publicado é integralmente do autor.
***