Como a IA toma decisões? Não da maneira que você imagina.

A IA não toma decisões da mesma forma que você. A maioria dos sistemas recebe dados de entrada, os processa por meio de uma função fixa aprendida durante o treinamento e gera uma pontuação. Em seguida, verifica se essa pontuação ultrapassa um limite predefinido por outra pessoa. Não há ponderação de opções, deliberação ou julgamento de valor. Compreender essa distinção muda a quem você deve responsabilizar quando o resultado de um algoritmo o afeta.

PRINCIPAIS CONCLUSÕES

• A maioria dos sistemas de IA não delibera ou pondera as opções da mesma forma que os humanos. Muitos calculam uma pontuação numérica a partir dos dados de entrada e a comparam com um limite predefinido por uma pessoa.
• Chamar a saída algorítmica de “"decisão"” Transfere silenciosamente a responsabilidade moral e legal dos humanos que construíram e implantaram o sistema para o próprio sistema.
• Uma pesquisa realizada em 2023 com pesquisadores de IA revelou que apenas 20% acreditam ser provável que, até 2028, os usuários sejam capazes de conhecer os verdadeiros motivos por trás dos resultados de um sistema de IA.
• O Artigo 22 do RGPD e a Lei da UE sobre IA exigem explicações para decisões automatizadas que afetam pessoas, mas 60% dos modelos de produção permanecem, na prática, inexplicáveis.
• Compreender o mecanismo por trás “Decisões de IA” Isso altera a quem você responsabiliza quando um resultado algorítmico afeta você.

Como a IA toma decisões?

A maioria dos sistemas de IA não decide nada no sentido em que você decide o que vai almoçar. Um classificador recebe dados de entrada, os processa através de parâmetros aprendidos durante o treinamento e produz um número. Um modelo de aprovação de empréstimo não avalia suas circunstâncias da mesma forma que um agente de crédito faria. Ele converte seus dados em uma pontuação e verifica se essa pontuação atende a critérios preestabelecidos.

Um algoritmo de recrutamento não decide rejeitá-lo da mesma forma que um gerente de contratação. Ele calcula um número e o compara a um limite predefinido por outra pessoa. A rejeição é real. “"decisão,"” No sentido humano de ponderar razões e escolher, é uma metáfora. E as metáforas realizam um trabalho silencioso muito importante.

Essa metáfora não é neutra. Ela molda a forma como falamos sobre responsabilidade, como elaboramos regulamentações e o quão à vontade nos sentimos ao delegar decisões importantes a sistemas que não foram construídos para escolher da maneira como entendemos o termo "escolher".

O que realmente está acontecendo dentro do “"Decisão"”?

Para sistemas de classificação, o mecanismo consiste na comparação de padrões com base em pesos aprendidos e um limiar, e não no raciocínio.
Durante o treinamento, um modelo ajusta milhões de parâmetros internos para minimizar erros em dados de exemplo. Cada parâmetro captura uma pequena relação estatística entre entradas e resultados. Quando você fornece novos dados a um classificador treinado, ele multiplica suas entradas por esses parâmetros e produz uma pontuação. Essa pontuação ultrapassa um limite predefinido ou não.

Essa descrição de limiar se encaixa perfeitamente em classificadores: detecção de fraudes, análise de crédito, seleção de pessoal. Ela se encaixa de forma menos precisa em sistemas generativos, como grandes modelos de linguagem, que produzem a saída token por token por meio de um processo iterativo moldado pela estratégia de decodificação, em vez de uma única verificação de pontuação e limiar. A questão fundamental se aplica a ambos os casos: não há uma etapa em que o sistema pondere as alternativas da mesma forma que uma pessoa. O mecanismo específico apenas difere de acordo com a arquitetura.

Por que continuamos chamando isso de decisão?

A linguagem desempenha um papel importante aqui, e não de forma inocente.

Quando falamos em algoritmo “decidiu” Ao negar seu empréstimo, implicitamente atribuímos responsabilidade ao sistema. Essa abordagem facilita a aceitação do resultado e dificulta questionar quem definiu o limite, quem selecionou os dados de treinamento e quem decidiu que o sistema estava pronto para ser implementado. A linguagem da decisão obscurece uma cadeia de escolhas humanas por trás de uma única palavra que soa como se a máquina tivesse feito a escolha.

Isso não é uma questão semântica. O Artigo 22 do RGPD concede os indivíduos têm o direito a uma explicação quando uma decisão é tomada. “exclusivamente por meios automatizados”. Essa linguagem regulatória trata o algoritmo como o tomador de decisões, o que influencia a quem as empresas sentem que devem uma explicação e como elas elaboram essa explicação.

Será que os sistemas de IA conseguem realmente explicar os seus próprios resultados?

Na maioria das vezes não, e as pesquisas sobre o assunto são mais preocupantes do que a maioria das reportagens sugere.

A Pesquisa de 2023 com pesquisadores de IA Questionados sobre se os sistemas de IA de última geração em 2028 seriam capazes de explicar de forma verdadeira e inteligível as verdadeiras razões por trás de seus resultados, apenas 20% dos entrevistados consideraram a probabilidade maior do que 50%. As técnicas existentes atualmente, como pontuações de importância de características, visualizações de atenção e explicações contrafactuais, descrevem correlações nas quais o modelo se baseou. Elas não revelam nada que se assemelhe a uma razão da mesma forma que um humano explicaria uma escolha.

Essa lacuna entre as técnicas de explicabilidade e a explicação genuína é onde a maioria dos esforços de responsabilização da IA atualmente estagna. É possível gerar uma explicação plausível sobre quais características de entrada foram mais importantes. Se essa explicação reflete o que realmente aconteceu dentro do modelo, ou se ela própria é uma aproximação separada sobreposta, é uma questão técnica genuinamente em aberto.

Onde é que isto realmente importa?

Os riscos aumentam drasticamente quando “Decisões de IA” começam a afetar a vida das pessoas de maneiras que elas não podem contestar.

A avaliação de crédito, a seleção de candidatos, a precificação de seguros e a moderação de conteúdo são cada vez mais executadas em sistemas cuja lógica interna nem mesmo seus criadores conseguem rastrear completamente. Os órgãos reguladores começaram a responder diretamente a essa lacuna. A Lei de IA da UE exige Documentação de transparência para sistemas de alto risco, com obrigações específicas para sistemas de alto risco propostas provisoriamente para entrar em vigor até 2 de dezembro de 2027, sujeitas à adoção formal. A lei SB 26-189 do Colorado exige que os implementadores de tecnologia de tomada de decisão automatizada abrangida divulguem como ela influencia as decisões, com o cumprimento entrando em vigor em 1º de janeiro de 2027.

Essas regras pressupõem um tomador de decisões que possa ser responsabilizado. O que elas realmente regulamentam é uma função de pontuação e os humanos que a configuraram, o que é mais difícil de legislar com clareza do que... “"decisão"” O enquadramento sugere.

Quem é realmente responsável quando... “"Decisão"” Se algo der errado?

Não o algoritmo, porque o algoritmo não foi criado para escolher nada no sentido humano.

A responsabilidade recai sobre as pessoas que selecionaram os dados de treinamento, definiram o limite, decidiram a taxa de erro aceitável e aprovaram a implementação do sistema. Quando um algoritmo de recrutamento exclui sistematicamente candidatos qualificados de uma determinada área, a solução não é pedir ao algoritmo que reconsidere. É examinar os dados de treinamento, o limite e os humanos que aprovaram ambos.

Alguns cientistas da computação discordariam disso, e com razão: em termos técnicos, um classificador seleciona uma classe em detrimento de outra, e um agente de aprendizado por reforço seleciona uma ação em detrimento de outra. Esses são usos legítimos de... “"decisão"” Em ciência da computação, o sentido operacional não abarca o peso moral e deliberativo que a palavra carrega no uso comum, o sentido que importa quando questionamos quem é o responsável pelo resultado. Escala e complexidade arquitetônica não eliminam essa lacuna. Um cálculo mais intrincado continua sendo um cálculo, não uma decisão judicial.

Perguntas frequentes

P: A IA realmente pensa antes de tomar uma decisão?

Não no sentido humano. A maioria dos sistemas de IA calcula uma saída a partir de uma função fixa aprendida durante o treinamento, sem deliberação ou ponderação de alternativas. O que parece ser pensamento é, na verdade, a correspondência de padrões com base em relações estatísticas nos dados de treinamento, executada sempre da mesma maneira.

P: Posso obter uma explicação para uma decisão de IA que me afeta?

Nos termos do Artigo 22 do RGPD, você tem o direito legal a uma explicação para decisões tomadas exclusivamente por meios automatizados na UE. Na prática, a explicação que você recebe descreve quais fatores de entrada influenciaram o resultado, e não a verdadeira lógica interna do sistema, visto que a maioria dos modelos de produção permanece difícil de interpretar completamente, mesmo para seus próprios desenvolvedores.

P: Quem é o responsável quando um sistema de IA toma uma decisão errada?

As pessoas que construíram, treinaram e implementaram o sistema. Elas escolheram os dados de treinamento, definiram os limites de erro aceitáveis e aprovaram o uso do sistema. O sistema não pode assumir responsabilidade moral porque não foi projetado para ponderar razões da mesma forma que uma pessoa.

P: Os sistemas de IA serão algum dia capazes de realmente explicar suas decisões?

Há incertezas, e a comunidade de especialistas não está otimista. Uma pesquisa realizada em 2023 com pesquisadores de IA revelou que apenas 20% acreditavam ser provável que, até 2028, os usuários conhecessem os verdadeiros motivos por trás das decisões de um sistema de IA. As técnicas atuais de explicabilidade aproximam-se dos motivos, em vez de revelá-los diretamente.

A IA não toma decisões da mesma forma que você. A maioria dos sistemas calcula pontuações e as compara com limites definidos, testados e aprovados por pessoas. Cada vez que dizemos que um algoritmo "decidiu", silenciosamente transferimos para ele uma responsabilidade que pertence aos humanos que o criaram, e essa transferência é exatamente a lacuna de responsabilidade que os órgãos reguladores estão agora se esforçando para preencher.