Parte da série sobre
Inteligência artificial (IA)
Objetivos Inteligência artificial geral Agente inteligente Autoaperfeiçoamento recursivo Planejamento automatizado Visão computacional Representação de conhecimento Processamento de linguagem natural Robótica
Abordagens Aprendizado de máquina Aprendizado com feedback humano Aprendizagem profunda Sistema inteligente híbrido Engenharia de IA Rede bayesiana Algoritmo evolutivo
Aplicações Deepfake IA distribuída IA explicável IA generativa Arte Música IA Geral Governo IA para TI Tradução automática Militar Corretor gramatical Processamento de linguagem natural Retificação de imagem Reconhecimento de entidade mencionada Reconhecimento de fala Reconhecimento ótico de caracteres Projetos
Filosofia Alinhamento da IA Confinamento Consciência artificial Quarto chinês IA amigável Ética Teste de Turing Risco existencial Vale da estranheza
História Progresso Explosão de IA
Controvérsias Escândalo de plágio de NFT da Voiceverse Impacto ambiental Saúde mental Segurança Rebelião das máquinas Pornografia deepfake Tay (chatbot)
Tópicos relacionados Alucinação Cérebro artificial Cérebro positrônico Comportamento da máquina Computação bioinspirada Computação evolucionária Computação social Direito à realidade Raciocínio automatizado Raciocínio baseado em casos Robótica em nuvem Autorreplicadoras Inteligência computacional Inteligência de conteúdo Inteligência de enxame Máquina Moral Reconhecimento facial Sistema especialista Sistema multiagente Tutorias inteligentes Vetores de suporte Algoritmo genético Pesquisa tabu Colônia de formigas Enxame de partículas GRASP Classificação estatística
v d e

Interpretabilidade mecanística (frequentemente abreviada como mec interp, mecinterp ou MI) é um subcampo de pesquisa dentro da inteligência artificial explicável que visa compreender o funcionamento interno de redes neurais analisando os mecanismos presentes em seus cálculos. A abordagem busca analisar redes neurais de maneira semelhante a como programas de computador binários podem ser submetidos a engenharia reversa para entender suas funções.

História

O termo interpretabilidade mecanística foi cunhado por Chris Olah como uma descrição de seu trabalho em análise de circuitos, em oposição aos métodos usuais em IA interpretável. A análise de circuitos tentava caracterizar completamente características e circuitos individuais dentro de modelos, enquanto o campo mais amplo tendia a abordagens baseadas em gradiente, como mapas de saliência.^[1][2]

Antes da análise de circuitos, o trabalho no subcampo combinava várias técnicas, como visualização de características, redução de dimensionalidade e atribuição com métodos de interação humano-computador para analisar modelos como o modelo de visão Inception v1.^[3][4]

Conceitos-chave

A interpretabilidade mecanística visa identificar estruturas, circuitos ou algoritmos codificados nos pesos de modelos de aprendizado de máquina.^[5][6] Isso contrasta com métodos de interpretabilidade anteriores que se concentravam principalmente em explicações de entrada-saída.^[7]

Hipótese da representação linear

Esta hipótese sugere que conceitos de alto nível são representados como direções lineares no espaço de ativação de redes neurais. Evidências empíricas de inserções de palavras e modelos de linguagem grandes apoiam essa visão, embora ela não se sustente universalmente.^[8][9]

Métodos

A interpretabilidade mecanística emprega métodos causais para entender como os componentes internos do modelo influenciam as saídas, frequentemente usando ferramentas formais da teoria da causalidade.^[10]

A interpretabilidade mecanística, no campo da segurança de IA, é usada para entender e verificar o comportamento de sistemas de IA complexos e para tentar identificar riscos potenciais^[11][6] como o desalinhamento de IA.

Referências

Leitura adicional

• Nanda, Neel (2023). «Emergent Linear Representations in World Models of Self-Supervised Sequence Models». BlackNLP Workshop: 16–30. doi:10.18653/v1/2023.blackboxnlp-1.2. Cópia arquivada em 11 de maio de 2026