Do Código ao Preconceito: Uma Análise do Racismo Algorítmico e seus Impactos
Nos últimos anos, a inteligência artificial (IA) tornou-se uma tecnologia de grande impacto na sociedade contemporânea. Suas aplicações vão desde sistemas de recomendação de plataformas digitais até algoritmos que fundamentam decisões em áreas cruciais, como saúde, segurança pública e recrutamento profissional. Contudo, o avanço da tecnologia suscita uma questão crítica: o racismo algorítmico. Esse fenômeno ocorre quando os sistemas automatizados reproduzem ou intensificam preconceitos raciais pré-existentes, perpetuando a discriminação sistêmica e a marginalização dos grupos historicamente discriminados.
O mestre em comunicação e cultura contemporâneas pela Universidade Federal da Bahia (UFBA) Tarcízio Silva, explica que “Sistemas algorítmicos, às vezes chamados de inteligência artificial, são sistemas que tomam algum tipo de decisão a partir de alguns objetivos definidos: ranquear um conteúdo, classificar uma pessoa ou mesmo transformar um tipo de conteúdo ou de imagem ou de mídia. O problema é: temos um histórico de séculos de violência racial e de discriminação. Então, por exemplo, se um sistema de IA [inteligência artificial] generativa, que faz uma foto aparentemente de forma automatizada, se baseia no histórico de fotos sobre pessoas negras no Brasil, vai haver uma representação muito negativa, relacionada à criminalidade, relacionada à violência, relacionada à pobreza”.
O que é Racismo Algorítmico?
O termo “racismo algorítmico” refere-se à existência de preconceitos raciais intrínsecos em algoritmos e sistemas de IA. Esses preconceitos podem ser originariamente provenientes, entre outros, de dados históricos tendenciosos, má escolha de modelos computacionais, falta de diversidade na equipe de desenvolvimento e a inexistência de uma estrutura de governança ética forte. Em consequência, as decisões automatizadas podem afetar de maneira negativa os indivíduos pertencentes a grupos raciais como negros, indígenas e pardos, perpetuando as desigualdades sociais existentes.
De acordo com a visão de Tarcizio Silva, na obra “Racismo algorítmico: inteligência artificial e discriminação nas redes digitais”, o fenômeno é definido como “o modo pelo qual a atual disposição de tecnologias, imaginários sociais e técnicos fortalece a ordenação racializada de conhecimentos, recursos, espaço e violência em detrimento de grupos não-brancos”.
Gênese do Racismo Algorítmico
É importante destacar que o racismo algorítmico não aparece do nada, mas representa as desigualdades raciais que se inserem na nossa história. Os algoritmos, que são alimentados por dados que muitas vezes refletem um passado de discriminação, podem atuar como um “espelho distorcido”, que perpetua injustiças em novas plataformas tecnológicas, de diversas maneiras, como:
- Dados enviesados: O aprendizado da maioria dos algoritmos de IA ocorre a partir de grandes conjuntos de dados históricos. Caso esses dados reflitam desigualdades sociais, preconceitos arraigados ou processos de exclusão, o algoritmo tenderá automaticamente a reproduzir tais padrões. A título de exemplo, um sistema de recrutamento que seja treinado com base em currículos de uma organização que historicamente favorecia a contratação de pessoas brancas oriundas de certas instituições de ensino, tenderá a decidir em favor de candidatos que possuam esse perfil, ainda que tal viés não esteja explicitamente codificado.
- Homogeneidade nas Equipes de Desenvolvimento: Sem diversidade racial, cultural e de gênero nas equipes, o olhar dos desenvolvedores tende a ser restrito quanto aos possíveis vieses e por conseguinte sobre suas consequências sociais nos sistemas desenvolvidos. Essa carência dificulta a identificação e a correção de falhas e limitações relacionadas à inclusão.
- Modelos e Métricas Inadequadas: Frequentemente, os algoritmos são otimizados em função de métricas que negligenciam a justiça ou a equidade, como a acurácia global, desconsiderando a possibilidade de variações de desempenho entre diferentes grupos demográficos.
- Opacidade e Ausência de Governança: Sistemas que carecem de transparência em seus critérios de funcionamento são difíceis de auditar e atribuir responsabilidades, abrindo espaço para que vieses se perpetuem sem detecção.
Alguns Exemplos de Racismo Algorítmico
- Reconhecimento Facial: Pesquisas demonstram que sistemas de reconhecimento facial exibem taxas de erro significativamente superiores para indivíduos negros e do sexo feminino, o que pode resultar em constrangimentos, exclusões, detenções injustas e violações de direitos fundamentais.
O documentário “Coded Bias” (Netflix, 2020), dirigido por Shalini Kantayya, lança luz sobre a alarmante presença de vieses racistas presentes nos algoritmos de inteligência artificial, especialmente na tecnologia de reconhecimento facial. A narrativa acompanha a investigação da pesquisadora do MIT, Joy Buolamwini, cujas descobertas revelam as falhas sistêmicas dessa tecnologia. A partir da sua própria experiência no MIT Media Lab, onde seu rosto não era reconhecido por um sistema de IA, a não ser que utilizasse uma máscara branca. Também são mostrados, entre outros, diversos trabalhos de pesquisadores e ativistas que lutam contra o uso não regulamentado da tecnologia de reconhecimento. É o caso de Silkie Carlo, diretora do Big Brother Watch, iniciativa que monitora o uso do reconhecimento facial pela polícia do Reino Unido. A preocupação no mundo todo é que a tecnologia de reconhecimento utilizada para segurança pública acuse e prenda suspeitos com base em uma análise errada.
- Análise Preditiva na Justiça Criminal: Algoritmos utilizados para prever a reincidência de crimes tendem a superestimar esse risco para indivíduos negros, influenciando decisões judiciais.
Em 13 de abril de 2024, durante a final do Campeonato Sergipano, um torcedor do time de futebol Confiança foi detido por agentes da polícia militar por erro de reconhecimento facial. Ele foi identificado pela câmera de reconhecimento facial como uma pessoa em conflito com a lei, passou por uma abordagem policial e saiu do estádio algemado.
- Pesquisa de Imagens: Resultados de busca de imagens podem exibir imagens de pessoas negras de forma estereotipada ou negativa, refletindo vieses presentes nos dados de treino.
A doutora em ciência política pela Universidade Federal de Minas Gerais (UFMG) e pesquisadora do Data Privacy Brasil Johanna Monagreda citou em entrevista para site Instituto Claro, o caso da deputada estadual Renata Souza (Psol-RJ) que, em outubro de 2023, relatou ter passado por esse tipo de discriminação ao gerar uma imagem via inteligência artificial. “Ela deu as instruções para o aplicativo: ‘Ah, eu quero que você faça a imagem de uma mulher negra com cabelo black na favela’. Ela descreveu a imagem que queria, e a inteligência artificial devolveu para ela a imagem de uma mulher negra com cabelo black na favela e incorporou uma arma na mão daquele desenho. Esse é um claro exemplo de racismo algorítmico, porque estereótipos sobre pessoas negras e sobre estar na favela ou a vida em comunidade acabaram sendo imbricados na tecnologia, de forma que, na produção dessa imagem, a própria tecnologia fez a relação que a humanidade faz, que é aquela relação de a favela como um território de violência”, explica Monagreda.
Impactos Significativos do Racismo Algorítmico
O racismo algorítmico transcende uma mera falha técnica, acarretando consequências sociais significativas:
- Reforço das Desigualdades: Ao reproduzir preconceitos existentes, a IA pode aprofundar disparidades no acesso a oportunidades, serviços e direitos.
- Erosão da Confiança: Comunidades afetadas por decisões consideradas injustas tenderão a perder a confiança nas tecnologias, dificultando a adoção de inovações que poderiam beneficiar a todos.
- Prejuízos Psicossociais: A discriminação algorítmica pode comprometer a autoestima, a saúde emocional, o bem-estar e a participação social dos grupos atingidos.
Estratégias para Mitigação do Racismo Algorítmico
Identificar as raízes do racismo algorítmico é uma tarefa primordial, mas não menos significativa é o desenvolvimento e a implementação de estratégias de mitigação de seus efeitos, como as seguintes:
- Promoção da Diversidade e Inclusão: Garantir que as equipes de desenvolvimento tenham composição diversificada em termos de raça, gênero, cultura e experiência de vida, visando aumentar a compreensão dos impactos sociais.
- Auditorias e Transparência: Estabelecer processos de auditoria independente e regular que visem a identificação de vieses e entendimento dos critérios.
- Utilização de Dados Representativos e Justos: Coletar, tratar e utilizar dados que reflitam a diversidade populacional, evitando exclusões e distorções.
- Incorporação de Métricas de Justiça Algorítmica: Adotar métricas que avaliem o desempenho do sistema em relação a diferentes grupos populacionais, promovendo a equidade ao invés da mera acurácia.
- Desenvolvimento de Regulação e Governança Ética: Formular políticas públicas e normas que orientem o desenvolvimento e a aplicação responsável da IA, baseadas nos direitos humanos e na justiça social.
- Educação e Sensibilização: Promover a capacitação dos profissionais e a sensibilização da sociedade acerca dos riscos e desafios relacionados ao racismo algorítmico.
O Potencial da Inteligência Artificial na Promoção da Equidade
Apesar dos riscos identificados, a inteligência artificial pode ser uma ferramenta valiosa para combater o racismo e promover a inclusão social. Se desenvolvida com responsabilidade, pode auxiliar na detecção de desigualdades, no monitoramento de práticas discriminatórias e no suporte a políticas públicas mais equitativas. Por exemplo, podem ser aplicados algoritmos na análise de dados educacionais para identificar barreiras enfrentadas por estudantes de grupos em situação de vulnerabilidade, subsidiando a criação de intervenções específicas.
Conclusão
O racismo algorítmico é um desafio urgente e complexo que impõe o engajamento dos desenvolvedores, pesquisadores, formuladores de políticas e da sociedade civil. A inteligência artificial tem o potencial de acentuar desigualdades sociais a partir de seu uso impróprio, mas se desenvolvida em consonância com os princípios de diversidade, equidade e inclusão, poderá servir como uma poderosa aliada na luta pela justiça social.
A responsabilidade é compartilhada e passa pela reflexão sobre o papel da tecnologia em nossas vidas, pelo apoio a iniciativas relativas à diversidade e pela exigência de transparência e responsabilidade em matéria de desenvolvimento de tecnologias que possam servir para promover oportunidades e preservar a dignidade humana fundamental para todos os indivíduos, independentemente de sua raça ou origem.
O desafio está posto: queremos algoritmos que reflitam o pior do nosso passado ou que nos ajudem a construir um futuro mais justo?
Fontes:
Abud, Marcelo. O que é racismo algorítmico. Instituto Claro, 29 de maio de 2024. Cidadania. Disponível em: https://www.institutoclaro.org.br/cidadania/nossas-novidades/podcasts/o-que-e-racismo-algoritmico/. Acesso em 28 abr. 2025
BIG BROTHER WATCH. Monitoramento do uso de reconhecimento facial pela polícia do Reino Unido. Disponível em: https://bigbrotherwatch.org.uk – Acesso em: 30 abr. 2025.
Webinar da ENAP sobre racismo algorítmico https://www.youtube.com/watch?v=0HmhJNSkPos
Silva, Tarzício. In: Racismo Algorítmico: inteligência artificial e discriminação nas redes digitais. São Paulo: Edições Sesc, 2022.
SILVA, Tarcízio. Linha do Tempo do Racismo Algorítmico. Disponível em: https://racismoalgoritmico.pubpub.org – Acesso em: 30 abr. 2025.
Notas de aula: “Inteligência Artificial – Racismo Algorítmico”, ministrado pelo professor Thiago Baudel, no SESC Rio, 2025.
PUBPUB. Projeto Racismo Algorítmico: artigos e estudos sobre algoritmos e discriminação. Disponível em: https://racismoalgoritmico.pubpub.org. Acesso em: 30 abr. 2025.
KANTAYYA, Shalini (diretora). Coded Bias [documentário]. Estados Unidos: Netflix, 2020.
Luanara Damasceno é uma executiva multidisciplinar com mais de 20 anos de experiência em transformação organizacional, Sustentabilidade/ESG, Governança, Riscos, Compliance e Privacidade. Atuou em multinacionais, terceiro setor, cooperativas e no exterior, liderando áreas estratégicas com foco em inovação e geração de valor. É reconhecida por sua liderança humanizada, gestão de equipes de alta performance e uso de dados para decisões estratégicas. Como Gestora de Processos e Auditora da Qualidade, promove mudanças sustentáveis e garante conformidade regulatória. Mentora de lideranças e palestrante, compartilha conhecimento com foco em impacto positivo e desenvolvimento organizacional. Mestre em Administração (IBMEC), com MBAs em ESG (PUC-Rio) e Gestão de Pessoas (FGV), e economista pela UFBA. Possui certificações em Compliance, Privacidade, Gestão de Processos e Gestão de Mudanças. Já foi professora universitária e coordenadora de projetos sociais. Integra grupos e comissões como a de ESG da ABNT, o Compliance Women Committee RJ, APDADOS e Democratizando. https://www.linkedin.com/in/luanaradamasceno/
Faça parte da Comunidade Democratizando.
