As decisões tomadas por algoritmos de inteligência artificial tendem a reproduzir uma série de discriminações enraizadas na sociedade. Esses sistemas não apenas replicam, mas também amplificam desigualdades estruturais, por meio de escolhas autônomas possibilitadas pelo aprendizado de máquina ou machine learning. Por esse motivo, é indispensável que haja uma governança em torno desses sistemas, com o objetivo de detectar e mitigar vieses variados como o de gênero. Essa foi a conclusão do trabalho “Vieses de gênero em algoritmos de machine learning”, da Ana Beatriz Parra Ferreira, aluna do 8º semestre do curso de Engenharia Mecatrônica que recebeu menção honrosa na categoria PIBIC (Programa Institucional de Bolsas de Iniciação Científica) durante o 2º Simpósio de Iniciação Científica e Tecnológica do Insper.  

 

A estudante, orientada pelo professor Rodolfo da Silva Avelino, revisou a literatura para explorar os impactos dos algoritmos na promoção de discriminações de gênero em diferentes categorias inseridas no machine learning como Processamento de Linguagem Natural (NLP, na sigla em inglês) e reconhecimentos facial, de fala e de imagem. “Nesse contexto, busquei evidências de discriminação algorítmica, utilizando para isso metodologias específicas de detecção de vieses. Analisei as informações considerando as melhores práticas de governança, com destaque para a explicabilidade desses sistemas de IA”, diz Ana. “Esses modelos de machine learning são frequentemente descritos como caixas-pretas por causa da complexidade, o que resulta em dificuldade de interpretar suas decisões”. Esse termo caixa-preta aplicado aos algoritmos indica a dificuldade ou impossibilidade de conhecer todos os processos de um modelo. Há casos que nem mesmo os desenvolvedores envolvidos na sua criação sabem como ele funciona.

 

A explicabilidade está, portanto, entre as melhores práticas para os sistemas de IA, aparecendo no centro das regulações que estão surgindo em todo o mundo. Há necessidade de saber exatamente como os algoritmos estão tomando as decisões (os critérios envolvidos) para que os públicos alcançados por esses sistemas possam receber as informações corretas de forma transparente. As aplicações de machine learning têm apresentado vieses, atribuindo, de forma sistemática, questões de ordem étnica a critérios de decisão. O resultado é que integrantes desses grupos sociais são prejudicados em processos que usam esses algoritmos, como recrutamento para uma vaga de emprego, análise para concessão de empréstimos e sistemas de vigilância.

 

Conforme o trabalho demonstra, há problema de acurácia/precisão nesses modelos, o que pode comprometer sua credibilidade. Essas imprecisões entre gêneros, idades e grupos étnicos nos sistemas de IA fazem, por exemplo, com que grupos historicamente discriminados sofram com erros de identificação no reconhecimento facial. “Os bancos de dados são predominantemente compostos por indivíduos de pele mais clara. Menciono no trabalho que as mulheres de pele mais escura representam o grupo com as maiores taxas de erro na identificação, enquanto essa mesma taxa para homens de pele clara é baixa”, afirma Ana. 

 

 

Pobreza dos dados

 

Para o professor Rodolfo Avelino, os dados são pobres porque não refletem a diversidade do mundo em que vivemos, além de estarem concentrados em poucas empresas, que detêm o controle do mercado de tecnologia. “Daí a importância de considerar a diversidade prioritária para os times envolvidos com o desenvolvimento e treinamento dos algoritmos. Somente assim, poderemos assegurar olhares diversos com várias perspectivas possíveis”. Ainda segundo o docente, a ausência de representatividade feminina nesses trabalhos pode levar à criação de sistemas que não respondem às necessidades das mulheres ou que perpetuam estereótipos de gênero.

 

“É esperado que o código reproduza as questões de discriminação, ainda que estejam na forma de vieses inconscientes. O código é meio de expressão de quem o desenvolve, motivo pelo qual não há como o ser humano aplicar um código neutro, que esteja imune à sua visão de mundo”, afirma Avelino. “Por isso, mais uma vez, é imprescindível o estímulo à diversidade nos times, com o debate dessas questões no dia a dia”, finaliza.