Pedro Cordeiro Ferreira - PERSPECTIVAS SOBRE O VIÉS DE GÊNERO EM ALGORITMOS DE INCORPORAÇÃO DE... by Biblio Belas

UNIVERSIDADE FEDERAL DE MINAS GERAIS ESCOLA DE BELAS ARTES DEPARTAMENTO DE FOTOGRAFIA, TEATRO E CINEMA

Pedro Cordeiro Ferreira

PERSPECTIVAS SOBRE O VIÉS DE GÊNERO EM ALGORITMOS DE INCORPORAÇÃO DE PALAVRAS E SUA REMOÇÃO

Belo Horizonte 2021

Pedro Cordeiro Ferreira

PERSPECTIVAS SOBRE O VIÉS DE GÊNERO EM ALGORITMOS DE INCORPORAÇÃO DE PALAVRAS E SUA REMOÇÃO

Monografia de conclusão de curso apresentada ao Curso de Cinema de Animação e Artes Digitais da Escola de Belas Artes da Universidade Federal de Minas Gerais, como requisito básico à conclusão do curso. Orientador: Prof. Dr Carlos Henrique Rezende Falci Coorientador: Pedro de Freitas Veneroso

Belo Horizonte 2021

Nome: FERREIRA, Pedro Cordeiro Título: Perspectivas sobre o viés de gênero em algoritmos de incorporação de palavras e sua remoção

Aprovado em ____ de ______________de 2021

Banca Examinadora

Prof. Dr. Carlos Henrique Rezende Falci.

UFMG

Julgamento: _______________

Assinatura: ______________________

Prof. Dr. Virgilio Carlo de Menezes Vasconcelos.

UFMG

Julgamento: _______________

Assinatura: ______________________

Belo Horizonte 2021

AGRADECIMENTOS Esse trabalho jamais seria possível sem todas as pessoas que me deram suporte durante a minha graduação. À Thais, meu amor, que esteve ao meu lado todo esse tempo incentivando e me ajudando de toda forma que lhe era possível. Te amo demais por isso! Aos meus pais, Conceição e Sérgio, que me apoiaram de forma incrível durante minha decisão de mudar de carreira e sempre me proporcionaram tudo que podiam para eu chegar até aqui. À Marina, minha querida irmã, que sempre enxergou um potencial em mim que eu mesmo nunca vi. Obrigado por investir tanto em mim! Aos camaradas do Motim, pelo companheirismo e incentivo. Espero um dia alcançar o nível de excelência de vocês. Aos parceiros dos Maia e de Ouro Preto, pela amizade e pelas risadas que sempre trouxeram mais leveza para minha vida. Aos professores do CAAD, em especial ao Cacá pela orientação tão cuidadosa e elucidativa. Ao Pedro Veneroso que me ajudou incrivelmente a colocar esse trabalho no papel. Obrigado pelas conversas! Finalmente, agradeço a todos que passaram pela minha vida e me ajudaram de alguma forma a me desenvolver.

RESUMO Os algoritmos de incorporação de palavras constituem uma parte do campo de estudo de inteligência artificial que tem como objetivo principal a reprodução da linguagem natural (linguagem humana). Esse tipo de algoritmo é amplamente utilizado por grandes empresas de tecnologia, como Google e Amazon, desde ferramentas de tradução até chatbots que auxiliam clientes a realizar compras. Entretanto, a maneira com que esses algoritmos são construídos, com base em treinamentos a partir de bancos de textos escritos por humanos, procurando padrões em tais textos, levantam questionamentos sobre os possíveis vieses vindos dos textos e como estes podem ser interpretados como estereótipos presentes na sociedade. Com base nisso, a metodologia deste trabalho se baseia em descrever os algoritmos de incorporação de palavras e seu funcionamento através de uma revisão bibliográfica que discorre sobre redes neurais e espaços semânticos, e também analisar um grupo de artigos que discutem os vieses presentes em algoritmos de incorporação de palavras e os métodos de mitigação desses vieses. A partir desse levantamento mais técnico sobre os objetos de estudo, esta pesquisa propõe uma discussão com base nos conceitos de habitus, violência simbólica e campo, desenvolvidos pelo sociólogo Pierre Bourdieu, em cima das conclusões dos artigos sobre os vieses algorítmicos e métodos de retirada, demonstrando a existência de uma dualidade no entendimento do algoritmo com agente perpetrador de violência simbólica. Palavras-chave: Incorporação de palavras. Viés Algorítmico. Inteligência Artificial. Habitus. Violência Simbólica.

ABSTRACT Word embedding algorithms are part of Artificial Intelligence’s field of study which main goal is the reproduction of the natural language (human language). This kind of algorithm is widely used by big technology companies, such as Google and Amazon, from translation tools to chatbot that helps customers to shop. However, the way in which these algorithms are developed, based on training from text databases written by humans, searching for patterns, raises questions about the possible biases originating from the text and how they can be interpreted as stereotypes present in society. Based on this, this research methodology is based on describing the word embedding algorithms through a bibliographic review that discusses neural networks and semantic spaces, also, this survey will analyze a group of papers that discuss the biases present in word embeddings algorithms and bias mitigation methods. From this more technical survey of the study objects, this research proposes a discussion based on the concepts of habitus, symbolic violence and field, developed by the sociologist Pierre Bourdieu, based on the conclusions of the papers on algorithm bias and removal methods, demonstrating the existence of a duality in the understanding of the algorithm as a agent perpetrator of symbolic violence. Palavras-chave: Word Embedding. Algorithmic bias. Artificial intelligence. Habitus. Symbolic Violence.

LISTA DE ILUSTRAÇÕES Figura 1: Rede neural composta por três camadas . ................................................................. 10 Figura 2: Espaços semânticos com duas e três dimensões. ...................................................... 11 Figura 3: Ilustração de uma rede neural word2vec................................................................... 13 Figura 4: Ilustração de como obter um vetor de palavras por meio de uma rede neural. ......... 13 Figura 5: Comparação entre o número de analogias estereótipos e apropriadas antes e depois do processo de retirada de viés. ................................................................................................ 17 Figura 6:Relação entre a porcentagem de mulheres que ocupam determinado cargo com a força de associação do vetor daquele cargo com o gênero feminino. ...................................... 19 Figura 7:Relação entre o viés original da palavra quantidade de vizinhos no espaço vetorial que estão diretamente associados ao gênero masculino. .......................................................... 20

SUMÁRIO 1 INTRODUÇÃO ...................................................................................................................................... 8 2 NATURAL-LANGUAGE PROCESSING (NLP) E INCORPORAÇÃO DE PALAVRAS ............. 10 3 ALGORITMOS ENVIESADOS ......................................................................................................... 15 3.1 Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings ............................................................................................................................................... 15 3.2 Bias in Word Embeddings .............................................................................................................. 17 3.3 Semantics derived automatically from language corpora contain human-like biases ....................................................................................................................................................................... 18 3.4 Lipstick on a Pig: Debiasing Methods Cover up Systematic Gender Biases in Word Embeddings But do not Remove Them .............................................................................................. 20

4 HABITUS, VIOLÊNCIA SIMBÓLICA, CAMPO E SUAS RELAÇÕES COM ALGORITMOS DE INCORPORAÇÃO DE PALAVRAS ..................................................................................................... 22 4.1 Violência Simbólica ......................................................................................................................... 22 4.2 Campo .................................................................................................................................................. 23 4.3 Habitus ................................................................................................................................................ 23 4.5 O viés algorítmico de um ponto de vista sociológico ........................................................... 25

5 CONSIDERAÇÕES FINAIS ............................................................................................................... 28 REFERÊNCIAS ...................................................................................................................................... 29

1 INTRODUÇÃO Nas últimas décadas a utilização de algoritmos de inteligência artificial (IA) têm crescido exponencialmente em diversos tipos de serviços, inclusive naqueles com os quais boa parte das pessoas entra em contato no cotidiano. Vários softwares e aplicativos como tradutores de palavras e redes sociais utilizam algoritmos de inteligência artificial para realizar suas funções e até mesmo otimizá-las. Um exemplo de algoritmo de inteligência artificial é o de incorporação de palavras (word embedding no original) que consiste em um algoritmo de processamento de linguagem natural, ou natural-language processing. A incorporação de palavras é feita por meio de um treinamento do algoritmo e se baseia na disposição de um grupo de palavras em um espaço vetorial, ou seja, cada palavra possui um valor determinado nas coordenadas de espaço, que pode chegar até mais de trezentas dimensões. Esse algoritmo permite a realização de analogias por meio de cálculo vetorial, comparando a distância entre pares de palavras. A incorporação de palavras tem como propósito a criação e identificação de padrões presentes na linguagem humana. Essa identificação e criação de padrões é uma das características principais desses tipos de algoritmos, que normalmente são treinados por meio de banco de dados com um número grande de informações, o big data. Empresas como a Google usufruem da IA para colher dados do usuário e traçar perfis com anúncios personalizados. Entretanto, é possível identificar vieses presentes nesses algoritmos e, tais vieses, podem ser interpretados como preconceitos, (de gênero, raça ou classe, por exemplo) que são transmitidos para o algoritmo por meio do treinamento e do banco de dados utilizado para tal. Ao analisar trabalhos que descrevem o comportamento de algoritmos de incorporação de palavras e discutem os vieses presentes, essa pesquisa busca entender os problemas da utilização em grande escala desses algoritmos, a partir de análises de estudos de casos, tendo em vista que empresas como Google, Facebook e Amazon empregam esses algoritmos com o intuito de padronizar e reproduzir a linguagem humana. Esse trabalho se propõe a debruçar-se de forma mais minuciosa possível sobre a questão do viés de gênero presente nos algoritmos de incorporação de palavras, analisando alguns artigos sobre o tema e como as soluções propostas nesses textos buscam lidar com o modo como esses vieses se manifestam. Uma das maneiras de observar os algoritmos de incorporação de palavras e os vieses presentes é utilizando as ferramentas sociológicas desenvolvidas pelo sociólogo francês Pierre Bourdieu. A pesquisa de Bourdieu busca analisar tanto o espaço onde ocorre a disputa por poder simbólico, o campo, quanto os esquemas de pensamento interiorizados pelas práticas e por

influência de instituições, o habitus. Tais ferramentas ajudam a entender e interpretar as relações de poder que são transmitidas, por meio do treinamento, para os algoritmos, se manifestando como viéses. Além disso, é possível utilizar a premissa de Virgílio Vasconcelos (2019), que compreende os vieses como disposições de um habitus que se inscrevem nos algoritmos digitais, para analisar o viés algorítmico de um ponto de vista sociológico. Dessa forma, essa pesquisa procura descrever o funcionamento dos algoritmos de incorporação de palavras e, ao discutir os artigos Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings; Semantics derived automatically from language corpora contain human-like biases; Lipstick on a Pig: Debiasing Methods Cover up Systematic Gender Biases in Word Embeddings But do not Remove Them, e Bias in Word Embeddings e comparar suas compreensões sobre o viés algorítmico, tentar entender como o viés de gênero pode se apresentar e, por meio dos conceitos de Bourdieu, analisar tais vieses como manifestações do preconceito e da desigualdade de gênero presentes na sociedade. O primeiro tópico a ser discutido diz respeito ao algoritmos de incorporação de palavras e sua relação com a natural-language processing, assim, nessa primeira parte essa pesquisa busca descrever esses algoritmos de um ponto de vista mais técnico. A segunda seção se debruça sobre quatro artigos que discutem os vieses de gênero presentes nos algoritmos de incorporação de palavras e os separa em dois grupos com base em suas visões sobre a retirada de tais vieses. Com isso, o último tópico deste trabalho tenta analisar a dualidade encontrada nos dois grupos de artigos do tópico anterior, utilizando as ferramentas sociológicas desenvolvidas por Pierre Bourdieu de habitus, violência simbólica e campo.

2 NATURAL-LANGUAGE PROCESSING (NLP) E INCORPORAÇÃO DE PALAVRAS De forma a elucidar como um algoritmo consegue reconhecer e reproduzir padrões da linguagem humana, é necessária a apresentação do funcionamento desse tipo de algoritmo para então tentar analisar como estes podem estar, ou serem, enviesados. Portanto, esse trabalho exige uma explicação do comportamento de algoritmos de inteligência artificial, mais especificamente, de processamento de linguagem humana. Processamento de Linguagem Natural, em inglês Natural-language Processing (NLP), é um campo dos estudos de inteligência artificial que busca entender, analisar e desenvolver algoritmos de reconhecimento de fala, tradução, busca de palavras e respostas automatizadas. É importante ressaltar que, como afirma Melanie Mitchell (2019), em termos de inteligência artificial, “natural” significa “humano”, ou seja, natural-language processing consiste em conseguir com que computadores lidem com linguagem humana. Com isso, pode-se entender NLP como uma técnica para desenvolver programas de computadores com o intuito de processar e analisar a linguagem humana.

Figura 1: Rede neural composta por três camadas . Fonte: https://pt.wikipedia.org/wiki/Rede_neural_artificial .

Nos últimos anos, pesquisadores de natural-language processing vem utilizando redes neurais computacionais no desenvolvimento de suas pesquisas. Uma rede neural computacional consiste em camadas interconectadas em que cada camada é formada por unidades que se assemelham a neurônios, podendo estar ativas ou não e, de forma geral, seu funcionamento se baseia em receber valores na primeira camada, computá-los nas camadas do meio, por meio da ativação das unidades, e exibi-los na última camada. Para exemplificar e elucidar o funcionamento e estrutura de uma rede neural, pode-se utilizar como exemplo a rede neural presente na figura 1. Essa rede neural é composta por três camadas: camada de entrada, camada “escondida” ou camada interior e camada de saída. Assim, de maneira simplificada, cada valor de entrada colocado na camada de entrada resultará em uma série de ativações e cálculos na camada interior e consequentemente em determinados valores na camada de saída. Além disso, para que a rede neural consiga saber qual unidade ativar e como realizar os cálculos, é necessário que a rede neural seja treinada. Esse treinamento, muitas vezes, é feito por meio de um banco de dados sobre o qual a rede neural realiza iterações. Tal banco de dados, no caso de algoritmos de processamento de linguagem humana, constitui-se de arquivos de textos feitos por humanos (artigos, notícias, postagens de redes sociais etc). Ademais, esse treinamento por meio de textos escritos por pessoas, se torna uma das bases da discussão desta monografia tendo em vista que os algoritmos aprendem analisando os padrões presentes na linguagem humana utilizada no treinamento. A utilização de redes neurais auxilia na criação de espaços semânticos, uma apropriação do conceito da linguística de distribuição semântica. Esse conceito busca analisar a proximidade das palavras com base em seus significados, ou seja, de acordo com Mitchell (2019, p. 189), o significado de uma palavra pode ser definido de acordo com as outras palavras com as quais ela aparece, e as palavras que aparecem com elas, e assim por diante.

Figura 2: Espaços semânticos com duas e três dimensões. Fonte: Mitchell (2019, p. 189)

A figura 2 possui dois espaços semânticos que exemplificam a afirmação feita por Mitchell. Nela, as palavras estão distribuídas em dois espaços semânticos com diferentes dimensões, tais eixos (dimensões) podem ser compreendidos como características semânticas, de forma que valores próximos podem representar uma similaridade semântica. No entanto, devido à complexidade semântica que um vocabulário pode ter, um espaço semântico pode ter dezenas ou centenas de dimensões. A criação de espaços semânticos pode se utilizar de algoritmos de inteligência artificial, tais algoritmos são conhecidos como algoritmos de incorporação de palavras, em inglês word embedding. Um exemplo de algoritmo de incorporação de palavras é o word2vec (palavra para vetor), em que em seu espaço semântico as palavras são distribuídas dentro de um espaço geométrico com n dimensões. Como afirma Mitchell (2019, p. 190), o método word2vec se baseia na noção de que “você conhece uma palavra através daquelas que a acompanham”. Para melhor compreensão do funcionamento do word2vec, o artigo utilizará o método desenvolvido pelo pesquisador da Google Tomas Mikolov em seu texto Efficient Estimation of Word Representation in Vector Space. Nesse método, uma rede neural é feita com a função de identificar um “par” para determinada palavra, ou seja, qual palavra é mais provável de aparecer logo antes ou logo depois dessa palavra que foi computada pelo algoritmo. Essa rede neural é treinada com uma coleção de pares de palavras, em que cada palavra em determinado par apareceu próxima à outra palavra desse par em algum lugar dos documentos do Google News (MITCHELL, p.190). Entretanto, é importante destacar que palavras muito frequentes como os artigos “o”, “a”, “um”, entre outras, são retiradas do pacote de treinamento. Por exemplo, na frase “o homem entrou em um restaurante e pediu um hambúrguer”, os seguintes pares seriam obtidos: homem-entrou, entrou-homem, entrou-restaurante, restaurante-homem, restaurantepediu, pediu-restaurante, pediu-hambúrguer e hambúrguer-pediu. A figura 3 mostra um exemplo de uma rede neural de word2vec:

Figura 3: Ilustração de uma rede neural word2vec. Fonte: Mitchell (2019, p. 191) No caso da rede neural da figura 3, a camada interior possui trezentas unidades; a camada de entrada, assim como a camada de saída, possuem todas as palavras do vocabulário, de forma que cada unidade da camada de entrada (e de saída) representa uma palavra. Após o treinamento, cada palavra possui uma conexão com determinado peso para cada uma das trezentas unidades da camada interior. Esses pesos correspondem a um valor em certo eixo de um espaço geométrico com trezentas dimensões. Dessa forma, como ilustra a figura 4, cada palavra pode ser representada como um vetor que é basicamente uma variável que guarda um conjunto de coordenadas, no caso, trezentas coordenadas, uma para cada dimensão.

Figura 4: Ilustração de como obter um vetor de palavras por meio de uma rede neural. Fonte: Mitchell (2019, p. 193)

Essa transformação de palavras em vetores por meio de algoritmos de incorporação de palavras se dá através de um treinamento de uma rede neural com base em um banco de dados de arquivos de texto. Essa ação tem como característica ser uma remodelação da linguagem humana em determinado contexto, ou seja, a partir de um conjunto de palavras (podendo chegar a milhões de palavras), o algoritmo de incorporação de palavras se desenvolve de forma a criar uma metodologia própria de interpretação da linguagem. Entretanto, como a próxima seção se propõe a discutir, os algoritmos de incorporação de palavras podem apresentar certos vieses que podem ser interpretados como preconceitos de gênero e tais vieses podem ser frutos do contexto do treinamento (os arquivos de texto utilizados) que poderia possuir preconceitos implícitos ou até mesmo da estrutura do algoritmo.

3 ALGORITMOS ENVIESADOS Para entender como os vieses relacionados a gênero se manifestam em algoritmo de incorporação de palavras, essa pesquisa analisa os artigos Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings (BOLUKBASI ET AL., 2016), Semantics derived automatically from language corpora contain human-like biases (CALISKAN ET AL., 2017), Lipstick on a Pig: Debiasing Methods Cover up Systematic Gender Biases in Word Embeddings But do not Remove Them (GONEN E GOLDBERG, 2019) e Bias in Word Embeddings (PAPAKYRIAKOPOULOS ET AL., 2020) como referencial teórico. Os quatro textos podem ser divididos em dois tipos, com base na abordagem utilizada para analisar os vieses que podem ser encontrados em algoritmos de incorporação de palavras. O primeiro grupo, composto pelos artigos de Bolukbasi et al. e Papakyriakopoulos et al., tem como objetivo a análise dos vieses assim como propor métodos para a retirada ou diminuição dos vieses presentes nos algoritmos por meio de ferramentas estatísticas e matemáticas, de forma a manter a funcionalidade da incorporação de palavras. Já o segundo, formado pelos trabalhos de Caliskan et al. e Gonen e Goldberg, compara dados reais com os graus de associação do algoritmo, com intuito de analisar se os vieses da incorporação de palavras correspondem à realidade da ocupação feminina no mercado de trabalho e, em contraponto ao primeiro grupo de artigos, apresentam maior ceticismo quanto as estratégias de correção de vieses em algoritmos de incorporação de palavras. Ambos os grupos de trabalho sugerem que o método de aprendizado de máquina utilizado pode transmitir vieses implícitos presentes na linguagem natural (linguagem humana), ou seja, incorporações de palavras podem conter estereótipos presentes na sociedade. 3.1 Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings Nesse artigo, os autores Bolukbasi, Chang, Zou, Saligrama e Kalai, discorrem sobre a capacidade do algoritmo de word2vec realizar analogias e buscam demonstrar quantitativamente que algoritmos de incorporação de palavras possuem vieses em sua geometria (levando em consideração que esses algoritmos se baseiam num espaço vetorial) e que tais vieses podem refletir estereótipos de gênero presentes na sociedade. A capacidade de realizar analogias se dá pelo fato que, como afirma Bolukbasi et al., uma incorporação de palavras, treinada em co-ocorrência de palavra em um corpo de texto, representa cada palavra

p como um vetor de palavras com n dimensões, assim, esse tipo de abordagem serve como um dicionário classificatório para programas de computador, em que palavras com significado semântico parecido tendem a ter vetores próximos um dos outros. Portanto, pode-se fazer uso de aritmética de vetores para entender as relações entre as palavras. Por exemplo, dada a analogia “man is to king as woman is to x”, com aritmética de vetores, é possível obter o resultado “queen”. Entretanto, como afirmam os autores do artigo Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings, é possível evidenciar preconceitos implícitos no texto, mais precisamente, no caso do artigo, estereótipos de gênero. Por exemplo, na analogia “man is to computer programmer as woman is to x” (homem é para programador de computadores assim como mulher é para x), o algoritmo retorna a palavra homemaker que corresponde à arrumadora de casa ou empregada em português. Tal pesquisa utilizou de dois tipos de experimentos de público para analisar os algoritmos: num primeiro, foram solicitadas palavras ao público, para analisar se os vieses da incorporação de palavras contém os do público; e o outro solicitou do público uma avaliação das palavras ou analogias geradas pela incorporação de palavras, com intuito de analisar se os vieses do público contém os da incorporação de palavras. Esses questionários buscaram analisar a coerência das analogias, assim como os possíveis estereótipos de gênero presentes nelas. Além de tentar identificar vieses em algoritmos de incorporação de palavras, essa pesquisa aplicou métodos de correção de viés, com intuito de diminui-lo no algoritmo mas mantendo sua eficiência, do ponto de vista dos autores, sua capacidade de realizar analogias, e isso é feito alterando a posição no espaço vetorial das palavras que possuem gênero neutro mas que costumam ser estereotipadas, como a palavra nurse (enfermeiro/enfermeira) que costuma estar associada ao gênero feminino. Como demonstra a figura 5, que compara o número de analogias geradas com o número de analogias apropriada e estereotipadas (números obtidos por meio de questionários com determinado grupo de pessoas), através de avaliações empíricas, pode se observar uma redução significativa no viés de gênero mas preservando a utilidade do algoritmo. De acordo com Bolukbasi et al. (2016), esse tipo de viés em incorporação de palavras é uma mera reflexão do viés da sociedade e, portanto, deve se buscar corrigir o viés da sociedade ao invés do de incorporação de palavras.

Figura 5: Comparação entre o número de analogias estereótipos e apropriadas antes e depois do processo de retirada de viés. Fonte: Bolukbasi (2016, p.7) É importante ressaltar que a maneira com que os autores buscam resolver o problema de manifestação de estereótipos de gênero nos algoritmos e, a maneira com que eles analisam as analogias, é através apenas de ferramentas matemáticas e sem levar em conta outros contextos. Ou seja, ao utilizar apenas de cálculos vetoriais para corrigir os vieses do algoritmo, os pesquisadores limitam a resolução do problema à uma mudança social, principalmente quando afirmam que é necessário corrigir o viés da sociedade primeiro, e não questionam o funcionamento interno do algoritmo e a suas noções de eficiência. 3.2 Bias in Word Embeddings Em Bias in Word Embeddings, Papakyriakopoulos, Serrano, Hegelich e Marco, se propõem a treinar algoritmos de incorporação de palavras utilizando o Wikipédia alemão assim como redes sociais, também em alemão. Esse treinamento tem como objetivo analisar os vieses presentes e assim poder desenvolver metodologias de análise e mitigação dos vieses algorítmicos, assim como a capacidade de difusão de vieses do algoritmo. Utilizando o trabalho de Bolukbasi et al como base para a criação de novas técnicas de examinação e retirada de vieses dos algoritmos, Papakyriakopoulos et al. busca observar o viés sob ótica matemática, ou seja, uma distância que pode ser quantificada no espaço vetorial semântico, mas adaptando em certa proporção devido ao caráter gênero-dependente da língua alemã. Para poder identificar os vieses da incorporação de palavras e sua difusão, os autores aplicam um algoritmo classificador que se baseia em um dicionário de sentimentos desenvolvido por Robert Remus, que possui um conjunto de palavras atreladas a positividade

ou negatividade. Então, o classificador recebe como entrada o vetor que representa uma palavra da incorporação e tem como saída um valor que representa um sentimento negativo ou positivo. Por meio desse classificador, e da metodologia de Bolukbasi et al., a pesquisa tenta alterar o espaço vetorial de determinadas palavras com o intuito de retirar seu caráter estereotipado. De forma similar a Bolukbasi et al, entende os vieses como detentores de estereótipos de gênero e tenta solucionar essa característica apenas com ferramentas matemáticas. A pesquisa vai além ao entender os algoritmos como instrumentos de avaliação de relações sociopolíticas em textos, ao afirmar que incorporação de palavras pode ser uma maneira de quantificar fenômenos de discriminação(PAPAKYRIAKOPOULOS, 2020, p. 455). 3.3 Semantics derived automatically from language corpora contain human-like biases Outra pesquisa que aborda os vieses presentes em algoritmos de incorporação de palavras é o trabalho de Caliskan, Bryson e Narayann no artigo Semantics derived automatically from language corpora contain human-like biases. Nesta tese, os autores defendem que algoritmos de aprendizado de máquina podem adquirir vieses estereotipados de texto que refletem a cultura humana cotidiana. Para demonstrar isso, é desenvolvido o método Word Embedding Factual Association Test (WEFAT). De acordo com Caliskan et al.: “Esse teste (WEFAT) nos ajuda como incorporações de palavras capturam informação empírica sobre o mundo incorporado no corpo de texto. Considerando um grupo de conceitos, como profissões, e dados reais, propriedades factuais do mundo associado com cada conceito, como a porcentagem de trabalhadores mulheres na profissão.” (CALISKAN ET AL., 2017, p.8) De forma geral, o Word Embedding Factual Association Test consiste em uma relação entre a porcentagem de trabalhadores mulheres em determinada profissão e a força de associação entre o gênero feminino e o vetor correspondente à ocupação. A porcentagem (eixo x da figura 6) é obtida por meio de dados de 2015 disponíveis pelo U.S. Bureau of Labor Statistics. Já a força de associação (eixo y da figura 6) consiste em um cálculo estatístico que mede o quão separada a associação entre duas palavras estão no espaço semântico da incorporação de palavras.

Figura 6:Relação entre a porcentagem de mulheres que ocupam determinado cargo com a força de associação do vetor daquele cargo com o gênero feminino. Fonte: Caliskan (2017, p.7) Como ilustra a figura 6 é possível observar uma correlação alta entre as duas variáveis, ou seja, quanto menor a porcentagem de trabalhadores mulheres em determinada profissão, menor o grau de associação entre vetor da palavra da profissão com o gênero feminino. Essa correlação forte é evidenciada pelo coeficiente de correlação de Pearson entre as duas variáveis que é igual a 0.90. Essa pesquisa, diferente da primeira apresentada, propõe um questionamento sobre a arquitetura desses algoritmos e vê com ceticismo a maneira com que Bolukbasi busca retirar seus vieses. Além de entender a vulnerabilidade de recorrer apenas à estatísticas para entender e operar a cultura, os autores percebem que a maneira com que os algoritmos de inteligência artificial são desenvolvidos, os impedem de perceber os próprios erros (no caso preconceitos) já que são feitos para atingir certos resultados da maneira mais simples possível.

3.4 Lipstick on a Pig: Debiasing Methods Cover up Systematic Gender Biases in Word Embeddings But do not Remove Them Essa pesquisa de Hila Gonen e Yoav Goldberg tem como objetivo discutir a maneira com que outros autores se propõem a retirar os vieses de gênero presentes em algoritmos de gênero, assim como questionar a eficiência dessa retirada de viés. Para isso, o artigo utiliza os métodos de Bolukbasi et al. que consiste na correção da direção dos vetores (que representam palavras) enviesados como objetos de estudos e entendem que apesar de ser um ótimo indicador de viés, esse método é apenas um indicador e não a manifestação completa desse viés (GONEN E GOLDBERG, 2019, p. 2). De forma geral, a pesquisa parte do pressuposto que viés de gênero permanece após a retirada de viés e pode ser observado por meio do agrupamento das palavras. Em outras palavras, uma palavra como nurse (enfermeiro/enfermeira) se encontra próxima de palavras marcadas socialmente como femininas, como teacher (professor/professora), no espaço vetorial mesmo após a aplicação do processo de retirada do viés. Isso é exemplificado na figura 7 que compara o viés original da palavra, ou seja, o quanto estava associado com determinado gênero originalmente, e quantidade de vizinhos no espaço vetorial que estão diretamente associados ao gênero masculino.

Figura 7:Relação entre o viés original da palavra quantidade de vizinhos no espaço vetorial que estão diretamente associados ao gênero masculino. Fonte: Gonen (2019, p.4)

Por meio dos resultados apresentados na figura 7, Gonen e Goldberg conseguem enxergar de maneira cética, assim como Caliskan et al., as metodologias utilizadas para retirada de viés de gênero em algoritmos de incorporação de palavras. Com isso,os autores entendem que esta técnica baseada na direção do vetor é insuficiente para remover o viés e que outros aspectos do viés devem ser levados em consideração (GONEN E GOLDBERG, p. 5).

4 HABITUS, VIOLÊNCIA SIMBÓLICA, CAMPO E SUAS RELAÇÕES COM ALGORITMOS DE INCORPORAÇÃO DE PALAVRAS Uma das maneiras de analisar os algoritmos de incorporação de palavras e seus vieses de gênero estereotipados é por meio dos conceitos de habitus, campo e violência simbólica desenvolvidos pelo sociólogo francês Pierre Bourdieu. Tais conceitos nos auxiliam a entender, de um ponto de vista sociológico, a reprodução de comportamentos sociais nesses algoritmos, assim como a manutenção de tais comportamentos por meio deles. Portanto, partindo dessa premissa, essa pesquisa discorre sobre os dois grupos de artigos apresentados anteriormente buscando analisar como os conceitos de Bourdieu se encaixam em suas conclusões, assim como entender o porquê da manifestação de preconceito de gênero. A escolha da pesquisa de Bourdieu como fundamentação teórica deste trabalho se dá por conta do seu desenvolvimento de conceitos que ajudam a compreender as relações de poder existentes na sociedade. De acordo com Virgilio Vasconcelos (2019), o trabalho de Bourdieu desenvolveu ferramentas e conceitos para a análise de relações sociais que podem ser aplicadas ao meio digital para evidenciar as condições de possibilidade de sua emergência, desenvolvimentos e novas configurações. Com isso, esse trabalho faz uma breve explicação dos conceitos a serem utilizados para posteriormente recorrer a eles para analisar os artigos de incorporação de palavras. 4.1 Violência Simbólica Para Bourdieu, violência simbólica consiste no processo de exercício de poder simbólico, ou seja, no resultado da disputa de legitimação de capital simbólico em determinado grupo. Como afirma Vasconcelos, nesta disputa: “um grupo busca validar seu conjunto de valores simbólicos (como a língua, raça, religião, arte, características de gênero, etc) em detrimento dos valores de outro(s) grupo(s), fazendo uso de toda sorte de práticas cotidianas para que seus valores sejam tomados por legítimos, ou ‘naturais’, tanto pelo grupo dominante quanto pelo(s) grupo(s) dominado(s).” (VASCONCELOS,2019, p. 28)

4.2 Campo Tendo em vista que violência simbólica consiste na disputa por poder simbólico em determinado espaço social, o conceito de campo desenvolvido por Bourdieu surge com o intuito de definir o território onde a contestação de legitimação dos valores simbólicos ocorre. Vasconcelos (2019, p.28) afirma que o campo social de Bourdieu seria como um decalque, um recorte da totalidade do mapa que compõe o tecido da sociedade e consiste em uma aglutinação com certo grau de estabilidade, mas em processo permanente de diferenciação ou individuação coletiva. De acordo com Elaine Pereira, o campo seria uma espécie de microcosmo social provido de certa autonomia, com leis e regras específicas, ao mesmo tempo em que influenciado e relacionado a espaço social mais amplo. Pereira define campo, em relação a disputa por poder simbólico, como: “Um lugar de luta entre os agentes que o integram e que buscam manter ou alcançar determinadas posições. Essas posições são obtidas pela disputa de capitais específicos, valorizados de acordo com as características de cada campo. Os capitais são possuídos em maior ou menor grau pelos agentes que compõem os campos, diferenças essas responsáveis pelas posições hierárquicas que tais agentes ocupam.” (PEREIRA, 2015, p. 341) O campo pode ser compreendido como espaço social em constante disputa e tensão entre os agentes em busca de poder de legitimação dos valores simbólicos do campo. Como afirma Bourdieu (2004, p. 22-23), todo campo é um campo de forças e um campo de lutas para conservar ou transformar esse campo de forças. E seus agentes podem ser indivíduos ou instituições, os quais criam os espaços e os fazem existir pelas relações que aí estabelecem (PEREIRA, p.341). 4.3 Habitus De acordo com Vasconcelos (2019, p. 30), a formulação bourdieusiana de habitus se deu a partir das ideias de Erwin Panofsky em que “hábitos mentais” estimulados pelas instituições escolares em uma determinada época e região da Europa tornaram capaz a materialização de características semelhantes entre a arquitetura gótica e os pressupostos da filosofia escolástica. Para Bourdieu (2007, p.345), essa semelhança se deu por conta das

estruturas sociais de uma determinada época e local por meio de esquemas de pensamento interiorizados pelas práticas sociais e por influência de instituições. A partir disso Bourdieu denomina habitus como: “sistemas de disposições duráveis, estruturas estruturadas predispostas a funcionar como estruturas estruturantes, isto é, como princípio gerador e estruturador das práticas e das representações que podem ser objetivamente “reguladas” e “regulares” sem ser o produto da obediência a regras, objetivamente adaptados a seu fim sem supor a intenção consciente dos fins e o domínio expresso das operações necessárias para atingi-los e coletivamente orquestradas, sem ser o produto da ação organizadora de um regente.” (BOURDIEU, 1983, p .60) O habitus pode ser compreendido como “um conjunto de esquemas implantados desde a primeira educação familiar, e constantes repostos e atualizados ao longo da trajetória social restante” (BOURDIEU, 2015, p. XLII). Além disso, Bourdieu, em analogia a teoria linguística de Noam Chomsky sobre gramática generativa, define habitus como um “sistema dos esquemas interiorizados que permitem engendrar todos os pensamentos, percepções e as ações característicos de uma cultura, e somente esses” (BOURDIEU, 2015, p. 349). Bourdieu aprofunda sua tese sobre habitus diferindo-o em habitus individual e habitus de classe. Essa distinção é explicada por Vasconcelos: “Enquanto o primeiro (habitus individual) se relaciona ao conjunto particular de disposições apreendidas e modificadas por um agente no curso de suas relações com o tecido social, sua trajetória histórica única e as interações com diferentes campos e situações individuais, o habitus de classe refere-se ao conjunto comum de disposições relativas à posição de um agente em um campo na disputa pelo domínio simbólico.” (VASCONCELOS, 2019, p.33) É possível perceber que o habitus de classe é a resultante das forças que um agente sofre em relação a um conjunto de formas que tendem a condicionar diferentes práticas a partir de questões como a posição nas relações de disputa por capital simbólico, como por exemplo a relação de classe dominante e classe dominada. (VASCONCELOS, 2019, p.33)

4.5 O viés algorítmico de um ponto de vista sociológico Ao analisar as conclusões dos artigos apresentados nesta pesquisa, observa-se uma certa discordância em relação às fontes dos vieses e também as possíveis soluções para a diminuição dos estereótipos de gênero presentes nos algoritmos. Enquanto o primeiro grupo de artigos utilizam apenas de ferramentas matemáticas e estatísticas para observar e corrigir os vieses, sugerindo que o algoritmo apenas reproduz os preconceitos de gêneros da sociedade, o segundo enxerga de maneira cética tais métodos de correção assim como compreende que arquitetura do algoritmo de incorporação também possui uma grande responsabilidade nos resultados estereotipados. Tendo essa dualidade em vista, essa pesquisa busca entender, por meio das ferramentas sociológicas de Bourdieu, a maneira com que esses trabalhos abordam a manifestação dos vieses de gênero. Entretanto, ambos grupos de pesquisa entendem que existe reprodução por parte dos algoritmos dos preconceitos de gênero presentes na nossa sociedade e portanto, a análise dos dois textos parte da premissa de Vasconcelos que, ao analisar a pesquisa de Cathy O’Neil sobre preconceitos no meio digital, compreende os vieses algorítmicos como disposições de um habitus que se inscreve nos algoritmos digitais, e afirma que é possível investigar como as tensões sociais reverberam na escrita algorítmica do meio digital dessa forma. Examinando a proposta do artigo Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings, de retirar os vieses dos algoritmos por meio de aritmética vetorial, é plausível entender o algoritmo de incorporação de palavra como um campo social duplicado do campo social dos objetos utilizados para o treinamento e, consequentemente, do campo social de gêneros. Dessa forma, as tensões sociais presentes na sociedade seriam inscritas no algoritmo e, em paralelo com o que afirma Cathy O’Neil no livro Weapons Of Math Destruction, “os modelos são opiniões incorporadas na matemática”. Do ponto de vista deste artigo, são habitus incorporados na matemática (no algoritmo). Assim, o algoritmo se torna um espaço de tensão e disputa de poder, onde relações entre dominantes e dominados podem ser evidenciadas. O habitus se manifesta nos vieses dos algoritmos, tendo em vista que neles presenciamos o conjunto de esquemas interiorizados de pensamentos, ações e percepções de uma cultura, esquemas os quais podem abranger preconceitos de gênero, raça e outros. Com isso, algoritmos de incorporação de palavras continuam a exercer violência simbólica e reproduzir comportamentos sociais, assim como manter tais comportamentos. Portanto, o algoritmo de incorporação de palavras funcionaria como uma espécie de assimilador de habitus que se manifestam na escrita e, levando em consideração a maneira com que o artigo

de Bolukbasi et al. aborda o viés, para que o habitus estereotipado não se expresse no algoritmo e continue exercendo violência simbólica seria necessário alterar o habitus presente no campo em que o algoritmo foi treinado. Esse tipo de abordagem sobre o viés de gênero nos algoritmos de incorporação de palavras é também evidenciada no artigo Bias in Word Embeddings. Neste artigo, os autores possuem um caráter mais otimista, em comparação à Bolukbasi et al, em relação à utilização de incorporação de palavras e vão além sobre seu uso, tendo em vista que entendem que esses algoritmos podem ser usufruídos como ferramenta de análise sociológica. Com base nesse entendimento, o algoritmo de incorporação de palavras funcionaria como uma espécie de instrumento quantificador do habitus presente no texto. Ou seja, enxergando o viés como um habitus inscrito no algoritmo, Papakyriakopoulos et al. afirma que, se é possível quantificar o viés de gênero do algoritmo, se quantifica o habitus de gênero presente no campo dos textos. Além disso, de forma similar à Bolukbasi et al, os autores não veem o algoritmo como agente realizador de violência simbólica, mas apenas como uma ferramenta para observála. De forma análoga ao primeiro artigo, os autores de Semantics derived automatically from language corpora contain human-like biases, possuem uma visão mais crítica e cética a própria estrutura a qual o algoritmo é desenvolvido. Apesar de também indicarem que existe uma reprodução, por parte do algoritmo de incorporação de palavras, dos habitus presentes nos bancos de treinamento, Caliskan et al. enxergam a arquitetura e funcionamento dos algoritmos como problemáticas. De acordo com os autores a incapacidade dos algoritmos em perceberem o enviesamento durante o treinamento é preocupante, ou seja, diferente de um humano que pode perceber seus preconceitos e alterar seu comportamento, um algoritmo de inteligência artificial não consegue olhar de forma crítica para o seu funcionamento. Do ponto de vista desta monografia, a estrutura desses algoritmos, que busca imitar o comportamento humano, acaba se resumindo em exercer violência simbólica. O algoritmo é desenvolvido de maneira que apenas duplique o campo social do contexto de treinamento e, consequentemente, seus habitus e tensões. Em outras palavras, a partir desse ponto de vista, a eficiência dos algoritmos de incorporação de palavras está ligada à sua capacidade de duplicar o campo social humano. Essa eficácia das metodologias de mitigação do viés de gênero é posta prova no artigo Lipstick on a Pig: Debiasing Methods Cover up Systematic Gender Biases in Word Embeddings But do not Remove Them, no qual os autores demonstram que os métodos utilizados para retirada de vieses (principalmente o utilizado por Bolukbasi et al.) apenas os mascara. Sob essa perspectiva, as técnicas de de remoção do viés de algoritmos operariam como encobridores do habitus e de sua violência simbólica e o otimismo em cima dessas técnicas, de acordo com os autores, seria

problemático, levando em consideração que ao não retirar completamente os vieses de gênero estereotipados do algoritmo, este ainda continua exercendo violência simbólica de uma maneira mais sutil e mais difícil de identificar. Como afirma Vasconcelos, esse habitus algorítmico “possui características que os tornam particularmente danosos sob uma visão farmacológica: a escala e instantaneidade da sua ação amplificam seu alcance, enquanto a opacidade da sua escrita dificulta a averiguação e correção de danos que reverberam no tecido social”(2019, p.138). Ou seja, partindo do ponto de vista de Vasconcelos, o algoritmo enviesado com preconceitos de gênero tem uma capacidade maior de exercer violência simbólica, principalmente no que diz a respeito a manutenção das desigualdades (no caso dessa pesquisa de gênero), algo que é exemplificado no artigo de Caliskan et al., ao comparar dados obtidos do algoritmo e dados reais. Além disso, como é levantado no texto de Caliskan et al e demonstrado no trabalho de Gonen e Goldberg, existe uma problema no que diz respeito a metodologia de análise da eficiência do algoritmo. Sendo a eficácia do algoritmo, na maioria dos casos, ligada à sua capacidade de transpor o campo em modelos matemáticos, existe uma instrumentalização da violência simbólica que contribui para as desigualdades de gênero e, tendo em vista a busca por rapidez e simplicidade nessa transposição, existe a incapacidade destes mesmo algoritmos iterar sobre seus vieses logo para que não exerçam violência simbólica.

5 CONSIDERAÇÕES FINAIS A análise dos dois grupos de artigos nos leva a entender que o preconceito de gênero manifesto nos algoritmos se comporta como um habitus replicado da sociedade. Contudo, existe uma dualidade em relação ao algoritmo ser ou não um agente que exerce violência simbólica. Enquanto o primeiro grupo de artigos enxerga o algoritmo apenas como sendo um instrumento que identifica e quantifica os habitus presentes no campo dos textos utilizados para o treinamento, podendo até ser uma ferramenta filtradora de habitus estereotipados (métodos de retirada dos vieses), o segundo compreende que a estrutura de desenvolvimento do algoritmo o faz um agente no campo social e são necessárias abordagens mais amplas para a criação de algoritmos de incorporação de palavras que não transcrevem habitus estereotipados. Além disso, é possível perceber um caráter passivo ao lidar com o algoritmo por parte do primeiro grupo de textos e tal passividade também pode ser entendida como violência simbólica, tendo em vista que os autores não conseguem enxergar a estrutura do algoritmo como reprodutora do habitus presente no texto apenas como identificadora de tal, algo que é criticado pelo segundo grupo de artigos. Portanto, por meio das análises e discussões apresentadas neste texto , é possível enxergar a existência de um longo caminho a se trilhar nos estudos relacionados ao desenvolvimento de algoritmos de incorporação de palavras, levando em consideração o seu potencial de agente que auxilia na manutenção de desigualdades sociais. Por outro lado, também é possível identificar tentativas de redução dos impactos causados pela utilização imprudente e desorientada desses algoritmos, assim como sua utilização em si, seu desenvolvimento e a forma com que são estruturados.

REFERÊNCIAS MITCHELL, M. Artificial Intelligence. A guide for thinking humans. New York: Farrar, Strauss and Giroux, 2019. MIKOLOV, T. et al. Efficient estimation of word representations in vector space. In: ______ Proceedings of ICLR Workshops Track, 2013. Disponível em: <arxiv.org/abs/1301.3781.> CALISKAN, A.; BRYSON, J. J.; NARAYANAN, A. Semantics derived automatically from language corpora contain humanlike biases. Science, 356(6334):183–186, 2017. BOLUKBASI, T. et al. Man is to computer programmer as woman is to homemaker? Debiasing word embeddings, Advances in Neural Information Processing Systems, 2016. p. 4349–4357. GONEN, H.; GOLDBERG, Y.. Lipstick on a pig: Debiasing methods cover up systematic gender biases in word embeddings but do not remove them. arXiv preprint arXiv:1903.03862, 2019. PAPAKYRIAKOPOULOS, O. et al. Bias in word embeddings. In Proceedings of the Conference on Fairness, Accountability, and Transparency, Barcelona, Spain, 2020. p. 446– 457. VASCONCELOS, V. C. de M.. ASSIMETRIAS DE PODER E HETEROTOPIAS NA ESCRITA DO MEIO DIGITAL. Tese de doutorado. 2019. Disponível em: <http://hdl.handle.net/1843/BUOS-BBQHNF> PEREIRA, E.. O conceito de campo de Pierre Bourdieu: possibilidade de análise para pesquisas em história da educação brasileira. In: Revista Linhas, 2015. p. 337 -356. Disponível em:<http://www.revistas.udesc.br/index.php/linhas/article/viewFile/1984723816322015337/p df_9 7> BOURDIEU, Pierre. Os usos sociais da ciência: por uma sociologia clínica do campo científico. São Paulo: UNESP, 2004. 86 p. _________. Pierre Bourdieu: Sociologia / org. Renato Ortiz. São Paulo: Ática, 1983. _________. A economia das trocas simbólicas. São Paulo: Perspectiva, 2015. O'NEIL, Cathy. Weapons of Math destruction: how big data increases inequality and threatens democracy. New York: Crown Publishers, 2016.