Aequitas: um software que revela discriminações em sistemas de inteligência artificial

O que era para ser uma curta estadia na Universidade de Chicago, nos EUA, acabou por se transformar na oportunidade de uma vida. Pedro Saleiro, 33 anos, doutorado em Engenharia Informática, acabou por ficar dois anos na equipa de Rayid Ghani, ex-analista de Barack Obama. O alumnus da Faculdade de Engenharia esteve envolvido em vários projetos que mostram como a análise de dados e a inteligência artificial podem ajudar o mundo.

Texto: Raquel Pires Fotografia: direitos reservados

Não é segredo para ninguém que cada vez mais se recorre à adoção generalizada de tecnologias baseadas em big data e machine learning no setor bancário, na saúde, administração pública ou até mesmo na justiça. A inteligência artificial tem um potencial enorme de melhoria da qualidade dos serviços públicos uma vez que permite aos governos alocarem recursos humanos e financeiros onde estes são efetivamente mais necessários e onde poderão ter maior impacto na sociedade. No entanto, algumas notícias recentes – sobretudo nos EUA – alertam para o risco da utilização de sistemas inteligentes que afetam injustamente os cidadãos porque aprendem e propagam as discriminações e preconceitos que existem na sociedade. Pedro Saleiro, doutorado em Engenharia Informática pela Faculdade de Engenharia da U.Porto (FEUP) e Data Science Manager na Feedzai, desenvolveu durante o seu post-doc na Universidade de Chicago, uma ferramenta que permite auditar sistemas de apoio à decisão baseados em inteligência artificial e detetar vários tipos de discriminações: raciais, de género, etárias ou até religiosas. A ferramenta chama-se Aequitas, tem como público-alvo cientistas de dados e entidades governamentais, e foi já mencionada num artigo da conceituada revista Nature.

Desenvolvida no Center for Data Science and Public Policy, a Aequitas é de utilização gratuita e permite auditar os modelos antes de estes serem utilizados em produção, decompondo diferentes

A equipa do Data Science for Social Good, em Chicago. Pedro Saleiro é o primeiro a contar da direita na última fila

métricas de erro por diferentes grupos da população e assim detetar vários tipos de discriminação. “Vamos imaginar que eu quero desenvolver um sistema que detete o risco de desenvolvimento de diabetes nos próximos três anos: é importante que o sistema não funcione pior no interior do país do que no litoral, ou em determinados grupos minoritários ou etnias, porque aí estaríamos a exacerbar desigualdades. É imperativo auditar sistemas de apoio à decisão baseados em inteligência artificial e tornar públicos os resultados antes destes sistemas serem utilizados por entidades públicas”, explica o jovem investigador.

Durante o post-doc na Universidade de Chicago com a orientação de Rayid Ghani – o Chief Data Scientist por detrás da campanha de Obama em 2012 – Pedro Saleiro esteve sobretudo ligado a projetos de inteligência artificial no contexto de políticas públicas e impacto social, tanto em questões éticas e de transparência, como em projetos mais práticos em parcerias com instituiçôes públicas que têm problemas que podem ser resolvidos com grandes dados e aprendizagem computacional. O alumnus da FEUP acredita que “é fundamental formar cientistas de dados e quadros da administração pública para que estes sejam capazes de avaliar os riscos éticos e o impacto a médio prazo de cada sistema inteligente que afete a vida dos cidadãos, independentemente do sistema ser desenvolvido in-house ou comprado a terceiros”.

Até porque – defende Pedro Saleiro – a tendência da utilização de modelos preditivos baseados em inteligência artificial é para aumentar: seja para decidir a fiança de detidos, admitir alunos em universidades, candidatos a uma vaga de emprego, já para não falar do acesso a crédito. Falamos sobretudo de situações em que é fundamental que os modelos preditivos utilizados funcionem sem que haja quaisquer tipos de descriminação ou motivos para que se levantem questões éticas.

aequitas.dssg.io