Carla Rebelo é diretora mundial do negócio de recrutamento permanente da Adecco.
O princípio basilar da era da informação é simples: quanto mais dados melhor. O perigo deste princípio, porém, na criação de algoritmos é o de saber se, na maior parte dos casos os dados são usados para justificar o funcionamento do sistema, mas não para o questionar ou melhorar. No livro Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, Cathy O´Neil, data scientist e doutorada em matemática por Harvard, identifica alguns algoritmos como Weapons of Math Destruction (WMD), ou armas de destruição matemática.
Os data scientists começam sempre com a chamada abordagem Bayesiana, que consiste em ordenar as variáveis com maior impacto no resultado desejado. Como resultado, e dada a forte correlação entre pobreza e crime, os mais desfavorecidos são apanhados em autênticas redes de arrasto com o uso de algoritmos usados na dita prevenção criminal. Para a autora, se pensarmos os WMD como uma fábrica (pelo fato de processar em massa), a injustiça é como o fumo negro que sai da chaminé, ou seja, uma emissão tóxica. Na realidade, com um algoritmo de efeito WMD há sempre o chamado dano colateral. Ainda, relacionar dados de crédito negativos com mau desempenho deixa aqueles com ratings creditícios baixos com menos probabilidades de encontrar emprego.
A crise financeira tornou muito claro que a matemática estava, não só, muito enraizada nos problemas do mundo, mas também a servir de combustível para alguns deles. Como verdadeiros deuses, estes modelos matemáticos são quase sempre opacos e operam em escala para seriar, perfilar e “otimizar” milhões de pessoas.
A vulnerabilidade vale ouro para um WMD. Como comprova a autora, há dados que, se incorporados, irão permitir lucrar com práticas predatórias e, portanto, revelar todo um universo negro dos algoritmos, explorando os alvos mais frágeis. Para Cathy O´Neil, a raiz do problema é a escolha de objetivos feita pelo modelador do algoritmo. E defende a tese ao longo do seu livro, de que é essencial a centralidade da ética nas discussões com a data science. Tendo em conta que não admitem recurso, as repercussões morais da separação entre modelos técnicos e pessoas podem ser devastadoras.
Segundo a autora são então 3 os elementos que classificam um algoritmo como WMD: opacidade, escala e dano.
Como os modelos são por natureza simplificações, é natural a ocorrência de erro, até porque os modelos refletem as opiniões inseridas na matemática. Se o modelo funciona ou não, isso é determinado por uma componente chave, ou seja, qual é a sua definição de sucesso. E a questão primordial a saber é se no modelo eliminamos, de fato, o enviesamento humano ou apenas o camuflamos com tecnologia.
Uma das propostas da autora é a de incluir, como elemento integrante no desenvolvimento de algoritmos, uma atividade simples de auditoria que inclua um circuito de retorno sobre os resultados da aplicação do algoritmo, integrado no mesmo para o melhorar, tendo assim um efeito positivo e não pernicioso. Sem feedback, um motor estatístico continuará em espiral destrutiva, replicando o defeito e dano, nunca aprendendo com os seus erros.
Estará a sociedade disposta a sacrificar um pouco de eficiência em favor de justiça? Ou continuará a justiça a ser algo que apenas uma parte da sociedade impõe a outra?
Do ponto de vista evolutivo, os algoritmos (do bem) são uma ferramenta poderosa para modificação de comportamentos através de uma simples engenharia reversa. A grande missão é fazer dos algoritmos nossas ferramentas e não mestres do nosso destino.
Leia mais artigos de Opinião de Carla Rebelo aqui
Leia a entrevista de Carla Rebelo à Executiva aqui
