Quando opta por ver uma série no Netflix, comprar um livro na Amazon, ir ao restaurante X ou ouvir uma nova música no Spotify, a tomada de decisão é da sua inteira responsabilidade, certo? Na verdade, nem por isso. Por detrás do nosso aparente livre arbítrio, estão os algoritmos, umas “peçazinhas de inteligência artificial” que, sem nos apercebermos, acabam por ditar muitas das nossas escolhas. E qual é o mal se a intenção é fazer-nos ganhar tempo e selecções bem informadas? De acordo com um especialista na área, Kartik Hosanagar, os males são vários e de escala variada. E convém estarmos muito bem informados sobre as consequências desta delegação da nossa vontade em algoritmos que, crescentemente, estão a inundar as nossas vidas
POR HELENA OLIVEIRA
[quote_center]“Neste admirável mundo novo, muitas das nossas escolhas estão, de facto, predestinadas e todos os aparentemente pequenos efeitos que os algoritmos têm nas nossas decisões acabam por ter um impacto transformador nas nossas vidas”, Kartik Hosanagar[/quote_center]
O que é que ouvir música, apanhar um voo para qualquer local e ser parado pela polícia têm em comum? Apesar de não nos apercebermos, todas estas acções podem ter algum tipo de inteligência artificial a elas associadas. Desde os carros que conduzem sozinhos aos programas de computador que “falam” com humanos, às séries ou filmes que nos são sugeridos pelo Netflix, as tecnologias baseadas em inteligência artificial estão a impregnar as nossas vidas e a tocar num vasto conjunto de domínios da sociedade. Ou e por outras palavras tal significa que as mesmas estão a ser utilizadas nas mais básicas das tarefas – como escrever uma mensagem – ou em situações mais sérias, como decidir quem tem maior probabilidade de cometer um crime. Porque estas tecnologias são capazes de processar quantidades astronómicas de informações, a IA representa oportunidades gigantescas para a mudança social. Mas de que tipo de ‘razoabilidade’ estamos a falar quando são os computadores que “escolhem” qual a série que vamos ver no Netflix? E quem está a criar este “futuro” e como nos podemos assegurar que estes criadores reflectem comunidades diversas e dinâmicas sociais altamente complexas?
Estas e outras questões são cada vez mais formuladas à medida que os avanços tecnológicos estão, supostamente, a mudar as nossas vidas para melhor – ajudando-nos a não perder tempo quando temos vontade de ver uma série sobre extraterrestres e não a termos de procurar – ou a “ajudar” os tribunais a saber, de antemão, quais os criminosos com maiores probabilidades de virem a ser reincidentes ou ainda a “colaborar” com as empresas nos seus processos de recrutamento, sendo elas a “escolher” quais os melhores candidatos para determinado cargo.
Tendo como personagens principais da sua obra os algoritmos – cuja definição “oficial” nos diz que são o conjunto das regras e procedimentos lógicos perfeitamente definidos que levam à solução de um problema em um número finito de etapas – Kartik Hosanagar, professor de Tecnologia e Negócios Digitais na Wharton School (e também de Marketing) e empreendedor tecnológico, escreveu o livro A Human’s Guide to Machine Intelligence: How Algorithms Are Shaping Our Lives and How We Can Stay in Control, o qual se centra nas várias e nem sempre positivas ramificações da tomada de decisão algorítmica. Ou, e de uma forma mais sintética, sobre decisões que podem ter um impacto gigantesco nas nossas vidas e que não são tomadas por nós, mas pelos algoritmos.
Cada vez mais complexos, e em particular graças aos avanços na tecnologia de machine learning, os algoritmos e a inteligência artificial que lhes está inerente estão, de forma crescente, a tomar um número cada vez maior de decisões “em nosso nome”, seja no que respeita aos produtos que compramos, aos sítios onde decidimos ir jantar, à forma como consumimos as notícias, ao emprego que conseguimos (ou não) arranjar ou ao tratamento que o médico nos irá dar para determinada maleita.
[quote_center]O livro debruça-se sobre decisões que podem ter um impacto gigantesco nas nossas vidas e que não são tomadas por nós, mas por algoritmos[/quote_center]
Mais grave do que tudo isto é delegarmos decisões que podem ser de vida ou de morte aos algoritmos, seja por parte de um juiz, de um médico ou de um piloto. E, muito injustamente, serem os algoritmos a escolher se temos perfil e competências para determinado cargo ou se nos será concedido um empréstimo para comprarmos finalmente a casa dos nossos sonhos.
No seu livro, Kartik Hosanagar – e com conhecimento de causa – mergulha neste novo mundo da tomada de decisão por parte dos algoritmos e revela os potencialmente perigosos vieses (do inglês bias, que pode significar enviesamento, mau julgamento ou preconceito) que os mesmos podem originar à medida que vão impregnando, de forma cada vez mais vasta, as nossas vidas. O autor defende não só uma “Carta de Direitos para os Algoritmos” como a necessidade urgente de nos sabermos defender dos mesmos, o que passa por uma maior compreensão do seu modo de funcionamento, de um maior controlo sobre o poder que exercem na nossa vida e da criação de uma entidade que os possa auditar e regular de forma independente. Numa conversa que teve com a Knowledge@Wharton, o autor defende que é necessário termos uma palavra a dizer sobre o desenvolvimento destas tecnologias e não nos limitarmos a ser meros utilizadores passivos das mesmas.
Foi você que pediu uma decisão algorítmica?
De acordo com Hosanagar, os algoritmos estão mesmo a inundar as nossas vidas, sendo que por vezes temos noção dessa realidade – como por exemplo nos livros que nos são sugeridos pela Amazon quando pesquisamos um título ou um tema – e outras vezes não fazemos a mínima ideia de que estamos a ser “comandados” por uma peça de inteligência artificial. Na Amazon, e por ser talvez o exemplo mais fácil de perceber, mais de um terço das escolhas que fazemos são influenciadas por recomendações algorítmicas; no Netflix, os algoritmos são responsáveis por cerca de 80% do nosso “historial de visualizações” e para quem utiliza o site de relacionamentos Tinder, a esmagadora maioria das “correspondências” é também da sua responsabilidade.
O mesmo acontece – se bem que de forma diferente e de acordo com a complexidade dos algoritmos – quando se pede um empréstimo bancário, sendo estes que “decidem” se o mesmo é ou não aprovado e nos casos em que se respondeu a um anúncio de emprego pela Internet, se temos as condições necessárias para ser chamados para uma entrevista. Como já anteriormente citado, os algoritmos podem também ser responsáveis pelo desfecho de vários eventos da vida. Por exemplo, e em particular nos Estados Unidos, são já muitos os tribunais que “perguntam” aos algoritmos quais as probabilidades de um arguido vir a reincidir, sendo que a resposta pesa – e bem – na decisão final do juiz. Na medicina, e principalmente na medicina personalizada, duas pessoas com os mesmos sintomas podem não ter o mesmo tratamento, sendo este customizado com base no perfil de ADN de cada paciente, sendo os algoritmos que orientam os médicos nas suas decisões.
[quote_center]São já muitos os tribunais que “perguntam” aos algoritmos quais as probabilidades de um arguido vir a reincidir, sendo que a resposta pesa – e bem – na decisão final do juiz[/quote_center]
Tudo estaria supostamente muito bem – afinal, os algoritmos estão a ser criados para melhorar as nossas vidas, poupando-nos tempo, pelo menos, e ajudando às melhores decisões – se não existisse também um enviesamento ou “mau julgamento” no trabalho desempenhado por estas “criaturas artificialmente inteligentes”. O debate sobre os “preconceitos” enraizados em muitos algoritmos tem vindo a aquecer nos últimos tempos, sendo já conhecidas muitas histórias que comprovam a sua existência.
Uma delas passou-se exactamente com a Amazon e foi divulgada pela Reuters no final do ano passado. A gigantesca retalhista de Jeff Bezos tentou usar algoritmos no seu complexo processo de recrutamento. De acordo com o autor, a empresa recebe milhões de candidaturas e contrata centenas de milhares de pessoas. Sendo compreensível a dificuldade de fazer uma triagem de todos os currículos que recebe, a empresa resolveu automatizar parte do processo, tendo contudo descoberto que os algoritmos escolhidos para o fazer mostravam uma enorme tendência para a discriminação de género, escolhendo muito mais homens do que mulheres – e com as mesmas competências – para as entrevistas de seguimento. Apesar de não ter ido para a frente com o processo, como sublinha o autor, existem decerto muitas outras empresas que estão a automatizar da mesma forma os seus procedimentos de recrutamento e a rejeitar candidatos com base no género ou na raça, por exemplo, mesmo que as suas qualificações sejam correspondentes às dos que escapam a este “crivo”.
[quote_center]São muitas as empresas com processos de recrutamento algorítmico que estão a rejeitar candidatos com base no género ou na raça, mesmo que suas qualificações sejam correspondentes às dos que escapam a este “crivo”[/quote_center]
Por seu turno e em 2016, a organização não-governamental Propublica realizou um estudo que analisou os algoritmos utilizados nos tribunais dos Estados Unidos, identificando com clareza a existência de um “preconceito racial” nos mesmos. Especificamente, a análise concluiu que estes algoritmos tinham duas vezes mais de hipóteses de prever, erradamente, uma criminalidade futura para os arguidos negros.
Mas como se explica este enviesamento? De acordo com Hosanagar, e com os avanços nas “máquinas que aprendem” [machine learning], estamo-nos a afastar dos algoritmos originais, desenvolvidos pelos programadores do “princípio ao fim”. O machine learning pode ser definido como um subconjunto da Inteligência Artificial que permite dotar os computadores com capacidade para aprender sem que sejam explicitamente programados para isso. O seu método de aprendizagem envolve a utilização de algoritmos matemáticos e modelos probabilísticos, os quais são utilizados para fazer previsões tendo por base outros conjuntos de dados semelhantes. Ou seja, neste processo de machine learning e apesar do facto de os algoritmos por ele gerados serem mais resilientes e terem uma performance muito superior face aos seus congéneres tradicionais, o que acontece é que estes são muito mais susceptíveis a incorrer em “erros de julgamento” que existem previamente nos dados trabalhados.
Por exemplo, se estivermos a lidar com algoritmos que “lêem” candidaturas a emprego, “dizemos-lhes” o seguinte: “aqui estão os dados de todas as pessoas que concorreram ao nosso anúncio de emprego, aqui está a informação das pessoas que já contratámos e ainda a dos que já promovemos. Agora, a partir destes dados, encontra-me as pessoas certas para virem às nossas entrevistas”. Depois deste “pedido”, o algoritmo irá perceber que, no passado, a empresa em causa rejeitou mais mulheres do que homens, ou que aqueles que foram promovidos eram, na sua maioria, homens, e tenderá a seguir esse mesmo comportamento. Uma outra resposta prende-se com o facto de os engenheiros computacionais tenderem a concentrar-se em apenas uma ou duas métricas. Ainda neste exemplo, a tendência será para avaliar a precisão do modelo em causa e, se o mesmo “pontuar” bem nesta avaliação, não existe necessidade de se ir procurar erros de justiça ou de julgamento, por exemplo.
E o que está a acontecer ao livre arbítrio dos humanos?
De um ponto de vista filosófico, afirma o autor, e sendo um conceito de extrema importância, os humanos não têm, verdadeiramente, um livre arbítrio. Todavia, é exactamente com o que está a acontecer com os algoritmos que poderemos ter uma interpretação literal deste conceito há muito debatido pelos filósofos e seus pares, a qual deverá responder à questão “somos nós que tomamos a decisão final?”
Recordando que um terço das nossas escolhas na Amazon são feitas de acordo com as recomendações de “outros” consumidores, que 80% do que vemos no Netflix é proveniente também de sugestões algorítmicas, o mesmo acontecendo com 70% do tempo que passamos no YouTube, o especialista em tecnologia e negócios digitais afirma que o mais certo é os algoritmos não se limitarem a recomendar apenas aquilo que realmente queremos. Dando o exemplo de uma simples pesquisa no Google e que o mais provável é vermos apenas 0,01% dos resultados encontrados porque habitualmente não passamos da primeira página, Hosanagar afirma que foi o algoritmo que decidiu o que nos devia mostrar primeiro, ou seja, foi ele que fez a escolha por nós, tal como nos demais casos.
Quanto a termos ou não livre arbítrio, o autor e professor afirma que até certo ponto, sim, mas que não temos, decerto, o nível de tomada de decisão que julgamos possuir. Pensamos que vemos as recomendações e que depois fazemos o que queremos, mas a verdade é que os algoritmos estão-nos a “empurrar” para fazermos uma determinada escolha, escreve o autor, o que é, na maioria das vezes, positivo, pois poupa-nos tempo, sem deixar contudo de alertar que não nos podemos esquecer que temos, muitas vezes, uma atitude passiva face à forma como os utilizamos, o que pode ter consequências negativas.
[quote_center]Os algoritmos não se limitam a recomendar apenas aquilo que realmente queremos[/quote_center]
Hosanagar explica também algumas diferenças entre os algoritmos. Mais uma vez, a Amazon é um bom exemplo desta distinção e de como algoritmos de recomendação – estudados em particular pelo professor – funcionam de forma diferente. Um dos tipos é o que é utilizado pela Amazon – “pessoas que compraram x também compraram y” – e tem como base a curadoria social – ou o viés da popularidade. O outro tipo de algoritmo tenta “compreender” as pessoas a um nível mais profundo. Um exemplo pode ser dado pelo serviço da Pandora, cujas recomendações de música não são baseadas na curadoria social. A Pandora possui informação muito detalhada, com mais de 150 atributos musicais para cada canção. Por exemplo, quão rítmica é ou quantos instrumentos tem determinada composição musical. E cada vez que um utilizador gosta ou não de uma canção, os algoritmos associados procuram as qualidades musicais dessa mesma canção e ajustam as suas recomendações com base noutras canções que têm atributos similares ao que se gostou ou não.
No caso da Amazon, o algoritmo recomenda produtos que outros estão a consumir, o que tendencialmente acontece com os itens mais populares, mas não com as “jóias escondidas”. Mas no caso da Pandora, que não tem a popularidade como base, a sua resposta tende a ser melhor. Esta diferença no design dos algoritmos pode ser também aproveitada utilizando ambos os tipos, que é o que empresas como a Spotify e o Netflix estão a fazer, combinando as duas abordagens. Ambas as empresas mudaram de algoritmo e combinaram o apelo social de um sistema que olha para o que os outros estão a consumir com a capacidade inerente a um algoritmo com um design mais profundo e que tem a capacidade de trazer as “jóias escondidas” à superfície.
Os pilares de um Carta de Direitos para os algoritmos
Um dos pontos principais defendidos no livro de Kartik Hosanagar diz respeito ao facto de o autor acreditar que são muitas as empresas que nos estão a impor decisões baseadas em algoritmos sem qualquer informação sobre os motivos que as levam a fazê-lo. E é por isso que propõe “roubar” o conceito à Carta de Direitos dos Estados Unidos – as 10 primeiras emendas da Constituição – e aplicá-lo aos algoritmos, com um propósito similar: defender os direitos dos cidadãos (consumidores). Numa entrevista à TheVerge, expõe, de forma clara, os quatro pilares nos quais, a seu ver, deveria assentar uma Carta de Direitos para os Algoritmos.
O primeiro está relacionado com a transparência e, antes de tudo o resto, esta começa por o utilizador saber que existe um algoritmo por detrás da decisão em causa e por nos questionarmos se estamos dispostos a confiar em decisões quando não temos informação sobre o motivo devido ao qual a mesma é feita. Na maioria das vezes, assegura Hosanagar, nem sequer temos noção de que existe um algoritmo em acção.
E, por exemplo, no caso de um pedido de empréstimo ser recusado, não sabemos os motivos da recusa. Mas e mais do que isso, é necessário existir transparência no que respeita aos dados que estão a ser usados. Quais foram as variáveis utilizadas quando o pedido de empréstimo foi feito? A segunda coisa diz respeito à transparência dos modelos utilizados, ou seja, explicações claras não só sobre a forma como os dados foram usados, mas como foram “pesados”. Talvez exista uma variável que seja mais forte do que o historial da situação laboral. Ou talvez a variável principal seja simplesmente a morada ou o código postal de quem está a pedir o empréstimo. Se a morada indicar um bairro pobre, por exemplo, o algoritmo poderá incorrer, uma vez mais, no preconceito e recusar o pedido de empréstimo. O mesmo acontece com uma candidatura a um emprego. Se somos recusados, convém saber porquê, pois o algoritmo pode não se ter limitado a avaliar as competências constantes no currículo, mas também o historial do candidato nas redes sociais. Ou seja, a transparência relativa aos dados que foram considerados para que determinada decisão fosse tomada é muito importante.
[quote_center]Um juiz preconceituoso pode ter impacto na vida de 200 ou 300 pessoas, mas um algoritmo utilizado em todos os tribunais de um país ou do mundo poderá influenciar negativamente a vida de centenas de milhares de pessoas ou até de milhões[/quote_center]
O segundo pilar diz respeito ao facto de não podermos viver num ambiente onde não temos controlo sobre a tecnologia que nos serve, ou seja, o utilizador tem de ter controlo ou é forçado à tal passividade previamente mencionada. Os exemplos são variados e tanto podem referir-se simplesmente ao facto de podermos, e só desde há pouco tempo, informar em dois cliques que o Facebook nos está a mostrar conteúdo falso ou impróprio ou, e voltando ao exemplo do empréstimo bancário, sabermos que se o principal critério for um código postal, o algoritmo tem um enviesamento racial.
Em terceiro lugar, o autor defende a ideia de que as empresas deveriam realizar uma auditoria formal, por parte de uma entidade independente, aos algoritmos antes de estes serem implementados. Este processo de auditoria é, aos seus olhos, crucial porque ajudará a assegurar que alguém “olhou para além” da precisão e da boa performance do algoritmo. Ou seja, procurou falhas na privacidade, na justiça e no preconceito. Na entrevista à Knowledge@Wharton, Hosanagar deixa claro que não é um céptico dos algoritmos, mas antes um crente. Mas o que o preocupa, principalmente quando o problema é o enviesamento, é a sua escala. Como afirma, um juiz preconceituoso pode ter impacto na vida de 200 ou 300 pessoas, mas um algoritmo utilizado em todos os tribunais de um país ou do mundo poderá influenciar a vida de centenas de milhares de pessoas ou até de milhões.
Por último, o autor afirma que tem de existir uma responsabilização no que diz respeito ao impacto que os algoritmos têm nos utilizadores. Ou seja, devia existir maior regulação, nomeadamente uma entidade reguladora que não só fornecesse as melhores práticas da indústria mas também supervisão e fiscalização da sua utilização.
Em suma, a principal mensagem de A Human’s Guide to Machine Intelligence é a de que os algoritmos estão gradualmente a fazer parte das nossas vidas, ajudando-nos a tomar decisões, mas que teremos ainda de passar por muitas dores de crescimento à medida que estes se forem desenvolvendo. E, por isso, devemos fazer parte deste compromisso tecnológico, sermos mais activos e não minimizar os incidentes explorados no livro, mas antes levá-los muito a sério.
Editora Executiva
