Apesar de os gigantes tecnológicos estarem a tentar estabelecer práticas concretas em torno das questões éticas que surgem continuamente na sua actividade, existe ainda um fosso difícil de transpor entre a forma como se “faz a ética” e o que as pessoas sentem como “ético”. E, de acordo com um estudo realizado por três investigadores do Data & Society Research Institute, a necessidade urgente de se abordar a ética, os valores e as consequências morais dos avanços tecnológicos enfrenta, pelo menos, três lógicas que dificultam sobremaneira o trabalho daqueles que são responsáveis pela sua implementação: a meritocracia, o “solucionismo” tecnológico e o fundamentalismo do mercado. E, pelo menos para já, concluem, não parece provável que o sector tecnológico seja capaz de oferecer uma resposta com significado ao desejo de um ecossistema tecnológico mais justo e orientado por valores
POR HELENA OLIVEIRA
Está a tornar-se comum: é rara a semana em que não testemunhemos um novo escândalo que tenha como protagonistas a ética e as grandes empresas tecnológicas. Seja a dissolução do comité consultivo para a ética na Inteligência Artificial da Google, seja a parafernália de questões relacionadas com o uso indevido dos nossos dados pessoais, ou os contratos “agressivos” feitos com a indústria de armamento ou ainda algoritmos enviesados que discriminam os indivíduos de acordo com a sua raça ou sexo, já para não falar da Cambridge Analytics e afins. E mesmo que a indústria tecnológica esteja a tentar estabelecer práticas concretas em torno da ética na tecnologia, existe um fosso difícil de transpor entre a forma como se “faz a ética” e o que as pessoas sentem como “ético”.
Emanuel Moss e Jacob Metcalf, ambos investigadores no Data & Society Research Institute, em conjunto com danah boyd (sim, a também investigadora assina o seu nome com minúsculas), do mesmo instituto e pertencente também à Microsoft Research conduziram um estudo que teve como objectivo analisar de que forma é que se estão a desenrolar as “práticas da ética” no interior dos gigantes tecnológicos. Para isso, falaram com 17 denominados “donos da ética” em empresas com mais de mil empregados e todas elas sedeadas em Silicon Valley, tendo a maioria um forte background técnico em ciências da computação, outros em ciências sociais e um deles em humanidades. O facto de serem apelidados como “donos da ética” [tradução livre de “ethics owners”] está relacionado, em termos de linguagem corporativa, com alguém que é “proprietário” de um projecto ou portefólio, sendo por isso responsável pelo mesmo. E é através destes “donos da ética” que a antiga disciplina dedicada a solucionar os debates irresolúveis dos valores humanos está a ser implementada enquanto prática organizacional inerente ao desenvolvimento tecnológico.
Dada a centralidade e o poder crescente da Inteligência Artificial e das ferramentas automatizadas de tomada de decisão na vida quotidiana, existe uma necessidade urgente de se abordar a ética, os valores e as consequências morais deste tipo de avanços. De acordo com o estudo, esta necessidade é dificultada pela centralidade dos dados pessoais inerentes a muitos produtos da indústria tecnológica, ao seu próprio discurso quando se apresenta como o sector que “faz do mundo um local melhor” e à ausência de uma resposta regulatória oportuna para muitos dos seus problemas enquanto indústria. A verdade é que as tentativas para institucionalizar a ética no interior de entidades que giram em torno da lógica central do poder corporativo colocam um conjunto de problemas estruturais, conceptuais e de procedimentos que podem obstruir estes mesmos esforços. Ou seja, o desafio principal para estes donos da ética reside no facto de terem de se posicionar numa batalha em que, por um lado, é necessário terem atenção às pressões externas para responderem às crises éticas e, por outro e em simultâneo, terem de responder à lógica interna das suas empresas e indústria.
Todavia, e como sublinham os autores, os donos da ética não estão a trabalhar no vácuo. Consultores de negócios, organizações profissionais, organizações sem fins lucrativos e académicos têm contribuído para o discurso que configura a forma como a ética está a ser abordada pelas empresas de Silicon Valley. Adicionalmente, as universidades têm vindo a implementar a disciplina de ética nos seus currículos, vozes críticas têm vindo a solicitar o cumprimento de códigos de ética nas grandes empresas e vários conselhos de administração têm vindo a publicar declarações de princípios. E, em simultâneo, as várias crises que têm sido acompanhadas pela pressão pública produziram um ambiente que motiva as organizações de Silicon Valley a devotar recursos para os donos da ética para que estes possam desenvolver práticas a serem implementadas nas suas organizações, apesar de serem muitas as vozes externas que asseguram que a vasta maioria das pessoas na indústria tecnológica “não são ainda orientadas pela ética”. Adicionalmente e em muitos casos, a conversa sobre ética não é sobre como fazer o que está certo, mas antes como evitar riscos de peso e a pressão financeira dos investidores e dos conselhos de administração compromete muitas vezes aqueles que desejam colocar a ética na frente e no centro da organização. Como afirmou um dos entrevistados do estudo “a ética nunca fez ninguém ganhar dinheiro (…), mas consegue fazer poupar muito dinheiro”. E o estudo conclui que os donos da ética travam grandes batalhas para lidarem com as dinâmicas do “solucionismo” tecnológico, da meritocracia e do fundamentalismo do mercado, as três lógicas distintas que caracterizam a tensão entre as pressões internas e externas a que estes estão expostos e identificadas pelo estudo em causa.
A lógica da meritocracia
A indústria tecnológica há muito que é considerada como um exemplo de feitos meritórios, nos quais o seu poder e cultura sobredimensionados são acoplados às competências técnicas e de empreendedorismo necessárias para desenvolver e comercializar produtos. A crença meritocrática nas suas próprias capacidades é um mito enraizado em Silicon Valley, o qual anima o pensamento sobre a ética dos entrevistados, os quais falam do imperativo de se “contratar as melhores pessoas”, das “escolas de topo” e de recompensar substancialmente aqueles que possuem “competências extraordinárias”. Tendo em conta esta lógica, uma “atitude de que é possível” insinua que aqueles que trabalham na indústria tecnológica são suficientes para qualquer que seja a tarefa que tenham em mãos, incluindo a tarefa de “serem éticos”. Como um dos donos de ética sublinhou, “existem pessoas genuinamente boas a trabalhar em todas estas empresas e que tentam fazer o que está certo”.
Assim, e dado o pensamento meritocrático que permeia toda a indústria tecnológica, não é surpreendente que muitos no seu interior se considerem a si mesmos como os agentes melhor “apetrechados” para abordarem os desafios éticos que têm vindo a emergir nos últimos anos. Como seria de esperar, as competências técnicas dos engenheiros assumem-se como papel principal, sendo estes por vezes apresentados como as pessoas mais bem posicionadas no interior da organização para avaliar um mal hipotético e ainda como os que têm a legitimidade para avaliar a sensibilidade ética da empresa.
Ao mesmo tempo, muitos utilizam também a lógica da meritocracia para desvalorizar as críticas ou a regulação, o que é particularmente visível no que respeita a abordagens legislativas ou regulatórias.
Todavia, e apesar de existirem alguns procedimentos rigorosos que ajudam os engenheiros a pensar nas consequências dos produtos que desenvolvem, estar sentado numa sala e “pensar arduamente” sobre os danos de um produto na vida real não é a mesma coisa que tentar compreender exaustivamente como é que alguém (cuja vida seja muito diferente do que a de um engenheiro de software) pode ser afectado por temas como o policiamento preditivo ou a tecnologia de reconhecimento facial, enquanto exemplos óbvios. Ou e em suma, os donos da ética acabam por se verem “entrincheirados” entre o staff técnico que faz valer as suas competências sobre vários domínios e o seu próprio reconhecimento de que a ética é um domínio especializado que exige uma compreensão contextual aprofundada.
A lógica do “solucionismo” tecnológico
A ideia de que todos os problemas têm soluções técnicas acessíveis tem vindo a ser reforçada pelas recompensas que a indústria tem obtido devido à produção de tecnologias que a mesma acredita conseguir, realmente, resolver problemas. Assim, as práticas organizacionais que facilitam o sucesso técnico são muitas vezes transferidas para o domínio dos desafios éticos. E tal manifesta-se na procura de checklists, de procedimentos e de métricas de avaliação que podem “fragmentar” questões complicadas de ética em trabalho de engenharia “digerível”. Ou seja, mais vezes do que seria desejável, a verdade é que a ética é estruturada como um problema que pode ser eventualmente “resolvido” de uma vez por todas. E a realidade expressa por kits de ferramentas e checklists supõe que uma solução tecnológica é sempre possível, mesmo que ainda não tenha sido completamente resolvida. Em certos casos, tal dá a impressão de que os problemas éticos são provenientes de soluções técnicas imperfeitas, o que implica o seu inverso: os produtos éticos serão melhores produtos. O denominado “solucionismo” tecnológico contribui para uma busca optimista de melhores práticas, ou seja, o conjunto ideal de checklists, procedimentos ou métricas de avaliação que irão assegurar que um produto é ético. As melhores práticas há muito que constituem uma parte importante do trabalho de desenvolvimento tecnológico, assegurando que o código é “limpo” e legível o suficiente para ser melhorado e depurado, e que o hardware é fabricado para operar no interior das especificações técnicas exigidas. Mas este optimismo é contrariado pela preocupação de que, enquanto considerada como uma questão técnica, a ética torna-se “incontrolável, como se fosse um problema demasiado grande para ser enfrentado”, o que prejudica a colaboração entre os donos da ética e os demais profissionais tecnológicos. Todavia, o enquadramento da ética como um problema técnico persiste. E descrever os problemas éticos como problemas do foro das melhores práticas centra a ética nas práticas dos profissionais da tecnologia e não nos mundos sociais para os quais os sistemas técnicos são desenvolvidos.
A lógica do fundamentalismo do mercado
A lógica de mercado define profundamente o discurso em torno da ética em Silicon Valley (e noutros locais similares). E os donos da ética dão voz, por vezes, ao sentimento cínico de que “o sucesso do mercado triunfa sobre a ética” e que, na ausência de proibições explícitas, as empresas podem envolver-se em práticas profundamente não éticas desde que estas sejam lucrativas. E, na ausência de regulações, os donos da ética são pressionados a implementar práticas de ética que não afectem negativamente os resultados da empresa.
Assim, e dada a lógica de mercado generalizada que satura a indústria tecnológica, os donos da ética acabam por restringir a sua própria capacidade de fazerem alterações efectivas tendo em conta aquilo que “o mercado” permite. E mesmo os executivos de topo mais bem-intencionados e munidos de bons princípios são confrontados com uma tensão entre um conjunto de considerações éticas e o dever fiduciário de maximizarem o valor para o accionista, sendo esse mesmo dever entendido como um valor ético.
Em suma, e apesar de não ser verdade o facto de as empresas tecnológicas escolherem o lucro em detrimento do bem social em todos os casos, é verdade que os recursos organizacionais necessários para que a moralidade triunfe têm de ser justificados em termos de “amigos do mercado”.
O que concluem os autores do estudo
Ao falarem com pessoas que estão na vanguarda do pensamento ético no interior do sector tecnológico, os autores do estudo concluem que o compromisso em relação à ética sofre uma enorme tensão e corre o risco de ser absorvido por compromissos alargados e arraigados da indústria que incluem a meritocracia, o solucionismo tecnológico e o fundamentalismo de mercado. E, em vez de desafiar estes compromissos, a operacionalização da ética pode funcionar para sustentar e afirmar estas mesmas lógicas. Assim, os stakeholders entrevistados para o estudo apresentaram diferentes perspectivas no que respeita ao que pode ser feito para tirarem partido dos constrangimentos que colectivamente toleram enquanto o custo de se fazer negócios na indústria tecnológica. Todos admitiram que os processos em que estão a trabalhar são necessários, mesmo que não sejam suficientes: “têm algumas falhas, mas ao menos é qualquer coisa”. Todavia, a sua aceitação tácita de pelo menos uma das três lógicas centrais acima apresentadas dá origem a uma questão significativa relativamente à ética e à tecnologia: pode a indústria tecnológica ser ética sem colocar em causa estas lógicas subjacentes?
No simpósio da AI Now em 2018, um instituto que se dedica à análise das implicações sociais da inteligência artificial, o académico especialista em direitos humanos no contexto legal Phillip Alston afirmou, no palco e meio a sério meio a brincar “eu quero estrangular a ética”, sublinhando que esta é “indeterminada”, “indefinida e inexplicável” em comparação com os enquadramentos dos direitos sociais e humanos. Também na conferência da Association for Computing Machinery (ACM) sobre Justiça, Responsabilidade e Transparência, foram vários os membros da comunidade de pesquisa que afirmaram que a “justiça”, a “responsabilidade”, a “transparência” e a “ética” podem constituir palavras evasivas que funcionam como gestos vazios e que a “justiça, a libertação e os direitos” são enquadramentos para a melhoria material das vidas humanas.
A pesquisa de Emanuel Moss, Jacob Metcalf e danah boyd demonstra que os donos da ética vivem no interior desta mesma tensão. Par o melhor ou para o pior, o seu objectivo colectivo não é, naturalmente, parar a indústria tecnológica. E, como afirmam os autores, apesar de todos eles estarem envolvidos em algum tipo de crítica relativa à sua própria indústria, estão igualmente enredados em culturas organizacionais que recompensam o trabalho acelerado e orientado pelas métricas com maiores recursos, aumentando assim a capacidade de se encaixarem e diminuindo a capacidade de contestarem. E, em situações como esta, é necessariamente desafiador distinguir entre o sucesso e o fracasso. Assim, o trabalho da ética consiste em tenta “lidar com”, e não resolver, estas tensões.
Apesar de ser ainda demasiado cedo para se saber se os esforços emergentes no sentido de uma mudança efectiva nas empresas de tecnologia produzirão, verdadeiramente, organizações mais éticas, os autores do estudo dizem-se preocupados relativamente às condições organizacionais, culturais e estruturais que inibem estes objectivos nobres. Se a ética é simplesmente absorvida no interior da lógica do fundamentalismo de mercado, da meritocracia e do solucionismo tecnológico, não parece provável que o sector tecnológico seja capaz de oferecer uma resposta com significado ao desejo de um ecossistema tecnológico mais justo e orientado por valores. E a questão em causa tanto para os cientistas de dados como para os donos da ética no interior destas empresas é a de como é que se encontra um caminho para uma forma melhor de se “fazer ética” que institucionalize práticas quotidianas mais abertas, justas e valorativas.
Editora Executiva
