Swati Srivastava é um teórico político que, com apoio de uma bolsa da NEH, está explorando o papel da inteligência artificial nos sistemas políticos contemporâneos. Este é um tema amplo e muitas vezes complexo, em parte devido ao alcance da inteligência artificial, ou IA, que é muito maior do que as pessoas imaginam.
A IA está profundamente entrelaçada em nossa vida cotidiana. Ela molda o entretenimento ao qual somos expostos, como namoramos e com quem, o aparato de segurança que protege nossa nação e o sistema financeiro que mantém nossa economia funcionando. Não podemos compreender completamente o sistema político atual sem refletir um pouco sobre isso.
Em vez de pedir a Srivastava para explicar tudo sobre inteligência artificial, pedimos que ela defina alguns dos termos-chave que aparecem em seu trabalho e no de outros pensadores políticos que escrevem sobre o assunto. O resultado é um léxico, um glossário de alguns termos para nos ajudar em nosso papel de cidadãos e humanistas que tentam entender o novo mundo admirável em que vivemos.
Algoritmos:
Os algoritmos são as regras computacionais subjacentes a tecnologias como navegação GPS, pesquisa online e streaming de conteúdo. Anteriormente, os algoritmos eram criados por programadores que definiam seus conjuntos de regras. Atualmente, a aprendizagem automática também permite que os algoritmos, imersos em grandes conjuntos de dados, desenvolvam suas próprias regras. A aprendizagem automática pode ser supervisionada por algoritmos de treinamento ou deixada não supervisionada para operar com menos orientação. Por exemplo, um algoritmo de reconhecimento de caligrafia pode aprender ao ser treinado em um banco de dados de imagens manuscritas pré-rotuladas ou através da imersão em um banco de dados onde o algoritmo agrupa imagens com base em sua própria identificação de padrões.
Governança algorítmica:
Entidades governamentais e comerciais utilizam algoritmos de aprendizagem automática para modelar previsões e tomar decisões diárias em uma variedade de áreas, incluindo crime, crédito, saúde, publicidade, imigração e contraterrorismo. Por exemplo, algoritmos de avaliação de risco buscam correlacionar atributos e ações de indivíduos, como formação acadêmica, uso de determinadas frases em postagens de redes sociais ou composição de redes sociais, com classificações de maior ou menor risco. Os dados envolvidos estão se tornando cada vez mais granulares. Um credor que utiliza um aplicativo móvel pode considerar não apenas o histórico de pagamentos de um candidato, mas também a carga da bateria de seu telefone no momento da inscrição, para inferir sua capacidade de crédito. Assim, "governança algorítmica" refere-se à forma como governos e empresas confiam em sistemas de IA para coletar e avaliar informações e tomar decisões. É importante observar que essa governança não é exclusiva de governos; quando seguradoras privadas de saúde utilizam algoritmos para definir prêmios com base em avaliações de risco, também estão envolvidas na governança algorítmica. De maneira mais ampla, a geógrafa crítica Louise Amoore escreve em Cloud Ethics que, à medida que os algoritmos se integram às infraestruturas públicas e privadas, estabelecem "novos padrões de bom e mau, novos limiares de normalidade e anormalidade, em relação aos quais ações são calibradas". Nesse sentido, os algoritmos governam aplicando suas próprias regras e definindo o que constitui uma passagem de fronteira, um movimento social ou um protesto, fornecendo informações acionáveis que podem ser usadas para moldar realidades que ainda estão em processo de formação, como estrangulando os sistemas de transporte público para impedir que um protesto cresça.
Viés algorítmico:
Um campo emergente nos "estudos críticos de algoritmos" nas ciências humanas está investigando os danos sociais da governança algorítmica, especialmente em relação ao preconceito e à discriminação. Em "Race After Technology", Ruha Benjamin, professora associada de estudos afro-americanos na Universidade de Princeton, identifica um "Novo Código Jim" no qual os programadores "incorporam julgamentos de valor em sistemas técnicos, mas afirmam que os resultados racistas de seus projetos são totalmente externos ao processo de codificação". O livro "Algorithms of Oppression" de Safiya Noble, professora da UCLA, destacou que o Google apresentava mais resultados de imagens negativas, incluindo imagens pornográficas, para mulheres e meninas negras do que para brancas. Outros observam que os algoritmos do Google exibem mais anúncios de empregos bem remunerados para homens do que para mulheres, e que os algoritmos do YouTube apresentam resultados problemáticos de preenchimento automático ou sistemas de marcação de imagens racistas.
Além do impacto discriminatório com base em categorias legalmente protegidas, como raça e gênero, Orla Lynskey, professora associada de direito na London School of Economics, alerta que o viés algorítmico pode resultar em distinções que também prejudicam grupos não protegidos legalmente, como pessoas de status socioeconômico inferior. Apesar das preocupações com o viés algorítmico, em 2020, o Departamento de Habitação e Desenvolvimento Urbano dos EUA aprovou uma regra isentando réus da responsabilidade por discriminação habitacional ao usar algoritmos para tomar decisões habitacionais (a regra permanece em vigor, embora não tenha sido aplicada pela administração Biden).
Capitalismo de vigilância:
Os algoritmos transformam a experiência individual em dados, a mercadoria global mais valiosa. Em "The Age of Surveillance Capitalism", Shoshana Zuboff, professora emérita da Harvard Business School, argumenta que quando usamos serviços como motores de busca ou plataformas de mídia social, eles extraem dados pessoais para seguir e capturar mais de nossas experiências como "mais-valia" para previsões mais precisas sobre nós. Os algoritmos do Google foram pioneiros no capitalismo de vigilância ao monetizar dados de pesquisa para publicidade direcionada.
Assim como o capitalismo industrial se baseia na utilização, se não na exploração, do trabalho para acumular capital, o capitalismo de vigilância está vinculado ao "imperativo de extração" de dados (para citar novamente Zuboff) que explora a liberdade e a dignidade humanas para obter mais quantidades e qualidades de dados para alimentar a aprendizagem automática. O Google processa 3,5 bilhões de pesquisas por dia, o que significa que coleta 3,5 bilhões de pontos de dados diariamente. Mas a extração de dados pelo Google não se limita às pesquisas. No passado, o Google leu e-mails no Gmail e acessou informações de roteadores Wi-Fi através de seus carros do Street View. Atualmente, o Google tem acesso a aplicativos de telefone em seu sistema operacional móvel Android e monitora continuamente o Google Home
O Facebook seguiu o exemplo do Google. Atualmente, os algoritmos do Facebook geram mais de 6 milhões de previsões por segundo para 2,8 bilhões de usuários. Seu rastreamento se estende até mesmo àqueles que não possuem uma conta no Facebook, usando botões "curtir" e "compartilhar" como rastreadores em mais de 10 milhões de sites (incluindo mais de um terço dos 1.000 sites mais visitados). O DeepFace do Facebook é um dos maiores conjuntos de dados faciais do mundo. Em 2018, o Facebook lançou o Portal, um dispositivo doméstico inteligente cuja câmera com IA segue automaticamente os usuários ao se movimentarem dentro de um ambiente, enquanto o microfone está constantemente ouvindo por uma "palavra de ativação" ("Olá, Portal"). O Facebook (assim como a Amazon e o Google) reconhece que analisa gravações de áudio antes da ativação da palavra de ativação para melhorar o serviço. Em "The Four", Scott Galloway, professor da Universidade de Nova York, adverte que, através do rastreamento constante em plataformas, sites, telefones e casas, o Facebook "cria um retrato detalhado - e altamente preciso - de nossos cliques, palavras, movimentos e redes de amigos", estejamos ou não logados.
Poluição da informação:
À medida que usamos o Google e o Facebook para obter informações e conexões, eles, por sua vez, usam nossos dados para criar conteúdo único gerado por algoritmos. Os algoritmos do Facebook selecionam a visibilidade e a ordem das informações no feed de notícias de um usuário entre milhares de publicações potenciais. Os algoritmos do YouTube, propriedade do Google, selecionam alguns vídeos recomendados entre milhões. Essa curadoria de conteúdo frequentemente visa capturar a atenção dos usuários com "cliques", sem levar em consideração a qualidade. Siva Vaidhyanathan, diretor do Centro para Mídia e Cidadania da Universidade da Virgínia, escreve em "Antisocial Media" que a "poluição da informação" ocorre ao priorizar informações falsas ou enganosas, informações que evocam emoções intensas e contribuem para "câmaras de eco" de crenças reforçadas, dificultando a reunião de grupos diversos para conversas calmas, informadas e produtivas. A poluição da informação também é utilizada por governos para fins de repressão. Com base nisso, a Anistia Internacional divulgou um relatório em 2019 afirmando que Google e Facebook comprometem os direitos humanos.
Opacidade algorítmica:
Embora os algoritmos tenham como objetivo nos governar, a maioria de nós não compreende como eles funcionam. Essa assimetria levou o acadêmico sociojurídico Frank Pasquale a observar em "The Black Box Society" que "o mundo contemporâneo parece um espelho de via única". Os algoritmos não supervisionados que operam em estruturas complexas de aprendizado profundo são particularmente opacos, pois podem identificar padrões de maneiras que superam a compreensão humana. Sem transparência sobre como os algoritmos não supervisionados aprendem, é difícil avaliar a adequação das inferências algorítmicas
Em sistemas de IA supervisionados, já existem distinções entre "human-in-the-loop", onde há total controle humano, "human-on-the-loop", com possível controle humano, e "human-out-of-the-loop", sem supervisão humana. À medida que pessoas e instituições se sentem cada vez mais à vontade em confiar em algoritmos não supervisionados, o próprio conceito de controle e comando humano é questionado.
IA responsável:
Devido à influência e opacidade dos algoritmos, cada vez mais observadores clamam por uma inteligência artificial responsável. O teórico político Colin Koopman adverte: "Ao nos equiparmos com algoritmos, estamos nos dispondo a nos tornarmos o que os algoritmos dizem sobre nós". Os filósofos de IA Herman Cappelen e Josh Dever colocam a responsabilidade como um desafio crítico: "Não queremos viver em um mundo onde somos controlados por razões que não entendemos, sujeitos a decisões médicas invasivas por razões que não entendemos, a quem casar e quando ter filhos por razões que não entendemos".
Em 2016, a Agência de Projetos de Pesquisa Avançada de Defesa dos EUA lançou um desafio de IA explicável, solicitando aos pesquisadores que desenvolvessem novos sistemas de IA capazes de "explicar sua lógica, caracterizar seus pontos fortes e fracos e transmitir uma compreensão de seu comportamento futuro". Na Europa, o Regulamento Geral de Proteção de Dados de 2018 estabeleceu um "direito à explicação" para decisões algorítmicas.
Cientistas da computação têm respondido a reguladores e críticos desenvolvendo métodos de visualização para entender como os algoritmos de aprendizado automático obtêm seus resultados. Outros focaram em mais divulgações e auditorias. Em 2018, a ex-engenheira de ética da Google, Timnit Gebru, junto com colaboradores, propôs "folhas de dados para conjuntos de dados", onde "cada conjunto de dados é acompanhado por uma folha de dados documentando sua motivação, composição, processo de coleta, usos recomendados, etc.". No entanto, teóricos dos estudos críticos de algoritmos argumentam que a divulgação das regras de decisão ou do código-fonte por si só não resolverá a lacuna de conhecimento entre os criadores de algoritmos e o público.