Por Frank Pasquale, no Le Monde Diplomatique

A vida de Catherine Taylor virou de cabeça para baixo no dia em que uma corretora de dados pessoais escreveu por engano no arquivo sobre ela: “Tentativa de vender e fabricar metanfetamina”. Essa falsa acusação se espalhou como rastilho de pólvora, por meio da venda desenfreada de informações relativas ao consumidor. Quando foi procurar emprego, esse estigma digital espantou os recrutadores. Ela não conseguia nem comprar uma máquina de lavar louça a prazo.

A ChoicePoint, uma das muitas empresas de coleta de dados pessoais, acabou corrigindo o erro. Mas muitas outras empresas para as quais ela tinha vendido o arquivo de Catherine não fizeram isso. Ela teve de procurá-las e processá-las judicialmente, o que a deixou em ruínas. “Eu não posso passar todo o meu tempo de guarda”, disse ao repórter do jornal The Washington Post, que contou sua história.¹ Catherine levou quatro anos para arranjar um emprego e, sem conseguir encontrar um apartamento, acabou indo morar com a irmã. Ela afirma que o estresse causado pela situação agravou seus problemas cardíacos.

Para cada Catherine Taylor, que está ciente da origem de sua má reputação, milhares de pessoas são submetidas, sem saber, à criação de perfis e à espionagem digital. As mesmas empresas que usam algoritmos sofisticados para nos monitorar e manipular se escondem atrás do “segredo comercial” quando são chamadas a prestar contas.

De quando em quando, jornalistas e outros cidadãos que fazem denúncias abrem uma janela sobre o funcionamento opaco da nova economia digital. Suas revelações sobre como a empresa Cambridge Analytica desviou informações de usuários do Facebook chamaram a atenção para a necessidade de uma política sobre os dados. Sob pressão, os Estados sentem-se obrigados a agir para regular seu uso.

Encolhimento da vida privada

Enquanto, em ambos os lados do Atlântico, as autoridades políticas preparam-se para criar leis (ou aplicar melhor as que existem), revela-se necessária uma cartografia mental das vastas infraestruturas de hospedagem de dados. Para nos orientar nesse labirinto, podemos distinguir três maneiras de lidar com informações pessoais nas empresas modernas: coleta, análise – para tirar conclusões sobre os usuários envolvidos – e exploração. Cada etapa desse processo apresenta problemas específicos.

Quando os cidadãos exigem que o Facebook e o Google enviem seus arquivos pessoais, descobrem horrorizados que vastos estoques de vídeos, conversas íntimas e fotografias que achavam ter sido removidos estão perfeitamente preservados em seus arquivos. Surgem registros detalhados de seus deslocamentos. Nos telefones Android, a rede social capta discretamente informações relativas às chamadas. Registros consideráveis revelam que as redes sociais mantêm detalhes íntimos da vida de seus usuários. À medida que os sensores dos telefones celulares melhoram, os gigantes da web ficam cada vez mais tentados a coletar ainda mais dados, até obter um retrato completo dos usuários, que expõe suas vulnerabilidades, desejos, fraquezas e até mesmo seus crimes.

Você digitou em uma página de busca: “sintomas da gonorreia” ou “como declarar falência”? Esse percurso de navegação ainda pode existir, vinculado ao seu nome, ao endereço IP do seu computador e até ao seu identificador único. Com isso, as empresas podem facilmente estabelecer listas de pessoas consideradas “neuróticas” ou “em abstinência”. “Com base no histórico de seu cartão de crédito, do carro que você dirige e de outros aspectos do seu estilo de vida, temos uma boa chance de saber se você tem ou não a doença que nos interessa”, declarou o vice-presidente de uma empresa de saúde.² Outros revendem endereços de e-mail e prescrições de pacientes com depressão ou câncer.

A amplitude dessa coleta de dados geralmente aparece pouco a pouco, à medida que as empresas deixam escapar as informações inadvertidamente. Por exemplo, um dia, uma delas enviou um e-mail para “Mike Seay, filha morta em acidente de carro”. A filha do destinatário havia de fato morrido em um acidente havia menos de um ano. O interesse dessa informação sinistra para uma estratégia de marketing continua desconhecido. A empresa não comentou o assunto e não revelou a fonte da informação. As corretoras de dados podem obrigar por contrato seus clientes a protegerem suas fontes.

Coletores, corretoras e revendedores de dados podem entregar informações inofensivas, mas também criam classificações de um cinismo sem igual. Compilam listas de vítimas de agressão sexual, pessoas com aids ou mal de Alzheimer. Há também listas de pessoas impotentes ou depressivas. Vendidas por alguns centavos o nome, essas listas, mesmo sendo muito pouco confiáveis, atraem profissionais de marketing, mas também, e cada vez mais, instituições financeiras, que examinam o perfil de seus clientes para evitar fraudes, além de empregadores em busca de funcionários. Mestres da sombra, as corretoras esvaziam de qualquer substância o conceito de confidencialidade. Há muito tempo, uma dinâmica está em curso: a vida privada encolhe, à medida que a proteção comercial se expande.

Alguns desses dados estão errados. O autor de um artigo revelador descreve como uma de suas amigas, em perfeita saúde, recebeu um misterioso convite para uma reunião voltada a pacientes com esclerose múltipla. Aparentemente, ela havia preenchido um formulário de inscrição para uma reunião de pessoas com amigos afetados por essa doença, e esses dados foram coletados e depois revendidos a uma empresa de marketing. Ela já não lembra se o formulário previa esse tipo de uso – mas quem poderia se lembrar de todas essas condições gerais de uso que aceitamos em um clique sem ler? Depois, a empresa de marketing vendeu essas informações a um grupo que possui duas empresas farmacêuticas. A interessada começou a suspeitar de alguma coisa quando começou a receber itens promocionais para a reunião. Quantos de nós somos classificados em categorias que desconhecemos, sem fazer ideia disso?³

O caso Cambridge Analytica mostrou que os dados de milhões de usuários do Facebook haviam sido desviados por essa empresa, que negocia influência política (ler na pág. 23). Mas as revelações sobre a transferência de informações são raras. Os Estados deveriam facilitar a tarefa daqueles que começam a abrir essa “caixa-preta”, ordenando que as empresas informem sobre o tipo de dados que coletam. Também deveriam permitir que os usuários impeçam a coleta de algumas informações sensíveis, em vez de impor condições de uso do tipo “tudo ou nada”. Um usuário do Facebook poderia, assim, proibir a rede social de elaborar um arquivo completo sobre suas idas ao hospital.

O crescente risco de violação de privacidade desacredita qualquer tentativa de justificá-lo em nome da “segmentação dos consumidores”. Por mais sofisticadas e cautelosas que sejam, até mesmo empresas gigantes podem sucumbir a ataques piratas. O tráfego cibercriminoso de dados continua sendo um assunto tabu. Mas já foi admitido que uma corretora norte-americana vendeu acidentalmente os números de seguridade social, carteira de motorista, conta bancária e cartão de crédito de milhões de pessoas a especialistas em roubo de identidade.⁴

Milhões de arquivos por pen drive

É necessário monitorar melhor a fonte dos dados e seus compradores. Apesar dos esforços dos legisladores para entender essas práticas, a troca de informações médicas continua sendo um alvo em movimento, pois milhões de arquivos podem ser criptografados e transmitidos com um único clique. Às vezes, encontram-se traços das vendas de dados, mas o que fazer quando eles são trocados após um acordo informal entre corretoras? Um simples pen drive pode conter milhões de arquivos. As agências de supervisão já tinham dificuldade em controlar as empresas físicas – com a proliferação de empresas de comércio de dados, elas ficaram completamente sobrecarregadas. Se as corretoras não serão obrigadas a explicar as origens e os destinos exatos de todos os dados que possuem, não podemos estimar a extensão dos usos fraudulentos ou acabar com as transferências ilegais.

Além da responsabilização das empresas de coleta, conforme prevê a nova regulamentação europeia, os legisladores deveriam proibir a divulgação de algumas informações, salvo em caso de derrogação. Por exemplo, muitos estados norte-americanos proibiram que os empregadores pedissem a funcionários atuais ou potenciais a senha para acessar suas contas de redes sociais. Mas a competição pode pressionar alguns candidatos a oferecê-las por conta própria. Assim, quem se preocupa com a proteção de sua privacidade pode ser prejudicado, mesmo que esteja apenas exercendo seus direitos, pois o empregador privilegiaria os outros. Enquanto o uso de informações sensíveis não for proibido e seriamente controlado, ninguém estará a salvo de um futuro sem privacidade.

A coleta de dados é apenas o primeiro passo no processo de arruinar a privacidade. Após reunir as informações, as empresas as analisam e fazem correlações e induções. Por exemplo, a socióloga Mary Ebeling preencheu alguns formulários no início de uma gravidez que terminou em aborto espontâneo. Ainda em choque, ela ficava recebendo propagandas de produtos para bebês de empresas de marketing. Mary havia sido classificada como mãe em inúmeros bancos de dados digitais. A experiência lhe rendeu um livro, mas ela nunca conseguiu entender todo o processo por trás dos anúncios que a assombraram durante anos.⁵ Outros algoritmos constroem nossa reputação como mutuário, estudante, proprietário ou empregado. Muitas empresas de crédito estão usando as informações de maneiras inéditas, para oferecer seus serviços a consumidores e pequenas empresas. Nessa sociedade de rating, as pessoas não sabem como seu pedido de crédito foi examinado.

Esses problemas têm consequências concretas particularmente preocupantes. Um relatório recente da Privacy International revela que as empresas de tecnologia financeira, que apostam nas ferramentas digitais para capturar fatias de mercado, não hesitaram em explorar informações confidenciais para avaliar a capacidade de pagamento de um tomador de empréstimo: atividade política, telefonemas e mensagens, aplicativos usados, geolocalização, formulários preenchidos etc.⁶

Além disso, softwares capazes de fazer previsões e ajustá-las com base na análise de dados em massa – os sistemas de aprendizagem automática – mobilizam meios ainda mais intrusivos para estimar a capacidade de pagamento. Por exemplo, um artigo recentemente publicado pretende avaliar a propensão ao crime pela fisionomia dos indivíduos.⁷ Pesquisadores de inteligência artificial também preveem a sexualidade e a saúde com base no rosto de uma pessoa, imagem relativamente fácil de obter no Google ou no Facebook.⁸

Da inteligência à estupidez artificial

Embora os sistemas de aprendizagem automática sejam uma inovação valiosa na luta contra o câncer ou contra os hackers, eles não estão isentos de efeitos negativos para a humanidade. Sabemos que pelo menos uma empresa de cartão de crédito observa os eventos de nossa vida, especialmente aqueles relacionados à nossa psicologia, para realizar análises preditivas. Como as estatísticas indicam que os casais que fazem terapia têm mais probabilidade de se divorciar do que os outros, esse fator se torna um “sinal” de que a discórdia conjugal está prestes a se transformar em problema financeiro. Essa “penalidade por terapia do casal” representa um dilema para os legisladores. Se protegem essa informação, ocultam um aspecto importante da capacidade de pagamento dos titulares de cartão de crédito. Se autorizam que ela seja revelada, os casais podem desistir da terapia necessária para o relacionamento.

Mesmo que não exista um vínculo comprovado entre terapia de casal e inadimplência, a correlação é suficiente para orientar uma decisão. As consequências podem ser sombrias no caso de estados objetivamente verificáveis, como gravidez, e destrutivas para as pessoas categorizadas como “preguiçosas”, “não confiáveis”, “com problemas”, ou pior. No momento em que a alquimia digital cria novas realidades analógicas, os dados à deriva podem causar problemas em cascata. A partir do momento em que um programa de software define que uma pessoa apresenta um risco de crédito, está em falta com suas responsabilidades profissionais ou consome de maneira marginal, esses atributos podem afetar decisões em muitos outros sistemas da economia. As autoridades devem avaliar e regular o funcionamento das empresas de tecnologia financeira. Algumas inferências precisam ser proibidas. Por exemplo, a geolocalização pode interferir na avaliação da capacidade de pagamento e levar à negação de crédito a pessoas ligadas a um bairro de má reputação.

Enquanto a vida dos cidadãos comuns é constantemente sujeita à vigilância do Estado, empresas poderosíssimas ocultam seus dados e algoritmos das autoridades que deveriam nos proteger. Por que os poderes públicos e seus serviços não se dedicam a rastrear melhor os erros das companhias? Considerando suas condições, Google e Facebook deveriam ser monitorados de perto. O quadro jurídico e técnico para isso já existe. Agências de espionagem estão redobrando seus esforços em todo o mundo em nome da “guerra ao terror”. Uma guerra contra as violações de privacidade seria uma reorientação bem-vinda de suas atividades.

Os reguladores devem ser capazes de monitorar os processos de aprendizagem automática para entender, mesmo que seja um pouco, se alguma fonte de dados suspeita está influenciando as grandes empresas. Nem a aprendizagem automática nem a análise preditiva são complexas demais para poderem ser reguladas. Algumas empresas de tecnologia financeira que utilizam inteligência artificial poderiam argumentar que os cálculos que embasam suas decisões se tornaram uma forma cognitiva tão difícil de explicar quanto o processo de decisão humana. É preciso ter cuidado com esse argumento da “complexidade infinita” que justifica a desregulamentação. A inteligência artificial celebrada por entidades comerciais também pode se transformar em “estupidez artificial” ou pior. Além disso, existem várias medidas práticas fáceis de aplicar, mesmo para os sistemas de pontuação de crédito mais complexos: os reguladores poderiam exigir que os dados utilizados para o cálculo lhes sejam comunicados e excluir, por exemplo, os que se relacionam com a saúde. Além disso, como parte do Regulamento Geral sobre a Proteção de Dados (RGPD), da União Europeia, que entra em vigor no dia 25 de maio, os cidadãos podem exigir conhecer a lógica dos processos totalmente automatizados que emitem julgamentos sobre eles. Esse “direito à explicação” deveria fazer parte dos direitos humanos universais, caso contrário, essas decisões opacas de computadores terão cada vez mais peso em nossa vida cotidiana.

Para restaurar a confiança popular na vida política e no debate democrático, os reguladores deveriam convocar imediatamente as empresas envolvidas para divulgar os dados e os algoritmos empregados com o objetivo de definir o discurso apropriado a determinados alvos, bem como esses alvos em si. Uma legislação como o “direito à explicação” da RGPD seria um apoio para a liberdade de expressão. Se as empresas afirmam que seus algoritmos são complexos demais para serem revelados, as autoridades deveriam proibir o uso das informações dele resultantes.

A regulamentação mais decisiva deveria ser aquela relacionada ao uso de dados. Um Estado provavelmente teria dificuldades para impedir que pesquisadores estudem as probabilidades de capacidade de pagamento ou as disposições criminais com base, por exemplo, no reconhecimento facial: como controlar o que eles estão procurando em um conjunto de dados (mesmo que isso resulte de correlações falaciosas)? No entanto, os bancos podem ser proibidos de selecionar a quem vão emprestar dinheiro literalmente pela cara do cliente, ou as universidades de selecionar seus alunos com base no “nível de agitação” calculado quando eles eram crianças.

Aqui, a intervenção do Estado, e não o julgamento do indivíduo, é crucial. Imaginemos o seguinte cenário: os dados circulam em total transparência. Você pode acompanhar qualquer informação sobre você, da corretora ao usuário final. Você pode contestar as que achar incorretas. Você pode, se desejar, forjar várias versões digitais de si mesmo, para que cada fornecedor tenha a melhor e mais recente versão de seus gostos, interesses e conquistas.

Esse tipo de economia individual da reputação continuaria sendo apavorante. Em primeiro lugar, com a atual intensificação dos fluxos, os indivíduos teriam dificuldade em saber exatamente onde e como são caracterizados, mesmo com a ajuda de novos softwares e de profissionais. E, em muitos casos, dados verídicos podem ser usados para fins injustos ou discriminatórios, por exemplo, se uma empresa de crédito programar em seu software que o pagamento a um conselheiro matrimonial deve ser interpretado como um risco-padrão, justificando aumentar as taxas de juros do titular do cartão. O recurso a um profissional de saúde não deveria determinar os termos de uma concessão de crédito. Já é proibido usar informações genéticas para recrutamento profissional, sob o argumento de que não é possível controlar os próprios genes. Mas somos mais capazes de controlar um câncer, uma fratura na perna, a ansiedade e a depressão que podem acompanhar os problemas conjugais?

Não se deve esperar que simples indivíduos se encarreguem de expor os problemas ligados aos dados em massa e aos processos de decisão automatizados. Indivíduos não têm tempo para explorar os milhares de bases que poderiam impactar sua vida. A detecção de falhas na exploração desses dados cabe às autoridades, que devem examinar os inventários dos servidores das grandes empresas e das corretoras para encontrar dados suspeitos e exigir rastreabilidade para verificar a confiabilidade de suas fontes. No setor da saúde, os Estados Unidos já utilizam especialistas para identificar práticas problemáticas nos hospitais e consultórios médicos. Bastaria tributar um pouco a economia dos dados para financiar controles mais amplos.

As empresas estão usando cada vez mais processos automatizados para avaliar riscos e se orientar em seus negócios. As companhias que controlam esses processos estão entre as mais dinâmicas e rentáveis da economia da informação. Todos esses serviços usam algoritmos, mantidos secretos a maior parte do tempo, para ordenar essa profusão de informações. A atração por essa tecnologia tem origem na antiga aspiração de prever o futuro, temperada por um toque moderno de sobriedade estatística.

Nessa atmosfera de segredo, as falsas informações podem passar por verdade e produzir previsões injustas, talvez desastrosas. A modelagem pode ser catastrófica quando considerações injustas ou inadequadas se misturam ao poder dos algoritmos para criar os fracassos que eles pretendiam prever.

O debate público, assim como a capacidade de os cidadãos tomarem decisões informadas, exige mais do que uma compreensão do aparato estatal. É necessário esclarecer os métodos das empresas que influenciam nosso governo, nossa organização social e nossa cultura. Na era da informação, os novos senhores prometem liberdade e autodeterminação, enquanto suas “caixas-pretas” levam ao estabelecimento de uma oligarquia digital.

*Frank Pasquale é professor de Direito da Universidade de Maryland. Autor de Black Box Society. Les algorithmes secrets qui contrôlent l’économie et l’information [Black Box Society. Os algoritmos secretos que controlam a economia e a informação], Éditions FYP, Limoges, 2015.

1 Ylan Q. Mui, “Little-known firms tracking data used in credit scores” [Empresas pouco conhecidas rastreiam dados usados em pontuações de crédito], The Washington Post, 16 jul. 2011.

2 Joseph Walker, “Data mining to recruit sick people” [Mineração de dados para recrutar pessoas doentes], The Wall Street Journal, Nova York, 17 dez. 2013.

3 Nicholas P. Terry, “Protecting patient privacy in the age of Big Data” [Proteger a privacidade do paciente na era do Big Data], University of Missouri-Kansas Law Review, v.81, n.2, Kansas City, 2012. Lori Andrews, I Know Who You Are and I Saw What You Did: Social Networks and the Death of Privacy [Eu sei quem você é e vi o que você fez: as redes sociais e a morte da privacidade], Free Press, Nova York, 2011.

4 “Experian sold consumer data to ID theft service” [Experian vende dados de consumidores a serviço de roubo de identidade], Krebs on Security, 20 out. 2013. Disponível em: <krebsonsecurity.com>.

5 Mary Ebeling, Healthcare and Big Data. Digital Specters and Phantom Objects [Saúde e Big Data. Espectros digitais e objetos fantasma], Palgrave Macmillan, Basingstoke, 2016.

6 “Case study: Fintech and the financial exploitation of customer data” [Estudo de caso: Fintech e a exploração financeira de dados de clientes], Privacy International, 30 ago. 2017. Disponível em: <www.privacyinternational.org>.

7 Blaise Agüera y Arcas, Margaret Mitchell e Alexander Todorov, “Physiognomy’s new clothes” [As novas roupas da fisiognomonia], Medium, 6 maio 2017. Disponível em: <https://medium.com>.

8 Sam Levin, “LGBT groups denounce ‘dangerous’ AI that uses your face to guess sexuality” [Grupos LGBT denunciam “perigoso” recurso de inteligência artificial que usa rosto para adivinhar sexualidade], The Guardian, Londres, 9 set. 2017; Barbara Marquand, “How your selfie could affect your health insurance” [Como sua selfie pode afetar seu seguro-saúde], 24 abr. 2017. Disponível em: <www.nerdwallet.com>.