JOÃO CARLOS REBELLO CARIBÉ

Tópicos em ética da informação

Ética na sociabilização mediada por algoritmos

Artigo

Junho de 2017  
 2

Ética na sociabilização
mediada por algoritmos
João Carlos Rebello Caribé
Mestrando em Ciência da Informação pelo convênio Universidade Federal do Rio de Janeiro/Instituto
Brasileiro de Informação em Ciência e Tecnologia (UFRJ-IBICT). Graduado em Propaganda e Marketing
pela Universidade Estácio de Sá.

Resumo
O objetivo deste artigo é desenvolver reflexões a cerca das relações sociais mediadas
por algoritmos com foco nas questões éticas. O artigo desenvolve uma reflexão a partir
dos algoritmos, suas características e questões éticas, o big data, marketing predatório,
o Estado Informacional a necessidade de uma governança de algoritmos. Discorre
sobre o filtro bolha, que é um algoritmo que funciona como mediador social e curador
de conteúdo, suas características e problemas.

Palavras-chave
Algoritmo, filtro bolha, Facebook, redes sociais, sociabilização, ética, ética
intercultural, empreendedorismo moral, controle social, estado informacional,
marketing predatório
 3

Introdução
A chegada da Internet comercial trouxe um mundo novo, repleto de informações e
interações além dos nossos limites físicos e geográficos. Se tornou um espaço de
liberdade e compartilhamento de informação e conhecimento, mudou a forma de
trabalharmos, pensarmos, agirmos e até mesmo como tomamos decisões. Pelo próprio
desenvolvimento da rede e dos dispositivos conectados, menos de vinte anos depois, a
temos perfeitamente permeada no tecido social e tão naturalizada a ponto da expressão
“entrar na Internet” não parecer fazer o menor sentido. Nos relacionamos pelo
Facebook, Twitter, e outros, consultamos o Waze sempre que queremos a melhor rota
para chegar a nosso destino. O Google é o melhor caminho entre nossas dúvidas e as
respostas, adoramos quando a Amazon e a Netflix parecem sugerir exatamente o que
desejamos.

A proposta deste artigo é desenvolver uma reflexão sobre o “preço”1 que pagamos
por todas estas facilidades que em geral são gratuitas, preço este que esbarra em
questões éticas sob o entendimento de Capurro (2010). Como toda grande invenção, a
revolução digital também tem uma profunda influência sobre as normas, princípios e
valores que fundamentam a vida social, que constituem o ethos moral ou cultural de
cada sociedade humana. Como destaca Capurro, a ética entendida com uma reflexão
sobre a moral, em particular a ética da informação se vê confrontada com desafios
teóricos e práticos que surgem a raiz da diversidade de princípios e valores morais em
diferentes culturas em conjunção com as TICs. Ainda segundo Capurro, o dito ethos
comunicacional que é em parte codificadas como leis nacionais e acordos internacionais
e declarações com diferentes tipos de obrigatoriedade, ratificação jurídica e
fundamentação teórica. Vivem uma crise moral local e global alguns anos após o
desenvolvimento das TICs, levando ao questionamento a curto ou longo prazo destas
codificações. Considerando que na segunda década do século XXI este
desenvolvimento se deu tanto no acréscimo da diversidade da diversidade global, como
principalmente pela presença crescente dos algoritmos em todas as relações sociais e até
mesmo em atividades cotidianas.

1“If you’re not paying for it; you are the product” - https://www.forbes.com/sites/marketshare/
2012/03/05/if-youre-not-paying-for-it-you-become-the-product/#7bbf63535d6e
 4

Algoritmos
Algoritmos são basicamente um conjunto de instruções que permitem um
dispositivo computacional realizar uma ou mais tarefas, produzindo um resultado final a
partir de algum ponto de partida ou dados iniciais.

Na Internet, além da informação produzida intencionalmente pelo homem, há

ainda muita informação que ele produz involuntariamente, tais como dados coletados de
seus hábitos de uso de redes sociais e ferramentas. Este conjunto de informações é
conhecido por big data. A combinação big data e algoritmos, que estão cada vez mais
complexos, supostamente serve para tornar nossas vidas mais fáceis, entretanto esbarra
em diversas questões éticas.

Cathy O’Neil (2016), cientista de dados, apresenta em seu livro “Weapons of

Math Destruction” uma leitura crítica sobre os algoritmos, que chama de “modelos
matemáticos”, e aponta uma série de questões morais e éticas à cerca do uso do
algoritmos, inclusive sobre o big data, e como eles podem aumentar a desigualdade e
ameaçar a democracia. Segundo O’Neil, modelos matemáticos são o motor de nossa
economia digital, e não são neutros, e muito menos perfeitos.

Por serem feitos por seres humanos falíveis, este modelos muitas vezes codificam
o preconceito humano, o equivoco e a polarização em algoritmos que irão de alguma
forma interferir em nossas vidas.

Esta questão ganha pluralidade quando avaliada pela Ética Intercultural da

Informação (EII) de Capurro, que se refere à coexistência de normas morais universais e
universalizadas e tradições morais locais. Isto significa que determinadas polarizações e
preconceitos, por exemplo, apresentarem maior, menor ou nenhum significado em
diferentes culturas. O machismo, por exemplo, tem valores morais e éticos distintos na
Europa e no Oriente Médio. Tendemos a avaliar estas questões a partir de nosso ponto
de vista local, mas é compreensível a complexidade ao faze-la por uma ótica
intercultural, em um espaço transnacional como a Internet. Mesmo dispositivos,
software e aplicativos que possam ser distribuídos em diferentes partes do mundo
 5

precisam não apenas de serem localizados 2, mas terem seus algoritmos adaptados à
cultura local.

Quando os algoritmos falham

O Flickr lançou em 2015 um sistema de auto tagging3 , que identificava as fotos e

inseria tags de forma automática. Um erro no algoritmo passou a marcar pessoas negras
como macacos.

Também em 2015, a Microsoft apresentou seu projeto de inteligência artificial,

um bot4 chamado Tay 5, que tinha por foco interagir com os "millenials", jovens entre 18
e 24 anos, e estabelecer uma conversa "casual e brincalhona", mas não foi capaz de lidar
com ironia, insultos e acabou se tornando um bot nazista6.

O IMPACT foi desenvolvido em 2009 a pedido do prefeito de Washington após

sua equipe concluir que a razão para o baixo desempenho dos alunos era haver
professores de baixa performance. O IMPACT avaliava os professores com base em
modelos matemáticos, provocando a demissão de diversos professores. O sistema
parecia perfeito até que uma experiente professora, muito bem conceituada recebeu uma
avaliação muito baixa. O sistema se mostrou falível, levando a re-admissão de mais de
200 professores (O’NEIL, 2016).

Outro interessante exemplo citado por O'Neil é o PredPol, sistema de

mapeamento de crimes adotado pela policia de Santa Cruz, California. Este baseia-se
em dados atualizados de crimes, desta forma permite prever onde haverá mais
probabilidade de novos crimes. O problema é que isto acaba produzindo um ciclo de
feedback pernicioso, pois ao priorizar o patrulhamento das áreas suspeitas indicadas

2Localização significa além da tradução literal, a sua adequação às culturas locais. https://
pt.wikipedia.org/wiki/Localiza%C3%A7%C3%A3o
3 http://meiobit.com/317896/flickr-sendo-racista-em-seu-auto-tagging/
4 https://pt.wikipedia.org/wiki/Bot
5 https://twitter.com/TayandYou
6 https://medium.com/@igorni_/as-li%C3%A7%C3%B5es-de-um-rob%C3%B4-nazista-545df180232c
 6

pelo PredPol, os policiais produzem ocorrências que alimentam a base de dados e

aumentam a possibilidade de novas previsões nas mesmas regiões (O’NEIL,2016).

Avaliando os casos pela ótica da EII, podemos concluir que o PredPol por não
envolver nenhuma questão moral ou ética, apenas operacional é indiferente em termos
interculturais, já os casos de racismo e nazismo podem ter pesos distintos em diferentes
culturas, mas certamente podem ser compreendidos como questões interculturais. Por
fim o caso do IMPACT demonstra uma falha operacional, mas que dado o fato de ter
sido codificado a partir de parâmetros locais que definem o perfil de professores de alta
performance, pode apresentar resultados mais ou menos distorcidos em diferentes
culturas.

Marketing predatório

Algoritmos baseados em escores, como o próprio EdgeRank7 do Facebook,

permitem identificar características, relacionamentos e hábitos dos indivíduos, assim
como, também possibilitam desenhar padrões que descrevem suas fraquezas, medos,
anseios e necessidades. Este problema não está no campo das possibilidades, o
Facebook já negociou dados de milhões de jovens vulneráveis 8. Dados que permitem
identificar potenciais clientes, para o que O'Neil chama de marketing predatório.
Segundo O'Neil, onde quer que você veja a combinação de grande necessidade e
ignorância, certamente verá ações publicitárias predatórias. Sejam pessoas preocupadas
com suas vidas sexuais que recebem enxurradas de publicidade de remédios para
impotência, ou endividados que recebem ofertas de empréstimos com condições
extremamente desfavoráveis. O marketing predatório apresenta um bom resultado para
o anunciante, e mais uma vez mostra a distância do poder, entre o que O'Neil chama dos
cardeais do algoritmo, que são aqueles que o conhecem e dominam as suas
possibilidade, e o cidadão comum, que acredita ser beneficiário dos resultados do
algoritmo, mesmo desconhecendo a sua existência.

7 http://edgerank.net/
8https://www.cartacapital.com.br/blogs/intervozes/facebook-negocia-dados-de-milhoes-de-jovens-
emocionalmente-vulneraveis
 7

Esta questão nos remete as justificativas para invasão de privacidade, como o

Google e o Facebook fazem, sob o argumento de que apenas avaliam nossos dados para
oferecer publicidade sem identificação positiva9 , a questão é avaliar o quanto a
publicidade é ética.

O marketing predatório nos mostra a distância do poder dos “cardeais do

algoritmo” e o cidadão comum, que está totalmente vulnerável, mesmo que não esteja
em condição de vulnerabilidade. Ao tecer questionamentos a cerca de como o ethos
comuncacional é codificado e as questões interculturais envolvendo as TICs, Capurro
atribui a eles a abertura de expectativas, justamente tendo em vista as mudanças nas
relações de poder, em especial no que diz respeito às expectativas da sociedade ou
grupos sociais oprimidos e marginalizados, desta forma, o marketing predatório nos
mostra o quanto é urgente trazer à luz este debate.

Estado informacional

Sandra Braman (2006) descreve o “Estado Informacional” como o poder do

Estado concentrado pela capacidade de processar o big data. O Estado Informacional é
uma nova matriz de força desproporcional, onde o Estado é um dos “Cardeais do
Algoritmo” como define O’Neil. No Estado Informacional, a capacidade do Estado de
coletar e processar informações sobre seus cidadãos é inversamente proporcional a
capacidade destes de conhecer melhor o Estado.

No tocante à vigilância, no Estado Informacional o Panspectro substitui o

Panóptico. O Panspectro é um mecanismo de controle com capacidade de processar
muitas informações simultaneamente, sua vigilância se dá quando ele precisa responder
à uma pergunta, focando em objetos específicos de vigilância.

Outra questão interessante abordada por Braman, e que dialoga com O’Neil, é a
cerca das novas ferramentas regulatórias, para Braman, as novas ferramentas
regulatórias serão baseadas em modelos matemáticos por natureza, e de certa forma
empoderam o poder privado, via propriedade intelectual.

9 Quando a identificação relaciona o indivíduo aos seus dados.

 8

Para a autora, a dimensão de tipos de ameaças à liberdade de expressão esta

expandindo rapidamente, principalmente por novas questões que colocam o controle
informacional acima do direito humano.

Praticamente todas as atividades de nosso dia-a-dia são em algum nível

controladas e mediadas por algoritmos e, por conseguinte, trazem sérias questões éticas,
uma das principais é com relação à privacidade, mas existem outras que veremos
adiante, como exemplo o filtro bolha que pode interferir em nossa percepção do mundo.

Bezerra (2016), cita David Lyon ao afirmar que desde 11 de Setembro, diferentes
formatos de vigilância, especialmente nos Estados Unidos, têm sido aceitos pela
população sem resistência. Lyon afirma que “é possível que, de uma forma geral,
cidadãos aceitem que a perda de privacidade seja o preço a ser pago pela segurança”.
Esta aceitação passiva de violação de privacidade por parte significativa da população
se deve ao empreendedorismo moral, termo cunhado por Howard S. Becker, no tocante
ao estudo do comportamento desviante.

De forma original, Becker defende que, ao estudarmos um determinado

comportamento desviante, não devemos limitar nossa análise aos grupos que
perpetram tal comportamento; devemos investigar, também, quem são os
responsáveis por fazer com que aquele determinado comportamento seja
socialmente reprovável, uma vez que é o estabelecimento de regras de
conduta que qualifica certos comportamentos como desviantes, fazendo com
que seus praticantes passem a ser vistos como outsiders. (BEZERRA, 2016).

A estratégia de empreendedorismo moral, consiste primeiramente em chamar a

atenção pública para um ato desviante, para transformar a condenação moral em regra, e
então em forma de lei, de modo a ser imposta à sociedade. (BEZERRA,2016).

No livro “Cypherpunks: liberdade e o futuro da Internet”, Jacob Appelbaum

(2013) relaciona os “Quatro Cavaleiros do Infoapocalipse: pornografia infantil,
terrorismo, lavagem de dinheiro e guerra contra certas drogas.” Em linhas gerais são os
temas mais explorados pelo empreendedorismo moral em favor do avanço da vigilância
na Internet. Acrescentaria ainda o direito autoral, tema Bezerra descreve como a “cereja
do bolo da cruzada moral” ao descrever a decisão da CPI de cibercrimes de propor a
criação pela Comissão Especial de Direito de Autor da Câmara, de um dispositivo que
 9

permita o bloqueio de sítios que veiculem conteúdos protegidos por direito autoral.
Tema utilizado inclusive como forma velada de censura como no caso da “Falha de São
Paulo”10 .

O Filtro bolha

Eli Pariser (2012), no livro “O Filtro Invisível: O que a Internet está escondendo
de você”, descreve como surgiram os filtros invisíveis e dá a eles o nome de filtro
bolha. Segundo Pariser, um dos visionários da tecnologia Nicholas Negroponte11 ,
pesquisador do MIT, já em 1994 imaginava os “agentes inteligentes”, que seriam
algoritmos atuando como curadores de conteúdo. As primeiras experiências com
“agentes inteligentes” foram um desastre, mas Jeff Bezos12 desenvolveu o conceito do
“agente inteligente” da Amazon com base no livreiro que conhece o consumidor e
recomenda os livros que acredita lhe interessar. Para atingir este objetivo o algoritmo
passou a registrar tudo que ocorria no site, quem via ou comprava um livro e quais
interessavam a determinado perfil de consumidor, e rapidamente criou uma lógica de
relacionamento capaz de apresentar com razoável margem de acerto sugestões de leitura
com base na pesquisa de um usuário e seu histórico de compra e busca, estava criada a
primeira bolha eficiente (PARISER, 2012).

É importante destacar que o filtro bolha não é o algoritmo, o filtro bolha, ou

simplesmente bolha é o resultado do “aprendizado”, pelo algoritmo, das inúmeras
variáveis coletadas de cada usuário, com o objetivo de apresentar um conteúdo cada vez
mais personalizado. As bolhas não existem sem os usuários, as bolhas que apresentam o
conteúdo no Facebook, no Google, na Amazon, na Netflix e outras, são exclusivas de
cada usuário, são construídas involuntáriamente por eles. Muitos algoritmos comparam
os hábitos dos usuários com outros que julgam semelhantes, mas necessitam “aprender”
sobre cada um.

Um dos problemas com as bolhas é que elas são invisíveis para os usuários, se
não sabem que elas existem, dificilmente irão percebe-las. E quando são percebidas, são

10 http://desculpeanossafalha.com.br/
11 https://pt.wikipedia.org/wiki/Nicholas_Negroponte
12 https://pt.wikipedia.org/wiki/Jeff_Bezos
 10

opacas, pois segundo Pariser, o usuário desconhece que critérios os algoritmos das
bolhas usam para filtrar diversos assuntos, tornando impossível avaliar o seu grau de
parcialidade.

As bolhas, por serem produzidas por algoritmos, modelos matemáticos, que são
recursivos, ou seja, estão ciclicamente aprimorando e aprendendo, podem criar
distorções. Quando um usuário não presta atenção à um post, quando rejeita postagens e
bloqueia pessoas ou simplesmente as ignora, o EdgeRank entende que ele não quer mais
este conteúdo e os suprime da sua linha do tempo, criando uma distorção da realidade
que Eli Pariser chama de “Síndrome do Mundo Bom”. A “Síndrome do Mundo Bom” é
quando a linha do tempo de um usuário está tão “purificada” que só lhe apresenta
conteúdos que alinham ideologicamente e o agradam, o mundo bom, esta justamente
nesta percepção distorcida da realidade, onde “todos” pensam igual a ele.

A forma como o ser humano percebe o mundo, é complexa, o cérebro usa de

atalhos para tomar decisões, que em sua maioria são intuitivas. Leonard Mlodinow
(2013) no livro Subliminar demonstra o quanto nossas decisões são baseadas em
questões subjetivas, tanto que segundo o autor alguns cientistas estimam que só temos
consciência de cerca de 5% de nossa função cognitiva. Os outros 95% vão para além da
nossa consciência e exercem enorme influência em nossa vida. Podemos não perceber,
mas estamos formando o entendimento de senso comum em todos os ciclos sociais,
inclusive nas nossas bolhas. O senso comum formado dentro de uma bolha purificada,
que atingiu a “síndrome do mundo bom” é totalmente distorcido da realidade.

Conclusão
Dentro da perspectiva da EII, Capurro destaca a privacidade como tema
intercultural, o Facebook é um exemplo claro de uma rede social com bilhões de
usuários de diferentes partes do planeta, que sociabilizam e compartilham informações
em uma rede social sediada nos Estados Unidos, mesmo que com escritórios em
diferentes partes do mundo e com conteúdo localizado em diferentes idiomas e culturas,
ainda assim seus algoritmos seguem os preceitos éticos e morais pela ótica dos Estados
Unidos. Como Capurro cita a análise de Charles Ess, a privacidade é considerada no
ocidente como um valor intrínseco, entretanto nas tradições budistas e confuncianas, o
 11

individuo é visto como algo negativo, tanto com relação à si mesmo, como em relação a
sua comunidade. Como ele destaca, a privacidade é um valor moral importado do
Ocidente.

Com relação à América Latina, Capurro relata a primeira conferência regional, em

2006 na República Dominicana, onde se discutiram temas como: acessibilidade,
confidencialidade, direitos de propriedade intelectual, promovendo o respeito pelos
valores e princípios fundamentais e à proteção da privacidade. Produzindo desta
conferência um documento intitulado “Declaração de Santo Domingo”.

Os temas em torno da moral e da ética intercultural da informação (EII) estão

longe de serem esgotados, pelo que foi apresentado existem questões delicadas onde o
próprio desconhecimento do usuário tanto de como funcionam algoritmos, como o que
pode ser feito de seus dados produzidos voluntária e involuntariamente, questões
julgadas por algoritmos, e outros temas. Uma proposta que dialoga com esta
necessidade e vem ganhando visibilidade tanto no meio técnico como acadêmico é a
governança de algoritmos.

Governança de algoritmos

A preocupação com questões éticas relacionadas aos algoritmos e big data, levou
Tim O'Reilly a escrever o artigo "Open Data and Algorithmic Regulation" que faz parte
do livro "Beyond Transparency".

Para O'Reilly deve existir o mínimo de regulação, para permitir a tecnologia

avançar sem sobressaltos. Segundo ele um sistema regulatório deve: Ter uma
compreensão profunda do resultado desejado; Ter formas de avaliação em tempo real
para determinar se este resultado está sendo alcançado e uma análise periódica e
profunda para avaliar se os algoritmos estão corretos e funcionando como esperado.

O próprio O'Reilly destaca, que para as empresas de tecnologia, o algoritmo é um

"segredo de negócios", tornando um pouco mais complexa a regulação proposta.

A solução um pouco mais complexa, e exeqüível, vem ganhando força. Em artigo

publicado na edição 24 da revista PoliTics, Danilo Doneda e Virgilio A.F. Almeida
 12

apresentam a proposta de governança de algoritmos. Para Doneda e Virgilio, os riscos

do uso do algoritmos vão além do que expusemos até o momento:

Já foram identificados na literatura alguns riscos que o uso dos algoritmos

pode trazer, tais como manipulação, viés, censura, discriminação social,
violações de privacidade e dos direitos proprietários, abuso do poder de
mercado, efeitos sobre as capacidades cognitivas e uma crescente
heteronomia. É preciso considerar um processo de governança para os
algortimos com vistas a tratar desses riscos (ALMEIDA, Virgílio A.F. e

DONEDA, D, 2016).

Para Almeida e Doneda, a governança de algoritmos pode variar desde os pontos

de vista estritamente jurídico e regulatório até uma postura puramente técnica. Para os
autores, a governança deve priorizar a responsabilização, a transparência e as
garantias técnicas. Ainda segundo Almeida e Doneda, a governança de algoritmos se
dá através de um conjunto de práticas, cuja abordagem deve se basear em questões
como a natureza do algoritmo, o contexto em que ele existe e/ou análise de risco.

Duas questões se destacam ao longo da proposta: a constatação de que, assim

como afirma O’Reilly, em muitas situações o algoritmo é um segredo de negócio, e a
outra é a necessidade de construir um mecanismo de prestação de contas que contorne
esta limitação como destaca Almeida e Doneda.

O modelo proposto de governança pode prever ferramentas que atuem sobre os

dados e não sobre o algoritmo como, por exemplo, uma legislação de proteção de dados
pessoais, incluindo ai uma premissa de que as decisões automatizadas se baseiem em
critérios transparentes (ALMEIDA, Virgílio A.F. e DONEDA, D).

A possibilidade de uma reavaliação humana de decisões automáticas e

estabelecimento de garantias técnicas na construção do algoritmo para evitar
preconceito, desigualdade ou quaisquer outros resultados tendenciosos. São outras
garantias interessantes sugeridas pelos autores que ainda sugerem a possibilidade de
auditoria futura destas garantias técnicas.

A governança de algoritmos tem se mostrado a melhor solução para equilibrar a

matriz de força entre os “cardeais do algoritmo” e o cidadão comum.
 13

Bibliografia
ALMEIDA, Virgílio A.F. e DONEDA, D. O que é a governança de algoritmos?
Revista Politics, n.24, p.09 à 15, Outubro de 2016.

ASSANGE, J. et al. Cypherpunks: liberdade e o futuro da internet. São Paulo:

Boitempo, 2013.

BEZERRA, Arthur Coelho. Privacidade como ameaça à segurança pública: uma história
de empreendedorismo moral. Liinc em Revista, Rio de Janeiro, V.12, n2, p.231-242,
novembro 2016.

BRAMAN, S, Change of State, Information, Policy, and Power. Massachusetts: MIT,

2006.

CAPURRO, R. Desafios Teóricos Y Prácticos de La Ética Intercultural de la

información. Disponível em: <http://www.capurro.de/paraiba.html>. Acesso em: 28
maio de 2017.

MLODINOW, L. Subliminar: Como O Inconsciente Influencia Nossas Vidas. São

Paulo: Zahar, 2013.

O’NEIL, C. Weapons of math destruction: How big data increases inequality and
threatens democracy. United States: Crown Publishing Group (NY), 2016.

O'REILLY, T. Open Data and Algorithmic Regulation. Disponível em: <http://

beyondtransparency.org/chapters/part-5/open-data-and-algorithmic-regulation/> Acesso
em: 09 jun. 2017.

PARISER, E. O Filtro Invisível: O que a internet esta escondendo de você. 1. ed.

Brazil: Zahar, 2012.