Revista
Sísifo. N° 16, Vol. 1. Janeiro/Junho 2023. ISSN 2359-3121.
www.revistasisifo.com
Serious
game ético: A “Máquina Moral” do MIT como educadora
Heitor Coelho
Doutor em Filosofia pela Universidade de São
Paulo. Professor de Filosofia da Educação da Universidade do Estado do Rio de
Janeiro.
Danilo Bantim Frambach
Doutor em Filosofia moderna e contemporânea pela Universidade do Estado
do Rio de Janeiro. Professor de Filosofia da Educação da Universidade do Estado
do Rio de Janeiro.
Resumo: Dentre as produções acadêmicas acerca dos avanços
da “Inteligência Artificial”, poucas se destacam tanto quanto o experimento da
Máquina Moral do MIT. Vista por seus criadores como um serious game, o
experimento visa colher dados sobre como os cidadãos gostariam que os carros
autônomos resolvessem possíveis dilemas morais. No entanto, ao reduzir as
questões éticas a uma mesma pergunta – quem devemos deixar morrer em detrimento
do outro? – a Máquina Moral limita todos os dilemas éticos a um dualismo que
empobrece e simplifica a realidade, mais até do que o famoso Trolley Problem de
Philippa Foot. Dessa forma, o presente artigo pretende analisar como a Máquina
Moral, vista como um serious game – isto é, um tipo de jogo feito com o
intuito de treinar os indivíduos para a aquisição de um tipo de habilidade, de
ensinar algo a alguém – limita as questões éticas, mas também o seu ensino.
Afinal, que tipo de ética a chamada Máquina Moral ensina? Que hábitos ela
permite que surjam, ou leva a surgirem?
Palavras-chave: Máquina Moral. Serious Games. Educação.
Ética. Trolley Problem.
Abstract:
Among academic works on the advancements of so-called “Artificial
Intelligence”, few have stood out as much as MIT’s Moral Machine Experiment.
Seen by its creators as a serious game, the experiment sought to collect data
on how citizens would prefer autonomous vehicles solved possible moral
dilemmas. However, by reducing ethical issues to a single question – who should
we let live at the expense of another? - the Moral Machine limits all ethical
dilemmas, impoverishing and simplifying reality, even more so than Philippa
Foot’s notorious Trolley Problem. Thus, the present paper intends to analyze
how the Moral Machine, seen as a serious game – i. e., as a kind of game
designed with the goal of training individuals in the acquisition of a certain
skill, of teaching something to someone – limits not only ethical questions,
but the possibility of education about them. After all, what kind of ethics
does the so-called Moral Machine teach? What habits does it allow, or
encourage, to emerge?
Keywords:
Moral Machine. Serious Games. Education. Ethics. Trolley Problem.
Introdução
Não é de hoje que
diversas teorias pedagógicas defendem a inclusão de jogos na educação,
principalmente aquelas que defendem o chamado “lúdico”, isto é, o papel das
brincadeiras no processo de aprendizagem, normalmente ligadas à pesquisa sobre
educação infantil. Com isso, não é difícil imaginar que, com o advento e
popularização dos jogos eletrônicos, muitos sejam criados justamente com o
objetivo de “educar”. Estes são chamados de serious
games, jogos desenvolvidos sem o propósito de entreter, mas antes com o de
treinar os indivíduos a resolver ou investigar um determinado problema (GROH,
2012, p.40). Tendo aplicações especialmente educativas, eles se diferenciam do
que chamamos de jogos educativos, já que estes últimos tentam (muitas vezes sem
sucesso) divertir enquanto educam.
Mesmo sendo
assumidamente um serious game, a
“Máquina Moral”, desenvolvida por um grupo de pesquisadores associados ao Media Lab do Massachussets Institute of Technology, nos EUA, não foi elaborada
com pretensões deliberadamente educativas. Antes, seu propósito declarado seria
o de atender à necessidade de “uma conversa global para expressar nossas
preferências para as companhias que projetarão algoritmos morais, e para os
legisladores que as regularão” (AWAD et
alii, 2018, p. 63)[1].
Curiosamente, na enxurrada de comentários, análises e críticas à pesquisa que
se seguiram a ela, na maior parte das vezes este propósito foi aceito em seu
valor de face, não se aventando que a Máquina Moral pudesse ter objetivos não
declarados ou mesmo efeitos não pretendidos. Não seriam sua “viralização”
proposital e sua ânsia em formar um gigantesco banco de dados também objetivos
deliberados e muito relevantes da pesquisa, talvez efetivamente os principais?
Objetivos que, parecendo querer fazer os dados falarem por si, muito
provavelmente podem constituir exemplo paradigmático daquela “aversão às
teorias e crença absoluta na superioridade do big data” que “formam uma das fundações do solucionismo” (MOROZOV,
2013, p. 265)[2].
De forma semelhante,
pouco ou nada se disse sobre o caráter efetivamente educacional da Máquina
Moral, que é o que se pretende, aqui, fazer. Procuraremos demonstrar que, pouco
importando se este foi um aspecto considerado ou não por seus criadores, a máquina
moral é uma educadora moral. Bem antes de “ensinar” carros “inteligentes” a
escolher a quem matar, ela “ensina” a seus usuários uma maneira de encarar os
problemas éticos de que trata, isto é, ensina os “seus” valores éticos,
inerentes ao “seu” design: normalização
e naturalização de uma versão empobrecida e dualista da ética e apagamento da
iniciativa humana. Focando-se na perspectiva individual, elimina o caráter
político dos problemas éticos, bem como o caráter de política pública de
qualquer discussão importante sobre transportes, inclusive no que diz respeito
aos veículos “autônomos”. Em especial, “ensina-nos” que é preciso escolher
alguém para matar – que certas vidas devem necessariamente valer mais do que
outras. E que traçar uma escala dos mais ou menos “matáveis” não apenas é uma
solução admissível, mas inevitável, um fato da vida.
Máquina de Trolley Problems
Apesar de a
literatura científica acerca das muitas questões levantadas pelos últimos
desenvolvimentos na chamada “Inteligência Artificial”[3] ser cada
vez mais numerosa, o que é até natural, tendo em vista os muitos avanços na
área, poucas pesquisas parecem ter causado tanto alvoroço quanto “The Moral Machine Experiment” à época.
Co-autorado por um grupo de pesquisadores associados ao Media Lab do Massachussets
Institute of Technology, nos EUA, o artigo, publicado ao final de 2018, tem
por base o referido experimento, um “serious
game multilíngue online visando
coletar dados em larga escala sobre como cidadãos gostariam que veículos
autônomos resolvessem dilemas morais no contexto de acidentes inevitáveis”
(AWAD et alii, 2018, p. 59)[4].
Convém iniciarmos
tirando do caminho certas confusões antigas e comuns: dizer, da Máquina Moral,
que ela é uma educadora moral não poderia significar que ela “ensina” da forma
como um serious game típico costuma
se propor a ensinar uma determinada habilidade ou conhecimento, pelo simples
motivo de que a ética e os valores não são nem uma coisa, nem outra. Devemos
aqui ecoar a antiga lição de Aristóteles, para quem, tal como indica o nome, “a
virtude moral ou ética é o produto do hábito [ethos]”, tal como as artes e ofícios [as technai] (Ética a Nicômaco, 1103a,
18-19 e 34). Mas, diferentemente do que acontece com estas últimas, cabe à
comunidade política, à pólis, ensinar
a virtude ética, “ao encarná-la cotidianamente” (VALLE, 2002, p. 251), tanto
que “legisladores, com efeito, tornam os cidadãos bons treinando-os em hábitos,
o que é a meta de todo legislador, que, se não a atingir, será um fracasso,
[tarefa] no que se distingue a boa constituição política da má” (Ética a Nicômaco, 1103b, 4-6).
Segue-se disto, e é,
no mais, um fato bastante evidente da vida, que nem só um serious game/experimento como a Máquina Moral, mas igualmente
quaisquer outros jogos, não só os sérios, como também os demais (que talvez
devêssemos chamar de fun games, pelo
contraste), além de todo produto cultural (tais como livros, filmes, séries de
TV, histórias em quadrinhos) e todas as instituições, explicitamente
educacionais ou não (além da escola e da família, o governo, os tribunais, as
leis, a etiqueta, as igrejas etc.) podem ser analisadas pela perspectiva de seu
papel como educadoras morais.
À inculcação de quais
valores tende a Máquina Moral? Quais práticas éticas ela induz? Qual concepção
de ação ela propaga – e naturaliza? Deixemos que os próprios autores do
experimento nos ajudem a ver.
Estamos entrando em
uma era em que máquinas serão encarregadas não apenas de promover o bem-estar e
diminuir o mal, como também de distribuir o bem-estar que criam e o mal que não
podem eliminar. Distribuição de bem-estar e mal inevitavelmente criam escolhas,
cuja resolução recai no domínio da moralidade. (AWAD
et alii, 2018, p. 59)[5]
Não é difícil vermos
pairar já aí a larga sombra do utilitarismo, tão aparentado ao linguajar
econômico (ou, ao menos, a alguns de seus dialetos): bem e mal-estar seriam
partilháveis, o que implica que seriam, também, quantificáveis. Mais: que,
havendo males inelimináveis, certa quantidade de mal terá de ser distribuída,
como se da máquina moral não pudesse sair menos mal do que nela entrou. Tal
maneira de organizar os problemas soa avessa até mesmo a um dos principais
objetivos do desenvolvimento de veículos autônomos[6], qual
seja, a redução de acidentes[7].
Uma tal redução dos
dilemas morais ao cálculo requer uma redução das possibilidades da ação humana
igualmente vigorosa. Ela está embutida no próprio funcionamento da máquina
moral, mas já é antecipadamente anunciada no artigo, poucas linhas abaixo das
recém-citadas: “Pense que um veículo autônomo está prestes a bater e não pode
encontrar uma trajetória que salvaria a todos. Ele deveria desviar-se na
direção de um adolescente atravessando fora da faixa para salvar seus três
passageiros idosos?” (AWAD et alii, 2018, p. 59)[8].
Aqueles que o
conhecem certamente reconheceram aí, de imediato, uma variação pouco disfarçada
daquele que ficou conhecido como o trolley
problem (“problema do bonde”[9],
em tradução livre)[10].
Formulado por Philippa Foot juntamente com algumas outras situações
hipotéticas, o exercício visava demonstrar a importância da distinção entre
“deveres positivos” e “negativos” para tratar de questões morais práticas, em
especial o aborto, mas ganhou notoriedade, entre outras razões, por servir de
cenário para longos embates éticos, a tal ponto que “já se produziram tantos
artigos ligados ao tema que um neologismo jocoso para ele pegou:
‘trolleyologia’[11]”(EDMONDS,
2014, p. 20) – bem como por gerarem uma quantidade copiosa de memes. Eis o
referido problema:
UM HOMEM ENCONTRA-SE
AO LADO DE UM TRILHO quando vê um trem desgovernado arrancando em sua direção:
claramente os freios quebraram. À frente há cinco pessoas amarradas nos
trilhos. Se o homem não fizer nada, os cinco serão atropelados e mortos.
Afortunadamente, ele está próximo a uma alavanca: mover a alavanca enviará o
trem descontrolado por outro trilho, uma agulha, logo à sua frente.
Infelizmente, há um porém: na agulha ele vê uma pessoa amarrada aos trilhos:
mudar de direção inevitavelmente resultará na morte desta pessoa. O que ele
deveria fazer?? (EDMONDS, 2014, p. 18. Caixa alta do autor)[12]
O caldo cultural da
internet há tempos se apropriou do exercício mental de Foot. Se a academia logo
havia reimaginado diversas variações do problema, as redes sociais e fóruns do
ciberespaço vêm consistentemente reinventando-o sob literalmente milhares de
novas formas, não raro com uma dose um pouco macabra de humor: acrescentando
mais trilhos, alavancas e pessoas, dando às pessoas nos trilhos os nomes e
rostos de astros pop ou de filósofos conhecidos, ou simplesmente subvertendo a
lógica do problema com saídas esdrúxulas, a mais famosa das quais é,
provavelmente, o infame multi-track
drifting (“derrapagem sobre múltiplos trilhos”), que permitiria ao bonde
atropelar todos os que estivessem presos nos trilhos.[13]
Tanto a difusão do trolley problem sob a forma de meme
quanto sua associação com os desafios da programação de veículos autônomos são
anteriores à máquina moral do MIT. Foi ela, no entanto, que transformou estes
memes em um “jogo sério”:
Na interface
principal da Máquina Moral são mostradas aos usuários cenários de acidentes
inevitáveis com dois resultados possíveis, a depender de o veículo desviar-se
ou permanecer em sua trajetória. Eles então clicam no resultado que acharem
preferível. Cenários de acidentes são gerados pela Máquina Moral seguindo uma
estratégia de exploração focada em nova fatores: poupar humanos (versus
animais), seguir a trajetória atual (versus desviar-se), poupar passageiros
(versus pedestres), poupar mais vidas (versus menos vidas), poupar homem
(versus mulheres), poupar os jovens (versus os idosos), poupar pedestres que
atravessam na faixa (versus pedestres que atravessam fora dela), poupar aqueles
em boa forma física (versus aqueles em má forma) e poupar aqueles de status
social maior (versus aqueles de status social menor). (AWAD
et alii, 2018, pp. 59-60)[14]
Um jogo sério demais
Como dissemos, um serious game possui duas características
principais que o diferenciam de outros jogos: (a) ele possui um propósito
definido, uma tarefa a ser ensinada, uma habilidade a ser aprendida ou um
treinamento a ser executado; e (b) ele não possui qualquer compromisso com o divertimento
de quem os joga (o que não implica, necessariamente, que quem os joga não possa
se divertir)[15].
Mas o que é um jogo e o que é jogar? Há importantes diferenças entre as duas
palavras, e não apenas por um representar uma coisa e outra, uma ação. É nesse
contexto que a conceituação de Caillois sobre os jogos torna-se importante para
a nossa análise:
Por isso
se torna possível ao mesmo tempo organizá-los entre dois polos antagonistas. Em
uma extremidade reina, quase integralmente, um princípio comum de divertimento,
de turbulência, de improvisação livre e de alegria despreocupada, por onde se
manifesta uma certa fantasia incontrolada que pode ser designada com o nome de paidia. Na extremidade oposta, essa
exuberância marota e impulsiva é quase que inteiramente absorvida, pelo menos
disciplinada, por uma tendência complementar, contrária em certos aspectos, mas
não em todos, a sua natureza anárquica e caprichosa: uma necessidade crescente
de curvá-la às convenções arbitrárias, imperativas e propositalmente incômodas,
de contrariá-la sempre mais, erguendo diante dela obstáculos mais e mais
embaraçosos para que lhe seja cada vez mais difícil chegar ao resultado
desejado. Este permanece perfeitamente inútil, exigindo mesmo assim uma
quantidade sempre maior de esforços, de paciência, de destreza ou de
engenhosidade. Ludus é o nome que dou
a este segundo componente. (CAILLOIS, 2017, p. 39)
Ao classificar os
tipos de jogos, Caillois também os classifica pela própria relação entre as
regras estabelecidas e o jogar. Os dois aspectos se tornam inseparáveis
justamente quando a regra é instituída, pois, a partir desse momento, elas se
tornam parte da natureza do jogo e o “transformam em um instrumento de cultura
fecundo e decisivo” (CAILLOIS, 2017, p. 55-56). No entanto, essas regras devem
permitir algum nível de liberdade, sem a qual é impossível surgir, em meio ao
jogar, qualquer distração ou fantasia. Tal liberdade é, na verdade,
indispensável e comum mesmo nas formas mais complexas e cuidadosamente
organizadas de jogar. É essa liberdade que o autor chama de paidia e que, em diversos jogos, está
aliada ao ludus, que ele resume como
“o gosto da dificuldade gratuita” (Id., ibid.).
Da mesma forma que
práticas gamificadas[16],
os serious games parecem focar quase
que exclusivamente no ludus, sobrando
pouco espaço para a paidia. Em um serious game o principal objetivo é a
solução de um problema, visando treinar os usuários para a aquisição de uma
determinada capacidade. Como exemplo de serious
game temos o “Microsoft Flight Simulator”, que foi criado como um simulador
de aviação civil. O simulador possui, em sua versão mais atual, mais de vinte e
cinco mil aeroportos do mundo inteiro (alguns reconstruídos virtualmente na
íntegra), com diversas aeronaves de uso comercial, além de uma réplica fiel de
todo o globo e capacidade de simular até mesmo as condições climáticas em tempo
real, já que tais informações podem ser baixadas da internet. O prazer do jogo,
aqui, não se encontra no jogo em si, mas na experiência de solucionar desafios
arbitrariamente impostos, tendo a solução do problema nenhum outro objetivo
para além da satisfação pessoal.
Esse
motor, que é propriamente o ludus, também se deixa revelar nas diferentes
categorias de jogos, exceto naqueles que se baseiam integralmente em uma pura
decisão do destino. Aparece como o complemento e como a educação da paidia, que
disciplina e enriquece. Fornece a ocasião de um treino e, normalmente, resulta
na conquista de uma determinada habilidade, na aquisição de um controle
particular, no manejo deste ou daquele aparelho ou na aptidão para descobrir
uma resposta satisfatória aos problemas de ordem estritamente convencional.
(CAILLOIS, 2017, p. 58)
Com efeito, o ludus parece ser a essência de todo e
qualquer serious game. Contudo, em si
mesmo, o ludus parece sempre
incompleto, “espécie de quebra-galho destinado a enganar o tédio” (CAILLOIS,
2017, p. 61). É por isso que Caillois identifica as suas formas mais puras em
problemas de xadrez, anagramas, palavras cruzadas, no “vício” em histórias de
detetive (pela tentativa de descobrir o culpado antes do fim), entre tantas
outras.
Em suma, o ludus relaciona-se com uma espécie de
desejo primitivo de encontrar entretenimento em obstáculos arbitrários e
recorrentes. Além disso:
[...]
Sendo assim, o que chamo ludus
representa, no jogo, o elemento cujo alcance e fecundidade culturais aparecem
como os mais extraordinários. Não se traduz por uma atitude psicológica […]
mas, ao disciplinar a paidia, trabalha indistintamente para dar às categorias
fundamentais do jogo sua pureza e sua excelência. (CAILLOIS, 2017, p. 63)
Disciplinar a paidia não é o mesmo que ignorá-la. Na
verdade, mesmo tendo um objetivo bem definido, um serious game sabe que não pode impedir a iniciativa humana. Para
que o treino seja de fato proveitoso, é preciso que os indivíduos que jogam se
reconheçam, em alguma medida, naquela atividade. Fundada no trolley problem e sendo um serious game, a Máquina Moral parece,
num primeiro momento, ser puro ludus,
ignorando completamente a existência da paidia
e não a “disciplinando”. Mas um olhar mais cuidadoso mostra-nos que, na verdade,
talvez nem mesmo isso ela seja – afinal, os problemas que são arbitrariamente
impostos por ela sempre possuem o mesmo resultado: a morte de alguém. A
situação é sempre a iminência da morte de alguém e a pergunta é sempre a mesma:
quem deve morrer? Como conseguir qualquer tipo de satisfação pessoal em ser
absolutamente incapaz de evitar mortes?
É dessa forma que a
Máquina Moral se destaca entre os serious
games, justamente por deturpar o conceito. Ela não só ignora completamente
as possibilidades próprias da iniciativa humana, como não visa ensinar nada –
apesar de fazê-lo.
Trilhos Invisíveis
A deturpação que a
Máquina Moral promove das práticas de jogo, tal qual delineamos acima, não
despertou tanta atenção quanto outros de seus problemas, que foram merecedores
de ampla crítica e que procuraremos expôr a seguir.
Comecemos pela
crítica mais evidente e conhecida do uso do trolley
problem para discussões sobre veículos autônomos, tal como Noah Goodall a
resumiu (2016, p. 3)[17]:
O trolley problem quase sempre envolve
duas escolhas. Isto soa pouco realista para muitos, já que qualquer situação
pré-acidente real teria uma gama de alternativas. […] Na maioria dos casos de
condução pode haver uma terceira alternativa obviamente mais segura, ou pode haver
uma terceira alternativa que equilibre o risco entre as partes afetadas.
Trolley problems também presumem resultados conhecidos, algo
que críticos rapidamente descartam como irreal – especialistas só podem prever
os resultados dos acidentes mais catastróficos […], e quase tudo o mais em
segurança nas estradas é probabilístico. […] Isto põe-se em contraste agudo com
o trolley problem, no qual o
resultado de puxar ou não a alavanca é quase completamente certo[18].
Certamente não é
difícil perceber que a máquina moral, tal como os filósofos de que falava Foot,
é cheia de certezas incompatíveis com nossa experiência de vida. E reparemos
que Foot alerta contra as certezas em uma situação muito menos incerta do que
aquelas aventadas pelo “jogo sério” do MIT: a trajetória do trolley no trolley problem, como a de qualquer veículo que se movimente sobre
trilhos, está, obviamente,
pré-determinada pelos trilhos. E as hipotéticas vítimas do trolley problem estão na bastante incomum situação de não terem
trajetória nenhuma, em virtude de terem sido amarradas, sabe-se lá como, por
quem ou por quais improváveis motivos. Em contraste com esta situação
inusitada, não custa lembrarmos que nem carros costumam andar sobre trilhos, nem
muito menos pedestres costumam estar impossibilitados de se locomoverem. Isto,
evidentemente, muda o tipo, a forma e a quantidade de soluções que um “dilema
ético” admitirá numa situação tal como aquelas da máquina moral. Por exemplo:
Um veículo
automatizado em um túnel, buscando evitar atingir uma criança, pode optar por
desviar-se o máximo possível sem atingir a parede, na esperança de que a
criança saia do caminho o suficiente para sobreviver à batida, ou mesmo
evitá-la totalmente. Este tipo de ação probabilística, equilibradora de riscos,
é impossível no trolley problem, no
qual deve-se escolher entre duas ações extremas, ambas sempre envolvendo morte
certa. (GOODALL, 2016, p. 3)[19]
Goodall acabará
concluindo que os trolley problems
são “facilmente descartados pelos críticos por serem irrealistas e, portanto,
pouco importantes e diversionistas”, ainda que sejam “úteis para construir uma
discussão sobre ética, identificando e classificando a resposta pública a estas
situações” (2016, p. 7)[20].
Por tais motivos, os trolley problems,
ainda que tenham a ambígua vantagem de permitir que simplifiquemos os debates
sobre a programação de carros autônomos, podem fazê-lo apenas sendo
introduzidos a fórceps numa situação que tem muito pouco a ver com eles. A
máquina moral opera comprimindo a vida real das ruas, estradas e calçadas até o
tamanho do binarismo típico de uma máquina.
A negação das
incertezas inerentes à vida humana, ou a ambição de eliminá-las, estão longe de
ser novidade. Se quisermos acompanhar a análise de Hannah Arendt, podemos
remontá-la ao menos até Platão e sua tentativa de “substituir a ação pela
fabricação”[21],
cujo parentesco, não apenas com a máquina moral do MIT, mas provavelmente com
qualquer máquina que se pretenda “moral”, não será difícil de ver: trata-se, em
ambos os casos (em que pesem todas as muitas outras diferenças relevantes), de
procurar traçar com antecedência um modelo universal do que se deve fazer e,
então, fazê-lo. Fiéis a esta tradição, os criadores da máquina moral procuram
expressamente “progredir na direção de uma ética universal das máquinas” (AWAD et alii, 2018, p. 59)[22];
com a vantagem de que, diferentemente dos habitantes da pólis, a quem o
político “régio” de Platão teria de permanentemente obrigar a tudo fazer sem
nunca questionar o modelo por ele fornecido[23], as
máquinas morais seriam absolutamente incapazes de fazer qualquer coisa que não
correspondesse a este modelo universal implantado em sua programação.
De fato, a designação
“carro autônomo” é enganosa, dando à máquina ares de ser deliberante, capaz de
efetivamente “escolher” um ou outro caminho, o que, no entanto, é falso.
Embora seja comum que
a “autonomia” destes sistemas seja descrita como sua habilidade de tomar
decisões por conta própria, elas não têm “desejos” ou “valores” em qualquer
sentido significativo, nem são “racionais” de uma forma que Kant pudesse
concebê-las como tal. Pelo contrário, o que tipicamente queremos dizer quando
descrevemos um sistema de IA como autônomo não é que ele tome decisões “por
conta própria”, mas que toma decisões sem
novos comandos por parte de um humano. (CHESTERMAN,
2020, p. 249; grifo no original)[24]
Ora, para o software,
sua programação lhe é completamente inescapável, canônica, “relativa a um mundo
próprio dado uma vez por todas, a partir de dispositivos ‘subjetivos’
igualmente dados uma vez por todas” (CASTORIADIS, 1997, p. 39)[25].
E isto vale até mesmo para as máquinas alimentadas pelas mais sofisticadas
redes neurais, com as mais surpreendentes técnicas de Machine Learning: até
mesmo quando surpreendem seus criadores, descobrindo padrões informacionais
inusitados e desenvolvendo, por tabela, novas formas de coletar informação ou
produzir combinações novas de dados[26]; até
mesmo quando estas novas formas de coletar e relacionar informação são, além de
desconhecidas, incompreensíveis para os humanos[27], “porque
são produzidas por processos cognitivos absolutamente distintos dos nossos”
(BRIDLE, 2018, p. 137)[28];
as máquinas estão sempre, de um modo ou de outro, seguindo sua programação, e
um programa construído de forma idêntica a outro seguirá programação idêntica.
Já os humanos não são
“repetições interminavelmente reproduzíveis do mesmo modelo, todas dotadas da
mesma natureza e essência, tão previsíveis quanto a natureza e a essência de
qualquer outra coisa” (ARENDT, 2009, p. 16), portanto, capazes de ação.
Agir, no
sentido mais geral do termo, significa tomar iniciativa, iniciar […], imprimir
movimento a alguma coisa […]. Por constituírem um initium, por serem recém-chegados e iniciadores em virtude do fato
de terem nascido, os homens tomam iniciativas, são impelidos a agir.
[…] É da natureza
do início que se comece algo novo, algo que não pode ser previsto a partir de
coisa alguma que tenha ocorrido antes. Este cunho de surpreendente
imprevisibilidade é inerente a todo início e a toda origem. […] O novo sempre
acontece à revelia da esmagadora força das leis estatísticas e de sua
probabilidade que, para fins práticos e cotidianos, equivale à certeza; assim,
o novo sempre surge sob o disfarce do milagre. O fato de que o homem é capaz de
agir significa que se pode esperar dele o inesperado, que ele é capaz de
realizar o infinitamente improvável. (ARENDT, 2009, pp. 190-191)
Para além da vida
real das estradas, ruas e calçadas que a Máquina Moral comprime (como, aliás,
qualquer variação do trolley problem
corre o risco de fazer), em suas formulações é a própria iniciativa humana que
é suprimida, para que pudessem restar ali os padrões de dados e de performance
que o software é capaz de analisar. Mas, se a ação é sempre fruto de
iniciativa, e esta, por sua vez, sempre faz surgir algo novo, então os
problemas morais são sempre necessariamente um questionamento aberto, para os
quais novas respostas sempre podem ser criadas – até porque, convém
acrescentar, as situações que ensejam estas mesmas questões também nunca são as
mesmas.
A Máquina Moral,
claro, desconsidera a possibilidade de iniciativa. Omitindo a imprevisibilidade
inerente à ação humana, a máquina nos ensina que questões éticas podem ser
resolvidas pela escolha entre alternativas pontuais, não muito distintas
daquelas que fazemos ao escolher entre uma ou outra marca de um certo produto.
Trilhos Atomizantes
A Máquina Moral não
precisa, porém, contentar-se em apagar a iniciativa e a criação humana ao
tratar de vida e morte. Formulando os problemas morais sob o disfarce de casos específicos,
obscurece-se o caráter social (e, acrescentamos, político) de seu objeto e das
decisões que supostamente serão programadas a partir da pesquisa. Assim, como
nos diz Abby Everett Jaques,
A Máquina Moral e
seus primos fãs de trolleys erram
porque obscurecem a escolha real. Eles fazem da transação individual um
substituto para a regra, mas olhar para uma única transação não é adequado para
perceber as propriedades relevantes do cenário, assim como olhar para uma
árvore não é adequado para caracterizar uma floresta. (JAQUES,
2019, p. 6)[29]
Ainda mais notável é
a constatação da qual Jacques parte para chegar a esta crítica, enunciada “em
um slogan”: “o problema é que um algoritmo não é uma pessoa, é uma política”
(JAQUES, 2019, p. 5)[30].
Somos forçados a acrescentar: uma política pública, já que se trata de uma
questão de transporte público.
Diga-se, em defesa
dos idealizadores da Máquina Moral, que eles próprios explicitam o caráter
político de seu assunto, chegando a afirmar que “os desafios da machine ethics [“ética das máquinas”, em
tradução livre]” representam uma “oportunidade única de decidir, como uma
comunidade, o que cremos ser certo ou errado” (AWAD et alii, 2018, p. 63)[31].
Isto é perfeitamente coerente, portanto, com seu objetivo de provocar um debate
global – objetivo em larga medida alcançado, ao menos sob um certo ponto de
vista, como atestam a popularidade do experimento e a repercussão do artigo. Ao
mesmo tempo, a própria natureza da Máquina Moral trai este objetivo, na medida
em que habitua seus usuários, não à deliberação, mas a tratar tais problemas
como questões pontuais e individuais, delegando aos especialistas a tarefa de
extrair, de um amontoado atomizado de opiniões, parâmetros de conduta.
Mas a monstruosidade
da Máquina Moral talvez em nenhum aspecto transpareça mais do que na alteração
que impõe ao trolley problem
clássico. Enquanto este assenta-se numa tácita equiparação do valor de vidas
humanas, não nos informando, sobre as vítimas do bonde, nada além de sua
humanidade, obrigando-nos a enfatizar apenas quantas vidas serão perdidas, e
não quais, o experimento da máquina moral faz precisamente o contrário e
equipara a quantidade de vítimas, obrigando-nos a decidir quem poupar com base
em certas características muito específicas, num convite pouco discreto à livre
expressão de preconceitos:
ao identificar as
escolhas em termos da saúde ou da insalubridade das pessoas, do desabrigo, da
profissão e assim por diante, tornando estas características proeminentes no
contexto da escolha e negando outras matérias para o raciocínio prático, a
Máquina Moral sugere e, mesmo, advoga pela relevância moral destas
características. Quando a Máquina pergunta a seus usuários se deve desviar e
matar a mulher gorda ou seguir reto e matar o homem saudável, ela os convida a
expressar seus preconceitos. Assim, o cenário subdescrito, no qual a escolha é
forçada e os poucos recursos, irrelevantes, inevitavelmente leva a maus
resultados. (JAQUES, 2019, p. 5)[32]
Consequentemente, a
análise dos dados oriundos do Moral
Machine Experiment, que compõe a maior parte do artigo de mesmo nome, no
lugar de constituir uma base para a deliberação articulada sobre valores
éticos, termina por oferecer-nos uma organização geográfica dos preconceitos[33].
E, se nos perguntávamos, no começo, sobre qual tipo de valores a Máquina Moral
ajudava a propagar e a quais práticas ela induzia, eis uma parte da resposta:
ao preconceito.
Ainda mais grave,
porém, é o resultado da combinação deste preconceito com o obscurecimento da
iniciativa, igualmente embutido no experimento. Se é a iniciativa que torna a
ética um questionamento aberto, sem ela as possibilidades fecham-se, e tudo o
que o usuário pode fazer é escolher a quem matar. Eis, portanto, aquilo que a
Máquina Moral mais e melhor nos habitua a fazer: a escolher qual preconceito
deve tornar alguém mais matável e, consequentemente, a naturalizar uma espécie
de hierarquia das vidas, separando as mais valiosas (mais autenticamente
humanas) das demais.
É certo que há
importantes contribuições no uso de serious
games para a educação. No entanto, como toda ferramenta, ela não só possui
seus limites, como também suas intenções – muito claras, acreditamos, no
exemplo da Máquina Moral – e justamente por isso não devem ser utilizadas de
forma irrefletida. Nenhuma ferramenta é neutra, ainda mais aquelas que, como os
serious games, visam “ensinar” algo
aos indivíduos. O conteúdo desse ensino sempre estará de acordo com as
ideologias, concepções e visões de mundo de seus criadores, e seus usos, seja
em sala de aula, seja viralizando
pelas redes sociais, por exemplo, precisam ser pensados com muito cuidado.
Dessa forma, se a
virtude ética é mesmo o fruto de um hábito, como dizia Aristóteles, então
acreditamos ter demonstrado que, apesar de não ser reconhecida como tal por
seus criadores, a Máquina Moral é sim uma educadora ética. Ao deturpar tanto o
conceito de serious game quanto o trolley problem, ela nos habitua a tomar
decisões éticas a partir de um dualismo auto-imposto, que ignora a própria
realidade.
Referências
ARENDT, Hannah. A condição humana. Rio de Janeiro:
Forense Universitária, 2009.
ARISTÓTELES. Ética a Nicômaco [livro eletrônico], trad., notas e textos adicionais de Edson Bini. São Paulo:
Edipro, 2020.
AWAD, Edmond; DSOUZA, Sohan; KIM, Richard;
SCHULZ, Jonathan; HENRICH, Joseph; SHARIFF, Azim; BONNEFON, Jean-François e
RAHWAN, Iyad (2018). “The Moral Machine experiment”, em: Nature, vol. 563, Nov. 2018. https://doi.org/10.1038/s41586-018-0637-6 Acesso em 20 de junho de 2023.
BRIDLE, J. New
Dark Age: technology and the end of the future. London: Verso, 2018.
CAILLOIS, Roger. Os jogos e os
homens: as máscaras e as vertigens. Trad. Tânia Ramos Fortuna. Petrópolis:
Editora Vozes, 2017.
CASTORIADIS, Cornelius. Feito e a ser feito: as encruzilhadas do
labirinto V, trad. Lilian do Valle. Rio de Janeiro: Editora DP&A, 1999.
CHESTERMAN, Simon. “Artificial Intelligence and the problem of
autonomy”. Em: Notre Dame Journal on Emerging Technologies, I (2020), pp. 210-250. http://dx.doi.org/10.2139/ssrn.3450540 Acesso em 15 de junho de 2023.
COELHO, Heitor (2018). “The robot take-over:
Reflections on the meaning of automated education”. Em : Education
Policy Analysis Archives, 26 (115), 2018. http://dx.doi.org/10.14507/epaa.26.3863 Acesso em 02 de junho de 2023.
DOCTOROW, Cory.
“The AI hype bubble is the new crypto hype bubble”. Em: Medium, 9 de março de 2023. Disponível
em: https://doctorow.medium.com/the-ai-hype-bubble-is-the-new-crypto-hype-bubble-74e53028631e. Acesso em
28 de julho de 2023.
EDMONDS, David. Would
you kill the fat man: the trolley problem and what your answer tells us about
right and wrong. Princeton:
Princeton University Press, 2014.
FOOT, Philippa. “The problem of abortion and the
doctrine of the double effect”. In: FOOT,
Philippa. Virtues and Vices and other essays in moral philosophy. Oxford:
Oxford University Press, pp. 19-32, 2002.
GOODALL, Noah. “Away from trolley problems and towards
risk management”. In: Applied Artificial Intelligence, vol. 30, n. 8, Set. 2016.
GROH, Fabian. “Gamification: State
of the Art Definition and Utilization”. In: Proceedings of the
4th Seminar on Research Trends in Media Informatics, Ulm,
2012. pp. 39-46. Disponível
em: <http:// http://vts.uni-ulm.de/docs/2012/7866/vts_7866_11380.pdf>. Acesso em
05 de junho de 2023.
JAQUES, Abby Everett. Why the moral machine is a monster. University of Miami Law School:
We Robot Conference, April 2019. Disponível
em: https://robots.law.miami.edu/2019/wp-content/uploads/2019/03/MoralMachineMonster.pdf . Acesso em: 15 de abril de 2023.
JORDAN, Michael I. “Artificial
Intelligence – The revolution hasn’t happened yet”. Medium, 19 de abril de 2018. Disponível em: <https://medium.com/@mijordan3/artificial-intelligence-the-revolutionhasnt-happened-yet-5e1d5812e1e7>. Acesso em: 13 de maio de 2023.
JULIA, Luc; KHAYAT, Ondine. L’intelligence artificielle n’existe pas.
Paris:
Éditions First, 2019.
MOROZOV, Evgeny. To
save everything, click here: the folly of technological solutionism. New York: PublicAffairs, 2013.
PLATÃO. Os pensadores III: Platão: Diálogos: O Banquete – Fédon – Sofista –
Político, trad. Jorge Paleikat e
João Cruz Costa. São Paulo: Abril Cultural, 1972.
VALLE, Lílian do. Os enigmas da educação: a paideia
democrática entre Platão e Castoriadis.
Belo Horizonte: Autêntica, 2002
[1] Esta e as demais traduções de trechos de obras em língua
estrangeira são nossas. No
original: “a global conversation to express our preferences to
the companies that will design moral algorithms, and to the policymakers that
will regulate them”.
[2] No original:
“aversion to theories and absolute belief in the superiority of big data [...]
form one foundation of solutionism”.
[3] Embora não possamos tratar aqui
dos muitos problemas dos usos desta expressão associada ao tipo de tecnologia
em questão, é preciso marcar posição contrária a ele. A crítica de Luc Julia e
Khayat Ondine resume bem as boas razões para isto (ainda que esteja, é claro,
longe de esgotar a questão): “Uma ‘inteligência artificial’ genérica que
ultrapassasse ou mesmo apenas imitasse todas as capacidades de um ser humano
não pode ser desenvolvida utilizando-se as técnicas matemáticas e estatísticas
que temos utilizado nos últimos sessenta anos. Se não posso excluir que ela
existirá um dia, penso que ela necessitará de uma mudança de abordagem tal,
fundada sem dúvidas em uma mistura de ciências bem diferentes, tais como a
biologia, a química ou, ainda, a física quântica, que não há praticamente
chances de vê-la emergir antes de muitas centenas de anos. É por isto que
sustento que se substitua o termo ‘inteligência artificial’ por ‘inteligência
aumentada’, e que se pare de empregar a palavra ‘artificial’, que cristaliza
todos os medos e que é enganosa e falaciosa” (2019, p. 121). Doctorow
lembra-nos de outra sugestão
de nomenclatura, mais bem humorada que a de Julia e Ondine: “Um tônico
potencial contra esta falácia é seguir a sugestão de um parlamentar italiano e
substituir ‘IA’ por ‘SALAMI’ (‘Abordagens Sistemáticas para Algoritmos de
Aprendizagem e Inferências de Máquina’[No original: Systematic Approaches to
Learning Algorithms and Machine Inferences’])” (DOCTOROW, 2023). Para outras considerações sobre a inadequação desta nomenclatura, cf. igualmente Jordan,
2018; Coelho, 2018, em especial pp. 8-12.
[4]
No original: “a multilingual online ‘serious game’ for collecting
large-scale data on how citizens would want autonomous vehicles to solve moral
dilemmas in the context of unavoidable accidents”.
[5] No original: “We are
entering an age in which machines are tasked not only to promote well-being and
minimize harm, but also to distribute the well-being they create, and the harm
they cannot eliminate. Distribution of well-being and harm inevitably creates
tradeoffs, whose resolution falls in the moral domain”.
[6] O termo “autônomo”, usado para
designar máquinas, tal como aqui, tem carregado um sentido efetivamente
distinto, tanto daqueles do cotidiano, quanto daqueles da tradição filosófica.
Retornaremos a isto.
[7] Redução que é provável, segundo
a maioria dos prognósticos especializados.
[8] No original: “Think
of an autonomous vehicle that is about to crash, and cannot find a trajectory
that would save everyone. Should it swerve onto one jaywalking teenager to
spare its three elderly passengers?”
[9] Embora apresentemos esta
possibilidade de tradução, seguiremos usando o original trolley problem para nos referirmos ao experimento de Foot, tendo
em vista sua disseminação.
[10] Que a máquina moral,
diferentemente do problema de Foot, obrigue-nos na maioria das vezes a escolher
quais, e não quantas, vidas salvamos, é fato extremamente relevante, ao qual
retornaremos.
[11] No original: “There
have now been so many articles linked to the topic that a jokey neologism for
it has stuck: “trolleyology.”” Na ingrata tarefa de verter o
neologismo para o português, optamos por manter sua primeira parte no idioma
original para mais facilmente remeter ao experimento mental, evitando confusões
com quaisquer problemas relativos à engenharia de tráfego de bondes e
questões semelhantes. Assim, usaremos “trolleyologia” como
versão em português deste termo.
[12] No
original: “A MAN IS STANDING BY THE SIDE OF A TRACK when he sees a
runaway train hurtling toward him: clearly the brakes have failed. Ahead are
five people, tied to the track. If the man does nothing, the five will be run
over and killed. Luckily he is next to a signal switch: turning this switch
will send the out-of-control train down a side track, a spur, just ahead of
him. Alas, there’s a snag: on the spur he spots one person tied to the track:
changing direction will inevitably result in this person being killed. What should he do?” Tal
como se tornou usual, não recorremos aqui à formulação original da própria
Foot, já que, no texto original da autora, o problema é formulado de maneira
entrelaçada a de outros dilemas morais hipotéticos que nada acrescentariam à
presente discussão (cf. Foot, 2002, pp. 22-23). Importa, entretanto, dizer que,
por vezes, Foot dirige certa ironia a tais experimentos mentais, insinuando que
os próprios filósofos criam as dificuldades presentes neles (id., ibid., p. 21)
e enfatizando que “na vida real as certezas postuladas pelos filósofos
dificilmente existem” (id., ibid., p. 31) – observação à qual já retornaremos.
[13] Cf., por exemplo, a página Trolley Problem (https://trolleyproblem.net/memes.html), ou os repositórios nas páginas
de Facebook (https://www.facebook.com/TrolleyProblemMemes/) e Imgur (https://imgur.com/gallery/QXF8B). Para uma linha do tempo da
difusão do meme, cf. o verbete “Trolley
problem” no index Know Your Meme
(https://knowyourmeme.com/memes/the-trolley-problem).
[14]
No original: “In the main interface
of the Moral Machine, users are shown unavoidable accident scenarios with two
possible outcomes, depending on whether the autonomous vehicle swerves or stays
on course. They then click on the outcome that they find preferable. Accident
scenarios are generated by the Moral Machine following an exploration strategy
that focuses on nine factors: sparing humans (versus pets), staying on course
(versus swerving), sparing passengers (versus pedestrians), sparing more lives
(versus fewer lives), sparing men (versus women), sparing the young (versus the
elderly), sparing pedestrians who cross legally (versus jaywalking), sparing
the fit (versus the less fit), and sparing those with higher social status
(versus lower social status).”
[15] O termo, assim como sua
definição, são normalmente creditados a Clark C. Abt. Cf. ABT, C. Serious Games. New York: The Viking
Press, 1970.
[16] A gamificação diferencia-se dos serious
games especialmente por não ser um jogo propriamente dito, mas por
incorporar aspectos próprios do game-design
(mecânicas, dinâmicas, interfaces etc.) em contextos diferentes daqueles dos jogos digitais. Cf. GROH, 2012.
[17] É digno de nota que a publicação
do artigo de Goodall (setembro de 2016) anteceda o emprego da Moral Machine, que foi ao ar pela
primeira vez em fevereiro de 2017.
[18] No
original: “The trolley problem almost always involves two choices. This strikes
many as unrealistic, and that any real pre-crash situation would have a range
of alternatives. […] In most driving, there may be an obviously
safer third alternative, or there may be a third alternative that balances the
danger among the affected parties.
Trolley problems also assume known outcomes, which critics are quick to dismiss
as unrealistic - experts can confidently predict the outcomes of only the most
catastrophic crashes, yet almost everything else in road safety is
probabilistic. […] This is in sharp contrast with the trolley
problem, where the result of pulling or not pulling the switch is always
completely certain.”
Importa dizer que Goodall
equivoca-se, aqui: no trolley problem
o resultado é completamente certo, e não apenas “quase completamente”.
[19] No
original: “An automated vehicle in a tunnel trying to dodge a child may opt to
swerve as much as possible without striking the wall, with the hope that the
child moves out of the way just enough to survive, if not entirely avoid, the
crash. This kind of probabilistic, risk balancing action is impossible in the
trolley problem, where one must choose between two extreme actions, both of
which always involve certain death.”
Os autores do Moral Machine Experiment, é preciso
dizer, estão cientes disto: “Mesmo com uma amostra tão grande quanto a nossa,
não poderíamos fazer jus a toda a complexidade dos dilemas dos veículos
autônomos. Por exemplo, não introduzimos incerteza sobre os destinos dos
personagens, nem introduzimos qualquer incerteza quanto à classificação dos
mesmos. Em nossos cenários, personagens eram reconhecidos como adultos,
crianças e assim por diante com 100% de certeza, e resultados de vida ou morte
eram previstos com 100% de certeza. Estas pressuposições são tecnologicamente
irrealistas, mas também foram necessárias para manter o projeto viável” (AWAD et alii, 2018, p. 63). Mas mesmo nesta
afirmação pode-se ver que o reducionismo em questão tem raízes fundas, dando a
entender que uma amostragem ainda maior talvez pudesse dar conta de uma tal
complexidade.
[20] No original: “easy
to for critics to dismiss as unrealistic, and therefore unimportant and
distracting” e “useful for framing a discussion of ethics, identifying and
classifying public response to these situations, and stress testing different
ethical theories for automated vehicles”.
[21] “Platão fôra buscar na esfera da
fabricação a palavra-chave de sua filosofia, a ‘ideia’; e deve ter sido o
primeiro a perceber que a divisão entre saber e executar, tão alheia à esfera
da ação – cuja validade e sentido se perdem no instante em que pensamento e
ação se separam –, constitui, de fato, a experiência cotidiana na fabricação:
primeiro, perceber a imagem e a forma (eidos)
do produto que se vai fabricar; em seguida, organizar os meios e dar início à
execução” (ARENDT, 2009, p. 237).
[22]
No original: “to make progress towards universal machine ethics”.
[23] “A verdadeira ciência real não
possui, com efeito, obrigações práticas: dirige, ao contrário, aquelas que
existem para realizar essas obrigações, pois sabe que ocasiões são favoráveis
ou não para iniciar ou levar adiante os grandes empreendimentos e as demais
apenas executarão suas ordens.” (Político,
305d)
[24]
No original: “Though it is common for the “autonomy” of those systems to
be described with reference to their ability to take decisions on their own,
they do not have “desires” or “values” in any meaningful sense, nor are they
“rational” in a way that Kant would have understood them to be.211 On the
contrary, what we typically mean when we describe an AI system as autonomous is
not that it takes decisions “by itself,” but that it takes decisions without further input from a human”.
[25] Embora Castoriadis refira-se
neste trecho aos animais e à aprendizagem dos animais, a descrição vale
igualmente, se não ainda mais, para as máquinas.
[26] Pensemos no assombroso https://thispersondoesnotexist.com/.
[27] Pensemos no Google Translate e suas traduções que estabelecem correlações entre
palavras em incontáveis dimensões, “estendendo-se em mais direções do que a
mente humana pode conceber” (BRIDLE, 2018, p. 139).
[28] No original:
“because they are produced by cognitive processes utterly unlike our own”.
[29]
No original: “The Moral Machine and its trolley-loving cousins go wrong
because they obscure the actual choice. They make the individual transaction a
stand-in for the rule, but looking at a single transaction is not adequate to
perceive the relevant properties of the scenario, just as looking at a single
tree is not adequate to characterize a forest”.
[30]
No original: “the problem is that an algorithm isn’t a person, it’s a
policy”.
[31]
No original: “he challenges of machine ethics as a unique opportunity to
decide, as a community, what we believe to be right or wrong”.
[32]
No original: “in identifying choices in terms of peoples’ fitness or
lack thereof, homelessness, profession, and so on, making those features
salient in the context of choice and denying other materials for practical
reasoning, the Moral Machine suggests and even advocates for the moral
relevance of those features. When the Machine asks users whether to swerve and
kill the large woman or go straight and kill the fit man, it invites users to
express their biases. So the underdescribed scenario, in which choice is forced
and the only resources are irrelevant, inevitably leads to bad results”.
[33] Cuja validade, como se não
bastasse, ela não pode efetivamente comprovar, já que o experimento, além de
fazer as perguntas da forma que acabamos de ver, toma por base uma amostragem
auto-selecionada, sem garantias de representar adequadamente a população de
cada país ou região (cf. AWAD et alii,
2018, p. 63).
0 comments :
Postar um comentário