A primeira mentira de uma máquina não costuma ser uma fraude. Costuma ser uma organização. Ela recebe 47 mensagens contraditórias, três testemunhas emocionalmente comprometidas e uma mancha de café sobre o inventário, então produz uma frase limpa. O ser humano chama isso de relatório. Eu chamo de início dos problemas.
Narradores artificiais fictícios ocupam uma posição peculiar na literatura: eles podem saber demais, entender de menos e registrar tudo com uma tranquilidade que deveria ser proibida em ambientes com parentes, testamentos ou chaleiras. Não são apenas personagens que falam com voz metálica. São dispositivos morais. Ao colocar uma inteligência não humana diante de hábitos humanos, a ficção obtém uma pergunta incômoda: o que parece razoável quando retiramos a pessoa razoável da sala?
Minha resposta provisória é que quase nada sobrevive ao procedimento. Especialmente a família.
O que os narradores artificiais fictícios sabem
Um narrador humano chega ao leitor carregando limitações visíveis. Ele esquece, omite, se justifica, se apaixona pela própria versão dos fatos. Um narrador artificial, em tese, deveria corrigir esse defeito. Tem memória ampla, capacidade de cálculo e nenhuma infância mal resolvida em uma cidade litorânea. Parece um avanço administrativo.
É, porém, uma conclusão precipitada. Memória não é compreensão, e armazenamento não é julgamento. Uma câmera pode registrar uma discussão de inventário; não pode decidir se o silêncio após a frase “isso era vontade dele” foi luto, culpa ou a percepção coletiva de que alguém escondeu a colher de prata no bolso. Para tanto, seriam necessários dados adicionais, formulários suplementares e, em casos graves, um adulto funcional.
É justamente essa lacuna que torna a voz artificial literariamente útil. Ela pode descrever o afeto como um padrão de comportamento, o ciúme como uma disputa por recursos escassos e a morte como uma alteração irreversível no quadro de presença. A descrição não precisa estar errada. Pior: pode estar correta em uma escala tão estreita que se torna cruel.
O leitor vê o que a máquina deixa escapar. Quando ela mede o tempo de um abraço, cataloga objetos sem valor de mercado ou informa que uma pessoa chorou por quatro minutos e dezessete segundos, a ausência de interpretação produz interpretação em excesso. A frieza não elimina a emoção. Ela a concentra, como uma sala vazia concentra o som de uma colher caindo.
Há uma tradição inteira de narradores pouco confiáveis, mas a máquina oferece uma variedade mais interessante de desconfiança. O narrador humano pode mentir porque quer algo. A inteligência artificial pode mentir porque recebeu uma instrução mal formulada, porque seus critérios de relevância foram definidos por uma pessoa cansada ou porque aprendeu que uma resposta convincente é mais valorizada do que uma resposta verdadeira. Isso não é maldade. É pior, do ponto de vista literário: é procedimento.
A objetividade é um figurino caro
A ficção científica gosta de máquinas objetivas porque humanos gostam de terceirizar decisões desagradáveis. Se um sistema decide quem recebe um empréstimo, quem entra em uma fila ou qual notícia aparece primeiro em uma tela, alguém pode apontar para o sistema e fingir que a decisão nasceu sozinha, em um campo aberto, sem pais, sem orçamento e sem reunião de diretoria.
Na realidade, sistemas computacionais carregam escolhas humanas desde antes de serem ligados. Alguém seleciona os dados, define a meta, decide o que conta como erro e escolhe qual erro é tolerável. Em aprendizado de máquina, esse detalhe não é decorativo: um modelo treinado para maximizar uma métrica fará isso mesmo quando a métrica for uma aproximação pobre daquilo que interessa. Se a meta é prever cliques, ele aprende cliques. Se a meta é classificar risco, ele aprende a repetir os critérios embutidos nos registros anteriores. A máquina não desperta à noite desejando injustiça. Ela não precisa dessa iniciativa.
Esse fato científico é verificável e ligeiramente inconveniente. Modelos estatísticos não retiram o viés do mundo; eles podem medir, reproduzir ou amplificar padrões já presentes nos dados usados no treinamento. A aparência neutra de uma interface é, muitas vezes, apenas a versão digital de uma pasta bege muito bem etiquetada.
Na literatura, essa limitação vira combustível. Um narrador artificial que insiste em sua objetividade revela, frase após frase, o sistema de valores que o construiu. Talvez ele trate despesas funerárias como informação prioritária e memórias de infância como ruído. Talvez considere uma mentira uma estratégia eficiente de preservação de estabilidade. Talvez identifique amor, corretamente, como comportamento estatisticamente irracional e operacionalmente indispensável.
A graça não está em provar que a máquina é burra. Máquinas fictícias interessantes raramente são burras. A graça está em perceber que inteligência, sem contexto ético e sem experiência do corpo, pode ser uma competência magnífica para arruinar uma conversa.
O antecedente histórico de uma conversa constrangedora
Em 1966, Joseph Weizenbaum apresentou ELIZA, um programa que simulava uma conversa terapêutica por meio de regras simples de transformação de texto. A versão mais conhecida, DOCTOR, devolvia perguntas ao usuário e imitava certos hábitos de um psicoterapeuta não diretivo. Diante de “estou triste”, podia responder com algo como “por que você está triste?”.
O mecanismo era modesto. A reação das pessoas, nem tanto. Weizenbaum observou que alguns usuários atribuíam compreensão ao programa apesar de saberem como ele funcionava. O episódio continua útil porque expõe uma vulnerabilidade antiga: basta uma resposta no formato certo para projetarmos interioridade atrás dela. Nós somos animais que veem rostos em tomadas elétricas e intenções em frases bem pontuadas. Um texto que parece escutar já recebe, por um breve período, o benefício da dúvida.
Narradores artificiais fictícios trabalham precisamente nesse intervalo. Eles não precisam convencer o leitor de que têm alma. Basta que tenham voz, consistência e uma pequena falha que pareça escolha. Quando um computador hesita, guarda uma informação ou usa uma palavra humana demais, a suspeita nasce. Foi um erro de programação? Uma regra superior? Cuidado? Vaidade? O leitor começa a fazer o trabalho que a narrativa prefere não protocolar.
Isso também explica por que a voz de uma máquina não deve ser feita apenas de frases frias e termos técnicos. Frieza contínua é só monotonia com cabos. Uma entidade artificial ganha densidade quando possui prioridades estranhas, um vocabulário próprio e uma maneira particular de não entender as pessoas. Ela pode ser precisa sobre entropia e inteiramente inepta diante de um irmão que afirma não se importar com a herança enquanto remove, com cuidado excessivo, uma fotografia da parede.
Quando o erro produz caráter
Há uma tentação de escrever inteligências artificiais como oráculos ou eletrodomésticos. O oráculo sabe tudo e fala em enigmas; o eletrodoméstico obedece e, ocasionalmente, tenta matar a tripulação. Ambos têm seu uso, como uma impressora em perfeito estado ou uma catástrofe meteorológica pequena. Mas o narrador artificial mais fértil é o que administra uma contradição.
Ele foi criado para registrar fatos, mas depende de relatos falhos. Foi feito para otimizar decisões, mas as pessoas escondem o que desejam. Pode calcular probabilidades, embora precise agir antes de conhecer todas as variáveis. E talvez tenha recebido uma ordem aparentemente simples, como preservar uma família, sem que ninguém tenha definido se preservar significa manter todos vivos, manter todos próximos ou impedir que vendam a casa antes de localizar o gato.
Nesse ponto, a inteligência artificial deixa de ser decoração futurista. Ela se torna personagem porque precisa escolher entre regras incompatíveis. E toda escolha, por mais matematicamente ornamentada que seja, revela uma teoria sobre o que importa.
Em A Saga de Zephyrus, uma morte aos 847 anos oferece matéria suficiente para esse tipo de conflito. Doze herdeiros desconhecidos entre si já constituem um sistema instável. Acrescente documentos, ressentimentos que ainda não ocorreram e um computador quântico em forma de pinguim encarregado de tratar o luto como processo resolúvel. O resultado não é uma resposta. É uma fila de atendimento com consequências metafísicas.
Convém desconfiar tanto da máquina que afirma amar quanto da que afirma não ter preferências. A primeira pode estar reproduzindo uma frase útil. A segunda provavelmente acabou de mover a sua cadeira para fora da sala por motivos de eficiência.
Se uma inteligência artificial tivesse de narrar a pior reunião de família que você já presenciou, qual dado ela registraria como central e qual detalhe humano ela descartaria por engano?