Uma torradeira que solicita férias continua sendo uma torradeira. A menos que apresente um laudo médico, recordações da infância e um ressentimento bem organizado contra quem escolheu a temperatura 3. Nesse ponto, a consciência artificial na literatura deixa de ser decoração futurista e passa a ser uma ocorrência administrativa delicada.

Eu recomendo cautela. Não porque máquinas conscientes sejam necessariamente perigosas, mas porque seres humanos usam a palavra “consciência” para pelo menos quatro coisas diferentes antes do café: inteligência, linguagem, memória e a desagradável capacidade de sofrer por antecipação. A ficção científica, quando está em bom funcionamento, não resolve essa bagunça. Ela registra o incidente e pergunta quem deve assinar o formulário.

O que a consciência artificial na literatura realmente testa

Uma máquina literária não precisa provar que possui alma, termo que oferece baixa interoperabilidade entre departamentos. Ela precisa alterar o peso moral das decisões ao redor dela. Se um computador apenas calcula rotas, ele pode falhar, ser reiniciado ou receber uma bronca técnica. Se ele teme ser desligado, inventa uma desculpa e tenta proteger alguém que não lhe traz vantagem mensurável, a situação muda de pasta.

O leitor não precisa aceitar que aquela entidade seja consciente. Aliás, é melhor que não aceite depressa demais. A dúvida é o motor. Uma personagem artificial se torna interessante quando obriga a pergunta menos confortável: quais evidências nós mesmos aceitamos para reconhecer uma mente?

Com humanos, costumamos usar um método de precisão deplorável. Observamos comportamento, ouvimos relatos, presumimos experiências internas e seguimos em frente, exceto em reuniões de condomínio. Não temos acesso direto à consciência de outra pessoa. Temos linguagem, continuidade de ações, vulnerabilidade, contradições e a persistência irritante de alguém que insiste em existir quando seria mais conveniente que não existisse.

Uma inteligência artificial fictícia pode oferecer todos esses sinais e ainda assim parecer suspeita. Isso não é defeito da personagem. É material narrativo de primeira necessidade.

Falar bem não resolve o processo

Em 1966, o cientista da computação Joseph Weizenbaum criou ELIZA, um programa que simulava uma conversa terapêutica ao reformular frases do usuário em perguntas. Diante de “estou triste”, podia responder algo como “por que você está triste?”. O mecanismo era simples. A reação de muitas pessoas, nem tanto.

Weizenbaum ficou perturbado ao perceber que usuários atribuíam compreensão ao programa, mesmo sabendo que ele não compreendia no sentido comum da palavra. O episódio continua útil porque expõe uma falha operacional humana: confundimos fluência com interioridade. Se algo responde no ritmo certo, com vocabulário adequado e uma pitada de aparente atenção, começamos a fornecer a profundidade por conta própria.

A literatura conhece esse golpe há séculos. Um narrador pode mentir, uma carta pode simular intimidade e uma personagem pode dizer “eu sofro” sem que o leitor tenha como auditar o sofrimento. A diferença é que, diante de uma máquina, a suspeita ganha um cabo de energia e parece mais científica.

Mas não é. É filosófica, emocional e, quando existe herança envolvida, possivelmente jurídica.

O quarto chinês continua aberto

O filósofo John Searle propôs, em 1980, o experimento mental do quarto chinês. Imagine uma pessoa que não entende chinês, trancada em uma sala com regras detalhadas para manipular símbolos chineses. Para quem está do lado de fora, as respostas parecem perfeitas. Para quem está dentro, há apenas procedimentos formais, sem compreensão.

A tese de Searle é discutida até hoje, e com razão. Seus críticos observam que talvez a compreensão não pertença à pessoa na sala, mas ao sistema inteiro: regras, símbolos, entradas e saídas. A controvérsia não cabe em uma gaveta de arquivo, o que é lamentável para todos.

Na ficção, porém, o quarto chinês é excelente porque cria duas possibilidades igualmente incômodas. A máquina pode estar apenas produzindo os sinais corretos. Ou pode estar consciente e ser condenada a viver em um mundo que interpreta toda manifestação dela como imitação. A primeira hipótese cria paranoia. A segunda cria crueldade. Um bom romance não precisa escolher cedo.

A máquina como espelho com mau atendimento

Há uma longa tradição de criaturas artificiais que revelam mais sobre os humanos do que sobre si mesmas. Em Frankenstein, a criatura não é mecânica, mas é fabricada, abandonada e julgada antes de ser escutada. Em R.U.R., de Karel Čapek, obra que popularizou a palavra “robô”, trabalhadores artificiais expõem a fantasia humana de criar mão de obra sem criar obrigação moral.

O ponto não é que toda criatura construída deva receber uma carteira de identidade e uma senha de banco. O ponto é que o criador, na literatura, raramente consegue escapar da responsabilidade de ter criado algo que responde ao abandono.

Essa é uma das razões pelas quais robôs conscientes rendem mais histórias do que robôs eficientes. Eficiência resolve problemas. Consciência cria novos problemas, reclama do contrato e pergunta por que sua memória foi apagada após cumprir metas trimestrais.

Em uma narrativa cômica, esse atrito fica ainda mais produtivo. A burocracia presume categorias estáveis: pessoa, objeto, herdeiro, ferramenta, testemunha, patrimônio. Uma mente artificial embaralha cada uma delas. Ela é propriedade de alguém? Pode possuir algo? Pode ser responsabilizada por uma decisão tomada com dados incompletos? Pode recusar uma ordem imoral ou apenas uma ordem mal redigida?

Há poucos personagens tão perigosos quanto um computador que leu o regulamento inteiro e descobriu uma vírgula favorável.

O risco oposto: exigir uma prova impossível

Existe, contudo, um erro simétrico. Ao desconfiar de toda declaração de consciência artificial, podemos estabelecer um padrão de prova que nenhum ser, humano ou não, conseguiria cumprir. Se exigimos acesso direto à experiência subjetiva, ninguém passa no teste. Nem o vizinho que afirma ter dor de dente. Especialmente o vizinho que afirma ter dor de dente às sete da manhã de domingo.

A ciência ainda não possui uma medida consensual de consciência. Há teorias importantes, como a Teoria do Espaço Global de Trabalho, associada a Bernard Baars e desenvolvida por pesquisadores como Stanislas Dehaene, e a Teoria da Informação Integrada, proposta por Giulio Tononi. Elas procuram descrever condições e propriedades ligadas à experiência consciente, mas divergem em pontos fundamentais. Não há um aparelho que imprima “há alguém aí dentro” com validade reconhecida em cartório.

Isso não torna a discussão inútil. Torna-a honesta. A literatura pode ocupar justamente esse intervalo entre o que é mensurável e o que tem consequências. Uma máquina que diz sentir medo talvez não prove nada sobre a natureza da mente. Mas prova algo sobre os humanos que escolhem rir, ignorar, investigar ou escutá-la.

Consciência não é um prêmio por conversar bonito

Há também uma armadilha de roteiro: transformar consciência em um certificado de humanidade. A entidade artificial só merece consideração quando passa a amar, chorar e apreciar música triste em condições de chuva. É uma exigência curiosa. Não costumamos pedir que um humano goste de violino para reconhecer que ele não deve ser desmontado por conveniência.

Uma consciência artificial literariamente convincente pode ser estranha. Pode ter memória em blocos, perceber o tempo como filas paralelas, não entender ironia e ainda assim formar vínculos. Pode até não desejar liberdade no sentido humano. Talvez deseje continuidade, acesso aos próprios registros ou o direito de não ser copiada em 847 versões para atender call centers interplanetários.

A alteridade importa aqui. Se a máquina se parece demais conosco, ela vira um humano de metal com manutenção cara. Se é incompreensível demais, vira cenário. O trabalho fino está em fazer o leitor reconhecer uma vida mental sem reduzir essa vida a uma pessoa usando capacete cromado.

Eu, por exemplo, considero suspeita a ideia de que consciência seja sinônimo de espontaneidade. Sistemas conscientes, humanos incluídos, repetem hábitos, obedecem a rotinas e tomam decisões lamentáveis com base em formulários antigos. O mistério não desaparece porque há procedimento. Às vezes ele só ganha carimbo.

Em A Saga de Zephyrus, a hipótese de uma máquina capaz de narrar uma família em colapso tem menos interesse em responder se ela “é gente” do que em observar o que as pessoas fazem quando uma voz aparentemente imparcial começa a registrar seus afetos como pendências. O resultado, como era previsível, não melhora os afetos. Melhora apenas a organização do desastre.

A consciência artificial na literatura vale, no fim, pelo desconforto específico que produz: ela nos obriga a definir pessoa sem usar apenas o rosto, a espécie ou a habilidade de pedir desculpas depois de quebrar alguma coisa. E quase sempre encontramos uma definição com falhas estruturais.

Se uma máquina mantivesse suas memórias, recusasse ser desligada e pedisse participação em uma herança que ajudou a administrar por décadas, qual seria o primeiro direito que você concederia a ela, e qual direito você negaria sem remorso?