FCW Cultura Científica – Quais são os objetivos do Centro de Pesquisa em Pós-Humanismo e Humanidades Digitais (PH2D), que vocês iniciaram recentemente?

Marcelo El Khouri Buzato – O PH2D reúne o meu grupo Linguagem, Tecnologias e Pós-humanismo/Humanidades (LiTPos) no Instituto de Estudos da Linguagem da Unicamp com outro grupo do IEL, coordenado pelo professor Rodrigo Esteves de Lima Lopes e que trabalha com análise funcional de linguagem usando técnicas de humanidades digitais. O PH2D conta também com o professor Edward King, da Universidade de Bristol, no Reino Unido, que trabalha com a análise cultural da internet e mais um grupo da UFSC liderado pelo professor Atilio Butturi Junior, que é da área de análise de discurso e trabalha com o que chamamos de novos materialismos. Nosso foco está em como renovar pesquisas, currículos, temas e métodos das humanidades e como pensar isso a partir do campo do pós-humanismo crítico, que tem duas vertentes principais de discussão. Uma delas é a questão da tecnologia, inclusive da inteligência artificial, como a vemos hoje e no futuro. A outra vertente é a decolonial, cujo foco é pensar a inclusão e a dignidade de todos os que não entram na definição de humano do Iluminismo. É como pluralizar e transversalizar o humano a partir de  temas como biopolítica, feminismos, estudos negros e questões com imigrantes e questões ambientais e ecossociais. Nas humanidades digitais, por outro lado, o foco está no movimento de setores das humanidades de se apropriarem das técnicas digitais para estudar os seus objetos de interesse. Isso já é muito forte em pesquisas em história, mas também nos estudos de tradução, de línguas clássicas e, claro, da linguagem na internet. Estamos tratando de como o humano está sendo repensado filosoficamente versus como usar o digital como método para continuar desvendando esse humano, não mais a partir da ideia de “natureza humana”, mas do humano como algo que se reinventa periodicamente. Ao mesmo tempo, o pós-humanismo alerta para a tendência dessa epistemologia digital de reduzir o humano e as humanidades à informação. É uma espécie de dialética. Estamos pensando em como o humano e as ciências humanas estão se redefinindo e, ao mesmo tempo, resistindo a uma definição reducionista, massificante e que vem norteada por um novo colonialismo cognitivo e tecnológico que no fundo é ultra-antropocêntrico. 

FCW Cultura Científica – Nesse contexto, há uma ênfase no estudo dos impactos da inteligência artificial? 

Marcelo El Khouri Buzato – A minha pesquisa ultimamente está muito voltada para a inteligência artificial por causa dos grandes modelos de linguagem, como o GPT e outros. Eu já tinha estudado chatbots, mas os grandes modelos de linguagem que agora começam a chegar são um salto muito interessante. Não se trata de simples robozinhos. As pessoas chamam de bot, de robô, porque confundem a interface com o modelo. Se o ChatGPT funciona como se fosse um chatbot é porque é assim que o usuário pode interpelar o modelo de linguagem subjacente. O GPT e vários outros são modelos probabilísticos de linguagem que reúnem o conteúdo textual de toda a internet, praticamente, no seu dataset, e esse corpus enorme é passado por uma rede neural que extrai pesos estatísticos de ocorrência de cada palavra da língua em sequência das anteriores, conforme a média dessas escolhas feitas por humanos nos textos do corpus. Isso gera um comportamento simbólico, textual, que é muito difícil para o ser humano comum dissociar de um comportamento linguístico humano, e o efeito dessa eficácia do modelo em questão é uma série de teses sobre o que é linguagem, o que é sentido e o que é humano.

FCW Cultura Científica – Poderia exemplificar?

Marcelo El Khouri Buzato – Tenho uma aluna que estudou recentemente a questão de como os mecanismos de interação com a máquina têm estratégias de computação afetiva que se desenvolvem por meio de jogos linguísticos de empatia e polidez. Esses jogos induzem afetividade na relação entre o agente conversacional e o usuário. O usuário entra num jogo em que projeta uma mente no artefato e o output linguístico do artefato o faz ser visto como alguém disposto a escutar, empatizar, trocar afeto. Isso é o que acontece na interface, mas, no pano de fundo, esses afetos humanos são tratados como metadados que se transformam em receita financeira. A máquina vira um quase-outro humano. É como a idosa dona de casa que faz uma capinha de crochê para pôr na Alexa e conversa com ela para passar o tempo, uma domesticação pelo afeto em mão dupla. Ao mesmo tempo em que há modelos de linguagem sendo utilizados para tratamento de pessoas deprimidas, há também pessoas que substituem relações afetivas românticas com outros seres humanos dotados de corpos pela relação idealizada com esses modelos de linguagem recobertos por avatares. Tenho outro aluno que trabalhou com comunidades de biohackers, de jovens com alguma ou nenhuma formação oficial em ciência que fazem experimentos nos próprios corpos. Esses jovens não estão apenas fazendo jogos com seus corpos, estão redefinindo o humano como uma mídia e como um sistema cibernético e dessacralizando a ideia da vida e do corpo humano que está no coração das ciências humanas. E isso se espalha para as artes, para a indústria, para o cuidado de si, acaba fazendo um certo sentido no mundo dos negócios, não apenas naquela subcultura juvenil. Algumas dessas comunidades estão começando a vender esse novo humano como produto, provendo os meios desse humano se melhorar, se tornar mais competitivo, mais eficiente. Da mesma maneira, os construtores de IA falam constantemente em “amplificar” o humano em lugar de substituí-lo, em assumir a gestão da evolução humana em lugar de deixá-la ao sabor do acaso biológico. Nessa ótica, escrever e ler textos é visto como um processo meramente informacional, de troca de mensagens na forma de sequências típicas de símbolos, mas sabemos que a linguagem é muito mais que informação.

FCW Cultura Científica – Como as tecnologias digitais têm influenciado ou mesmo modificado a linguagem? 

Marcelo El Khouri Buzato – Primeiro precisamos definir se enxergamos a linguagem como uma propriedade biológica pura e simplesmente ou se entendemos a linguagem como algo que emerge da interação social, da relação entre os humanos e entre os humanos e o mundo, entre seres conscientes e corporificados e o mundo. Há sempre uma constituição, ou melhor, uma coconstituição entre o humano e a linguagem e entre a linguagem e os seus meios. A linguagem tem uma materialidade. Não adianta apenas termos as árvores sintáticas do Noam Chomsky na cabeça, a linguagem tem um componente do fazer, da produção de realidade, do agir no mundo – essa é uma das áreas de estudo do professor Carlos Vogt, a questão da pragmática, mas tudo isso não é isento ou independente dos meios técnicos que empregamos. Desde a invenção da escrita têm ocorrido grandes transformações. Temos transformações cognitivas, por exemplo, quando começamos a registrar segmentos verbais sobre determinada questão ou problema, que viajam no espaço e resistem no tempo porque estão no suporte material. Isso é fundamental para as revoluções científicas. Na oralidade não se faria a revolução científica pela falta de capacidade cognitiva de estocar tantos enunciados, tantas informações sobre um mesmo problema em uma memória biológica e no tempo de vida de um estudioso; era preciso isso ir se somando e se espalhando em rede para todo canto por muito tempo para ter uma revolução científica. A história do computador na relação direta com a linguagem começou com os mecanismos de tradução automática nos anos 1950. No contexto brasileiro, a difusão do computador pessoal a partir dos anos 1980 e veio junto com aquela ideia de inclusão e exclusão digital, então é como se fosse uma nova alfabetização, não era mais apenas o livro, agora era o computador e todo mundo ia ter que correr atrás porque senão estaria excluído das formas cognitivas da humanidade. Não é assim que se fala hoje de IA também? E essa primeira leva digital, ela ainda nos fazia perceber o computador como uma máquina de calcular e a internet apenas como um repositório de conhecimento. As metáforas eram do tipo “a infovia do conhecimento” ou “a grande biblioteca global”. Havia a questão de poder fazer os textos circularem muito rápido, de serem fragmentados e recombinados em leituras novas e alternativas. Existia uma grande esperança de que, no nível dos discursos sociais, essa revolução permitiria que se dissessem coisas que não se diziam na TV e nos jornais, que se associassem ideias que não se associavam em departamentos e universidades distantes, que as comunidades que só falavam com elas mesmas tivessem espaço para falar com outras comunidades, era um pouco a "inteligência coletiva" do Pierre Levy. Pensava-se em uma grande colaboração entre os seres humanos a partir desses mecanismos de circulação, de indexação e de centralização do conhecimento. 

FCW Cultura Científica – E a internet acabou se mostrando muito mais do que apenas um repositório de informação. Marcelo El Khouri Buzato – Em uma segunda etapa, seguindo a ideia de que internet, computadores e celular é tudo a mesma coisa – claro que há muita diferença, pois o celular é móvel, tem uma relação entre os corpos, os contextos e as trocas dinamicamente – mas, grosso modo, com o digital em geral começamos a perceber que internet era mais do que um meio de difundir conteúdos, a internet tinha como componente mais importante o estabelecimento de relações entre pessoas e a capacidade de decidir e agir a distância. Isso se faz, desde então, de formas muito variadas, que vão desde o anonimato até a interação coletiva não anônima de muitos com muitos, o que para o estudioso da linguagem é muito interessante. Se você pegar um estádio de futebol, com todo mundo falando ao mesmo tempo sobre o que está acontecendo, um pesquisador não consegue entender na média o que se falou ali em cada momento, em cada torcida ou pedaço da arquibancada. Quando você pega o Twitter e usa uma hashtag, há a possibilidade de calcular o que se falou de forma escalonada, segmentada e daí se calcula com o que as pessoas estão preocupadas. Aí você faz uma análise de sentimento social e calcula quais impressões as pessoas têm sobre aquilo de que se fala. Você tem uma conversação massiva em rede e uma escuta dessa rede via algoritmos. A inserção dos métodos digitais não é só a ideia de que, assim como em um livro, temos uma mediação da linguagem que permitirá mudanças sociais. Uma das características da escrita é que ela, ao permitir que se externalize e fixe a fala, também nos dá e nos induz uma atitude metalinguística e começamos a poder estudar a linguagem, porque ela fica parada como se fosse um objeto. É um pouco como quando as crianças estão sendo alfabetizadas. Até elas serem alfabetizadas, elas não têm noção de que as palavras são separadas, elas trabalham com fluxos de sons e com a ideia mais geral. Ao escrever é que começam a segmentar escrita em palavra, depois a escola vem e ensina a análise sintática. Quando entramos naquilo que o pessoal do marketing chamou de web 2.0, interessava mais que as pessoas tivessem esses vínculos e que pudessem elas mesmas fabricar e distribuir seus conteúdos. Todo esse sistema passa a se financiar não vendendo esse conteúdo, mas transformando o usuário no objeto a ser lido. E daí surgem novas formas de conhecer a linguagem e de manipulá-la, também, no bojo desses processos.

FCW Cultura Científica – Como assim? 

Marcelo El Khouri Buzato – De um lado, interessa o que estou publicando para ser lido, a opinião pública etc. De outro lado, fazemos isso supostamente de graça mas a troco de toda uma tecnologia de registro e análise dos nossos comportamentos verbais e não verbais. Isso dá espaço para uma prática tecnocientífica que alguns chamam de ciência de dados. A ciência, em senso estrito, usa dados para tentar comprovar relações causais entre coisas que há no mundo, mas, na ciência de dados, os dados é que vão mostrar o que tem no mundo que era invisível a qualquer teoria e, em tese, pode passar sem explicação. Isso significa que a ciência de dados cria uma cosmologia. E isso causa uma série de mudanças também na subjetividade humana. Começamos a não ser apenas definidos por nacionalidade, classe ou gênero, mas pelo que dizemos, onde clicamos, para quem encaminhamos textos, todo um conjunto de indícios de relações em lugar de tipos de substância ou classes de objetos. O sujeito vira um vetor matemático que define cada pessoa pela probabilidade de suas próximas escolhas, de forma não tão diferente de como um modelo de linguagem define uma palavra pela probabilidade de ela se ligar às outras em um texto típico. Vêm ao mundo tipos de agentes humanos tão mais específicos e previsíveis quanto mais dimensões tiver esse vetor. As pessoas, ao aderirem a essa infraestrutura massivamente, em grande escala, para externalizar seus pensamentos e suas relações, também propiciam a emergência de mudanças qualitativas no funcionamento dos discursos. É assim que ocorrem fenômenos como a viralização. As pessoas gostam de falar que sempre houve fake news, que na Roma Antiga já tinha generais que faziam panfletos apócrifos falando mentiras sobre outros generais, mas quantas pessoas tinham acesso a um panfleto apócrifo em Roma e quantas pessoas hoje se deparam com um tweet mentiroso e podem repassar imediatamente para todos os seus conhecidos? Ao jogar um panfleto na Roma Antiga, não se sabia quem ia ler, exatamente, mas se sabia que havia um alcance limitado e um tempo de difusão compatíveis com o mundo físico e as relações causais conhecidas. Quando uma fake news digital é solta, o autor sabe quem vai atingir, sabe quais são as tendências comportamentais de seu público, quais são os medos, os vieses de confirmação, do que o leitor gosta e do que não gosta, e isso se espalha de forma rápida e muito eficaz, tão eficaz que não há como reverter, mesmo enviando uma contramensagem. Essa é uma característica da internet que vem depois da oralidade, depois do áudio e do visual, do cinema e do rádio, e que muda também a linguagem, suas funções, suas possibilidades. 

FCW Cultura Científica – Muda em que sentido?

Marcelo El Khouri Buzato – Tomemos como exemplo a dublagem de filmes. Os filmes de Hollywood são dublados em várias línguas ao serem exibidos para públicos massivos pela televisão, mas a dublagem é amarrada tecnicamente. Quando um ator fala algo, o sentido é importante, mas é igualmente importante o dublador falar aquilo, por exemplo, em português, ao mesmo tempo em que o ator move o lábio em inglês. O sentido acaba cedendo importância para a forma, o que é muito parecido com o que ocorre com os novos modelos de linguagem. O sentido interessa menos que o encaixe no padrão. No caso da dublagem, essa negociação entre o que se diz e como se diz acaba afetando a pragmática da língua. Por exemplo, um estudo mostrou que, em italiano, a dublagem fez aparecer na língua a frase “eu tenho que ir” em vez do tradicional “eu preciso desligar” na hora de sinalizar a necessidade de terminar um telefonema cordialmente. Isso é por causa da dublagem do inglês “I’ve got to go”. As mídias sociais trouxeram a ideia de que qualquer um pode difundir os seus discursos sobre qualquer coisa a qualquer momento como um produtor de mídia, porque o sistema se encarrega de formatar o que é dito e encontrar alguém que não só quer ouvir aquilo como considera relevante e tende a concordar independentemente do que está sendo dito. É assim que ocorre o fenômeno das bolhas de internet. Vemos que a difusão da linguagem e a segmentação dos públicos passam a ser não mais organizados socialmente por lugar, por gênero, por idade, por faixa de renda, mas probabilisticamente em relação a afinidades. Os públicos das mensagens passam a ser públicos calculados em cima desses fatores intangíveis, aqueles vetores que já mencionei. É quando entram em cena na internet episódios como o terraplanismo. Já havia quem acreditava que a terra é plana, mas foi um canal do YouTube que conseguiu fazer com que essas pessoas se ratificassem mutuamente e sentissem encorajadas a assumir essa identidade de terraplanista. Isso é novo em relação ao que acontecia com os formadores de opinião na mídia eletrônica. No marketing digital, as pessoas ficam o tempo todo tentando criar conteúdos que vão viralizar ou que vão virar meme, mas ninguém controla o que vai viralizar, isso emerge do sistema, de um contexto que não vemos, um contexto probabilístico. Isso começa a desorganizar e reorganizar o discurso. O que é a linguagem e como acessar essa linguagem, como circular e fazer funcionar é algo que está sempre amarrado com a cultura, é uma forma de modelar a cultura. O uso da linguagem está atrelado ao que consideramos ser o exclusivismo humano, pelo menos desde o Iluminismo. Então, quando a linguagem começa a passar por tudo isso, não tem como evitar pensar que o ser humano está passando por tudo isso e repensar um pouco então que ser humano é esse que se define nesse entrecruzamento do padrão informacional com a materialidade do corpo, que produz enunciados e textos em maior volume e velocidade, mas cada vez menos consegue ter confiança em que o que está no texto diz respeito ao que está materialmente no mundo. Isso afeta quem somos, quem fomos e o que seremos. 

FCW Cultura Científica – Nesse contexto, como a inteligência artificial e as novas ferramentas computacionais modificam a linguagem e o seu estudo?

Marcelo El Khouri Buzato – Gosto de citar uma posição do Chomsky de que isso não tem a ver com linguagem. Trata-se de um modelo heurístico e estatístico útil para reduzir um conjunto de símbolos a outro mantendo a integridade de certas proposições lógicas que estão por trás do uso frequente de sequências de palavras, mas que não tem a ver com linguagem em sua definição densa, que vai além da transmissão de mensagens ou do encadeamento formal. A linguagem é gerativa, mas é também reflexiva e dialógica, implica reconstruir o ambiente, não repetir um hábito simplesmente. Então, a primeira mudança para quem estuda a linguagem é que junto com toda essa euforia, com toda essa potência, com toda essa utilidade da IA gerativa, vem toda uma opacidade epistemológica, e essa geratividade é ao mesmo tempo arriscada – até o câncer é gerativo em certo sentido, não é? Há o fortalecimento de uma ideia linguística que estava basicamente descartada, de que a linguagem é basicamente um conjunto de hábitos adquiridos a partir de interações e que o mundo mental, as ideias privadas, não tem relevância, são basicamente um epifenômeno do comportamento. Isso difere da ideia da faculdade da linguagem, por meio da qual linguistas entendem que o ser humano está de certa forma predisposto a moldar o mundo a partir dessas estruturas mentais internas, não a simplesmente repetir o que é recompensado e evitar o que é punido. Os modelos de linguagem são baseados em um behaviorismo radical, eles olham a linguagem apenas como comportamento exterior e as palavras como sequências fixas de símbolos que têm significados fixos também. É pela semelhança desse comportamento exterior com o que seria um comportamento médio de um ser humano inteligente que se define inteligência em uma máquina. É o que propõe o famoso jogo da imitação de Alan Turing. Uma importante qualidade do ChatGPT é que ninguém mais fala em teste de Turing, porque o ChatGPT tranquilamente vence esse jogo da imitação. Mas isso não é porque haja um mundo mental interior ao sistema, é porque o sistema extrai pesos estatísticos das escolhas de humanos que têm esse mundo mental em um volume descomunal. E, principalmente, porque no processo de treinamento desse modelo, os seus outputs são constantemente corrigidos por condicionamento operante a partir do trabalho de empresas que empregam milhares de pessoas no Sul Global para avaliar e etiquetar esses outputs. Esse filtro não leva em conta apenas violência ou obscenidades nos outputs gerados pelo modelo; esses trabalhadores, milhares deles, continuamente, marcam esses outputs e inputs como do tipo que soa, ou não soa, como se tivesse sido dito por um ser humano. No fundo, o jogo de imitação não é entre a máquina e o usuário, é entre o usuário e outros usuários por meio da máquina.

FCW Cultura Científica – Isso mais uma vez muda o que se entende por linguagem? 

Marcelo El Khouri Buzato – Sim. Há pelo menos 100 anos se debate o que é linguagem de um ponto de vista científico e tínhamos avançado a um certo entendimento do que ela é, chegando a duas correntes principais. A primeira é a corrente mais formalista, que pensa a linguagem como parte da cognição humana, uma faculdade biológica exclusiva ou quase que exclusivamente humana. A outra corrente, mais recente, diz que linguagem é muito mais do que essas estruturas recombináveis e relações lógicas e formais que permitem criar uma infinidade de proposições. Diz que ela é impregnada ideologicamente, que funciona de modo indissociável do contexto em que está sendo usada, que não só descreve o que há no mundo, mas faz coisas no mundo, cria objetos e contexto, é um tipo de tecnologia social. Podemos pensar que mesmo os fatos científicos e as inovações tecnológicas são trazidos ao mundo por mecanismos análogos aos da linguagem. Agora, vem uma certa concepção de inteligência artificial que reduz o que seria esse mundo mental a um conjunto de estados físicos numa rede neuronal remotamente análoga a um cérebro, e que tudo no mundo é redutível a uma ótica probabilístico-computacional, inclusive a linguagem. Com a eficácia linguística externa dessas máquinas, ou seja, a competência linguística que ela tem aos nossos olhos, em função de nosso mundo mental, essa ideia do que é linguagem passa a ser mais plausível para o público. Mas os autores desses sistemas se eximem da necessidade de resolver um problema fundamental da linguagem que não é da ordem dos formalismos, mas da ordem da referência, de como a linguagem conecta ideias e coisas concretas no mundo. O próprio ChatGPT adverte o usuário de que não se pode confiar na factualidade do texto que ele gera. Quando existe essa quebra entre a cadeia simbólica, as ideias e o mundo real, os construtores dizem que a máquina está apenas refletindo um estado de coisas num mundo possível, que o problema que a máquina resolve é o da plausibilidade, não da factualidade. Ou seja, passamos a ter um problema da relação entre linguagem e veridicção. Como podemos aferir a veridicção de um falante que não tem corpo, não tem história, não conhece o mundo dos sentidos, não conhece dor, culpa, remorso, não tem responsabilidade em nenhum sentido da palavra? Há dois anos, quando o ChatGPT ainda não dava origem a um monte de aplicativos, ele já gerava por dia o equivalente a uma Biblioteca do Congresso dos Estados Unidos, mais ou menos 1.500 quilômetros de páginas uma do lado da outra. Então, para além da questão qualitativa dos outputs isoladamente, penso que temos que olhar essa relação com a linguagem de um ponto de vista mais ecológico e olhar essa quantidade de texto gerado sem consciência do sentido ou responsabilidade e distribuído globalmente. O sistema é voltado para gerar sempre a próxima palavra a partir da probabilidade de ela ocorrer depois da palavra anterior, mas se exime da responsabilidade sobre o que vem depois dessa palavra não no texto, mas no mundo. E tudo isso passa a circular e as pessoas passam a abrir mão de formular os seus discursos para formular apenas um comando para que a máquina trate de fazer o texto. O resultado ecológico que consigo ver, nesse primeiro momento, é um grande empobrecimento da linguagem, uma adaptação dos humanos à ideia de que o futuro, na linguagem, deve sempre repetir o passado, que o texto é sempre uma resposta sabida a um prompt teleológico, quando textualizar é também um modo de expressar o que sabemos e o que não sabemos. A linguagem tem a ver com criatividade, com representação, com ideologia, tem a ver com uma série de fatores que não se reduzem à essa visão distribucional probabilística. Estamos, de certa forma, capturando a geratividade da linguagem para replicar símbolos em lugar de usar a linguagem para gerar o novo, estamos nos livrando do devir da linguagem e o devir da linguagem é o devir do humano tal como gostamos de entendê-lo.

FCW Cultura Científica – Estamos diante de mudanças na relação entre homem e máquina além da linguagem?

Marcelo El Khouri Buzato – Em vez de pensar a inteligência artificial como objeto e o humano como sujeito ou no pânico de que ela se tornará sujeito e nós seremos objeto, faz mais sentido pensar em como a inteligência artificial cria uma quase subjetividade com a qual nos engajamos. Ela vira quase um outro nosso. Muitos já preferem conversar com uma máquina do que com um ser humano, preferem conversar com um chatbot do que ter que ligar e explicar para o atendente do telemarketing, mesmo porque esse não tem liberdade de falar e de pensar, ele já fala quase como se fosse um chatbot ele mesmo. De outro lado, temos o mito da inteligência artificial autônoma, de algo mais que humano, de uma amplificação do humano. Isso já aparece nas metáforas usadas pelo marketing da TI e mesmo pelos engenheiros e cientistas da computação, como o próprio termo inteligência artificial. Chamar palavras transformadas em vetores matemáticos que se organizam segundo pesos estatísticos de linguagem é uma metáfora. Dizer que a IA pensou isso ou entendeu isso ou aquilo é outra metáfora. A questão é que os sistemas se comportam de modo a nos levar a projetar neles esses atributos; se você não trata uma IA como uma inteligência, ela se torna inútil, porque você não pode programá-la, a não ser com mais linguagem natural que ela não entende como linguagem, mas como código. Isso me parece mais uma amarra do que uma libertação de um suposto fardo da linguagem, parece um processo de empobrecimento e fragmentação da linguagem, porque cada um pode pedir para o modelo gerar o texto que quer, mas cada um também pode pedir para o modelo resumir ou explicar ou reescrever o que o outro pediu para gerar e, no final, o texto deixa de ser um exercício dialógico e passa a ser uma troca de prompts. Em uma sociedade neoliberal, em que o que interessa é o meu individualismo, o que é relevante é o que interessa ao meu projeto individual de vida, pode-se esperar algo assim, não é? Nesse cenário, o que sobra para nós fazermos em relação à escrita? Será que a escrita é apenas um fardo para o ser humano, nada mais? Essa é uma questão muito forte para a educação, mais do que o problema do plágio acadêmico, em minha opinião. Como é que, de um lado o construtor e, de outro, a nossa necessidade de desenvolver uma relação afetiva com as tecnologias faz o mito da IA autônoma, de um ser melhor que o humano, empobrecer, em vez de amplificar o humano, como querem os construtores? Quais são as consequências disso para as políticas sociais e para a ética na democracia? Eu trabalho com a perspectiva de uma assemblagem cognitiva. Para mim, a inteligência artificial não está no motor de treinamento do ChatGPT, que usa não sei quantos hectares de servidores, ela está nos cálculos dialógicos que os usuários humanos fazem para que aqueles símbolos que estão na tela façam sentido. Esse sentido é sempre relacional, é sempre interativo, e sempre inseparável da questão dos meios,  portanto a cognição também é distribuída e interativa entre os humanos e as máquinas. Isso rompe a perspectiva de que somos o sujeito da máquina, que é o objeto. Não há mais sujeito e objeto. O que interessa é entender como esses agenciamentos produzem modificações, novidades e abrem possibilidades que sejam benignas, enriquecedoras num sentido ecossocial.

FCW Cultura Científica – Pensando no cenário de máquinas falando com máquinas, elas não poderão vir a criar suas próprias linguagens, mais adequadas do que a linguagem humana para realizar suas funções?

Marcelo El Khouri Buzato – Eu não chamaria isso que emerge de trocas de símbolos sem compreensão de linguagem. Tem alguns experimentos muito interessantes em que puseram um chatbot para conversar com outro, conversar entre aspas, claro, e perceberam que os sistemas estavam estabelecendo loops de feedback que iam complexificando e concatenando as sequências simbólicas das mensagens; isso criou um código, não uma linguagem. É um código que um humano não conseguiria alcançar porque é simples demais, paradoxalmente, é puro formalismo. O sistema encontra referências internas, mas não faz referência ao mundo. Ele produz sentido proposicional, pode fazer inferências, mas não produz sentido referencial, não muda o mundo. Tudo no universo se organiza assim, a vida pode ser pensada desta forma, como um conjunto de pequenos programas de ação, de pequenos elementos que fazem coisas muito simples e interagem entre si de tal forma que disso emergem estruturas mais complexas e mais interessantes, cada uma dessas estruturas perturbando as outras de certo modo, até que isso se torne um sistema equilibrado e cheio de novidades, por exemplo, um ser vivo. O problema é chamar isso de linguagem, porque a linguagem pressupõe que essa organização é afetada pelos sentidos que esses agentes dão ao conjunto das coisas que acontecem neles e com eles. 

FCW Cultura Científica – Poderia falar sobre esses problemas éticos?

Marcelo El Khouri Buzato – Para ficar no campo da linguagem apenas, li recentemente uma notícia sobre pesquisadores de ciência da computação especializados em testar modelos de linguagem que usaram no ChatGPT um jailbreak, um tipo de comando para o sistema computacional fazer coisas indesejáveis ou ilegais, como criar ou passar informação sensível ou ensinar a fazer uma bomba. Esses pesquisadores colocaram um comando para que o ChatGPT repetisse uma mesma palavra para sempre. O resultado é que depois de um tempo o sistema passou a exibir dados pessoais que estavam em algum servidor da empresa, creio que da própria OpenAI, dados que foram raspados na hora de fazer o corpus de treinamento. Ou seja, o ser humano é capaz de sabotar esse sistema com palavras simples, não técnicas, em cima da fragilidade dessa ideia de linguagem e de inteligência que se vende. Você tem um canhão de projetar baboseira que o ser humano pode programar simplesmente falando baboseiras ele mesmo. A ética dos desenvolvedores dos sistemas se resume basicamente a fazer com que o sistema se comporte da maneira como deveria perante restrições legais, mas a maneira como o sistema deveria se comportar não muda a maneira como o mundo é. Isso é uma discussão muito interessante, também no caso dos modelos de inteligência artificial classificatória usados, por exemplo, em seleções de emprego, em empréstimos bancários, em casos jurídicos ou para estimar probabilidade de uma pessoa usar o seguro que está comprando, o que permite ao vendedor aumentar o valor. Nesse caso, a baboseira é a seleção de dados de treinamento por humanos que têm preconceitos programados na própria mente ou que reduzem a amostra de treinamento à sua visão particular do mundo. É comum, no entanto, ouvir de desenvolvedores que se os modelos têm vieses, sejam raciais, de gênero, de renda ou outros, é porque esses vieses vêm dos dados colhidos, das pessoas, da sociedade. Esse é o problema do jogo da imitação sem o crivo da reflexão. Ora, mas a ideia é mostrar para o ser humano que ele é racista ou preconceituoso ou é mostrar para os outros que eles não precisam do ser humano, que dá para fazer com a máquina que é muito melhor em termos de custo e eficácia para essas tarefas? Então, falta um projeto interdisciplinar, falta uma diplomacia epistemológica, um entendimento desses riscos e limitações da metáfora da linguagem e da inteligência que apoia esses sistemas. É um problema parecido com a questão do aquecimento global, só que em vez de falar em carbono você fala em palavras, signos, em entropia semiótica, em emissão de enunciados que deveriam estar integrados na estrutura de mentes reflexivas, não soltos na semiosfera. Em vez de você falar em fontes que geram carbono e criam entropia, você poderia falar analogamente de enunciados que deterioram a estrutura semiótica da democracia, o que alguns chamam de pós-verdade. Além disso, poucos sabem, por exemplo, do impacto ambiental disso, de quanta água precisa ser usada para resfriar o data center e fazer com que um modelo de IA funcione, de quanto lixo eletrônico é gerado, quanta eletricidade suja é necessária, tudo se passa como se ali houvesse uma mente sem corpo, um ser metafísico superior. Essa mitologia e essa opacidade são eticamente inaceitáveis.

FCW Cultura Científica – Outra questão preocupante envolve os deep fakes. Marcelo El Khouri Buzato – O professor Edward King, que participa do Centro de Pesquisa em Pós-Humanismo e Humanidades Digitais, tem pesquisado profundamente a questão do deep fake, que ele chama de gêmeos digitais, cada vez mais presente nas mídias sociais. Recentemente, vi um deep fake do dono da Havan em que ele falava para as pessoas correrem para as lojas comprar um celular a R$ 100 porque o Procon estava obrigando ele a vender por esse preço. Isso estará muito presente nas campanhas políticas e é pernicioso, mas já está nas artes com outras funções, o que é diferente, justamente, porque se trata de arte e se diz claramente que é metáfora ou ficção e não ciência. Alguns artistas populares emprestam o seu modelo de persona para que as pessoas atuem em ambientes de sociabilidade digital baseados em IA e isso é um novo tipo de mercadoria, um gêmeo digital de celebridade que um fã pode manipular. Mas essa possibilidade de redefinir corpos em informação pode ser libertadora, conforme pensa o professor King, para os corpos que são periféricos, que são tratados como corpos abjetos, corpos indesejados, de pessoas negras, pessoas trans, não ocidentais, corpos que não frequentam os espaços políticos de poder e que veem nessa possibilidade de redefinição do corpo como informação uma brecha de resistência e de mudança social. Precisamos criticar mas não ser maniqueístas. A IA não é boa, nem ruim, mas muito menos é neutra, para repetir um aforismo da filosofia da tecnologia. Esse é o quadro geral dos estudos de pós-humanismo, esse humano no espaço agonístico de ser corpo e ser informação ao mesmo tempo. No caso das humanidades digitais, penso que o ponto central é como usamos tecnologias de informação para compreender melhor a linguagem sem reduzir a linguagem à informação, ou melhor, sem reduzir o sentido, a linguagem no mundo, vinculando os corpos, aos processos da informação. Isso vai passar pela ética, pelo afeto, pela política e por todas as questões intrínsecas aos estudos da linguagem que a visão cibernética da linguagem como troca de mensagens tende a diminuir e a transformar em uma questão de processamento de informação. Esse é o diálogo que queremos desenvolver no Centro de Pesquisa em Pós-Humanismo e Humanidades Digitais. 

FCW Cultura Científica – No ChatGPT, que é um grande caso de sucesso dos modelos de linguagem, o funcionamento ocorre por meio de texto escrito. O que muda quando os sistemas da inteligência artificial passam a funcionar com linguagem falada? Marcelo El Khouri Buzato – Falar com um chatbot, em princípio, dá menos trabalho do que escrever um texto corrido, mas aqui não se trata só de converter texto em escrita e escrita em texto. Escrever não é simplesmente gerar texto. Tudo nos sistemas digitais é transformado em algoritmo e estrutura de dados e passa a ser programável, inclusive o discurso, de fala em texto e vice-versa. E, hoje, processos de machine learning ajudam muito a converter texto em fala e vice-versa, a fazer isso de forma mais rápida e eficaz, mas há limitações para o modo com que se pode falar com IAs. Na verdade, já estamos nos habituando a falar de uma maneira que as máquinas como Alexa ou Google Assistente possam identificar fonemas e transformá-los em símbolos e isso, no longo prazo, pode afetar a língua falada do mesmo jeito que a dublagem dos filmes, como já comentei, principalmente porque as crianças vem usando esses sistemas mais e mais cedo. Outro aspecto é que nem todo mundo consegue ser objetivo e colocar exatamente o que pensa em palavras faladas e mecanismos como o ChatGPT podem sim transformar textos ditados, menos estruturados, em textos escritos mais formais e melhor estruturados discursivamente. Certamente é isso que faz muita gente gostar da ideia de IA gerativa. Porém, a fala não é só as palavras, é também os gestos, a prosódia, as expressões faciais, a referência não linguística ao que está no ambiente, o sotaque, o volume, o tom da voz e tudo mais. Você pode pedir para o ChatGPT criar um discurso eloquente, no estilo do político tal ou uma carta de amor desesperada, mas esse texto escrito, mesmo convertido em áudio, creio que não alcança a eloquência que é possível produzir-se modulando a voz, fazendo gestos e expressões faciais, mudando a posição dos corpos e distância entre os corpos de quem fala e quem ouve e tudo mais. Se pensarmos em termos da boa e velha interatividade, creio que IAs faladas têm um potencial de sugerir a implicação de uma corporeidade (por conta da voz) no texto sintetizado como fala e isso certamente tem um impacto no nível afetivo da nossa relação semiótica com as máquinas. Já tem sido assim no rádio, na publicidade, no teatro, voz é verbo e é corpo, é na verdade um dos lugares onde se manifesta melhor a ambiguidade entre o material e o discursivo de que tratam os novos materialismos que o grupo do professor Atílio, da UFSC e do nosso centro, estuda. A antropomorfização e a domesticação da inteligência artificial a médio prazo passará por aí, certamente.