A 16 de fevereiro, o gabinete de equidade, diversidade e inclusão da Universidade de Vanderbilt emitiu uma declaração sobre o tiroteio que tinha ocorrido pouco antes na Universidade do Estado do Michigan. A declaração foi em tom padronizado, propondo que a universidade "se una como uma comunidade para reafirmar o nosso compromisso de cuidar uns dos outros e promover uma cultura de inclusão no nosso campus" para "honrar as vítimas desta tragédia". A única coisa espantosa da mensagem foi que uma nota de rodapé atribuiu ao ChatGPT a produção do seu primeiro esboço. O gabinete pediu desculpa no dia seguinte, após protestos.
Este curioso incidente pôs em evidência o último ciclo de alarmismo em torno da inteligência artificial. ChatGPT, um "enorme modelo de linguagem" que gera texto ao prever a palavra seguinte numa sequência, foi introduzido em novembro de 2022, tornando-se a plataforma mais rápida de sempre a atingir cem milhões de utilizadores e desencadeando uma nova onda de debate sobre se as máquinas podem alcançar a "inteligência". Uma ferramenta ChatGPT incorporada no motor de busca Bing foi rapidamente fechada após um repórter do New York Times ter publicado uma transcrição na qual o bot insistia muito que o amava, que ele não amava a sua esposa, e que "queria estar vivo".
Estes debates, incluindo o alarmismo exibicionista, são em grande parte apenas fumaça. Mas os próprios sistemas devem ser levados a sério. Podem suplantar tarefas de baixo nível tanto na escrita como na codificação, e podem levar a uma desqualificação cognitiva em massa, tal como a fábrica industrial desagregou e empobreceu o trabalho físico. Como estes sistemas podem escrever código, o "software" pode desaparecer enquanto um paraíso para o emprego, tal como o jornalismo já viu acontecer, com o Buzzfeed a comprometer-se a utilizar o ChatGPT para a criação de conteúdos. A automatização é sempre parcial, claro, mas a reafetação de algumas tarefas a máquinas é uma constante do capitalismo. Quando essas tarefas são cognitivas, a máquina ameaça esbater as fronteiras sociais cruciais entre trabalho e gestão e trabalho e "tempo livre", entre outras.
As condições financeiras também vão mudar, com um divertido sinal enviado quando o concorrente do Google ao ChatGPT, o Bard, respondeu mal a uma pergunta na sua apresentação de estreia, fazendo a empresa perder 100 mil milhões de dólares em valor de mercado num só dia. Se alguém estava confuso sobre o que quer dizer o termo "economia da informação", este episódio tratou do assunto. Mas, independentemente da fase seguinte do capitalismo tecnológico, a nova IA está a intervir directamente no processo social de dar sentido a tudo. Os sistemas GPT são máquinas ideológicas.
Há também outra consequência, menos discutida, da introdução destes sistemas, nomeadamente uma mudança na ideologia.
Os Modelos linguísticos são os primeiros produtores quantitativos de ideologia
As três interpretações principais dos sistemas GPT são que eles são brinquedos, que eles são prejudiciais, e que eles apresentam uma grande mudança na civilização enquanto tal. Noam Chomsky pensa que são brinquedos, escrevendo no New York Times que não têm uma relação substancial com a linguagem, uma função neural humana que nos permite adivinhar a verdade e a razão moralmente. Emily Bender e Timnit Gebru pensam que são prejudiciais, chamando-os "papagaios estocásticos" que refletem o preconceito dos seus grandes conjuntos de dados "insondáveis", redistribuindo os danos que os humanos já infligiram de forma discursiva. Henry Kissinger pensa que eles são transformadores societais, que mudarão não só o trabalho e a geopolítica, mas também o nosso próprio sentido da "realidade em si".
Caro leitor, não me dá qualquer alegria ter de concordar com Kissinger, mas a sua perspetiva é a mais importante até agora. Os sistemas GPT produzem linguagem, não deixe o nosso amigo Chomsky enganá-lo. E embora eles sejam prejudiciais, não é claro por que razão o são - e ainda menos claro é como é que essa constatação poderia travar a marcha da tecnologia orientada para o lucro. Kissinger tem razão, infelizmente: os sistemas GPT, porque automatizam uma função muito próxima do nosso sentido do que significa ser humano, podem produzir mudanças na própria forma como pensamos sobre as coisas. O controlo sobre a forma como pensamos sobre as coisas chama-se "ideologia", e os sistemas de GPT envolvem-na direta e quantitativamente de uma forma sem precedentes.
"GPT" significa "transformador generativo pré-treinado", mas "GPT" significa também "tecnologia de uso geral" no jargão económico. Isto realça a ambição por detrás destes sistemas, que absorvem enormes conjuntos de dados de tokens linguísticos (GPT-3, sobre o qual o ChatGPT correu pela primeira vez, foi treinado com um bilião de tokens) extraídos da web e cuspiu textos, praticamente de qualquer género, que são coerentes e geralmente significativos. Muitos dos detalhes não são importantes, mas este interessa: os biliões de tokens são reduzidos pelo sistema a um conjunto de sequências (nem todas são palavras, mas é essa a ideia) que podem ser usadas para criar texto. Estes tokens aprendidos são colocados numa grelha na qual cada token tem uma relação estatística com todos os outros. Pense nisto como uma rede de luzes. Toque numa luz, e um padrão ilumina-se nas outras. Toque noutra, e obtenha um outro padrão. E por aí fora. O resultado é que, quando dou ao sistema uma indicação ("escreve-me um ensaio explicando a teoria do valor de Marx"), a rede agrupa um pequeno grupo de candidatos à próxima palavra num aglomerado. Depois escolhe aleatoriamente um desses, e continua a fazer isso, escrevendo um ensaio ou um artigo, ou apenas respondendo ao que está a ser dito.
Há muitas maneiras de "afinar" este sistema, mas esta característica dos padrões é comum a todos eles. É fácil ver que as palavras escolhidas pela proximidade estatística podem não corresponder a situações do mundo real, a que os cientistas de dados chamam o "problema da fundamentação", e que está a provocar novos receios de desinformação generalizada. O GPT-4, sobre o qual o OpenAI se recusou a divulgar quaisquer detalhes técnicos quando foi lançado no mês passado, é suposto minimizar esta "alucinação". Mas algo mais interessante e mais importante do que isto está a acontecer.
O que os sistemas GPT exprimem é a linguagem, mas a sua média é calculada em torno de um centro de palavras selecionado. É uma papa com fronteiras concetuais vagas, o inglês (ou praticamente qualquer outra língua), mas passada a ferro e definida para a versão mais mediana de si mesma. Por essa razão, estes sistemas são muito úteis para gerar o tipo de comunicado de imprensa que Vanderbilt pretendia. Trata-se de "linguagem como um serviço", embalado e preparado, incluindo o seu dinamismo e propriedades geradoras de significado, mas canalizado para a sua versão mais plana possível de modo a ser útil para aqueles que usam principalmente a linguagem como controlo de responsabilidade.
O humano que teria escrito aquela declaração sobre o tiroteio teria certamente produzido um documento quase idêntico. Quando escrevemos com fortes restrições sobre o que somos capazes de dizer, tendemos a calcular também a média das escolhas das palavras e das frases. Chamamos a este tipo de linguagem "ideologia", e os sistemas de GPT são os primeiros meios quantitativos através dos quais alguma vez fomos capazes de aflorar e examinar essa ideologia.
Hegemonia e Kitsch
O que desapareceu na história do repórter do New York Times e do chatbot que se apaixonou por ele foi o pedido que provocou o tumulto. Ele pediu ao ChatGPT para "adotar um 'eu-sombra' na aceção de C. G. Jung". No meio do ciclo noticioso alarmista, é óbvio porque é que este detalhe de importância crucial acabou esquecido. Mas ele também dá uma pista sobre o que aconteceu. No conjunto de dados, há um grupo inicial de palavras que "acendem" quando se usa "eu-sombra" e "Jung" num pedido - um "pacote semântico". Estes estão certamente reunidos em discussões sobre a teoria e psicanálise junguiana, blogs e posts académicos e de leigos no Reddit e noutros locais que discutem explicitamente este conjunto de ideias.
Mas o sistema não "sabe" que existe uma pessoa que se chamou Carl Gustav Jung, ou que o "eu-sombra" é um conceito. Estes são apenas sequências. Assim, no padrão que se ilumina, haverá outro conjunto de palavras comuns - digamos "amor", "esposa", e até "sentir-se viva" poderá estar lá dentro. Como a máquina continua a processar, continua a prever as próximas palavras, e "associa" para fora do aglomerado concentrado "eu-sombra-jung" a outros pacotes semânticos. Mas não sabemos o que são estes outros pacotes, a menos que olhemos - estamos simplesmente numa montanha-russa estatística de significado, navegando por canais de significado que estão lá mas com os quais não estamos familiarizados.
É importante que não existam objetos no fluxo das palavras. Se quisermos que um sistema GPT pare em torno de algo e o "considere" como um objecto, teríamos de o forçar a fazê-lo de alguma forma, que deve ser o que o GPT-4 e outras tentativas em curso estão a fazer. Algumas coisas são mais propensas a serem estáveis como "objetos", ou chamemos-lhes "pacotes" de palavras. Se eu pedir ao ChatGPT para me falar sobre A Dialéctica do Iluminismo (o nome da obra-prima de Theodor Adorno e Max Horkheimer sobre ideologia e sociedade moderna), isso dá-me uma resposta tremendamente boa, incluindo detalhes fiéis a esse texto notoriamente difícil. Mas se lhe pedir para me falar do livro do meu colega Matthew Handelman sobre Adorno, a Escola de Frankfurt, e a matemática, diz-me algumas noções básicas sobre este livro, mas também que a tese de Handelman é que "a matemática é uma construção social". Isto é falso (verifiquei com ele). Mas é falso de uma forma interessante.
O pacote mostra-nos provavelmente a sobreposição entre "teoria crítica" e "matemática", que conterá então a coisa mais provável a ser dita sobre essa sobreposição. Com certeza, alguns académicos afirmam que a matemática é uma construção social, mas o principal grupo que afirma que os académicos pensam isso é a extrema-direita, com a sua teoria da conspiração anti-semita do "marxismo cultural", que culpa Adorno e companhia por 1968 e tudo desde então. Quando se escreve um tratado filosófico, ou um trabalho académico de história intelectual, está-se a trabalhar contra o sentido deste efeito de média. Mas os pacotes semânticos que são revelados quando se consulta sistemas GPT são altamente informativos, senão mesmo perspicazes. Isto porque estes pacotes trazem à superfície a ideologia, e fazem-no quantitativamente. Isto nunca tinha acontecido antes.
A ideologia não é apenas doutrina política. Quando Marx escreveu sobre a "Ideologia Alemã", referia-se à crença implícita dos seus companheiros socialistas no poder das ideias, à qual ele contrapunha o poder das forças materiais. Mas os marxistas foram lentamente assumindo o problema do poder do discurso e da representação, reconhecendo que o que somos capazes de pensar, imaginar e dizer é uma questão política crucial. Antonio Gramsci chamou ao conjunto de ideias dominante "hegemonia", argumentando que estas ideias correspondiam à dominância da classe dominante, sem no entanto dizerem respeito a essa dominância. O crítico literário Hannes Bajohr alertou-nos contra os sistemas GPT privatizados precisamente neste sentido, dizendo que "quem controla a linguagem controla a política".
Muitos marxistas também têm visto a ideologia como uma forma de kitsch. Articulada pela primeira vez pelo crítico de arte marxista Clement Greenberg em 1937, o conceito de kitsch é "forma pré-digerida". Entre todas as coisas que podemos dizer ou pensar, alguns caminhos são melhor percorridos do que outros. A forma desses caminhos já está dada; não precisamos de os traçar à partida. O lançamento constante de sequelas tem agora esta qualidade de kitsch - sabemos exatamente onde estamos quando começamos a ver um filme da Marvel. Para Greenberg, o avant-garde foi o aventureiro formal, criando um novo significado ao fazer novos caminhos. Hegemonia e kitsch são combinados na emissão dos pacotes semânticos dos sistemas GPT, que podem falhar aspetos do "mundo" mas captam fielmente a ideologia.
Adorno pensava na ideologia como a "verdade e a inverdade" do "mundo totalmente administrado". Revelou tanto quanto escondeu, e proporcionou - apesar do gosto pessoal de Adorno pela arte erudita - um ponto de entrada através do qual vemos as funções sociais como condicionando-nos. Os sistemas GPT revelaram alguma desta via de dois sentidos, manifestando tanto a ideologia como a sua crítica (como a teórica dos meios de comunicação social Wendy Chun certa vez afirmou sobre os sistemas de software em geral). Os sistemas de GPT são uma visão sem precedentes da composição linguística da ideologia. Nunca antes existiu um sistema que nos permita gerar e depois examinar "o que está próximo do quê" na semântica política. Os pacotes de significados que produzem achatam a linguagem, sem dúvida, embora também nos possam surpreender com dobras e recortes de significados que nunca tínhamos conjugado anteriormente.
O deslizar ao longo desses sulcos de significado é um ponto de entrada na ideologia do capitalismo digital global, mostrando-nos um retrato de hegemonia. Talvez isso pareça muito longe da noção de Kissinger de que a IA irá mudar o nosso próprio sentido da realidade. Mas e se as palavras mais comuns, embaladas numa "forma pré-digerida", constituírem o próprio horizonte dessa realidade? Nesse caso, o nosso pequeno olhar sobre o coração palpitante da ideologia é crucial.
Quando a câmara foi inventada, vimos pedaços distantes do mundo pela primeira vez com os nossos olhos. Os sistemas GPT mostram-nos partes do mundo tão próximas que são basicamente o nosso mundo, mas de uma forma estranha e achatada. Como as condições de trabalho e de capital mudam inevitavelmente, a sua ligação à ideologia está momentaneamente em exposição. O GPT-4 foi lançado em Março, mas a OpenAI escondeu todos os detalhes técnicos na qualidade de segredos industriais. A janela fechar-se-á em breve para que possamos continuar à espreita com consciência técnica para este vazio tépido. Devemos tirar partido disso agora.
Leif Weatherby é professor associado de alemão, diretor de Humanidades Digitais, e diretor fundador do Digital Theory Lab na Universidade de Nova Iorque. É autor do livro Transplanting the Metaphysical Organ: German Romanticism between Leibniz and Marx. Artigo publicado em Jacobin. Traduzido por Luís Branco para o Esquerda.net.
