As redes sociais têm falado muito sobre o ChatGPT e sua capacidade quase sobre-humana de gerar uma imensa variedade de textos sob demanda. Esse comportamento de escrever textos coesos e coerentes pode ser facilmente confundido com uma habilidade humana — e pode se tornar uma ferramenta poderosa para fazer provas no lugar de alunos. Porém, essa possibilidade ainda não foi avaliada cuidadosamente em termos de suas possibilidades e limitações e, por isso, pedi ao ChatGPT que resolvesse o Enem 2022.

O procedimento foi muito simples (copiar e colar a prova com as alternativas na caixa de texto do ChatGPT), e o resultado foi bem interessante: um desempenho muito bom na prova de ciências humanas, e médio na prova de matemática. No total, assumindo as notas de corte de 2021 e uma nota na redação de 500 (de um máximo de 1000), o ChatGPT teria feito por volta de 614 pontos. Essa nota garantiria uma vaga em vários cursos por meio do Sisu (Sistema de Seleção Unificada), incluindo Ciências Biológicas, Engenharia Elétrica e Psicologia (de acordo com estes dados).

 

ACERTOS DO CHATGPT NO ENEM 2022 POR ÁREA DE CONHECIMENTO

Áreas de conhecimento	Acertos	Nota*
Linguagens e suas Tecnologias	30	604,13
Ciências Humanas e suas Tecnologias	40	754,42
Ciências da Natureza e suas Tecnologias	26	620,87
Matemática e suas Tecnologias	18	592,48
Total (com nota 500 na redação)		614,38

 

*As notas foram estimadas usando dados de 2021 e o sistema disponível em https://www.fisica.net/enem/calculo-da-nota-e-da-media/enem-estimativa-nota.php

 

É surpreendente pensar como um sistema de inteligência artificial tem um desempenho que supera o de vários concorrentes humanos, ainda mais quando levamos em consideração que o Enem é desenhado para ser uma prova que mede o raciocínio. As máquinas, evidentemente, não raciocinam — ao menos não no mesmo sentido que entendemos o raciocínio humano —, mas o desempenho no Enem é uma medida incontestável de performance. Então, precisamos refletir para entender por que o ChatGPT teve esse desempenho e quais são as lições que podemos tirar para nossos próprios trabalhos futuros em educação.

 

Como o ChatGPT funciona

Embora a inteligência artificial já esteja há vários anos nos bastidores de buscadores, redes sociais e robôs para automação, nos últimos meses tivemos um grande avanço disponibilizado ao grande público: o ChatGPT. Essa criação da empresa OpenAI fornece uma interface de chat em que o usuário pode conversar naturalmente (e em várias línguas!) e receber respostas que parecem ter sido digitadas por um ser humano. Esse tipo de sistema é chamado de CA (Conversational Agent, ou Agente Conversacional).

Os CAs estão presentes no imaginário humano desde lendas antigas como a esfinge, que é uma criação artificial que fala, ou no desejo de Michelângelo, que, apaixonado pela perfeição de suas obras, desejou que elas falassem, tornando-se assim humanas. Esses sistemas passaram a existir factualmente desde a famosa Eliza, de 1966, um programa de computador que age como uma espécie de terapeuta e faz perguntas baseadas em entradas digitadas pelo usuário. Hoje em dia, os CAs estão presentes na forma de chatbots, que têm servido como apoio para centrais de relacionamento empresariais: atualmente, antes de falar com um atendente humano, os clientes comumente passam por uma triagem realizada por sistemas automáticos.

O ChatGPT é um CA que foi construído sobre uma rede neural chamada GPT-3. GPT é a sigla para “Generative Pre-trained Transformer”, e o número “3” significa que se trata da terceira versão do sistema. A GPT-3 é uma rede neural que tem 175 bilhões de parâmetros, ocupa 800 GB de espaço em disco e foi treinada (daí o nome “pre-trained”) usando um conjunto de dados gerado por web crawlers, num total de 499 bilhões de palavras.

O treinamento da GPT-3 foi feito de forma que a rede fosse induzida a prever corretamente a próxima palavra de uma sequência. Por exemplo, ao receber uma entrada como “minha terra tem palmeiras onde canta o”, a rede poderia ser capaz de prever a palavra “sabiá”. Depois, a palavra predita é usada como entrada e o sistema passa a gerar uma outra palavra, e, assim, pode gerar frases completas (daí o nome “generative”).

Com sua estrutura interna, que usa uma técnica chamada Transformer (o “T” de “GPT”), e com a quantidade massiva de dados usada para treinamento, a próxima palavra é predita usando tanto as palavras anteriores quanto possíveis palavras parecidas: se posso prever a palavra “sabiá”, talvez outros pássaros também sejam continuações plausíveis para o verso, ou, talvez, outros seres que cantam. Esse tipo de modelo permite saber que “minha terra tem palmeiras onde canta o vento” possa ser uma continuação plausível para o verso, mas “minha terra tem palmeiras onde canta o cápsula de café” não é, porque “vento” é uma entidade que pode cantar, mas capsulas de café, não. Como várias continuações são possíveis para a frase, o comportamento observado é semelhante a quando humanos entendem que algumas coisas “cantam” e outras coisas não “cantam” — mesmo que, na verdade, o que esteja acontecendo é somente um cálculo probabilístico a partir de um modelo bastante complexo.

Ao ser incorporado no ChatGPT, a rede GPT-3 passa a usar a conversa com o usuário como contexto para gerar novas frases, isto é, o usuário pode dizer: “Por favor, me dê 10 continuações para ‘minha terra tem palmeiras onde canta o’”, e o ChatGPT responderá com 10 possibilidades para essa continuação. Como o sistema usa um contexto muito longo, e teve acesso a uma quantidade de textos que nunca será acessada (e, menos ainda, lida!) por um ser humano, o que observamos são frases coerentes que parecem ligar informações às quais nunca tivemos acesso. Para um observador externo, isso parece ser uma demonstração de criatividade, mesmo que não tenha relação nenhuma com o ato humano de intencionalmente criar alguma coisa nova.

 

As redes sociais e o ChatGPT

Rapidamente, as redes sociais entenderam que a melhor aplicação do ChatGPT não é propriamente conversar, e sim utilizá-lo como um assistente. Ao pedir, por exemplo, que ChatGPT aponte para referências sobre um determinado assunto, a resposta é rápida e pode guiar uma pesquisa. Esse tipo de interação é mais rápida que a que temos com o Google: o famoso buscador simplesmente aponta para conteúdos disponíveis online, enquanto o ChatGPT já fornece um resumo. O ChatGPT pode, também, modular a linguagem usada no resumo para adequar-se a situações específicas: o sistema é capaz de mudar suas respostas quando pedimos “explique como se eu tivesse 5 anos”, ou “escreva um resumo disto usando até 300 palavras”, ou ainda: “faça um código computacional que implementa esta ideia”.

O  ChatGPT foi lançado em novembro de 2022 e, neste momento, não sabemos integralmente quais são suas capacidades e limitações. Já está evidente que, dentro das escolas, essa capacidade de gerar textos pode ser usada para burlar avaliações, ao menos as que temos nos moldes atuais: diante de uma pergunta como “quem foi Dom Pedro I?”, o ChatGPT é capaz de responder, prontamente: “Dom Pedro I foi o primeiro imperador do Brasil, reinando de 1822 a 1831. Ele também foi o oitavo e último rei do Reino de Portugal, tendo governado de 1826 a 1828. Ele foi o principal líder da independência do Brasil do Reino Unido de Portugal, Brasil e Algarves e é considerado um herói nacional no país”.

Diante dessa capacidade, a reação imediata de algumas escolas foi proibir completamente o uso do ChatGPT no processo de educação.

O ChatGPT inequivocamente teve um desempenho razoável no Enem, e já temos pistas de que em breve haverá concorrentes e upgrades no sistema. Como a internet é, hoje, acessível de qualquer dispositivo de bolso, é infactível pensar que é possível realmente proibir seu uso. Então, a atitude correta é fazer exatamente o contrário: devemos incorporar o ChatGPT e seus futuros avanços em nosso processo de ensino.

Além de seu uso em educação, o ChatGPT provavelmente será utilizado em ambientes profissionais. No futuro, esse tipo de ferramenta pode se tornar tão trivial quanto, por exemplo, usar uma calculadora, Google ou GPS. Se isso acontecer, agentes com inteligência artificial se tornarão ferramentas de produtividade, e será difícil imaginar um cenário de educação, ou mesmo de atuação profissional, em que elas não existam.

 

O que o ChatGPT (ainda) é incapaz de responder?

Podemos tentar confundir o ChatGPT com uma pergunta no estilo “paradoxo da montanha”: “ChatGPT, quais perguntas você é incapaz de responder?”. O sistema, espertamente, responde que não tem conhecimento sobre fatos posteriores a 2021, sobre experiências pessoais ou sobre fatos específicos para os quais ele não tem informações. Isso é o que ChatGPT diz não saber fazer — o que pode corresponder ou não a suas capacidades reais.

Nas questões do Enem, o ChatGPT tem um desempenho muito bom em situações em que a resposta da pergunta está no próprio texto (“segundo o texto, acontece x, y, z”). Por outro lado, o ChatGPT não é capaz (ainda) de entender nuances que surgem na contradição de ideias, e tem a tendência a assumir que o sentido das palavras do texto é sempre literal. Isso impede o sistema de ler entrelinhas e de entender situações em que o tipo de vocabulário usado, ou seu contexto social, por exemplo, são fatores que contribuem para a construção do sentido do texto.

Além disso, o ChatGPT não tem a capacidade de visualizar figuras ou de raciocinar espacialmente. Essa característica levou a um desempenho muito baixo em matemática, que é uma prova em que interpretar figuras é uma parte fundamental do entendimento de muitas questões. Também, o ChatGPT não foi capaz de usar álgebra para descobrir a conexão entre variáveis que não estão explicitamente ligadas no texto do enunciado, isto é, o modelo é exclusivamente linguístico e não tem capacidades algébricas.

 

As implicações para a educação

Hoje, já existem ideias sobre a integração do ChatGPT com o poderoso sistema matemático Wolfram Alpha, e também sistemas construídos sobre o ChatGPT que são capazes de acessar a internet e incorporar conhecimento em tempo real ao sistema. Há também rumores de que o GPT-4, um modelo mais poderoso que o GPT-3, será capaz de incorporar informações multimídia como figuras ou vídeos. Diante de todos esses avanços, é pouco provável que o ChatGPT, ou seus sucessores, não façam parte da vida acadêmica e profissional das pessoas da mesma forma que, hoje, temos o Google e o YouTube.

Por isso, as discussões sobre o uso do ChatGPT na educação são importantes. Neste momento inicial, há o medo de que o aluno simplesmente copie e cole as perguntas para o bot, tornando-se dependente dele. Essa visão levou, por exemplo, ao bloqueio do ChatGPT nas redes de escolas em Nova York.

Porém, há maneiras mais interessantes de lidar com o ChatGPT, assim como lidamos com a presença do Google/YouTube, do Wolfram Alpha, do Grammarly e de várias outras ferramentas de produtividade que mudaram a maneira com que lidamos com a informação e a produção de conteúdo. O ChatGPT pode ser usado para vários fins, como:

 

* Gerar perguntas sobre um determinado conteúdo, criando listas de exercícios potencialmente infinitas;

* Testar enunciados, uma vez que o ChatGPT pode encontrar respostas que exploram falhas lógicas nas palavras escolhidas para montar a questão;

* Comparar respostas de alunos a item de uma rubrica, automatizando o processo de corrigir textos corridos;

* Agir como um personagem, permitindo treinar atividades de role-play como entrevistas de engenharia de software;

* Responder a perguntas objetivamente, resolvendo dúvidas dos alunos mais rapidamente que uma busca no Google, atuando como um auxiliar de sala de aula;

* Gerar brainstorms e verificar argumentos sob vários pontos de vista;

* Gerar textos, traduções ou resumos que poderiam levar muito tempo para serem construídos.

 

As aplicações são muitas e, potencialmente, o ChatGPT, ou seus sucessores, poderão tornar a vida acadêmica mais produtiva. O risco de alunos delegarem seu trabalho (e, portanto, seu processo de aprendizado) aos bots deve ser mitigado, e uma maneira tipicamente mais efetiva de fazer isso é oferecendo experiências de ensino nas quais os botsfazem parte, mas não são capazes de resolver o problema integralmente. Esse tipo de situação já acontece hoje, por exemplo, quando usamos calculadoras para resolver contas difíceis: a operação matemática é delegada à máquina, de forma que o humano possa atuar em encontrar qual é a operação a ser realizada e quais são as implicações do resultado dela para o problema.

De qualquer maneira, o ChatGPT ainda é somente um modelo de linguagem, e mesmo seus upgrades serão incapazes de entender empaticamente quais são os problemas à nossa volta para os quais ainda não temos soluções. Os bots podem se tornar excelentes ferramentas de produtividade se forem usados corretamente, e, como é comum no aparecimento de novas tecnologias, vão inevitavelmente mudar nossas perspectivas atuais sobre a atuação profissional. Torcemos por um cenário positivo, no qual máquinas cada vez melhores podem prover aos humanos o tempo que precisam para serem humanos cada vez melhores.

---

* Tiago Tavares é professor universitário desde 2015, com experiência em inteligência artificial para análise de áudio, texto e fala, tendo publicado artigos em revistas científicas de alto impacto. Está desde 2022 no Insper, onde leciona as disciplinas de Processamento de Linguagem Natural, Ciência dos Dados para a Computação e Álgebra Linear e Teoria da Informação. Participa de parceria de pesquisa com a UIUC no projeto “Semantic Audio Content Generation using Structured Variational Models”.