Realizar busca
test

Em contabilidade, o ChatGPT ainda não rivaliza com humanos

Em estudo que envolveu 186 instituições de ensino de 14 países, a ferramenta de inteligência artificial acertou 47% das questões, ante 77% dos alunos

Em estudo que envolveu 186 instituições de ensino de 14 países, a ferramenta de inteligência artificial acertou 47% das questões, ante 77% dos alunos

 

Desde seu lançamento, no fim do ano passado, o ChatGPT — o software baseado em inteligência artificial que usa o aprendizado de máquina para gerar texto em linguagem natural — já foi submetido a diversos testes para demonstrar sua capacidade de dar respostas detalhadas e convincentes acerca de diferentes questões. O chatbot mostrou, por exemplo, que poderia passar no Enem, no exame da OAB (Ordem dos Advogados do Brasil) e no Exame de Licenciamento Médico dos Estados Unidos. Mas um novo estudo, que acaba de ser divulgado nos Estados Unidos, revela que a ferramenta desenvolvida pela empresa OpenAI não consegue superar os humanos em uma profissão que existe pelo menos desde o século 15: a do contador.

Organizado por David A. Wood, professor de contabilidade na Universidade Brigham Young, no estado americano de Utah, 327 autores de 186 instituições de ensino em 14 países contribuíram para o esforço de pesquisa coletiva, considerada a primeira do gênero na área contábil. Os professores enviaram suas próprias perguntas de avaliação e dados sobre o desempenho de seus alunos, e o ChatGPT foi solicitado a responder às mesmas perguntas.

Embora o desempenho do ChatGPT tenha sido considerado “impressionante”, os humanos tiveram um desempenho melhor. Os alunos de contabilidade obtiveram uma média geral de 76,7%, em comparação com a pontuação de 47,4% do ChatGPT. Em 11,3% das perguntas, o ChatGPT teve uma pontuação mais alta do que a média dos alunos, saindo-se particularmente bem em questões envolvendo sistemas de informação contábil e auditoria. Mas o chatbot se saiu pior do que os humanos em avaliações fiscais, financeiras e gerenciais, possivelmente porque o ChatGPT teve dificuldades em lidar com os processos matemáticos necessários para responder a essas questões.

Em termos do tipo de questão, o ChatGPT se saiu melhor em perguntas de verdadeiro ou falso (68,7% de acerto) e questões de múltipla escolha (59,5%), mas teve dificuldades com questões que demandavam uma resposta curta (entre 28,7% e 39,1%).

O autor principal do estudo, David Wood, comentou as implicações dos resultados para a educação contábil: “A questão fundamental agora é, para contabilidade e além, como a educação deve ser diferente ao entrarmos na era da IA? O trabalho de nossos alunos será completamente diferente de quando estávamos na profissão. Muitos empregos mudarão radicalmente desde o momento em que entram em um programa até a formatura, tecnologias como a IA estão evoluindo tão rapidamente. Será fundamental para esses alunos serem capazes de se adaptar às mudanças, e cabe a nós, como educadores, prepará-los”.

Na conclusão do estudo, os autores lembram que as grandes empresas de contabilidade e auditoria vêm investindo bilhões de dólares em inteligência artificial e tecnologias avançadas de análise de dados, por acreditarem que as novas ferramentas podem ajudar os profissionais de contabilidade a se tornarem mais eficazes e eficientes.

“Ao treinar os alunos de contabilidade para usar a IA de forma eficaz, os educadores podem ajudar os alunos a se prepararem para resolver problemas importantes e interessantes em suas carreiras. Por exemplo, os alunos podem usar o ChatGPT para escrever um primeiro rascunho de uma solução para um problema e, em seguida, melhorar o rascunho verificando os fatos, fornecendo referências confiáveis e, em seguida, escrevendo uma versão final da solução”, sugere o estudo. “O corpo docente também pode usar essas ferramentas a seu favor, gerando problemas práticos adicionais e editando seus materiais, enquanto investiga se os materiais de aprendizagem podem ser confusos para os alunos.”

Do lado negativo, os autores afirmam que o uso de ferramentas como o ChatGPT sem um olhar crítico pode prejudicar a capacidade de aprendizado dos alunos. Durante os testes, o ChatGPT frequentemente deu explicações descritivas para respostas erradas, inventou fatos e fontes e cometeu erros sem sentido ao realizar alguma operação matemática. “Novos alunos podem ter dificuldade de diferenciar entre informações precisas e imprecisas. Além disso, alguns alunos podem usar o ChatGPT para fins fraudulentos, interrompendo o processo de aprendizado. Para mitigar a trapaça, várias medidas podem ser tomadas, como realizar exames orais, administrar exames em ambientes onde a tecnologia não pode ser acessada, mudar de exames tradicionais para tarefas de estilo mais de apresentação ou exames prévios com ChatGPT para avaliar se as perguntas podem ser respondidas corretamente pelo ChatGPT.”

Vale mencionar que o ChatGPT utilizado no estudo foi a versão beta, disponibilizada para o público em novembro de 2022. Em março deste ano, a OpenAI lançou uma versão mais avançada, o ChatGPT-4. De acordo com a OpenAI, ao ser testado no exame da ordem de advogados dos Estados Unidos, o ChatGPT-4 teve uma pontuação próxima das 10% melhores notas — ou seja, nota superior a 90% dos demais candidatos. Em comparação, a versão anterior, o GPT-3.5, ficou entre os 10% piores resultados.

Este website usa Cookies

Saiba como o Insper trata os seus dados pessoais em nosso Aviso de Privacidade, disponível no Portal da Privacidade.

Aviso de Privacidade

Definições Cookies

Uso de Cookies

Saiba como o Insper trata os seus dados pessoais em nosso Aviso de Privacidade, disponível no Portal da Privacidade.

Aviso de Privacidade