O desenvolvimento do GPT-3 emitiu quase 28 vezes mais carbono na atmosfera do que o consumo médio de uma pessoa nos Estados Unidos em um ano inteiro

 

Bernardo Vianna

 

Os modelos de aprendizado de máquinas têm evoluído exponencialmente, desempenhando um papel crucial para a inovação em diversas áreas. No entanto, à medida que esses modelos se tornam mais complexos, operando a partir de bases de dados cada vez maiores e com cada vez mais parâmetros considerados, cresce também a quantidade de energia necessária para treiná-los e, consequentemente, torna-se mais profunda a pegada de emissões de gases de efeito estufa deixada por eles.

Diversos fatores contribuem para as emissões geradas por sistemas de inteligência artificial, incluindo desde os sistemas de refrigeração até a energia consumida pelos equipamentos de computação. Nesse contexto, a Eficiência de Uso de Energia (PUE, na sigla em inglês) é uma métrica bastante útil para avaliar os gastos energéticos dos centros de dados onde são treinados o GPT-3, desenvolvido pela OpenAI, o Gopher, criado pela Tencent, o OPT, desenvolvido por pesquisadores de Stanford, e o Bloom, concebido pela Microsoft Research Asia — todos exemplos de modelos de linguagem que impactam significativamente o campo da inteligência artificial.

 

 

Quanto maior o valor de PUE, menor é a eficiência energética do centro de dados. Contudo, comparar diretamente a pegada de carbono desses modelos é um desafio, devido à falta de padronização nas metodologias de contabilização de emissões. Apesar disso, a partir dos dados divulgados pelo AI Index Report 2023, iniciativa do Stanford Institute for Human-Centered Artificial Intelligence (HAI), é possível observar que, entre os quatro modelos de linguagem comparados, o GPT-3 emitiu a maior quantidade de carbono equivalente — quase uma vez e meia mais do que o Gopher, sete vezes mais do que o OPT e 20 vezes mais do que o Bloom.

Para melhor compreender o que isso significa, é possível comparar as estimativas de emissão de carbono do processo de treinamento desses modelos de inteligência artificial com coisas mais próximas do nosso cotidiano. Por exemplo, a execução do treinamento do GPT-3 emitiu quase 28 vezes mais carbono na atmosfera do que o consumo médio de uma pessoa nos Estados Unidos em um ano inteiro, ou o equivalente a um passageiro voando mais de 500 vezes de Nova York até São Francisco.

 

 

Embora treinar sistemas de IA seja extremamente intensivo em energia, pesquisas recentes sugerem que essa mesma tecnologia pode ser utilizada para otimizar esse consumo e, assim, mitigar seus impactos ambientais. Em 2022, a DeepMind, empresa do grupo Alphabet especializada em pesquisas em inteligência artificial, divulgou os resultados de um experimento realizado em 2021 no qual um agente de aprendizado por reforço chamado Bcooler foi utilizado para otimizar os procedimentos de resfriamento nos centros de dados do Google. Ao final dos três meses de experimento, o Bcooler alcançou uma economia de energia de 12,7%, ao mesmo tempo que mantinha os níveis de conforto de resfriamento preferidos pelos gerentes do prédio.