[{"jcr:title":"Projeto de avaliação contínua de agentes de IA generativa conquista certificação da Falconi","cq:tags_0":"area-de-conhecimento:ciência-da-computação","cq:tags_1":"area-de-conhecimento:tecnologia","cq:tags_2":"area-de-conhecimento:tecnologia/inteligência-artificial","cq:tags_3":"programas:graduacao"},{"richText":"Iniciativa de alunos de Engenharia de Computação e de Ciência da Computação para a insurtech 180 Seguros foi um dos projetos Capstone a receber o selo de qualidade da consultoria","authorDate":"07/07/2026 10h26","author":"Tiago Cordeiro","madeBy":"Por","tag":"area-de-conhecimento:ciência-da-computação","title":"Projeto de avaliação contínua de agentes de IA generativa conquista certificação da Falconi","variant":"imagecolor"},{"jcr:title":"transparente - turquesa - vermelho"},{"themeName":"transparente - turquesa - vermelho"},{"containerType":"containerTwo"},{"jcr:title":"Grid Container Section","layout":"responsiveGrid"},{"text":"Não é simples avaliar agentes de IA generativa de forma contínua. As respostas são abertas e subjetivas e variam entre execuções. Faltam métricas padronizadas; criatividade e utilidade são difíceis de medir; e há riscos de viés e de desrespeito a questões éticas. Quando vários agentes são utilizados em diferentes situações, a capacidade de escolher o melhor para cada demanda se torna ainda mais difícil. Quatro alunos do Insper desenvolveram em seu  [Capstone](https://www.insper.edu.br/pt/hub/capstone)  uma solução capaz de responder a esse desafio. Os estudantes de  [Engenharia de Computação](https://www.insper.edu.br/pt/cursos/graduacao/engenharia/engenharia-de-computacao)  Arthur Ferreira Carvalho, Ian Siqueira Faray de Aquino e Samuel Jabes Costa Cavalcanti atuaram com Luigi Carmona de Miranda Lopes, de  [Ciência da Computação](https://www.insper.edu.br/pt/cursos/graduacao/ciencia-da-computacao) , no desenvolvimento deuma infraestrutura de avaliação contínua para agentes de IA generativa baseados em grandes modelos de linguagem, conhecidos pela sigla LLMs. Desenvolvido por encomenda da insurtech 180 Seguros, o sistema utiliza métodos complementares de avaliação para possibilitar análises robustas de agentes de IA. A plataforma automatiza o processo de avaliação, reduz o esforço manual e permite realizar análises comparativas entre diferentes implementações. Assim, apoia ciclos de desenvolvimento mais eficientes, capazes de avaliar tanto a informação produzida, considerando correção, utilidade e ancoragem em evidências, quanto as ações e as etapas de raciocínio dos agentes. Em uma única interface, o usuário orquestra um teste escolhendo o agente avaliado, a versão do agente a ser testada, o dataset e os parâmetros de execução, como número de amostras, nível de confiança e o modelo julgador de cada avaliador. Tecnologia em evidência Normalmente, embora existam muitas métricas capazes de avaliar sistemas de perguntas e respostas em diferentes aspectos, elas estão distribuídas em bibliotecas e sistemas diferentes, o que gera atritos e dificuldades no monitoramento — um gargalo importante para uma empresa como a 180 Seguros, que entrega seguros personalizáveis, muitas vezes distribuídos de forma embarcada na jornada de compra de empresas parceiras, como plataformas digitais, varejistas e instituições financeiras. Diante da ampliação dos agentes de IA em fluxos internos, a companhia passou a precisar de mecanismos que permitissem comparar diferentes implementações de forma consistente e automatizada, diminuindo custos operacionais e erros humanos no processo. “Toda empresa quer avaliar o desempenho da tecnologia que está utilizando. Este é um assunto muito atual, e o projeto tem aplicações que vão além deste projeto em específico. Qualquer ambiente que utiliza agentes de IA pode se beneficiar. Acaba sendo um diferencial para nós, uma caixa de ferramentas que podemos acessar na atividade profissional”, diz Arthur, que tem 24 anos e nasceu no Rio de Janeiro (RJ). “IA é um tema relevante para ter no currículo. É um tópico que aparece com frequência nas entrevistas de emprego”, reforça Luigi, que nasceu há 22 anos em Mogi das Cruzes (SP). O primeiro passo foi produzir uma revisão da literatura e encontrar os melhores caminhos a seguir, sem acessar o banco de dados do cliente — uma prática comum no mercado, constantemente atento às regulamentações relacionadas àproteção de dados de seus clientes. Para garantir reprodutibilidade em um ambiente de experimentação controlada, o projeto utilizou datasets públicos, além de acesso a modelos de linguagem por meio de APIs. O projeto usou a API do OpenRouter para acessar modelos de linguagem comerciais utilizados na montagem dos agentes submetidos a testes. Cada membro do projeto dedicou ao menos 22 horas por semana à iniciativa. “A proposta inicial da 180 Seguros era bastante aberta. O desafio não era apenas construir uma aplicação, mas estruturar uma solução capaz de avaliar agentes de IA generativa de forma contínua, comparável e fundamentada”, diz Samuel. A rotina com a empresa consistiu em apresentar a evolução do desenvolvimento e dar sequência ao trabalho com base no feedback. “A comunicação com a 180 foi bastante direta”, afirma Arthur. “O mercado já entendeu que precisa de método para avaliar a tecnologia utilizada no dia a dia. O que funciona em uma situação pode não necessariamente ser a melhor resposta para todos os casos. E o grupo conseguiu entregar uma solução automatizada, que roda diferentes avaliações, aplicável a diferentes tipos de agentes, inclusive aos de próxima geração”, afirma o orientador, o professor assistente Tiago Fernandes Tavares. Uso inteligente da IA O desenvolvimento do projeto recorreu, naturalmente, à IA. E, neste aspecto, o grupo se destacou, diz o orientador. “Os alunos tomaram a iniciativa de refletir sobre o uso da tecnologia na profissão para a qual estão se preparando. Eles aplicaram a tecnologia para criar produtos mínimos viáveis (MVPs) rapidamente, tornando as conversas com o cliente mais produtivas e testando hipóteses em ciclos mais curtos, isto é, utilizaram a IA como plataforma de design.” Por utilizar as ferramentas de automação para agilizar rotinas repetitivas, os quatro se mostraram capazes de oferecer uma reflexão sobre o papel dos engenheiros e cientistas da computação no cenário de disseminação e ganho de escala das aplicações da IA. “Eles se posicionaram como consultores, profissionais capazes de orientar o cliente. Buscaram entender seu papel neste novo mundo, entenderam que precisam justificar sua própria relevância”, afirma Tiago. Em relatos pessoais inseridos nos anexos do relatório, os alunos contribuíram com reflexões a respeito do uso da IA ao longo de um projeto voltado para agentes. Constataram que o código gerado e testado por máquina pode, em determinadas tarefas, ser implementado mais rapidamente e apresentar menos erros do que aquele feito por humanos. O uso da IA também potencializou o ganho de tempo, na medida em que agilizou os estudos prévios necessários para desenvolver uma biblioteca nova para o software. Assim, foi possível atuar com foco no entendimento do projeto como um todo e na compreensão de como suas diferentes partes se relacionavam, fatores fundamentais para utilizar as ferramentas de IA com maior potencial. Conquista da certificação O desempenho colocou a iniciativa entre os sete projetos que receberam a Certificação Excelência Falconi, concedida pela consultoria aos projetos que mais se destacaram ao longo do semestre. Após a avaliação acadêmica realizada pelos docentes, os projetos com melhor desempenho foram submetidos à análise da Falconi. A consultoria aplicou critérios próprios, baseados em sua metodologia de gestão e resolução de problemas, para selecionar os trabalhos que mais se aproximaram dos padrões utilizados em projetos de consultoria. “Desde o início decidimos que não queríamos apenas passar de ano. Almejávamos a certificação da Falconi. Entendemos a necessidade de adaptar a linguagem técnica do relatório final para um olhar mais corporativo, voltado ao valor de mercado da solução”, diz Luigi. O projeto segue chamando atenção. Ian, que tem 21 anos e, assim como Arthur, também nasceu no Rio de Janeiro (RJ), levou o grupo a apresentar suas conclusões para Fernando Mattoso Lemos, executivo no Google Cloud. “Meu pai trabalha na empresa e compartilhou um post que eu publiquei sobre o projeto. O Fernando nos chamou para apresentarmos o trabalho. Foi uma conversa muito rica, e saímos de lá com dicas para transformar a solução em um produto, se quisermos seguir em frente com o desenvolvimento.”"},{"jcr:title":"Estudantes visitam o Google Cloud","alt":"Estudantes visitam o Google Cloud"}]