Existem métodos e ferramentas que ajudam a avaliar a eficácia das políticas públicas, diz a professora Carolina Melo

 

Leandro Steiw

 

Doutora em Economia dos Negócios pelo Insper, a pesquisadora Carolina Melo assumiu, recentemente, como nova professora de dedicação exclusiva da escola. Ela dirige o foco de suas pesquisas às políticas públicas, principalmente à avaliação de impacto de programas socioambientais, desde o mestrado em Administração Pública, na Columbia University. Muito dessa experiência será compartilhada, como docente líder, no curso presencial Mensuração de Impacto Social do Insper, que está com matrículas abertas para a turma de 19 a 21 de outubro.

Um erro não tão incomum é considerar que qualquer mudança ocorrida após a implantação de um programa seja consequência direta dessa intervenção. As lideranças de projetos socioambientais precisam saber como isolar uma série de fatores externos que influenciam nos resultados. A avaliação, enfim, é uma das etapas do ciclo de políticas públicas. “No curso, ensinamos metodologias que possibilitam medir o efeito de uma intervenção de qualquer natureza sobre resultados de interesse”, afirma.

Carolina participou de projetos nos Estados Unidos e em Moçambique, antes de voltar ao Brasil, onde integra as equipes do Insper Metricis e do Centro Brasileiro de Pesquisa Aplicada à Primeira Infância (CPAPI). Em seus trabalhos, sempre busca conciliar o estudo de métodos e ferramentas com a aplicação deles, na prática.“Dedico bastante tempo ao estudo da ferramenta Teoria da Mudança e gosto bastante das oportunidades de aplicá-la”, diz.

Agora, a sala de aula é um dos desafios que Carolina assume como atividade principal. “É algo que curto muito fazer”, conta. “No Insper, surgiu a oportunidade de virar professora em uma disciplina na qual os alunos aprendem a construir as primeiras etapas de um plano de monitoramento e avaliação de programas de impacto socioambiental. Desde então, novas oportunidades de lecionar como professora foram aparecendo e eu nunca mais parei.”

Veja mais na entrevista a seguir:

 

 

Poderia falar sobre a sua experiência com estudos de mensuração de impacto social?

Me apaixonei por avaliação de impacto social durante meu mestrado em Administração Pública, na Columbia University, nos Estados Unidos. Desde então, abracei todas as oportunidades que encontrei de me envolver com o tema, dentro e fora da sala de aula. Ainda no mestrado, tive a oportunidade de trabalhar como assistente de pesquisa no Earth Institute, no time de avaliação e monitoramento do “Millennium Villages Project”. Era um grande projeto que visava, por meio de uma abordagem integrativa para o desenvolvimento rural, avançar nos Objetivos de Desenvolvimento do Milênio da ONU em países da África Subsaariana. Quando voltei ao Brasil, fui trabalhar em uma startup que se chamava MGov (hoje, chamada Movva), como diretora de pesquisa. Na MGov, eu e minha equipe éramos responsáveis por desenhar e implementar avaliações de impacto de diversos programas sociais, utilizando tecnologia de telefone celular.

 

Essas experiências acabaram se aprofundando no seu doutorado?

Meu envolvimento com avaliações de impacto na prática só fez crescer meu interesse por aprender mais e ganhar mais autonomia como pesquisadora. Foi, então, quando decidi fazer um doutorado em Economia dos Negócios, no Insper. Durante o doutorado, mergulhei em diversas pesquisas que envolveram o uso de ferramentas quantitativas para a avaliação de políticas públicas — incluindo o programa de ensino médio em tempo integral de Pernambuco, o aumento do ICMS do gás de cozinha no estado de São Paulo em 2017 e uma resolução nacional que proíbe cesáreas eletivas antes da 39ª semana de gestação. Além disso, participei da construção de diversos planos de monitoramento e avaliação como pesquisadora do Insper Metricis.

 

No Insper Metricis, você tem pesquisado temas na área de impacto socioambiental. E, via CPAPI, estuda desenvolvimento infantil. São as suas principais áreas de interesse?

Eu me interesso tanto por estudar métodos e ferramentas úteis para avaliação de impacto como por aplicá-los. Por exemplo, dedico bastante tempo ao estudo da ferramenta Teoria da Mudança e gosto bastante das oportunidades de aplicá-la na prática. Recentemente, escrevi um capítulo de um livro a ser publicado pelo Ministério da Saúde em dezembro, em coautoria com Carolina Marinho e Isabela Furtado, sobre a utilização da Teoria da Mudança em avaliações de impacto na área da saúde. E, em um dos trabalhos desenvolvidos com a equipe do Metricis, da Fundação Tide Setúbal e da Fundação Itaú Social, contribuí com a construção de uma grande Teoria da Mudança, que envolve diversos atores e setores, a ser utilizada em projetos que visem o monitoramento do desenvolvimento de áreas urbanas vulneráveis. Acho que foi a maior e mais complexa Teoria da Mudança da qual participei da elaboração.

No CPAPI, eu estive dedicada ao desenho de um estudo de coorte de nascimento, que tem como objetivos identificar fatores de risco para o desenvolvimento infantil e gerar evidências para embasar a revisão e formulação de políticas públicas voltadas ao desenvolvimento na primeira infância. Além disso, estive focada em outras pesquisas que envolvem a mensuração de efeitos da escolha do tipo de parto e da manipulação da data de nascimento para a saúde do bebê. Como disse anteriormente, me interesso também por outros temas de políticas públicas.

De modo geral, minha pesquisa permeia temas de organização industrial, economia da saúde e economia da educação.

 

Recentemente, você assumiu como professora em dedicação exclusiva no Insper. Você já tinha experiência em sala de aula, não? Será uma atividade paralela à pesquisa em políticas públicas?

Desde o mestrado, eu venho me envolvendo em atividades de docência. É algo que curto muito fazer. Comecei como monitora em uma disciplina de Introdução à Econometria no mestrado. Depois, já como aluna de doutorado no Insper, fui monitora de disciplinas do doutorado e da graduação e, em algum momento, surgiu a oportunidade de virar professora em uma disciplina chamada Laboratório de Impacto Social, em que — de forma bem prática — os alunos aprendem a construir as primeiras etapas de um plano de monitoramento e avaliação de programas de impacto socioambiental. Desde então, novas oportunidades de lecionar como professora foram aparecendo e eu nunca mais parei. Hoje, minha atividade principal no Insper é a docência. Então, sem dúvida, seguirei dando aulas e tocando minhas pesquisas na área de políticas públicas.

 

Como o curso Mensuração de Impacto Social pode beneficiar gestores de programas socioambientais?

Os gestores sairão do curso com uma compreensão mais clara sobre a diferença entre monitoramento e avaliação de impacto e o que é necessário para fazer uma avaliação de impacto rigorosa dos programas socioambientais implementados por suas organizações. Eles conhecerão as metodologias mais utilizadas na mensuração de impacto, as suas limitações e os cuidados que se deve tomar ao adotá-las e estarão aptos a discutir qual a estratégia mais adequada para avaliar um determinado programa. Além disso, eles terão a oportunidade de conhecer os principais desafios a serem enfrentados na gestão do processo avaliativo e na comunicação com os diversos stakeholders envolvidos.

 

As metodologias estudadas no curso podem ser aplicadas em qualquer atividade, além das políticas públicas? Por exemplo, o conhecimento do impacto social pode ser aproveitado em empreendimentos privados com fins lucrativos?

Com certeza. No curso, ensinamos metodologias que possibilitam medir o efeito (causal) de uma intervenção de qualquer natureza sobre resultados de interesse. Por exemplo, uma empresa privada com fins lucrativos pode estar interessada em descobrir se uma determinada atividade de promoção de um produto foi capaz de gerar mais vendas. Nesse caso, uma pessoa que não conhece sobre avaliação de impacto iria simplesmente verificar se as vendas aumentaram depois da implementação de tal atividade de promoção. No entanto, sem a aplicação de métodos adequados, mesmo que as vendas tenham subido, não seria possível afirmar que a atividade de promoção foi eficaz.

Muitos outros fatores —os quais chamamos de fatores confundidores —, correlacionados com a atividade de promoção e determinantes das vendas, poderiam ser os responsáveis pelos resultados observados. Assim, é necessário isolar o efeito da atividade de promoção do efeito desses outros fatores para que se possa atribuir causalidade à ação em questão. O curso Mensuração de Impacto Social apresenta metodologias capazes de fazer justamente isso. Ou, ao menos, de se chegar o mais próximo possível da causalidade.