Uma Experiência de Desenvolvimento Metodológico para Avaliação de Programas: O Modelo Lógico do Programa Segundo Tempo

Em 2005, a Comissão de Monitoramento e Avaliação, órgão colegiado de composição interministerial e coordenado pela Secretaria de Planejamento e Investimentos Estratégicos do Ministério do Planejamento Orçamento e Gestão (SPI/MP), demandou aos integrantes de sua Câmara Técnica o desenvolvimento de uma proposta metodológica para avaliação de programas do Plano Plurianual (PPA). Na ocasião, foi enfatizada a necessidade de uma proposta de avaliação menos complexa e de menor custo, a qual deveria preceder a contratação de avaliações de maior profundidade. A metodologia, a ser aplicada a qualquer tipo de programa governamental, deveria estar focada no aperfeiçoamento de aspectos relacionados ao desenho e ao gerenciamento de programas, mas com potencial para, ao mesmo tempo, sistematizar a demanda por avaliações de resultados das ações do governo. Para o desenvolvimento da proposta, tomou-se como fundamento a metodologia de Exame de Avaliabilidade, de Joseph S. Wholey. Esta foi inicialmente concebida enquanto uma pré-avaliação para se verificar se um programa está desenhado para ser gerenciado por resultados, e identificar quais as mudanças necessárias para que isto ocorra. Uma etapa crucial da metodologia é a construção do modelo lógico de resultados, que cumpre o papel de explicitar a teoria do programa e aferir sua qualidade, verificando se está bem desenhado e se apresenta um plano plausível de alcance de resultados. Na experiência de desenvolvimento metodológico aqui relatada foram acrescentados novos aportes à teoria do modelo lógico, tal como concebida por Wholey e outros autores norte-americanos. Esta proposta de construção de modelo lógico desenvolvida pelo Ipea foi incorporada pelo MP, inicialmente em caráter experimental, em 2007, em 20 programas finalísticos do PPA. Em 2008, sua aplicação está em curso em mais 50 programas. The Monitoring and Evaluation Committee demanded to the participants of the Technical Chamber the development of a methodological proposal for the program evaluation of the Plurianual Plan (PPA). At that occasion, it was stressed the necessity of an evaluation proposal less complex and with low cost. Such evaluation methodology, to be applied to every kind of governmental program, must focus the improvement of aspects related to program design and management, but with potential to systematize the demand for results evaluation of government actions. For the methodological development, the main foundation adopted was the methodology of Evaluability Assessment of Joseph S. Wholey, which was initially formulated as a kind of pre-evaluation to verify if a program is designed to be managed for results and to identify what changes are needed to achieve results. A crucial stage of this methodology is the elaboration of logic model, which has the function of making explicit the program theory and to assess its quality, verifying if the program is well designed and presents a plausible plan of results achievement. The actual experience of methodological development, presented in this text, incorporated new aspects to the basic theory of logic model. A result to be reported is the adoption, by the Ministry of Planning, of the Ipea proposal for building logic model. This instrument was experimentally applied, in 2007, to 20 programs and is currently being applied to 50 federal programs.