Cohesion policy evaluation: Guidelines for selection of appropriate methods

Despite significant efforts by the European Union (EU) member states (MS) and regions, the role of evaluation in the cohesion policy (CP) is limited, mainly because of issues associated with selecting appropriate evaluation methods. Thus, this article develops a guide for selecting evaluation methods depending on the intervention type and evaluation criteria, which are specific to the evaluation questions. In all the cases, it is recommended to combine various methods, as the complexity of the interventions, along with the participatory character of the CP and the weaknesses of each method, require their combined application. We propose 22 methods and recommend combining three to seven of them for each of the five evaluation criteria (relevance, effectiveness, efficiency, utility, sustainability) and the nine main types of the CP's intervention. At the same time, issues associated with impact evaluations are clarified. It is highlighted that both the proposed combination of evaluation methods and the evaluative questions are indicative rather than restrictive. Their selection is directly connected to the authorities' needs on behalf of which the evaluation is conducted as well as the special conditions under which the intervention is implemented. The proposed guidelines may be useful to stakeholders involved in the evaluation of the CP on a practical level as well as for everyone involved in evaluating public policies more broadly, as appropriate evaluation enhances accountability, legitimacy, and informed decision making in all stages of a public policy's life cycle. A pesar de los importantes esfuerzos realizados por los Estados miembros (EM) y las regiones de la Unión Europea (UE), el papel de la evaluación en la política de cohesión (PC) es limitado, principalmente debido a los problemas relacionados con la selección de métodos de evaluación adecuados. Por lo tanto, este artículo desarrolla una guía para seleccionar los métodos de evaluación en función del tipo de intervención y los criterios de evaluación, que son específicos para las preguntas de evaluación. En todos los casos, se recomienda combinar varios métodos, ya que la complejidad de las intervenciones, junto con el carácter participativo de la PC y las debilidades de cada método, requieren su aplicación combinada. Se proponen 22 métodos y se recomienda combinar de tres a siete de ellos para cada uno de los cinco criterios de evaluación (pertinencia, eficacia, eficiencia, utilidad, sostenibilidad) y los nueve tipos principales de intervención de la PC. Al mismo tiempo, se aclaran cuestiones relacionadas con las evaluaciones de impacto. Se señala que tanto la combinación propuesta de métodos de evaluación como las preguntas de evaluación son indicativas y no restrictivas. Su selección está directamente relacionada con las necesidades de las autoridades en cuyo nombre se realiza la evaluación, así como con las condiciones especiales en las que se lleva a cabo la intervención. Las directrices propuestas pueden ser útiles para las partes interesadas que participan en la evaluación de la PC a nivel práctico, así como para todos los que participan en la evaluación de las políticas públicas en general, ya que una evaluación adecuada mejora la rendición de cuentas, la legitimidad y la toma de decisiones informadas en todas las etapas del ciclo de vida de una política pública. 欧州連合 (EU)加盟国およびその地域による多大な努力にもかかわらず、結束政策 (Cohesion Policy)における評価の役割は、主にその適切な評価方法の選択に関連する問題のため、限られている。そこで本稿では、介入の種類および評価基準に適した、評価の問題に特異的な、評価方法を選択するガイドラインを作成する。いずれの場合も、介入の複雑さ、結束政策の参加型の特徴、各評価方法の弱点に合わせて、さまざまな方法を組み合わせることが推奨される。我々は、22の方法を提案し、5つの評価基準(妥当性、有効性、効率性、有用性、持続可能性)および結束政策の介入の、主な9つのタイプのそれぞれについて、そのうちの3つから7つを組み合わせることを推奨する。また、影響の評価に関する問題を明確にする。提案した評価方法と評価に関する問題の組合せは、限定的というより、むしろ指示的であることが明らかである。評価方法の選択は、その評価が実施される当局の必要性と、介入が実施されることとなるその特別な条件に直接関係している。適切な評価が、公共政策のライフサイクルの全段階において、説明責任、正当性、情報に基づいた意思決定を強化するならば、我々が提案するガイドラインは、実務レベルでの結束政策の評価に関与する利害関係者だけでなく、より広範な公共政策の評価に関与するすべての者にとっても有用であると考えられる。