国家的卫生计生政策最终都是以项目的形式予以体现和实施。卫生计生项目的公益属性以及科学管理的需要,决定了必须加强对卫生计生项目管理。项目监管工作必须围绕项目绩效开展,项目评价工作应有利于促进项目目标的实现。随着人们认识的深入,国内卫生项目评价经历了从关注项目立项到关注项目资金安全,再到关注项目产出,最后到关注项目实际效果的发展阶段。
对于项目评价,目前国际上使用较为广泛的是世界银行提出的结果链模型和三“E”模型(经济性、效率性和有效性)等逻辑模型。这些理论和工具的提出和使用,提高了项目评价的科学性和规范性,使项目评价发展进入了一个新的阶段,对于完善我国的项目评价工作,具有积极的借鉴意义。但这些模型关注的重点不同,在国内使用时仍有一定的局限性。
本文认为,国内在开展卫生项目评价过程中存在三个基本问题,一是从逻辑框架上看,对项目实施的环境因素分析不够,缺乏对项目可持续性和可推广性必要条件的分析和判断。使得一些重大卫生项目在试点推广时,造成严重的“水土不服”,甚至出现“一试点就成,一推广就死”的尴尬情况。二是从分析方法上看,对项目干预成效的分析精度不够,由于种种原因,夸大项目实施效果的情况较为普遍。影响评价的客观性。三是从对逻辑框架概念理解上看,对一些基本概念的理解存在偏差,影响评价的准确性。对此,本文就如何提高我国卫生项目评价的科学性,更好的满足项目绩效管理发展的需要,进行了总结和思考。
1 对卫生项目评价的理解
关于项目绩效评价,学界已有很多研究。本文认为,完善的卫生计生项目评价,不仅需要关注过程评价也要关注绩效评价;不仅需要关注项目效果,更要关注项目结果背后的因果关系。简单来说,项目评价的目的不仅要判断是否做了正确的事和正确的做了事,更重要的是要判断是否做了有价值的事,怎样才能做有价值的事。要做到这一点,就应当明确卫生项目评价的目的,完善卫生项目评价的逻辑框架,提高卫生项目评价的科学性。为此,本文提出卫生项目复合评价的思路。所谓卫生项目复合评价,就是以项目目标为基础,以项目结果为导向,按照设定的评价准则、指标和方法,对项目的设计、实施、结果及原因进行科学、客观、公正、深入的综合分析,为优化项目绩效和保证项目可持续性、可推广性提供有效信息。
2 卫生项目复合评价的理论运用
关于项目绩效评价,世界银行提出了变化理论(Theory of changing)[ 1 ],假设经过项目干预,项目前后情况应该有所变化,即针对项目实施前的问题而采取的项目干预措施应该能取得项目预期的结果,这是开展项目评价的理论基础。但是要了解项目干预后产生或未产生预期效果的内在原因,还必须通过因果定律(Law of cause and effect)分析予以揭示。即假设项目实施所达成的任何结果都有其特定的原因,每个结果的成功或失败都不是偶然的,而是存在着一定的因果关系。这种因果关系,可能是一因多果、一果多因,也可能是多因多果。 3 卫生项目复合评价的主要方法运用
项目评价有许多方法,本文认为主要方法包括以下几种:一是系统分析方法。即用整体、系统的思想分析问题的方法,把项目作为一个整体来看待,对项目立项要解决的问题、设定的目标、采取的干预措施、取得的效果以及影响因素进行系统分析,避免以偏概全。二是一致性逻辑分析方法。即对项目“目的—目标—措施—结果”一致性程度的逻辑判断和评价,其重点是对项目逻辑关系“一致性”的分析判断。三是规范差距分析方法。即通过对项目产生的实际效果与预定目标进行比较,从而评价项目绩效程度的方法,其重点是对项目目标“实现程度”的分析判断。四是影响评估(Impact evaluation)。[ 1 ]即尽可能排除非项目因素,聚焦证明项目绝对作用,以避免因不实信息而影响对项目效果的科学判断的评价方法,其重点是对项目效果“唯一性”进行分析判断。五是影响因素逻辑分析方法。即对影响项目的“结构—过程—结果—原因”和“行为原因—行为表现—行为结果”等相关性进行逻辑分析,对影响实施效果的内外因素进行客观判断的方法,其重点是对项目实施及成效的影响因素进行分析判断。 4 卫生项目复合评价模型逻辑框架
卫生项目复合评价模型逻辑框架是在世界银行提出的“结果链”基础上,结合中国实际,对评价要素进行补充调整,并强化对环境影响因素的分析。卫生项目复合评价模型逻辑框架主要由逻辑维度(Logic)、要素维度(Factor)和环境维度(Environment)三个维度构成(简称:LFE卫生项目评价模型)(图1)。
(1)目的(Objective):指项目拟达到的总预期。
(2)目标(Goal):指项目拟达到的工作目标。项目目标应具有可评价、可测量性。
(3) 投入(Input):指用于项目实施的各种资源,包括人力、资金、实物、时间、管理和专业技能等资源。
(4)活动(Activity):指按项目目标要求,在投入的基础上所开展的各项规定行动和工作,包括基础设施建设、能力建设、技术服务等。
(5)结果(Result):包括产出、成效和影响。产出(Output)是指通过实施各项活动而产生的产品和服务;成效(Outcome)是指项目的产出带来的短期或中期的直接效果;影响(Impact)是指由于项目实施而产生的长期效果(图2)。
(1) 一致性:即项目与国家法律法规、战略、政策、策略及项目目的、目标、活动、产出、效果的符合度。
(2)合规性:即是否按照相关法律法规和项目要求执行。如财政政策、财会制度等。项目合规性的评价受到项目地区复杂环境因素的影响,规范执行效力不足时,尤为重要,是必须进行的内容。
(3) 高效性:即基于质量基础对项目实施效率情况的评价。包括时间、预算、管理、经济/进度、投入、产出、成本等。如实施进度、预算进度、经济成本效益。[ 2 ]
(4)有效性:即判断项目实施是否取得了项目预计效果。项目实施的目的是实现项目目标,取得既有的绩效。因此,不仅要评价项目产出,更重要的是判断项目是否取得成效。评价项目是否有效,还要评价项目的瞄准度,即项目是否涵盖了目标群体、涵盖的程度以及目标群体的认可度。[ 2 ]
(5)可持续性:即通过对项目实施发生支撑作用的项目政策、项目投入、项目管理及运行进行深入分析,以此判断项目本身是否具有可持续性(图3)。[ 2 ]
项目实施引发“变化”的深层次原因需要通过深入的“因果”剖析才能了解到本质。揭示项目实施结果的因果关系是判断项目是否具有可持续性或可推广性的关键。
(1)内部环境分析。从狭义卫生计生领域来看,项目立项及实施内部环境主要包括卫生政策、卫生服务体系、卫生管理体制、卫生运行机制等。分析项目内部环境,就是要深入分析卫生政策等内部环境与卫生项目实施的相互影响。
(2)外部环境分析。从广义卫生计生领域来看,项目立项和实施的外部环境主要包括政治因素、经济因素、社会因素、文化因素。分析项目立项和实施的外部环境,就是要深入分析政治体制、政治意愿和政治强度与项目实施的相互影响;经济发展、财政分配和支出与项目实施的相互影响;社会结构、社会阶层与项目实施的相互影响;传统及新型文化与项目实施的相互影响(图4)。
进行项目评价时由于概念的混淆或其它因素,会造成评价结果的偏倚。一是将目的和目标概念混淆,二是产出与成效及影响概念混淆,前者由于把项目目标当做项目远期影响,而在进行项目完工评价且项目远期影响尚未显现时,会造成评价低估项目绩效。后者由于把产出当成成效,造成项目绩效的扩大化,或把成效误判为产出,缩小了项目绩效。 5.2 卫生项目复合评价应准确判断项目的效果
如何判定项目结果是项目本身的作用还是有外部环境的作用,需要通过一定的科学方法判断在没有项目的情况下是否还能出现同样的结果,即“反事实”分析,以便准确判断项目干预的特有效果。“反事实分析”是理想的正确思维方式,虽然实施起来受到许多制约,但在实践中必须树立“反事实分析”的意识,尽量排除非项目作用对项目评价的影响。 5.3 卫生项目复合评价应关注深层次影响因素分析1 对卫生项目评价的理解
卫生计生项目的公共属性,使医疗卫生计生项目的实施更易受国家政治、经济、社会、文化等外部环境的影响,国家的卫生政策、卫生服务体系、卫生管理体制、卫生运行机制等内部环境对项目实施也发挥着重要的基础作用。要想客观的分析项目实施的经验教训,分析项目结果的可持续性,判断项目是否具有可推广的价值和可能,必须对项目实施的影响因素进行客观和深入的分析。只有这样才能跳出项目“一试点就成功,一推广就死亡”的怪圈。要做好项目实施影响因素分析,除了对方法学的科学把握运用外,更重要的是提高对被评价项目及其环境的理解。对方法学的把握和对其环境的掌握,是做好项目影响因素评价的基础,二者缺一不可。
[1] | Gentler P J, Martinez S, Rawlings L. Impact Evaluation in Practice[M]. The World Bank, 2010. |
[2] | 财政部国际司.国际金融组织贷款项目绩效评价操作指南[M]. 北京: 经济科学出版社, 2010. |
(编辑 赵晓娟)