干预研究是20世纪80年代中期在国际社会学界兴起的一种应用研究。近年来,国内社会学界也逐渐将这种方法运用于扶贫济困、艾滋病预防、健康水平提高等研究项目,以达到提高被干预对象抗击贫困、抵御疾病或改变自身现状等方面能力的目的。[1]各行业的项目促进了社会、经济、文化、教育等诸多领域的发展,健康领域也不例外。但如何将有限的资源用于最需要、最有效的领域是目前全社会共同面临的课题,对干预项目进行评估往往有助于解决此类问题,不仅能够通过检验干预效果,为确定干预项目未来走向提供依据,而且有助于合理配置有限资源,推进其科学化进程[2, 3, 4]。受社会经济和卫生事业发展水平等诸多因素的制约,我国儿童健康状况地区间发展不平衡的问题较为突出。[5, 6]目前我国也针对儿童常见疾病、健康生活方式、生长发育、看护人保健认知和就医行为以及妇幼保健机构基础能力建设等开展了一系列干预项目[7, 8],而对这些项目进行评估则是推动其持续发展的基础,但目前对儿童健康干预进行评估的思路和方法还存在不足,较少对干预措施发挥作用和产生效果的机制进行探索,忽视了对干预措施产生前后变化的中间过程的研究,因此也就很难将干预政策/措施进行有效的推广和应用。本文旨在通过梳理和分析基于项目理论的评估(theory-based evaluation),以期对儿童健康干预评估工作的开展提供借鉴和参考。
自20世纪80年代以来,美国学者Carol Hirschon Weiss等纷纷关注基于项目理论的评估,出版了一系列论著和主编评估研究专刊,扩大了基于理论的评估在评估实务中的影响。近年来,基于项目理论的评估研究数量不断增多,应用领域也从最早的保健和风险防范扩展到节能、反腐、军事和社会服务领域。[9]
项目理论(program theory)主要是说明项目干预过程、揭示项目干预措施及其结果间因果联系的理论[10],即项目理论是项目的内在假设,明确在项目执行过程中应采取的措施和措施可能产生的结果,项目下一步应如何进行,以及可能产生的预期反应等[11]。基于项目理论的评估是一种以项目理论为基础、理论驱动、理论导向或理论支撑的评估研究,是关于项目设计的活动及其各个环节之间关系的一种评估研究。[12]
基于项目理论的评估是以项目理论为基础或指导的研究,不是单一的一种评估方法,而是一类评估方法的总称,主要包括理论评估(theoretical evaluation)、现实主义评估(realistic evaluation)、逻辑模式(logic model)和理论驱使(theory-driven)评估等类型。[13]理论评估是对在项目服务和干预过程中是否发生了项目理论预期变化的一种检验,即对项目运行过程“黑匣子”的破解(图1);现实主义评估的重点不是说明项目为什么产生预期的影响作用,而更加关注项目作用机制运作的条件和结果[14];项目逻辑模式更突出项目执行过程中各个步骤的分析,强调通过流程图显示资源投放、活动和服务提供以及成效之间的关系,借此揭示项目过程的逻辑性和合理性关系[15](图2);理论驱使评估则是根据项目理论框架,针对项目利益相关者的评估需要确定评估策略和方法,收集和分析相关信息借以回答评估问题。[16]
![]() |
图1 项目计划和评估中的“黑匣子” |
![]() |
图2 项目逻辑规划与实施方向示意图 |
在特点方面,从评估对象上来看,基于项目理论的评估既能检验项目实施方按原计划落实项目的情况,也是对项目内在理论机制的认识;从评估内容上来看,不仅是对项目研究假设的论证,同时也考察项目中各项措施的实施过程以及项目实施后实际取得的效果;从评估研究方法上来看,通过将项目理论的因果关系变量操作化,通过定量统计分析检验其假设成立,而对项目过程的评估和分析则借助于定性描述。因此,基于项目理论的评估在方法上也呈现出定量研究方法与定性研究方法相结合的综合性特点。尽管不同评估类型在评估内容上各有侧重,但都不同程度地涉及项目背后的理论假设,试图对项目干预及其实现目标之间的联系加以证明(表1)。
![]() |
表1 基于项目理论的评估类型 |
项目理论在以理论为基础的评估研究中占有主导地位,对评估研究的实施具有一定的指引作用。通过回顾研究文献和成果、查阅相关资料、访谈项目利益相关者、参与项目的具体服务和管理过程以及现场观察等手段构建项目理论。基于项目理论的评估不仅验证有关项目干预的内在机制,而且考察项目实施过程是否与预期一致、项目实施后的影响结果等,因此它实际上包括项目过程评估、影响评估和理论机制评估三个部分。项目过程评估在评估项目理论的影响假设之前,检验作为该假设成立基础的项目服务或干预是否得到有效的落实;项目影响评估主要考察项目实施对目标对象带来的影响或状态的变化;项目理论机制评估则验证项目干预与其预期目标或效果之间的因果假设关系是否成立。
基于项目理论的评估研究过程证明具体项目的理论,其综合性的特点不仅有助于提升评估研究的专业水平,同时也能在一定程度上提高项目管理水平。第一,基于项目理论的评估研究有助于对项目运行过程“黑匣子”的破解,从而掌握项目目标实现的内在机制。第二,干预对象及干预实施时间和背景都存在一定的局限性:一方面干预项目不可能原封不动地移植于其他对象、时间和背景,另一方面诸多问题存在的普遍性以及亟需改善的迫切性,又要求在类似的时空方位内对特定的对象不断采取具有某些相似性的干预措施或手段,因此,如何借鉴已有项目的成功经验,提高新项目的设计和管理水平、强化项目效果便备受关注,基于项目理论的评估研究对于项目理论的论证有助于项目在不同地区和不同群体内推广。第三,基于项目理论的评估不仅需要清晰辨别项目的内在假设,而且要对项目理论假设进行操作进而收集相关的论证所需材料[17],因而对于评估研究步骤的设计具有一定指导作用。但基于项目理论的评估是否能够成功实施,与如何定义项目理论、项目活动是否反映理论假设以及充足的资金投入与时间密切相关,因而如果不具备完整实施基于项目理论的评估,在实际操作中可对其思想加以借鉴。[17]
目前全球儿童健康水平逐步提高,1999—2011年5岁以下儿童发育迟缓下降了35%(从2.53亿下降到1.65亿),1990年以来儿童死亡率下降了41%[18],这与世界各国政府与国际组织合作或利用世界银行等贷款资金,在不同地区,以不同的规模、不同的方法开展了一系列妇幼卫生项目密不可分。这些项目的总体目标都是改善全球妇女儿童的健康状况,项目投入大,涉及到国际组织、政府部门的决策人员、卫生管理人员、卫生专业人员、受益人群等,各组织和人员都迫切的希望了解项目的设计、执行情况、效率和效果及其长期效应等方面的信息,这些信息需要借助科学的理论和方法予以搜集、整理和分析,即进行项目评价,而项目评价也是推动项目持续发展和推广的重要基础。
从总体研究设计和思路上来看,国外研究通常在项目整体设计中包含专门的评估研究和设计,从而能够较早的开展项目的评估,保证评估工作的前瞻性、时效性和完整性[19, 20];此外,国外学者所开展的儿童健康干预相关的评估研究,多数遵循对比 基本思路,如通过农业干预手段改善儿童营养状况的“前后”对比[21]、秘鲁通过小额信贷手段改善贫穷和性别歧视从而改善儿童健康的“有无”政策对比[22]等。
从评估工作具体操作方面,国外开展儿童健康干预项目评估的经验有以下几点。 一是注重项目执行动态过程的评估,将过程评估与影响评估放在同等重要的位置,通过对项目规范、程序和目标的及时对比来反映项目的实际进展,从而确定在何种程度上能够达到或完成项目目标。美国开展了预防儿童肥胖“漫画健康”项目(“Comics for Health” program),研究者运用包括计划落实、服务提供、服务接受、目标实现、参与者、背景环境的六步过程评估框架对该儿童肥胖干预项目进行了评估,为后续项目的评估和推广奠定了一定的基础。[23]二是将项目实施的背景和条件纳入项目评估框架,认识到识别项目开展的不同背景和条件的重要性[24],包括项目参与方、组织机构、历史、文化、地理、民族、宗教、政治、历史阶段、员工等[25]。荷兰学者利用RE-AIM 框架从目标人群的参与性、学校基本情况、实际运用、维护四个方面对促进儿童体育活动的操场计划(Playgrounds program)进行了评估,为如何有效将操场计划付诸实践提供信息。[26]三是国外研究逐步将其作为项目评估中的一个重要组成部分和步骤来指导评估工作的开展,不仅有助于项目计划、修正和行为改变等知识的积累,而且有助于具体项目评估工作的实施,基于项目理论的评估主要运用于营养教育[27]、疾病预防[28, 29]等健康促进领域。国外儿童健康干预评估工作的特点都与基于项目理论的评估思想相一致,如注重过程评估、作用机制、项目背景和条件的探索。为便于理解基于项目理论评估的思想、特点、步骤以及作用,以Jeanine Prommier[30]等人的学校健康促进的现实评估研究为例进行说明。
背景: 学校是开展健康促进的关键场所,但以什么方法对学校开展健康促进进行评估目前仍然是一个主要议题。在分析健康促进评估现状的基础上,针对健康促进评估开展面临的挑战和问题,如项目周期的限制不足以反应当地的条件和困难,事物自身长期趋势无法从项目影响中剥离,项目效果小于预期,缺乏解释干预与影响之间错综复杂关系的理论等,本案例运用现实评估方法对学校开展健康促进进行评估。
评估解决的关键问题: 根据现实评估的思想和特点,研究将学校健康促进评估细化为三个关键问题:1.学校开展健康促进的机制和环境因素是什么?2.制定的方案和策略如何通过项目影响教师健康促进实践的开展和学校健康促进氛围的形成?3.健康教育实践如何影响学校所带来的幸福感以及开展健康促进对学生掌握生活技能有什么影响?
理论假设: 根据变化理论模型,研究假定在项目特定的背景(教育环境、社会环境、学校现状等)下,学校健康促进的策略(加强教师的培训、获得学校团队的支持、改善资源和工具的供给、提高相关机构的认识)能够对教师健康促进实践、学校健康促进氛围、教师和学生学校幸福感、学生健康知识态度和技能、学校和家庭之间关系产生积极的作用,进而改善学生的社会、心理和物理健康。
评估方法: 通过问卷调查和访谈收集相关资料,运用基于归纳思想的定性方法探讨学校开展健康促进的机制和环境因素,运用基于演绎思想的定量方法测量相关策略实施所产生的变化,进而对项目的机制、过程和结果进行了分析和评估。
结果及其应用: 研究对学校开展健康促进一般机制和环境因素及其所带来的结果进行了梳理和分类,为研究者全面评估学校健康促进项目提供了一个合适的解决方案,此外,不仅能够充分展示学校健康促进项目的效果,同时为后续项目的开展和推广提供了证据和基础。
我国政府非常重视提高儿童健康水平,几十年来,我国儿童健康状况得到明显改善,2010年提前实现了联合国千年发展目标[31, 32],但我国妇幼健康水平与其他国家相比仍存在较大差距,5岁以下儿童死亡率仍处于世界中等水平[33, span class="xref">34]。
从研究思路和设计上来看,国内学者所开展的相关研究,多遵循“政策过程阶段理论”的总体框架,前后对比是其基本思路[35],具体可以分为:简单“前—后”对比分析、“投射—实施后”对比分析、“有—无”政策对比分析、实际与规划的对比分析等。但在我国已颁布并实施的众多公共政策项目中,只有部分项目包含专门的评估研究和设计,并且多是在项目执行较长时间后,甚至即将结束时才着手展开评估的研究和设计,项目活动终结之后对静态结果进行评估且周期较长,研究工作的前瞻性、及时性较差,因此项目实施过程中存在问题的最终解决往往滞后。同时评估指标的设计多针对政策实施后的效果和产出,较少涉及项目方案和执行的动态过程,评估范围较狭窄、重心偏后,较少对干预措施发挥作用和产生效果的机制进行探索,忽视了干预措施产生变化的中间过程的研究,因此也就很难对项目执行的改进提供有价值的建议。[36]
从研究内容和方法上来看,目前儿童健康干预研究大多围绕如何建立评估指标体系,包括健康指标体系的一些方法学探讨和建立指标体系的整个流程,最终产出相应的干预评估指标体系。我国目前针对儿童健康状况所采取的儿童健康干预措施主要包括实施发放营养包计划、改善孕产妇和儿童营养不良[37],开展健康教育、营养教育提高健康知识和行为改善儿童健康状况[38, 39],实施综合营养干预项目改善儿童健康状况[40]等,干预对象多为需方儿童。常规做法是将指标体系转化为调查表,然后选择一些政策/措施的干预组和对照组进行问卷调查,最后对收集到的调查数据进行数理统计分析,并对数据结果进行评价。而对于某种干预政策/措施的评价仅停留于有效或无效层面,干预政策/措施并没有得到有效的推广和应用,其主要原因是没有对干预政策/措施发挥作用的机制进行深入分析和及时、有效的总结。
长期以来,针对儿童健康改善的干预项目得到较为广泛的开展,但对上述干预项目进行评估的思路和方法还存在一些不足,如对干预项目理论的研究不够重视、评估周期设置不当、忽视干预过程和作用机制的探索等,相关研究较为欠缺。
提高对儿童健康干预项目理论的重视,转变传统儿童健康干预项目评估的观念。要构建儿童健康干预项目理论并对其进行验证,这是开展儿童健康干预项目的基础,如所构建的项目理论不成立,那么儿童健康干预项目的实施可能不会带来所期望的效果,因而就没有开展该干预项目的必要或者应及时调整项目的具体内容和实施过程。
注重对儿童健康干预项目实施过程和实现机制的分析,从注重结果的鉴定性评估转向重视过程的诊断性评估。因此从儿童健康干预项目评估的内容分析,不仅是干预项目实际产生的效果及影响,同时应包括对项目机制运作条件如干预项目实施的经济、社会、地理、文化环境等;项目干预的实施过程及实现机制,如干预过程中发生了什么变化,项目实施中有关的社会各方的参与反应,不同机构、人群在干预过程中发挥了什么作用以及作用是如何产生的,干预项目投入和产出之间或者项目干预是如何实现最终影响结果的,项目实施计划落实情况等。
通过对儿童健康干预项目进行综合评估,了解现状、总结所取得的成效和存在的问题,分析项目效果产生的背景、条件和机制以及问题发生的内在原因,从而为动态监测项目实施效果提供技术支持。对儿童健康干预项目的实施有不同的背景和条件的 分析,及时对儿童健康干预项目评估的结果进行合理运用,不仅有助于解决如何将有限的资源用于最需要、最有效的领域,还有助于及时将项目进行适宜推广。
目前儿童健康干预项目评估工作静态多、动态少、结论多、过程少,儿童健康干预项目评估方法和思路上存在不足,相关研究较为欠缺,这种现状非常不利于儿童健康干预工作的开展。应该注重加强儿童健康干预工作评估能力建设,不断将一些成熟的理论和方法引入到儿童健康干预评估工作中,提升儿童健康干预评估工作研究专业化水平,同时提高具体的项目评估研究和项目管理水平。
[1] | 张胜康. 干预评估体系的建立与运用——关于青少年艾滋病预防干预项目实施效果的评估[J]. 青年探索, 2007(2): 79-81. |
[2] | John Ovrevteit. Evaluating Health Intervention[R]. Buckinham: Open University Press, 1998. |
[3] | Evaluation Questions and Standards of Effectiveness[R]. 2005. |
[4] | 白常凯. 公共政策评估程式的研究[D]. 上海: 复旦大学, 2004. |
[5] | 卫生部. 中国0-6岁儿童营养发展报告[R]. 2012. |
[6] | 赵丽云, 于冬梅, 刘爱东. 2006年中国儿童与孕产妇营养健康状况调查结果分析[J]. 卫生研究, 2008, 37(1): 65-67. |
[7] | 王继红, Jean Allen, Cath Barker. 拉萨市乡村卫生人员儿童发热、腹泻综合管理的培训效果评价研究[J]. 中国儿童保健杂志, 2011, 19(2): 187-189. |
[8] | 周婧雅, 刘芬, 李涛, 等. 陕西省部分地区5岁以下儿童健康干预的效果评价[J]. 中国儿童保健杂志, 2011, 19(8): 769-771. |
[9] | 方巍, 祝建华, 何铨. 社会项目评估[M]. 上海: 上海人民出版社, 2012. |
[10] | Fitz-Gibbon C T, L L Morris. Theory-Based Evaluation[J]. Evaluation Practice, 1996, 17(2): 177-184. |
[11] | Bickman L. Using Program Theory in Evaluation[J]. New Directions for Program Evaluation, 1987, 33: 5-18. |
[12] | Rogers P J. Theory-Based Evaluation: Reflections Ten Years On[J]. New Directions for evaluation, 2007, 114: 63-67. |
[13] | 方巍, 张晖, 何铨. 社会福利项目管理与评估[M]. 北京: 中国社会出版社, 2010. |
[14] | Leone L. Realistic Evaluation of an Illicit Drug Deterrence Programme: Analysis of a Case Study[J]. Evaluation, 2008, 14(1): 9-28. |
[15] | 陈锦堂. 项目评估:程序逻辑模式[M]. 北京: 北京大学出版社, 2008. |
[16] | 马承鹏. 层次评估理论在艾滋病防治项目评估中的应用研究[D]. 昆明: 昆明医学院, 2006. |
[17] | Birckmayer J D, Weiss C H.Theory-based evaluation in practice: What do we learn?[J]. Evaluation Review, 2000, 24(4): 407-431. |
[18] | 联合国. 千年发展目标报告2013年[R]. 2013. |
[19] | Marsh D R, Pachon H, Schroeder D G, et al. Design of a prospective, randomized evaluation of an integrated nutrition program in rural Vietnam[J]. Food and Nutrition Bulletin, 2002, 23(4): 34-44. |
[20] | River J A, Rodriguez G, Shamah T, et al. Implementation, monitoring, and evaluation of the nutrition component of the Mexican Social Programme (PROGRESA)[J]. Food and Nutrition Bulletin, 2000, 21(1): 35-42. |
[21] | Edoardo Masset research fellow, Lawrence Haddact director, Alecander Comelius research assistant,et al. Effectiveness of agricultural interventions that aim to improve nutritional status of children:Systematic review[J]. BMJ, 2012, 344: d8222. |
[22] | Harmad R, Fernald L C, karlan D S. Health education for microcredit clients in Peru: a randomized controlled trial[J]. BMC Public Health, 2011, 11: 51. |
[23] | Branscum P, Sharma M, Wang L L, et al. A Process Evaluation of a Social Cognitive Theory-Based Childhood Obesity revention Intervention The Comics for Health Program[J]. Health Promot Pract, 2013, 14(2): 189-198. |
[24] | Woodhead M. Psychosocial impacts of child work: a framework for research, monitoring and intervention[R]. 2004. |
[25] | Eisenmann J C, Gentile D A, Welk G J, et al. SWITCH rationale, design, and implementation of a community, school, and family based intervention to modify behaviors related to childhood obesity[J]. BMC Public Health, 2008, 8: 223. |
[26] | Janssen M, Toussaint H M, van Mechelen W, et al. Translating the PLAYgrounds program into practice A process evaluation using the RE-AIM framework[J]. Journal of Science and Medicine in Sport, 2012, 16(3): 211-216. |
[27] | Brug J, Steenhuis I, Van Assema P, et al. The impact of a computer-tailorednutrition intervention[J]. Preventive Medicine, 1996, 25(3): 236-242. |
[28] | Pentz M A, Dwyer J H, MacKinnon D P, et al. Primary prevention of chronic diseases in adolescence: Effects of the Midwestern prevention project on tobacco use[J]. American Journal of Epidemiology, 1989, 130(4): 713-724. |
[29] | Feindler E L, Marriott S A, Iwata M. Group anger control training for junior high school delinquents[J]. Cognitive Therapy and Research, 1984, 8(3): 299-311. |
[30] | Prommier J, Guevel M, Jourdan D. Evaluation of health promotion in schools: a realistic evaluation approach using mixed methods[J]. BMC Public Health, 2010, 10: 43. |
[31] | 中国妇幼卫生事业发展报告(2011)[J]. 中国妇幼卫生杂志, 2012, 3(2): 49-58. |
[32] | 卫生部. 卫生部实施2001-2010年中国妇女儿童发展纲要终期评估报告[R]. 2011. |
[33] | WHO. Trends in Maternal Mortality: 1990 to 2008[R]. 2011. |
[34] | UNICEF. The State of the World's Children 2009[R]. 2009. |
[35] | 谢媛. 政策评价方法与选择[J]. 江西行政学院学报, 2000(4): 19-20. |
[36] | 王永. 公共政策评估方案设计若干问题初探——以“乡镇卫生院招聘执业医师”试点项目为例[D]. 济南: 山东大学, 2009. |
[37] | 王丽娟, 霍军生, 孙静, 等. 营养包对汶川地震后四川省理县6-23月龄婴幼儿干预效果研究[J]. 卫生研究, 2011, 40(1): 61-64. |
[38] | 张丹, 杨少萍, 张晓明, 等. 健康教育干预对预防儿童维生素A缺乏的效果评价[J]. 中国妇幼保健, 2012, 27(12): 1302-1304. |
[39] | 夏时畅, 张新卫, 徐水洋, 等. 中国/WHO“以营养教育为重点的学校健康促进”项目效果评价[J]. 中国健康教育, 2006, 22(9): 703-706. |
[40] | 申鸿, 李高中. 陕西农村婴幼儿综合营养干预研究[J]. 中国临床研究, 2011, 24(9): 857-858. |
(编辑 薛 云)