Development and Aid 美英日发展援助评估体系及对中国的启示 徐 加 徐秀丽 内容提要 本文以美国国际开发署 日本国际协力机构和英国国 际发展部为例 针对中国当前对外援助评估中关注的主要议题 梳理 了这三个发达国家援外评估的目的 主体 运作方法 本文认为 西 方主要发达国家评估的目的主要体现在问责和学习两个方面 援助 机构设有专门的评估部门 还聘请外部专家进行第三方评估 这些 机构将评估嵌入项目实施过程中 并运用逻辑框架法 基线调查 成 本效益分析等多种手段进行评估 本文也总结了美 日 英三国在评 估目的 主体 运作方法中体现出的共同特点 即评估作为一种沟通 工具 对内可以联系机构内部人员和其他同行的国际组织 提高援助 的质量 对外可以促进援助机构与政府机关 私人部门 捐助者 公众 和媒体的交流 关 键 词 评估 对外援助 利益相关者 沟通 近年来 随着新型南南合作 助项目 战略信息的重要工具 一 出发达国家评估经验的核心 国际地位的不断提高 国际上也 直扮演着沟通利益相关者的角 作为沟通多方主体工具的评估 出现了对于南南合作实施有效评 色 因此 主要发达国家对外援 估的呼声 中国尽管在近期发布 助评估的经验对改进中国的援外 了两份对外援助白皮书 并对诸 评估 提高对外援助的质量具有 多援助项目进行了有效的评估 丰富的借鉴价值 但总体而言 中国尚未形成常态 本文从中国对外援助项目评 一 中国援外评估关注 的主要议题 提高援助质量 加强援助评 估是中国对外援助的关键要素之 化的援外评估体系 这极大地削 估中关注较多的几个议题出发 一 尤其是自 20 世纪 80 年代以 弱了援助工作的专业性 事实 通过梳理美国国际开发署 来 在 尽力而为 量力而行 原则 上 自 20 世纪 70 年代 尤其是 90 USAID 日 本 国 际 协 力 机 构 的指导下 伴随着中国为援外工 年代以来 鉴于各方对发展援助 JICA 和 英 国 国 际 发 展 部 作引入市场机制 对于援助评估 效果的要求日渐提高 从 2003 年 DFID 的评估目的 评估主体 的重视日渐提升 近年来 随着 开始援助有效性高级别论坛已陆 运作机制 有针对性地介绍西方 中国发起并推行 一带一路 倡 续举行了四次 在援助有效性潮 发达国家的评估经验 进而探究 议 以及一系列南南合作行动的 流的推动下 为了保证发展援助 在主要发达国家 评估的目的是 开展 评估的专业性和系统性再 的有效执行 对援助项目的评估 什么 谁是评估的主体 评估的方 次受到重视 目前 中国援外评 必不可少 评估作为获取发展援 法和工具有哪些等问题 并总结 估主要关注以下议题 50 IEC, NO.6, 2017
发展与援助 一 援外评估管理体系较为 碎片化 中国尚未设立专门的对外援 助管理机构 没有常态化的援外 评估体系 根据 对外援助成套 项目管理办法 试行 中国援助 管理涉及中央政府 商务部 包括 商务部所属国际经济合作事务 局 国际经济技术交流中心和国 际商务官员研修学院 中国进出 口银行 中国驻外使 领 馆 地方 商务管理机构 这种碎片化的管 理会一定程度上导致分工和责任 的混乱 二 评估工作缺乏人力保障 中国援外评估还缺乏专业人 才和专家团队 没有人力方面的 保障 商务部国际贸易经济合作 研究院的 发展合作评估 报告指 出 中国评估机构制定者和评估 专家的能力有待提高 援外评估 的项目设计 方法设计 资料收集 和分析 报告撰写等工作都需要 专业知识 因此完善中国的对外 援助工作还需要加强人员能力的 培训 三 事后评估和对援助效果 的评估比较欠缺 中国援外评估更重视对执行 主体的审查和项目实施过程的监 督 在援助效果评价方面存在欠 缺 对外援助的管理办法大都注 重通过对援助项目招标评审 以 及对援外实施企业的资格审查来 保障援外活动顺利进行 这种监 管方式主要侧重于事前审查和完 成情况检查 但是缺乏对援外活 动的事后评价和影响评估 商务 部 对外援助管理办法 也只提到 商务部建立援外项目评估制度 国际经济合作 2017 年第 6 期 对援外项目实施情况进行评估 待解决和澄清的方面 评估的目 尽管中国近年来发布的规范性文 的是什么 谁来评估 评估的方 件对于援助实效评价问题进行了 法和工具是什么 针对这些议 原则性的规定 如 对外援助物资 题 西方发达国家对外援助评估 项目管理办法 但可操作性不 的经验又有哪些 事实上 这些 强 并没有针对评价的具体操作 议题可以归结为评估涉及的多方 规程 指标 评价结果的反馈等做 主体沟通上的问题 发展援助是 出规定 捐助方和受援方之间的互动 援 四 对外援助评估的透明度 有待提高 根据商务部国际贸易经济合 作研究院的报告 在中国 评估的 问责目的不是很受重视 学习目 的更为突出 每年 中国对外援 助的资源的流向 具体援助项目 及援助方式 后续评估等未形成 透明 完整的报告 目前尚未有 相应的对外援助法律 这就导致 外界对中国的对外援助存在一些 误解 首先 国内民众对中国援 外的责难屡见不鲜 互联网上不 乏有这样的声音: 中国作为发展 中国家 自己还有贫困问题 应该 把钱首先花在贫困人口上 另 外 国际上一部分人也借此话题 给中国的对外援助抹黑 煽动 新 殖民主义 的论调使人们对中国 对外援助的出发点和效果造成误 解 中国要在国际上树立大国形 象 迈向负责任大国之路 与国民 的支持与理解是密不可分的 因 此 提高援外评估的透明度 充分 发挥评估的问责功能 通过评估 有针对性地解答民众对中国对外 援助的疑虑就十分必要 助项目的效果也是由这两方及其 二 主要发达国家援外 评估的特点 从中国援外评估的关键议题 来看 对外援助评估还有以下亟 合作者共同决定的 这些主体都 很关注有限资源的最佳运用 并 对此负有责任 因此 发展援助 涉及的各个相关方都会参与到援 助评估中来 了解资源利用的状 况 相互学习 借鉴经验 提高资 源利用效率 本文通过对美国 英国 日本三个国家援外评估体 系的探究 为这些议题提供借鉴 参考 一 兼顾问责和学习两个评 估目的 对美国 英国 日本来说 评 估的目的主要体现在两个方面 一是问责 用以向政府 公众 项 目受益人 捐助者说明项目的投 入 产出和成效 二是学习 通过 与其他伙伴机构 研究机构 社会 组织的交流合作 进一步完善今 后的援助政策和项目 问责与学习这两个作用之间 的关系一直影响着许多援助机构 的评估组织方法 因为这两个作 用难以同时顾及 找一个一举两 得的方法也比较困难 从世界银 行 国际货币基金组织发展委员 会专案组委托罗伯特 卡森及其 他研究人员研究 援助有效吗 开始 援助同时满足两个作用的 难题就一直为人们所关注 有关 研究发现 基本上所有评估都更 51
Development and Aid 注重经验学习而非问责, 许多评估都关注援助过程而忽视援助结果的影响 Roger Riddell 和经合组织发展援助委员会 (OECD- DAC) 援助评估专家组的研究也得出了相似的结论 从评估的历史发展来看, 美 日 英三国也在不断寻求问责与学习之间的平衡 USAID 成立伊始就将评估作为其工作的重要部分,1970 年发布了如何改进评估体系的研究和评估手册,2010 年成立了政策规划与学习局, 强调从评估中总结经验 2011 年发布了评估政策并确定了需要克服的几大挑战, 其中就包括需要平衡使用学习和问责两个目标 英国 1982 年专门成立了评价局, 2007 年 12 月发展影响独立咨询委员会开始监督 DFID 的评估工作, 这个新委员会建议 DFID 应当每年报告评估工作中的收获和启发 2009 年以来,DFID 开始强调政策和项目决策中的证据基础, 为问责提供保障, 评估在其中扮演着重要作用 近年来, 美国 日本和英国的援助评估都开始强调第三方参与 影响评估和绩效管理, 使评估能够真正为问责提供基础, 各个利益相关方都能了解到援助项目的过程和成果 在加强第三方参与的方面, JICA 成立的评估咨询委员会提高了 JICA 评估的质量,DFID 的评估也是由外部人员提供, 这些来自国际组织 学术界 非政府组织 媒体和私营部门的专家帮助援助机构完善和传播评估方法, 也提高了评估的独立性和透明度 在加强影响评估和绩效管理政策 规划和学习局 (PPL) 是其方面, 美英日的援助机构也做出援助评估的指导 支持和质量保了努力 USAID 发展援助比较障机构 PPL 和其他部门一起进重视结果导向型绩效管理, 在项行影响评估和专题评估, 它也与目管理实施过程中, 将绩效监督其他发展行为机构, 包括伙伴国和评估数据结合起来, 以真正掌家 项目实施伙伴 美国政府进行握整个方案的执行情况, 不仅使联合评估, 是 USAID 与国内外机政府机构 公众媒体等群体了解构 捐助者 非政府组织 基金会 援助产生了什么样的结果, 也使学术界 受援国地方政府和组织其他伙伴机构明晰产生这种结果的评估联系点 的原因 JICA 一直强调影响评日本的援外评价主要由日本估的应用, 通过使用统计学和计外务省 (MOFA) 和 JICA 承担 量经济学方法提高项目的有效性 MOFA 主要执行政策和专题评和质量, 评估的结果可以作为项价 近年来, 日本通过聘请外部目管理的可靠证据, 用于 JICA 和专家加强了 MOFA 评价职能的合作伙伴国家的政策制定 2014 独立性 JICA 进行项目 计划和财年,JICA 将影响评估用于许多专题评价 2010 年,JICA 也成立项目, 例如, 坦桑尼亚卫生人力资了评估咨询委员会, 请国际组织 源开发技术合作项目, 埃塞俄比学术界 非政府组织 媒体和私营亚质量和生产力能力建设技术合部门的专家来提高 JICA 评估的作项目等 2012 年,DFID 开始质量, 加强评估结果的反馈, 保证识别并填补发展项目中的证据缺评估问责的执行 陷, 投资了 8770 万英镑来进行严 DFID 是英国处理国际发展格的影响评估 截至 2014 年, 事务的核心部门 DFID 评估的 DFID 评估部进行了 299 项影响主体由援助影响独立委员会 (IC- 评估 AI) 和 DFID 评估部组成 为了确 保评估的独立性, 保证与广大学 术市场和技术专家的对接, 对在美国 日本 英国, 援助评 DFID 工作的独立审查是由 ICAI 估机构除了自身有比较完备的部进行的, 评估需由那些与发展干门设置外, 也都很重视与其他国预不相干的评估者进行 该委员际组织 非政府组织 学术界的协会旨在代表英国纳税人, 对英国同参与和联合评估 的官方发展援助进行问责 在美国,USAID 国务院和 DFID 评估部在其援助评估的质美国千年挑战公司是美国对外援量 支持和标准中扮演重要角助评估的主要机构 这三家机构色 评估部主要的责任有设定关注的重点都在于数据和结果导 DFID 评估标准, 促进评估嵌入项向型的方法, 提高了美国援外评目操作, 进行评估技术和能力建估的数量和质量 除了各个援助设, 以及加强 DFID 合作伙伴的执行部门的评估人员外,USAID 协同参与 52 IEC, NO.6, 2017
发展与援助 三 专业的评估执行团队 在评估专家团队的组建和评 估人员的能力建设方面 USAID 和 JICA 的做法值得借鉴 它们 都注重从评估中学习经验 培训 机构内部人员 并与机构外的学 者 国际组织 NGO 合作 分享评 估结果并向他们学习 USAID 评 估 是 由 执 行 部 门 的员工和外部人员进行的 根据 USAID 评估政策 执行部门需要 进行员工培训 通过机构内部课 程或外部培训来提高员工的评估 管理和方法应用能力 同时 USAID 聘请具有适当技能和经 验的外部专家领导团队 外部专 家可能来自不参与项目实施的另 一个美国政府机构 也可能通过 合同直接聘请 在评估结束的三 个月内 评估结果必须以书面形 式与负责的技术官员共享 JICA 的评估咨询委员会是 为确保 JICA 项目评估的质量和 评价结果的客观性而建立的 主 要由在国际合作与评估方面具有 专门知识的学者 国际组织 非政 府组织 大众媒体和私人组织等 外部第三方人员组成 JICA 评 估部主要负责事后评估工作 也 开发和完善评估方法 提供有关 项目评估的信息 对其他部门的 评估进行协调和监督 提高 JICA 员工的评估能力 帮助反馈评估 结果 四 规范化 结果导向型的 评估实施体系 USAID JICA 和 DFID 形 成 了一套较为完整的援外评估方法 和工具 这三个机构进行评估的 共同特点是将评估嵌入项目实施 国际经济合作 2017 年第 6 期 的每一个环节 并注重将项目目 问责和透明度有很大帮助 大量 标群体需求纳入评估设计中,以 参与者可以使用逻辑框架分享对 及评估结果的反馈 使所有利益 项目的理解 基线研究 焦点小 相关群体都能了解项目情况并从 组访谈 调查 成本效益分析等也 中获取经验 是项目评估的工具 USAID 在 评 估 项 目 实 施 方 面一直强调项目循环程序 它是 一套旨在提高发展干预有效性的 一般程序 评估要在项目循环程 序的每一个步骤都得以计划 实 施和应用 评估过程主要包括设 计 搜集和分析数据 得出结论 撰写报告 发布报告 后评估行动 等步骤 JICA 的 评 估 基 于 PDCA Plan-Do-Check-Action 周期 包 含在项目周期的各个阶段 它可 以促进项目活动和 JICA 行动的 持 续 改 进 提 高 发 展 项 目 的 成 果 PDCA 周期分为四个步骤 计划 实施 检查和行动反馈 在 这四个项目阶段中 JICA 会进行 事前评估 中期评价 终期评估 事后评估和反馈 2010 年 英国政府 最大限 度地发挥援助影响 的承诺促进 了 ICAI 的成立和 DFID 嵌入式评 估的开始 嵌入式评估使得评估 在项目早期阶段就纳入考虑范 围 给予员工足够的时间和津贴 来投资于评估工作 DFID 评估 的一般问题是相关性 影响 有效 性 效率和可持续性 评估主要 包括以下步骤 设计 方法选择 评估管理 实施 交流和使用 在评估工具方面 逻辑框架 法是这三个援助机构常用的评估 工具 它使发展项目的目标 假设 与分析成为一个系统 强调关键 因素之间的因果 对提高项目的 五 作为利益相关者沟通工 具的评估体系 从上文的阐述中可以看出 在主要发达国家 无论是评估的 目标 机构 人员的安排 还是评 估实施的方法 都离不开评估涉 及的多元主体的参与和交流 评 估的问责和学习目标要求各个利 益相关方都能获取项目成果 学 习评估经验 评估机构和人员安 排则重视合作伙伴和外部专家的 参与 评估实施后要使公众能获 取评估报告 并将评估与未来的 援助行动联系起来 加强评估机 构内部人员的学习 因此 评估 一直扮演着沟通利益相关者的角 色 既可以保证体系内部的一致 性 也可以促进援助体系和外部 主体的联系 1. 内部沟通 评估的内部沟通作用首先针 对的是机构内部员工 援助机构 的员工可以从评估的操作结果中 学 习 提 高 自 身 能 力 例 如 USAID 重视内机构内部的评估 实践 每个部门和独立办公室至 少有一个正式指定的评估联络 点 提供支助和技术援助 这些 联络点每个月开一次会 分享重 要的知识更新 传播有用的工具 分享挑战和解决方案 JICA 评 估部会通过向工作人员提供评价 方法开发和改进方面的信息以及 评估报告 特别是那些宏观援助 计划层面的 要求更强调客观性 53
Development and Aid 的事后评价报告来强化其工作人员的能力, 促进援助评价结果的反馈和公布 DFID 会对其评估部门的人员进行技术指导, 以保证他们能够从评估结果中系统地学习, 支持项目人员将评估嵌入项目操作 同时, 对评估人员的技术和能力建设能够提高 DFID 评估标准, 促进评估人员对评估证据的理解和利用, 从而提供高质量的评估和监管 内部沟通的另外一个重要群体是其他国际组织 发达国家的援助机构都十分重视与其他国际组织及同行的合作, 进而提高双方的援助质量和援助能力 在后评估阶段, 合作双方能够交流信息 相互学习, 激发对援助标准和手段的新思考, 不断更新援助项目评估的方法, 探究如何最好地识别和适应复杂的评估项目 同时, 也可以完善援助政策, 提高援助评估的质量标准和独立性, 并鼓励更多的同行和评估者参与设计和执行评估 例如, 近年来 JI- CA 与世界银行 韩国国际合作署 经济合作与发展组织都有交流 JICA 非常重视与援助机构的评估部门交流信息, 双方都能获取有用的信息并高效运用, 从而支持项目评估工作 改进评估方法 DFID 也与其他组织合作, 进行评估工作并相互学习 其合作的国际机构主要包括多边机构 全球和地方基金会以及国际公民社会组织等 2. 外部沟通本国的媒体 公众是援助机构外部沟通的主要群体, 援外机构与媒体 公众的沟通主要表现 在问责方面 例如,USAID 会及时发布报告, 把评估项目的效率 效果 相关性, 向包括美国公众 媒体等利益相关者公布评估的发现, 并用这些发现来指导资源分配 USAID 还通过社交媒体的建设, 促进公众的参与 DFID 评估为英国国会 公众 资金提供者 援助接受国的合作伙伴提供了直接的问责渠道 DFID 所有评估和研究的结果都要进行公开和交流, 具体方法 评估主体 信息的传达必须完全 客观地反映评估发现 条件允许的情况下, 评估的原始数据也要向公众公开 捐助者往往对机构决策的制定和评估信息的透明度有较高的要求 因此, 援助机构会及时与捐助者分享评估报告 同时, 捐助者也是评估工作的参与者 例如,DFID 进行的一个帮助最不发达国家在全球贸易体系中扮演更积极角色的多方援助计划中, 有 23 方捐助者进行了评估 目的是考察项目的相关性 有效性 效率 可持续性和基金的潜在影响 一些援外机构的项目评估工作是由外部专家和第三方援助评价委员会进行的 外部委员会可以为援助机构的项目评价方针 评估内容和技术, 以及整个评价制度提供建议, 确保援助项目评价的质量和评价结果的客观性, 以及评估的透明公正 例如,JI- CA 的对外援助的评估工作就委托给外部专家进行, 这些独立的学者 国际组织 非政府组织组成独立委员会, 对 JICA 的项目评估政策 评估体系和机构提供建 议 DFID 评估需由那些与发展干预不相干的评估者进行 这种独立性并不意味着孤立, 评估者与发展干预的执行者在研究过程中会有所互动 本国政府机构 受援国政府也是援助机构沟通的重要群体, 援外机构与政府间的沟通主要是学习与经验交流方面的 例如, USAID 与其他政府机构 其他援助国 承建商 受援国建立了广泛的合作伙伴关系, 在实施援助过程中彼此交流援助的结果经验, 促进知识在机构之间的分享 通过这种知识管理 联合学习, 增强了援助的有效性 同时, 受援国政府也能够获取评估报告, 用以指导资源分配 DFID 通过国际公认的世界银行 / 卡尔顿大学国际发展评估培训课程 (IPDET), 在伙伴国家建立评估人员的供应 过去十年来, 来自 125 个国家的 3000 多名学员从 IPDET 完成了一到四周的学习, 这些学员返回各自的国家, 在公共行政和民间社会组织中发挥重要作用 项目受益人 私人部门 地方社会行动者是发展干预活动的目标群体, 援外机构项目评估与当地群体的目标一致 例如,DFID 评估就是根据英国公民 援助项目最终的使用者 政府中介机构 私人部门 地方社会行动者以及与 DFID 工作直接相关的双边和多边组织等主体的需求而设定, 评估活动实施过程中也应该注重这些群体的参与, 评估所需的原始数据一大部分是从这些群体中得到的 综上所述, 西方主要发达国 54 IEC, NO.6, 2017
家的援助评估的目的主要体现在两个方面, 即问责和学习 援助机构设有专门的评估部门, 并对评估人员进行相应的能力建设, 一些援助机构还专门聘请外部专家进行第三方评估 这些机构将评估嵌入项目实施过程中, 在项目周期的每一个阶段都要进行, 并运用多种手段进行评估 总体而言, 评估作为一种沟通工具, 对内可以联系机构内部人员和其他同行的国际组织, 提高援助的质量 ; 对外可以促进援助机构与政府机关 私人部门 捐助者 公众和媒体的交流 这种沟通提高了对外援助评估的透明度 在当前中国不断加强南南合作评估专业性的背景下, 上述经验都值得中国借鉴参考 与此同时, 我们也要注意到, 西方发达国家的评估体系也存在一些弊端, 并一直备受批判, 其中最为突出的一点是, 援助机构和捐助者通常不在当地一级参与, 这就可能导致他们与当地的知识和现实脱节 援助机构通常与受援国的中央政府沟通, 视中央政府为重要的利益相关者, 同时鼓励国际评估公司和个人与评估伙伴国家当地的公司和个人一同工作, 这样就把对当地的项目受益人的评估外包给了评估公司 评估专家或该国政府 另外, 根据 ICAI 评估报告,DFID 非常强调以中央机构为导向, 而远离其他重要的伙伴, 如部委和地方政府, 对项目的实地实施情况也没有充分了解 英国对卢旺达等三个东非国家投资了价值十多亿英镑的教育支持项目, 帮助它们扩大教育系统 提高 入学率 缩小学校的性别差距 但是,DFID 对孩子是否真正学到 知识缺乏关注, 未能提高孩子们 基本的识字和数学技能 2005-2015 年,DFID 在这三个国家的 教育资金达 10 亿英镑 这些资 金主要是通过 预算支持, 直接 交付受援国政府 尽管这种做法 能帮助 DFID 重点推进政策改 革,ICAI 认为 DFID 应该考虑一 种更 亲力亲为的方式 ( 作者单位 : 中国农业大学人 文与发展学院 本文是国家社会 科学基金项目 多元主体共同参 与中国对非援助机制研究 的阶 段性成果, 项目编号 : 16BGJ021 ) 石卫国 : 农业项目的监测评估理 论与方法研究, 合肥工业大学,2004 年 USAID, Strengthening evidence- Based Development: Five Years of Better Evaluation Practice at USAID[R], 2016. USAID, USAID Evaluation Policy [Z], 2016(10) 王新影 : 美国对外援助评估机制及 启示研究, 亚非纵横,2014 年第 6 期 USAID, Conducting Mixed- Method Evaluations[Z], 2013,(06). 何长见 : 中国农业项目监测评估 体系研究, 西南财经大学,2001 年 曹俊金 薛新宇 : 对外援助监督评 价制度 : 借鉴与完善, 国际经济合 作,2015 年第 4 期 王发龙 : 浅析日本国际合作机构 对外教育援助评估制度, 湖州师范学 院学报,2011 年第 5 期 DFID, Independent Evaluation in DFID Annual Report[R], 2008(11). DFID, Annual Evaluation Report [R], 2013,(07). DFID, International Development Evaluation Policy [R], 2013,(05). DFID, Monitoring and evaluation framework: Breaking the cycle: saving lives and protecting the future[r], 2011. DFID, Rapid Review of Embedding Evaluation in UK Department for International Development[R], 2014, (02). Futoshi Yamauchi, Impact Evaluation Report on Third Elementary Education Project in the Philippines[R], 2011 (12). DFID, DFID Pakistan Evaluation Strategy[R], 2011(07). USAID, Congressional Budget Justification[R], 2016(09). Holvoet N, Rombouts H. The Challenge of Monitoring and Evaluation under the New Aid Modalities: Experiences from Rwanda[J]. The Journal of Modern African Studies, 2008, 46(4): 577-602. JICA, JICA Annual Evaluation Report 2014[R], 2015,(02). 高翔 : 中国应对气候变化南南合作进展与展望, 上海交通大学学报( 哲学社会科学版 ),2016 年第 1 期 焦思宇 : 中国扶贫基金会对非援助研究, 外交学院,2014 年 王玉萍 :DAC 对外援助评估体系及对我国的启示, 山西大学学报 ( 哲学社会科学版 ),2016 年第 6 期 贾焰 徐继峰 秦路 杨易 : 有关境外农业援助项目的监测评价分析与建议, 世界农业,2015 年第 9 期 国际经济合作 2017 年第 6 期 55