第1页:第十一章 非营利组织评估
第十一章 非营利组织评估
第2页:第十一章 学习目标
学习目标
- 掌握非营利组织评估的概念及基本理论;
- 熟悉非营利组织评估的主要方法;
- 掌握非营利组织评估指标体系设计原则及内容;
- 掌握非营利组织评估信息收集的方法。
第3页:一、非营利组织评估的概念
第一节 非营利组织评估的理论与方法
一、非营利组织评估的概念
1. 非营利组织评估的涵义:一般来说,评估(Evaluation)就是对评估客体的行为进行判断和评价,或对战略执行的效果进行考察和分析。不过,理论界对非营利组织评估还没有形成统一的认识,目前的认识差异主要有三种:
- 1)评估是评价组织绩效的系统;
- 2)评估是评价雇员绩效的系统;
- 3)评估是评价组织和雇员绩效的综合评价系统。
第4页:2. 非营利组织评估的必要性
本书认为,非营利组织评估是一个综合概念,是对非营利组织整体绩效的评价,既包括对员工的绩效评估,也包括对非营利组织的组织绩效评估。
2. 非营利组织评估的必要性:一般而言,非营利组织评估体系的建立应该达到三重目的:
- 第一,通过评估达到控制、监督或约束的目的;
- 第二,通过评估达到组织自我提高、自我改善的目的;
- 第三,通过评估达到与不同利益群体沟通的目的。
第5页:二、理论基础:委托—代理理论
二、非营利组织评估的理论基础
1. 委托—代理理论:委托—代理关系是一个人或一些人(委托人)委托其他人(代理人)根据委托人利益从事某些活动并相应地授予代理人某些决策权的契约关系。在这一契约关系中,委托人和代理人之间目标不一致、信息分布不对称。委托人总是希望通过各种方式来监督和激励代理人,使之尽其所能为委托人谋取最大利益。
委托—代理问题同样存在于非营利组织之中。在资源所有权与使用权相分离的情况下,委托方和代理方之间肯定存在信息不对称及目标不一致的问题,导致非营利组织的委托代理关系链条中同样存在绩效低下、代理人积极性不高、契约失灵、机会主义行为、寻租和腐败等现象。非营利组织中不存在企业中普遍存在的剩余索取权,但因此假设完全依靠志愿精神就可以实现高绩效显然是不现实的,所以在非营利组织中同样需要激励和约束,同样需要绩效评估。
第6页:2. 激励理论
2. 激励理论:激励理论认为,激励有三个关键要素:个人的努力、组织的目标和个人的需要。激励可视为需要获得满足的一个过程。当需要未被满足时就会产生紧张感,进而激发人的驱动力,这种驱动力将导致寻求特定目标的行为,最终目标实现了,需要就会得到满足。
激励理论可以从动态上解释非营利组织需要绩效评估的动因,该理论所要求的评估主体有两个层面:
- 1. 作为委托人的政府、捐赠者或受托第三方进行绩效评估,目的是激励非营利组织努力工作、提供更多的优质服务,评估内容主要是组织的服务或效果是否达到预期;
- 2. 非营利组织内部上级对下级的绩效评估,目的是提高组织的运作效率和服务效果,评估内容主要是服务的数量、质量、服务的效率和效果等。
第7页:3-4. 资源依赖理论与系统理论
- 3. 资源依赖理论
- 资源依赖理论强调组织与环境之间的相互依赖和相互交换。该理论认为,获得并保持资源的能力是组织生存和发展所不可缺少的基础条件,但现实中没有任何一个组织的资源是自给自足的,所有组织为了生存和发展都必须与其所处的环境进行交换。
- 4. 系统理论
- 系统理论强调进行绩效评估应将被评估对象和评估自身视为一个系统,运用系统的观念全面审视和把握各个影响绩效的因素。非营利组织绩效评估系统是一个开放的系统,评估过程和评估结果既受组织内部因素的影响,也受组织外部因素的影响,在设置评估内容、评估指标和评估标准时应综合考虑组织内外因素的影响。
第8页:三、评估方法:成本分析法
三、非营利组织评估的主要方法
- 1. 成本分析法
- 成本分析法就是指系统性地对服务和政策的成本、成果做出鉴别、量度和比较,进而提高服务质量和资源配置效率的一种分析方法。根据 Allen 及 Beecham(1993),计算成本的模式使用了累积扩展方法(Building Block Approach),主要内容分为四个阶段:第一阶段,描述服务的元素;第二阶段,指出服务活动和可量度单位;第三阶段,估计服务元素物成本含义;第四阶段,计算服务单位成本。
第9页:2. 方案影响评估
2. 方案影响评估:评估方案的成果,一般比较重视参与方案者在接受方案服务期间及方案结束之后对其个人所产生的影响,对此类的评估工作称之为方案影响评估。影响评估主要是对已完成方案进行价值的判断,广义的方案影响评估包括:
- 1)判定方案结果达至何种程度;
- 2)判定方案是否如预期般被执行,以及执行如何影响到最后的结果;
- 3)提供资助者、资深管理人以及政府机构首长关注方案资源配置已达成的程度;
- 4)提供决策相关的信息,以利未来方案复制或延伸的参考。
为了使方案成效得到验证,影响评估主要有两个焦点,一个重在成果的评估,另一个则是方案执行过程的评估。
第10页:3-4. 逻辑模型与平衡计分卡
- 3. 项目工作逻辑模型
- 通过模型的内在逻辑对项目工作的最终结果进行评估,即通过阐述项目工作设计背后的逻辑方法,找出各部分之间相互作用的过程、所提供的产品或服务以及产生最终的结果。一旦阐明了项目工作的内在逻辑,就能系统地确定相关的评估指标。常用的绩效评估指标有:资源指标、工作量指标、产出指标、生产力指标、效率指标、服务质量指标、效果指标、成本—效益指标、客户满意度指标、综合性指标等。
- 4. 平衡计分卡
- 罗伯特·卡普兰(Robert Kaplan)和大卫·诺顿(David Norton)在 1992 年开发的平衡计分卡,强调战略目标和绩效考评之间的联系,先在商业机构内试行,目前实施范畴已由私人商业机构发展到公共部门及非营利组织机构中。平衡计分卡包括客户、内部管理、创新和学习以及财务四个维度,组织在这些领域确定目标,然后确定衡量指标来跟踪绩效是否达到目标。
第11页:
本页源文件未提取到文字内容,仅有图片,疑似平衡计分卡四维度示意图。建议对照原课件图片补充本页要点说明。
第12页:5. 利益相关理论
5. 利益相关理论:利益相关者理论是 20 世纪 60 年代左右,在美国、英国等长期奉行外部控制型公司治理模式的国家中逐步发展起来的。Freeman(1984)在《战略管理—利益相关者方式》一书中认为:利益相关者是能够影响一个组织目标的实现,或者受到一个组织实现其目标过程影响的所有个体和群体。
第13页:
本页源文件未提取到文字内容,仅有图片,疑似利益相关者关系示意图。建议对照原课件图片补充本页要点说明。
第14页:6. 星形产出法
6. 星形产出法(The Outcomes Star):星形产出法主要用于评估个人行为,通常包括十项梯形指标(见图 11.5、11.6),每一项指标可以根据完成的情况赋予一定的分值,通过评定这些指标就可以全面了解评估项目结果的好坏。此外,星形产出法还可以帮助服务使用者和提供者改善他们的行为或生活方式。
第15页:星形产出法十项梯形指标
图 11.5 星形产出法十项梯形评估指标,从低到高依次为:
- 1 我一点毛病也没有(虽然我经常感觉很糟糕)
- 2 我不喜欢这种状态,但是没人能改变
- 3 想改变—想解决这个问题使自己感觉好些
- 4 配合治疗,有时觉得治疗好
- 5 想清楚自己为什么这样,尽量想使自己做好事情
- 6 知道自己的选择,并且努力使自己感觉好些
- 7 心情平静,知道如何帮助自己
- 8 觉得高兴,生活得不错,只是有时需要点帮助
- 9 享受生活,大部分时间觉得挺好,偶尔需要点小帮助
- 10 没有情绪或精神上的问题,能很好处理外界提供的帮助
资料来源:Hudson, M, Managing Without Profit, London: Directory of Social Change, 2009 (Third edition) 第 195 页。
第16页:一、非营利组织评估的原则
第二节 非营利组织评估系统设计
一、非营利组织评估的原则:非营利组织评估最重要的原则就是客观、公正性和评估的科学性。具体来说,包括以下几个方面:
- 第一,目的性原则;
- 第二,明确、公开的原则;
- 第三,科学性原则;
- 第四,客观公正原则;
- 第五,整体性原则。
第17页:二、非营利组织评估的特点
二、非营利组织评估的特点:由于非营利组织独特的性质,其目标和营利组织以及政府组织的目标大相径庭,呈现出多元化的特征。由于缺乏明确、公认的衡量指标,对非营利组织进行全面、有效的评估是比较困难的。非营利组织评估的特殊性主要表现为:
- 1. 评价指标的多元性。营利组织的绩效测定比较简单、明确而相对成熟;而非营利组织服务无形,难以界定、测量其自身是否成功实现目标。
- 2. 难以测量非营利组织的产出,缺乏产出最大化的竞争环境。捐赠是非营利组织有效运作的一个障碍,因为捐赠被用于资助无绩效的运作。
- 3. 非营利组织种类繁多,评估体系设计通常只适用于一种环境,缺乏普遍适用性。
- 4. 缺乏公共数据平台。目前对非营利组织进行评估研究的理论分析较多,实证研究很少,缺乏相关的数据支撑,也难以进行比较。
第18页:三、评估主体:美国模式
三、非营利组织评估的主体:从国外的经验看,政府对非营利组织的监督与评估都起着重要作用。基于各国的社会、经济、政治环境,通常非营利组织评估有三种模式:美国非营利组织主导的评估模式、日本政府主导的评估模式和介于两者之间的英德评估模式。
- 1. 美国模式
- 美国是典型的自由市场经济联邦制国家,政府对非营利组织的干预相对最少,非营利组织的评估基本遵循自愿、自主与自律的原则,由一些独立的非营利性评估机构进行评估,其经费主要来自于其他基金会的资助或会员的会费。优点是评估目的明确,评估机构存在竞争机制,评估公开、透明、公正性强,评估效果好。不过实施这种模式的前提是,非营利组织发达、自身拥有足够的资源支持评估机构的发展,同时媒体的监督作用强。
第19页:2-3. 日本模式与英德模式
- 2. 日本模式
- 日本的非营利组织发展是政府主导型的模式,因而评估也主要由政府的现场检查与评估为主导。优点是评估的权威性高、评估经费有保障,但评估具有垄断性,公开性差、客观公正性受影响是政府主导型的主要缺点。近年来日本也在积极探索较科学的评估模式。
- 3. 英德模式
- 相比前两种模式,英德模式具有自己的特点:评估机构由政府授权并提供资金援助,同时又是独立运作。评估委员会是评估机构的最高权力机关,委员们主要由政府、民间组织、社区和专家学者组成。其特点是评估既注重政府的权威性、有稳定的资金,又能具有非营利组织运作的自主性和客观公正性。
第20页:一、APC 评估理论:问责
第三节 非营利组织评估指标体系的内容
一、非营利组织评估指标体系的内容
1. APC 评估理论:邓国胜(2007)针对中国非营利组织的现状,构建了一套对民间组织进行评估的 APC 理论。该理论认为对非营利组织进行评估可以从三个方面进行,即问责(Accountability)、绩效(Performance)、组织能力(Capacity)。
- 1)问责(Accountability)
- (1)是否有健全的理事会;(2)组织的相关信息是否透明;(3)组织的活动是否与组织的宗旨一致;(4)资金的使用与运作情况;(5)劝募的信息是否真实。
第21页:APC:绩效与组织能力
- 2)绩效(Performance)
- (1)项目的适当性;(2)项目的效率;(3)项目的效果;(4)项目的社会影响;(5)项目的持续性;(6)受益群体的满意度。
- 3)组织能力(Capacity)
- (1)组织的有形能力;(2)组织的无形能力。
第22页:2. 三维评价模型
2. 三维评价模型:张玉周(2009)利用分析法构建了非营利组织三维综合评估模型。该模型按三个维度设计了三层级指标,一级指标 9 个,二级指标 25 个,三级指标 65 个,见图 11.7。
本页对应的三维综合评估模型图以图示呈现,源文件未提取到图内各层级指标名称,建议对照原课件图片补充。
第23页:三维综合评估模型结构
图 11-6 非营利组织绩效三维综合评估模型,三个维度及其主要指标构成为:
- 行为(过程)绩效
- 资源配置、组织项目、使命战略、领导作用、组织管理;含使命清晰、战略目标可行、领导的作用、财务、人力、信息、社会资源开发与实施等要素。
- 结果绩效
- 服务对象结果、社会结果、经济结果;含治理、财务、人力资源、信息项目、捐赠者与受益者满意、公共责任、社会影响、财务状况、未来能力等要素。
- 环境改变绩效
- 内部外部环境,并涉及综合评估模型及检验修正指标、否定指标。
资料来源:张玉周,《非营利组织绩效三维评价体系研究》,经济科学出版社,2009 年版,第 164 页。
第24页:二、非营利组织评估的程序
二、非营利组织评估的程序与方法
1. 非营利组织评估的程序:通常包括以下几个步骤:
- 第一步,根据评估指标体系与评估标准由非营利组织进行自我评估,主要由组织内部的评估委员会组织进行;
- 第二步,评估机构根据自我评估材料,派工作人员进行形式上的审核,检查材料是否齐全、举证是否充分;
- 第三步,由相关利益群体和专家组成一个综合的评估小组;
- 第四步,由综合评估小组对需评估的非营利组织进行现场检查或进行随机抽查;
- 第五步,将评估结果告知被评估机构,并有专职部门受理非营利组织的申诉;
- 第六步,公开发布评估结果。
第25页:2. 信息收集方法:访谈法与问卷法
2. 非营利组织评估信息收集的方法:非营利组织进行评估时,收集信息运用的社会调查研究方法主要有访谈法、问卷法、文献法、观察法等。
- 1)访谈法
- 对非营利组织中的相关工作人员、管理者、志愿者等进行交流与讨论,是收集评估信息最常用的方法之一。优点是可以对态度、动机、满意程度等定性问题有具体深入的了解,能够复核文献资料中的评估信息,了解组织的管理效率与组织能力等。访谈法分为个人访谈法和小组访谈法。
- 2)问卷法
- 是社会调查中常用的资料收集方法,对了解受益群体的满意度、组织绩效评估水平、人力资源管理有效性等具有重要作用。与访谈法相比,问卷法适用范围广,便于定量处理和定性分析,有很好的匿名性;缺点是回收率难以保证、问卷质量难以控制等。
第26页:3-4. 文献法与观察法
- 3)文献法
- 通过搜集各种文献资料,摘取与调查课题相关的信息。特点是成本低、信息量大,可超越时间和空间的限制,不会对调查者造成心理或行为的影响,收集的数据和资料更具有客观性。常用方法有三种:(1)检索工具查找法,即利用已有的检索工具查找文献资料;(2)参考文献查找法,即根据著作者在文章、专著末尾所开列的参考文献目录查找;(3)循环查找法,即将检索工具查找法和参考文献查找法结合起来交替使用、循环查找。
- 4)观察法
- 是一种主要依靠研究者的感官来收集资料的调查研究方法。与其它方法相比,观察法最大优点是直观性和可靠性,所谓“百闻不如一见”。主要缺陷是:对环境难以控制,受时空等条件限制;观察对象有一定局限性,有些事物或现象无法观察,如人的内心活动;通过观察法获得的资料难以进行量化分析与处理。
第27页:案例:海外研修方案影响评估
案例:中国台湾地区亚洲基金会“1998 年非营利组织专业人员海外暑期研修”的方案影响评估
第28页:一、研修背景与初始结果评量
一、海外研修计划制订的背景:亚洲基金会(The Asia Foundation,简称 TAF)自 1954 年起在中国台湾地区设立办事处以来,资助当地民间非营利组织(NPO)发展一直是其重视的工作项目之一。1997 年,在 TAF 主导下,台湾地区办事处转型成为本土基金会——台湾地区亚洲基金会(AFIT)。同年 6 月,亚协聘请资深非营利组织工作者陆宛苹女士担任非营利部门发展项目主任,开始推动非营利部门发展计划。
二、研修方案的影响评估:影响评估着重检视方案执行后的表现,了解参与方案对象在参与期间或结束后所获得的受益状况,因此影响评估的主题与知识、技术、态度、价值、行为、条件与地位等的改变有较密切关系。
- (一)方案初始结果的评量
- 主要探讨海外研修人员对于旧金山大学 INOM 设计的课程规划所进行的评量,评量内容分为课程、师资、机构参访三个部分。归纳而言,学员们对海外研修课程整体的评价颇为高度肯定,不管是课程设计、师资安排还是机构参访,多数学员均认同此次研修安排。
- (二)评估方案对学员的影响
- 根据夏洛克(Schalock,2001)以结果为基础的评估思维,着重于知识技能、价值态度和工作生涯三个方面的讨论。分析对象是 10 位参与研习方案的学员(助教不在评估范围内),在接受 USF 暑期研修课程后 5 年的影响评估。
第29页:三项评估指标的操作化概念
根据这 10 位学员受访时的自述资料、研究者的观察与判断,三项评估指针的操作化概念可罗列如下:
- (1)知识技能
- ①NPO 知识、经验的分享与扩散;②增强对于 NPO 管理知识的吸收与整体分析的能力;③继续在 NPO 领域进修更高的学历。
- (2)价值态度
- ①对 NPO 的决策治理态度的转变;②对 NPO 组织管理态度的转变;③增强对 NPO 典范效法的价值。
- (3)工作生涯
- ①回台后持续在 NPO 部门服务;②对目前自己工作所需的 NPO 管理技能确有相关与帮助;③对目前自己任职的 NPO 整体组织运作、管理、发展确有帮助。
综合学员的影响评估分析,整体来看这 10 位学员在知识技能层面受到的影响最大,次之是工作生涯的影响,最后才是价值态度。该研修课程对于约半数稍多的学员在三个方面都有所影响,而另外半数学员明显只在知识技能上受到影响。
资料来源:官有垣等《第三部门评估与责信》,北京大学出版社,2008,第 155-183 页。
第30页:
本页源文件未提取到文字内容,仅有图片,对应教材表 11-3/表 11-7(10 位学员在知识技能、价值态度与工作生涯三方面受影响程度的整理表)。建议对照原课件表格补充本页要点说明。
第31页:案例讨论题
讨论题:“台湾地区 NPO 管理人才海外研习方案”是如何运用影响评估的理论观点、研究途径进行分析的?