第三方评估机构存在的监管问题及原因分析(苏州恩派公益组织发展中心为例)

当前栏目:参考文献 更新时间:2018-04-17 责任编辑:秩名

 本文为调查恩派在公益创投中的监管情况,从第一届、第二届以及第三届公益创投中分别选取一个承接组织进行了深度访谈,先将访谈录音转成文字稿,然后分别从外部监管制度环境以及第三方评估组织自身两个维度阐述问题,并对第三方评估机构存在的问题进行原因分析。(以下斜体字部分表示截取自访谈记录,全部访谈记录请见附录)

一、存在的监管问题

(一)外部制度环境

“那要做的东西多了。这个往大了说,法律法规,国家政策,都不能少啊。往小了说,你评估指标的设立啊,你怎么评估的啊,这些都得规范起来吧。国内专门针对监管的政策好像就是15 年出台的一个什么建立第三方评估机制的指导意见吧。”(选自访谈记录2,访谈对象:苏州市欢乐鼓青少年互助中心)

首先,缺乏监管专项法律法规。关于政府购买社会服务的实施细则,例如成本规制办法、服务预算绩效管理办法已经陆续出台,但是关于具体的监督细则尚未出现。第一,目前我国已有的各项办法规定中,对于第三方评估的监督主体地位的合法性未清晰确认,削弱了评估结果的权威性。第二,第三方评估机构在实际监督过程中缺乏公开的可依据的行为规范,导致监管工作无法可依。第三,对于第三方评估机构的准入机制也尚未建立。

“也是一个项目,也有一个第三方评估,具体是哪个机构评估的我就不说了…项目中期交了中期报告,后来这个第三方和委托方闹掰了还是怎样,反正就是不续约了,我们末期评估就没有,直接结项了。那项目做的真的轻松。其实大多时候评估都很松的,没有那么上纲上线。”(选自访谈记录2,访谈对象:苏州市欢乐鼓青少年互助中心)

其次,缺乏问责机制。首先第三方评估机构缺乏行为规范,在实践中存在权责不明等问题,问责机制的缺乏使得第三方评估机构不能够真正的对评估结果负责,制约了评估质量。

“你自己想啊,第三方也是受委托的啊,政府给钱的。它评估一次,评估结果不过关,要求机构改正,改正完了它还得再来一次,它也不乐意啊。”(选自访谈记录2,访谈对象:苏州市欢乐鼓青少年互助中心)

再次,缺乏激励机制。除了作为资金拨付的依据外,第三方评估机构的评估结果运用有限。

(二)第三方评估自身评估监管方面

第三方评估机构作为监管主体,首先要考虑就是其团队建设。其次,在团队建设的基础上,监管功能的实现还需借助于科学的监管方式,最后落实于监督的实际操作过程。

1、监管团队建设不完善

(1)监管人员稳定性差

“他们恩派换了好几拨人了,流动性太大了。”(选自访谈记录1,访谈对象:苏州市优孕智护服务中心)

“在同一届公益创投里面人员都大量流动。今天是一拨人评估的,明天就换人了”(选自访谈记录3,访谈对象:乐助慈善会)

在访谈过程中我们发现,不止一个访谈对象表示,监管小组的人员流动频繁。另外,同事之间的交接工作不流畅,监管过程的连续性就无法保障。

(2)监管人员专业性不足

“换上了新人,这样对我们做项目轻松啊,他们不懂嘛我就是专家了。”(选自访谈记录1,访谈对象:苏州市优孕智护服务中心)

“他们真的对项目一点都不了解,只是看你这个东西有,”(选自访谈记录

1,访谈对象:苏州市优孕智护服务中心)

“我作为项目负责人,就要接受恩派的监督吧。我拿着我的项目资料去接受他们审核了,发现监督我的人,还是我一个本科的学妹。她是一个大四的,还没有毕业的实习生。而我是一个硕士毕业,已经工作3年了。我想请问到底谁监督

谁……”(选自访谈记录3,访谈对象:乐助慈善会)

正如前文所述,社会工作专业人才流失严重,它的专业程度往往低于承接服务的社会组织。另一方面,服务项目在招募承接组织时,必然考虑承接机构的擅长领域以及组织的定位,但是第三方评估机构的组织的服务范围尚未细分,评估时可能存在着“外行领导内行”的问题。对于承接组织来说,由一个专业性不足自己的团队评估所得到的结果往往缺乏说服力。

想要对于承接组织及其服务质量得出合理、公平的评估结果,第三方评估机构必须有足够的专业性。拥有专业化的人才是第三方评估机构制定科学的评估指标、

保障评估质量的前提,进而第三方评估机构才能深入到承接组织的运行过程,洞察项目活动的技术环节、整体思路来搜集与整理承接组织服务信息,在判断评估投入、产出结果等方面有足够的科学性、权威性、公正性。

2、监管方式不科学

(1)“唯资料论”

“那个资料也全的,他要什么给他什么,这就是做的好的。”(选自访谈记录

1,访谈对象:苏州市优孕智护服务中心)

“那还挺多的,各种活动材料啊,本月的活动执行情况啊,下个月的活动计划啊,流水账啊这些都是要准备的,还有中期报告和末期报告等等。”(选自访谈记录2,访谈对象:苏州市欢乐鼓青少年互助中心)

“是,要交的材料是挺多的。他们挺看重这些硬性指标的。”(选自访谈记录

2,访谈对象:苏州市欢乐鼓青少年互助中心)

目前正如前文,第三方评估机构对于资料有着明确的规定。在实际评估过程第三方评估机构的监管主要以硬性指标为依据,要求提供规定的台账、财务账单等。这种“唯资料论”往往使承接机构为了满足评估要求标而难以集中精力于项目的实际效果。

(2)评估指标不完善

“所以我当时就和恩派的李(某某)就说,因为我这次服务的人群是聋哑人群,我本身和人家交流就是有障碍的,我和人家只能通过手语老师交流,或者说聋人他们这个群体的特性本身就是比较排外的,对吧,他们是一个比较封闭的群体。那么就是仅仅通过做项目的这几次接触,他不可能完全信任我的。所以,我自己都觉得,我给他们做的这些满意度啊自我效能评估什么都是有水分的,我自己都是这么觉得的。但是这并不代表我们没有认真做这个项目,所以我就在想,如果仅仅依靠这个数据,如果我是监管方的话,我个人觉得我是会有质疑的,我自己都在质疑我自己了。”(选自访谈记录1,访谈对象:苏州市优孕智护服务中心)

“通过什么自我效能量表,我自己都觉得,如果我是服务对象,人家也知道我们是在给他做项目啊,什么是好的什么不好人家自己自己心里也都有数的嘛。那我就觉得通过量表去衡量,只能去反应普遍一个问题,但是不能精准的具体到某一个个案。”(选自访谈记录1,访谈对象:苏州市优孕智护服务中心)

第三方评估机构评审指标目前分为服务类项目(适用于其他类项目)指标和支持型项目指标两大类。但是尚未形成针对各个服务领域(例如为老、助残等)具有细化的评估指标。针对不同的领域的服务,应分类设立不同的评估指标体系,提高评估的科学性与专业性。另外,目前所存在的评估工具也存在一定的局限,例如苏州优孕智护面对残疾人妈妈时,单纯的评估量表并不能完全真实的反应服务对象的改变程度。

(3)忽视实地考察

“因为我这次服务对象是聋人家庭,之前我每次服务的时候,都会在结束后给他们进行一个简单的小访谈,他们有什么感悟也会写给我,这种都是很直观的。所以这不是为了项目的,为了通过评审啊什么,这就是单纯为了服务质量考虑,对于我们工作的一个反馈。第二个就是,有些聋人加了我的微信,她们生完孩子之后和宝宝怎么互动的,这也算我们服务带来的服务对象的改变,对吧。但是这些,非要通过一些量表数据去衡量,真的挺困难的。”(选自访谈记录1,访谈对象:苏州市优孕智护服务中心)

另外,在访谈过程中还有不少访谈对象表示:尽管有一套评估方法来对承接组织及其服务进行监督,但是其人员、时间等有限,评估环节被弱化。实地考察虽然被列入到评估规范中,在实际操作中很少进行。

3、监管执行过程不合理

(1)评估力度“前重后轻”

在项目申请阶段,第三方评估机构在“尽职调查”阶段,筛选近乎一半的的申报组织,筛选力度较大。而在项目周期内,虽然对于承接组织的评估则有着详细的规范,但是只要承接机构按时提交规定的材料,审核结果就不会有问题。

(2)评估内容存在局限

“但是看这个资料有没有,那个资料有没有,我觉得没有意义。我觉得一个项目的意义在于,看服务对象群体受不受益,看他利益相关方受不受益,但是现在这些都不关注。”(选自访谈记录1,访谈对象:苏州市优孕智护服务中心)

“政府购买社会服务是为了什么,为了提供服务,归根接地还是为了人们,解决问题对不对,最最最重要的了。那么问题来了,那服务之后问题解决了吗?”

(选自访谈记录2,访谈对象:苏州市欢乐鼓青少年互助中心)

“这个就不一定的了,有的松有的紧。松的时候,他们就问一问我们机构有没有银行账号,方便打款。一般是的,只要有就行了,然后方便打款给我们。”(选自访谈记录2,访谈对象:苏州市欢乐鼓青少年互助中心)

正如前文所说,第三方评估机构现有的评估指标缺乏各服务领域的针对性,对承接组织的评估过于重视量化指标,重视“投入——产出”比以及“目标达成

度”。它以服务数量来断定服务效果,而忽略了对服务效果的直接评估——对服务对象的评估。服务对象是服务的接受者,是对于服务效果有着直接体会的监督者。

(3)评估信息不公开

“因为它只有一个评估结果出来,别的机构到底是不是按照要求来的,我们也不知道。第三方是不是按评估要求来的,我们还是不知道。其他资料它是不公开的。”(选自访谈记录2,访谈对象:苏州市欢乐鼓青少年互助中心)

虽然有公开的评估指标,但是在各承接机构的项目进展等信息不公开不透明,评估结果缺乏可信度。

(4)评估结果作用有限

“这个项目肯定是有意义的。但是这个群体它一直都在的啊,比方说我这个聋人群体,我这个项目对我服务对象来说肯定是有意义的啊,你整个聋人群体呢。但是这个项目结束了之后呢,你总不能没有下文了啊。之前政府有说做的好的项目可以推广、可以政府采购、可以长期合作,我们优孕课堂做了四年了,逼得我们每年都在写新的项目。这样真的不好。好的东西为什么不能好好的扶持,至少解决一个群体的问题呢,也是好的,我是这样想的。”(选自访谈记录1,访谈对象:苏州市优孕智护服务中心)

对于评估结果的运用有限。目前对于评估结果仅作为市民政局与第三方签订的项目合同尾款拨付的参考依据。监管结果的意义不仅在于作为资金拨付的依据,它更在一定程度上意味着此种服务模式的有效性,应进一步思考是否存在推广的可能性,扶持优质项目。

 

二、原因分析

结合上文所归纳的第三方评估机构所存在的问题,本文接下来要分析导致第三评估机构监管职能执行不彻底的原因,并以此为契机,推动我国第三方评估机构发展,健全我国政府购买社会服务的监管机制。

1、第三方评估机构处境尴尬

“但是我们都知道啊,第三方评估机构它自身也是社会组织啊,它培育社会组织啊,就是他们小伙伴啊,那他们关系多密切啊。”(选自访谈记录2,访谈对象:苏州市欢乐鼓青少年互助中心)

首先第三方评估机构自身也是一家社会组织。从此次在苏州的调研结果看,苏州大部分第三方评估机构不仅仅承担监管责任,还承担着孵化社会组织的责任,同部分社会组织保持着密切关系,加上缺乏激励机制,使得第三方评估机构在实际评估监管中存在着进退两难的困境。

2、第三方评估机构缺乏良性竞争

从公益创投第 1 届到第 4 届,第三方评估机构一直是恩派,无其他机构与其竞争。在这四年中,恩派也无法与其他机构相互借鉴、学习,仅能凭借自身摸索来提供监管。正如前述,一方面第三方机构数量少,团队建设困难,另一方面现有的第三方评估机构专业程度良莠不齐。苏州只有恩派、乐仁乐助、盛蔓、东吴公益坊等第三方评估机构,尚未形成良性竞争,各个第三方评估机构也尚未成长,政府只能从极其有限的第三方评估机构中挑选出一个委托其进行评估。

3、第三方评估机构缺乏独立性

“其实我很多业务也是恩派分的,还有机构推荐我们做的。比方说,他们缺志愿者了,我们就得去”(选自访谈记录2,访谈对象:苏州市欢乐鼓青少年互助中心)

第三方之所以称为第三方,是因为它独立于第一方政府及第二方承接组织,独立性是它得以存在与发展的主要属性。但是作为第三方而言,它需要接受第三方机构的评估,那个这个地位就无法实现完全平等。