此文是我為臺灣社會價值與社會影響力論壇所準備的發(fā)言稿享钞。論壇明日才舉行揍诽,提前發(fā)布,大家先睹為快栗竖。
評估是我的主業(yè)暑脆。近些年,評估需求很旺狐肢,我所在的機構(gòu)沒斷過活添吗。但大約在2014年中旬,我開始有所猶豫份名,主動拓展新客戶的動力大不如前碟联。有些朋友以為妓美,我對評估興趣下降了,但真實情況正好相反鲤孵,我不但沒有退縮壶栋,反而是在力求精進。我試圖突破一些東西普监,希望更加聚焦也更加有選擇性地看待和實踐評估贵试。我感覺自己正在形成自己的見解,雖然它現(xiàn)在還有些模糊凯正,但說不定它能顛覆常規(guī)的評估框架毙玻,蔚蔚然成一種全新的風氣呢?
一廊散、過往工作的得失
回顧過往的工作淆珊,我問自己,“除了養(yǎng)活我個人以及團隊之外奸汇,我們給客戶以及中國公益帶來了什么變化施符?”,“為了實現(xiàn)這些變化擂找,有沒有更加有效也更加經(jīng)濟的方法戳吝?”。這是評估的元問題贯涎。當我們給別人做評估的時候听哭,就是在評測項目帶來的變化。而作為職業(yè)評估從業(yè)者塘雳,我們也必須問問自己陆盘。
變化是有的!我比較有信心的败明,至少有兩項隘马。
其一,每次評估妻顶,我們都會和客戶一起梳理機構(gòu)/項目的變化理論:他們期望實現(xiàn)什么變化酸员,變化如何發(fā)生,評價指標是什么讳嘱,如此等等幔嗦。這通常都是客戶第一次認真地審視自己的變化理論。每次評估沥潭,我們都能為客戶留下一個更合邏輯的框架邀泉,幫助他們更好地描述和表達自己的機構(gòu)/項目。
其二,評估通常也是客戶為數(shù)不多的系統(tǒng)地收集利益相關方的反饋和建議的時候汇恤,如果情境合適庞钢,我們邀請客戶參與一些訪談和焦點小組,利益相關方溝通的震撼就更為明顯屁置。雖然焊夸,每家機構(gòu)理應與服務對象及其他利益相關方保持密切互動仁连,但現(xiàn)實從來都不按照“理應”的方式運轉(zhuǎn)蓝角。
當我把成效歸結(jié)為上述兩點時,意味著我認為饭冬,在我們過往的實踐中使鹅,評估過程比評估報告的價值還要大些。我們的評估報告很少有公共知識生產(chǎn)的價值——這是我對過去評估工作的最大不滿昌抠。
當然患朱,細細說起來,不足之處還有很多:
首先炊苫,我們很少做出清晰鮮明的判斷:項目有效或者無效裁厅?哪種干預更有效?我們的評估報告大多是這樣寫的:項目在某些指標方面有正向變化侨艾,在另一些方面則沒有變化或者有所惡化执虹。我們很少試圖去提出某個旗幟鮮明的主張。這與REAP所做的RCT試驗評估唠梨,對比鮮明袋励。營養(yǎng)餐對改善貧血無影響,家長培訓對改善貧血無影響当叭,維生素是改善貧血狀況的最佳方法茬故。有清晰判斷的評估不僅可能影響政府政策,對實踐者也有行動指導意義蚁鳖。每當有重大項目希望驗證項目效果時磺芭,他們都會去找REAP或者其它質(zhì)量過硬的采用的RCT評估方法的機構(gòu)。我們在評估科學性方面落于下風醉箕。
其次徘跪,我們所重視的評估的過程價值持續(xù)性較差。在我們離開后琅攘,客戶并未使用變化理論作為戰(zhàn)略或項目設計方法垮庐,他們在做邏輯梳理的時候,是為了配合評估的需要坞琴,當時并不是真有梳理邏輯的需求哨查。客戶也并未建立與利益相關方溝通和信息收集的習慣剧辐,我們沒給客戶留下一個可以持續(xù)運轉(zhuǎn)的能力和機制寒亥∮矢客戶為評估報告而來,而我們卻把價值重點放在評估過程上溉奕;或者反過來說褂傀,我們認為價值重點在利益相關方溝通以及變化理論的梳理上,但卻花了不少時間在評估報告上加勤,模糊了工作焦點仙辟。
最后,最糟糕的鳄梅,絕大多數(shù)公益機構(gòu)買不起評估服務叠国,不僅是RCT的服務,也包括我們及其它第三方的服務戴尸。我們真正相信粟焊,評估是公益必不可少的一部分,評估能大大改善公益績效孙蒙,評估應該為每一家機構(gòu)所使用项棠。但我們卻沒有真正努力過,讓評估更便宜挎峦,更易操作香追,讓評估融入日常工作, 成為一種更具應用性的常規(guī)行為浑测。
而這顯然應該是我們在評估領域區(qū)別于RCT的價值翅阵。 把科學評估留給學術機構(gòu)吧,我們要在應用性方面達到極致迁央。
二掷匠、追求極致應用性
評估不是為了評估,而是“以評促進”岖圈。這是常用語讹语,掛在口頭上的人多,但真正理解和應用的人很少蜂科。
讓我們來解析一下顽决。評估是為了提高機構(gòu)/項目的成效。成效是什么呢导匣?服務對象的變化才菠。所謂改進,即要促成服務對象更正向的變化贡定,因此評估必須能夠:
幫助機構(gòu)/項目更好地了解服務對象赋访,包括他們面臨的問題以及他們所具備的優(yōu)勢;
快速收集反饋,以改進項目設計或?qū)嵤┻^程蚓耽;
呈現(xiàn)變化渠牲,以便驗證項目效果。
雖不必像RCT那般科學步悠,應用中的評估也需要滿足改進(improve)和驗證(prove)兩個功能签杈。
了解服務對象、收集反饋鼎兽、驗證效果答姥,這些都是項目人員在工作過程中自然進行的操作,是項目工作的一部分接奈。我們不能等到第三方來了才去了解服務對象踢涌,才去收集反饋通孽,那個時候早已為時晚矣序宦。如果這些工作都是評估工作的話,那么評估就理應是項目工作的應有之義背苦,而不是額外的需要支付高額費用的事互捌。
讓我們設想一下醫(yī)生的工作。醫(yī)生量體溫行剂、驗血秕噪、拍胸片、做CT等等厚宰,這些都是評估腌巾,目的是為了診斷病人的真問題。好醫(yī)生絕不會根據(jù)病人的說辭就開藥方铲觉。如果病人住院澈蝙,醫(yī)生和護士每天都會做檢查,了解藥效撵幽,調(diào)整藥方灯荧、藥量。如果病治好了盐杂,醫(yī)生也一定有所了解逗载,不必等到其他人再來做驗證。
讓我們設想一下老師的工作链烈。一名好的老師厉斟,絕不會將書本的內(nèi)容不分對象的灌輸給學生,他們把更多的精力放在觀察和了解學生身上强衡,然后依據(jù)學生的狀況擦秽,針對性的授課,激發(fā)學生自主探索知識。另外号涯,每個班級里目胡,總有些特殊的需要照顧的孩子,除了“教書”之外链快,好的老師還需要發(fā)現(xiàn)他們誉己,并開展不少“育人”方面的工作。
醫(yī)生和老師域蜗,都是以“改善和發(fā)展”為目標的工作巨双。評估占據(jù)了他們工作中相當大一部分時間,而單純的“活動”(開藥方或者講課)只是他們工作的一部分霉祸,甚至是很小的一部分筑累。而同樣以“改善和發(fā)展”為目標的公益項目,情景應該差不多丝蹭。
我所想像的區(qū)別于RCT的評估慢宗,能在實際工作中被經(jīng)常、反復奔穿、不間斷應用的評估镜沽,大抵也是如此。
三贱田、一次嘗試
2014年缅茉,我們就開始與橋畔計劃團隊定期聚會,討論橋畔計劃的評估男摧。在聚會中蔬墩,關于應用性評估的想法逐漸形成。在一次會議當中耗拓,我們提到評估應該同時具備以下功能:
* 加深對需求和問題的理解拇颅;
* 呈現(xiàn)項目的成果狀態(tài)。
基于這個理念帆离,我們于2015年正式開始了一項合作蔬蕊,為橋畔計劃開發(fā)一個在工作中可以持續(xù)應用的評估工具。
橋畔計劃是一項針對初創(chuàng)教育公益組織發(fā)展的資助計劃哥谷,它每年在全國范圍內(nèi)甄選合適的教育公益機構(gòu)岸夯,給予最高6萬元的非限定資金支持,并針對合作伙伴的具體需要们妥,提供學習機會猜扮、合作資源、組織發(fā)展等方面的服務监婶。
基金會做資助的難點有三個方面:一是找準自己的目標對象旅赢;二是和被資助機構(gòu)一起找準需要突破的問題齿桃、需要改進的地方;三是明確自己可以提供的服務煮盼。由于有資金的誘惑短纵,資助工作中常常伴隨激勵偏差,雖然前來申請資金的機構(gòu)眾多僵控,但實際上其中一部分機構(gòu)的實際問題香到,并不能靠資金來解決。而且报破,即使機構(gòu)真的需要資金悠就,關于資金到底用在什么地方合適,也容易受隨機和偶然因素影響充易,常常導致判斷錯誤」Fⅲ現(xiàn)在,越來越多基金會盹靴,希望提供“資金+X”的支持方案炸茧,也就是不僅撥付資金,還提供能力建設鹉究。但一方面被資助方可能并沒有“能力建設”的需求宇立,但因為希望獲得資助而“勉強配合”基金會接受能力建設踪宠;另一方面自赔,關于機構(gòu)真正的問題和需求是什么,常常被資助方不能說清楚柳琢,資助的基金會也很難做出準確判斷绍妨。
如果能有一個評估工具,可以較為系統(tǒng)性地分析申請機構(gòu)的狀況和需求柬脸,將十分有利于改善資助的上述難題他去。—— 橋畔計劃需要的就是這樣的工具倒堕。
我們依據(jù)之前與亞洲基金會合作開發(fā)的《非營利組織能力評估工具(OCAT)》灾测,幾經(jīng)實驗,為初創(chuàng)教育類NGO開發(fā)了一個簡化版本垦巴,包含從機構(gòu)使命到內(nèi)部團隊到管理系統(tǒng)的7個方面的42個指標媳搪。OCAT最大的兩個特點,一是溝通骤宣,二是整體秦爆。資助官員擔任協(xié)作者,邀請合作機構(gòu)關鍵成員參與憔披,大家針對每個指標打分等限,并充分交換意見爸吮。經(jīng)過評估的過程,一方面大家對機構(gòu)目前所處的狀況和問題進行了充分溝通望门,另一方面形娇,大家角度不同,各種評價和觀點交織在了一起筹误,形成了一個更為完整的事實埂软。一般而言,團隊都可以在一天之內(nèi)纫事,對機構(gòu)的優(yōu)勢以及亟待提升的地方形成共識勘畔。OCAT的過程與結(jié)果,幫助合作機構(gòu)找準了資金重點投入方向丽惶,橋畔計劃也因此更為清晰地得知該提供哪些非資金支持炫七。OCAT讓資助方與被資助方之間真誠且系統(tǒng)的對話成為可能。
感謝有橋畔計劃這樣的合作伙伴钾唬。橋畔計劃很快將OCAT真正嵌入到常規(guī)工作流程應用起來万哪。機構(gòu)申請之前會做OCAT,此為前測抡秆,而合作一年之后奕巍,會再次做OCAT,此為后測儒士。前后對比镶骗,可觀察機構(gòu)的變化赴叹。雖不能做完全歸因,這些也一定程度上是橋畔計劃資助成果的呈現(xiàn)。
最重要的是婆赠,每次評估之時圃阳,我們不希望服務對象只是評估的信息來源紊撕,也希望評估能給服務對象帶去價值蜡歹。這樣,信息搜集薯鳍、溝通評價咖气,就并不是為橋畔計劃而做,也是為合作機構(gòu)而做挖滤。2016年崩溪,橋畔計劃發(fā)布新年度招募啟事時,就把“合作期間2次(初期與末期)組織能力測評協(xié)作壶辜,共同探討機構(gòu)發(fā)展所需加強和提升的能力”列為橋畔計劃團隊提供的服務之一悯舟。
類似的方法,“愛佑益+”公益創(chuàng)投項目也在使用砸民〉衷酰“愛佑益+”針對的是行業(yè)里的成熟期的機構(gòu)奋救,他們機構(gòu)歷史較長,規(guī)模較大反惕,組織及戰(zhàn)略問題更為復雜尝艘。“愛佑益+”使用了四大范疇姿染、10個一級指標背亥、110個細分指標(定量與定性)對機構(gòu)進行全方位掃描,這些信息都成為了為機構(gòu)制定戰(zhàn)略轉(zhuǎn)型方案以及愛佑團隊資金與非資金支持的重要依據(jù)悬赏〗坪海“愛佑益+”團隊每月與被資助機構(gòu)電話或見面溝通,機構(gòu)的最新變化與進展都會被記錄在檔案之中闽颇。這種高頻率的溝通盾戴,有助于加強基金會對服務對象的了解,并在必要時提供及時幫助兵多。
四尖啡、與RCT的區(qū)別
進入文章的這個部分,我還是想用一個案例來繼續(xù)闡述應用性評估與RCT的不同價值剩膘。雖然是個老案例衅斩,在我之前的文章和演講中使用過幾次,但對本主題很有說明性怠褐。
2006年畏梆,尤努斯及其創(chuàng)辦的格萊珉銀行獲得諾貝爾和平獎。2007年惫搏,阿西夫·道拉出版《窮人的誠信:第二代格萊珉銀行的故事》具温,這本書里記錄了大量的對小額信貸開展的RCT評估。為了驗證小額信貸對于減貧的成效筐赔,學者們深入孟加拉,用2-3年的時間收集收入和支出數(shù)據(jù)揖铜,評測小額信貸對減貧以及代際減貧的效果茴丰。小額信貸的假設是:“窮人不缺技術,不缺方法天吓,他們具備自我改善的能力贿肩,只是缺少一個金融機會”,而且小額信貸利息高于銀行信貸龄寞,甚至頗有“高利貸之嫌”汰规,它到底是不是如所說的那么有效,也只有RCT這樣的的科學評估才能給出令各方信服的答案物邑。
我曾在之前的一篇文章中溜哮,稱RCT為規(guī)奶辖穑化的前奏。當某一種干預茂嗓,它從產(chǎn)品成型發(fā)展進入到大規(guī)模推廣的時候餐茵,它就很有必要對干預效果進行科學驗證。一方面述吸,作為項目的發(fā)起方忿族,必須客觀地判斷項目是否有效,如果項目無效而推廣蝌矛,規(guī)模推廣的越大越是在浪費社會資源道批;另一方面,當項目推廣到廣泛的規(guī)模時入撒,項目已經(jīng)突破熟人的范圍屹徘,要去贏得眾多陌生利益相關方的認可,科學的RCT評估更易為各方采信衅金。當然噪伊,由于RCT評估費用高昂,一般的項目支付不起氮唯,因此也只有在需要大規(guī)模推廣的時候鉴吹,開展RCT才具備成本效益。
格萊珉銀行對于由外部專家實施的RCT評估并不滿足惩琉。原因有很多豆励,比如說RCT得出結(jié)果很慢,無法提供及時信息作為經(jīng)營決策的依據(jù)瞒渠;比如說它是針對小額信貸整體效果做出判斷良蒸,結(jié)論要么是支持小額信貸的扶貧效果,要么是否定小額信貸的效果伍玖,而對項目內(nèi)的不同組成部分沒有具體改進指導意義嫩痰;再比如,RCT的評估幾乎與員工的日常工作沒有關系窍箍,專家的評估工作與格萊珉銀行的日常工作串纺,好像是發(fā)生在兩個完全不同的世界。
格萊珉銀行希望自己能有一種可以在日常工作中被持續(xù)使用的評估椰棘,因此他們開發(fā)了PPI纺棺,全稱為progress out of poverty index。在孟加拉邪狞,它包含十個指標祷蝌,內(nèi)容大致為:
* 借款人及其家庭成員居住在有馬口鐵皮屋頂,或價值超過25000塔卡(約合1980元)的房子里帆卓,家庭成員睡在床上而非地上巨朦。
* 借款人飲用自管道井中抽上來的干凈水米丘、開水或者用明礬、凈水藥片或罐壺過濾器凈化過的無砷水罪郊。
* 借款人家庭超過6歲的孩子都在上小學或者小學畢業(yè) 蠕蚜。
* 借款人周還款最低200塔卡。
* 所有家庭成員都是用清潔衛(wèi)生的廁所悔橄。
* 家庭成員有足夠的衣服滿足日常需要靶累。
* 家庭有其它收入來源,例如蔬菜園子或果樹癣疟,以滿足額外之需挣柬。
* 借款人在儲蓄賬戶中維持在年均5000塔卡的余額。
* 借款人全年有能力供應家庭成員一日三餐睛挚,家庭沒有食品匱乏之虞邪蛔。
* 在家庭成員生病的情況下,有能力采取迅速行動進行恰當?shù)闹委熢⒂心芰χЦ夺t(yī)療費用侧到。
這個貧困測量工具,與學者們的評估方法迥然不同淤击。它異常直觀匠抗,普通的信貸員就可以直接觀察和記錄。在工作中污抬,格萊珉銀行用它來甄別服務對象汞贸,也用它來記錄每一個借款人的貧困狀況變化。這樣印机,貧困測量就不再是學者的專利矢腻,而就與信貸員的日常工作切切實實地聯(lián)系在了一起。這些數(shù)據(jù)經(jīng)過總結(jié)和分析射赛,也能有力地用于外部溝通多柑。由于其具體,可感知性強咒劲,在呈現(xiàn)小貸成效顷蟆,獲得利益相關方理智和情感雙重認同方面,甚至優(yōu)于抽象的學術研究腐魂。
近些年,國際上對小額信貸的批評之聲日隆逐纬,很重的一項批評即用戶上移:小額信貸不是服務真正的窮人蛔屹,而是去幫助那些農(nóng)村社區(qū)中已有的“強人”,繼續(xù)加劇了農(nóng)村的不公豁生。PPI工具如果使用起來兔毒,能夠幫助信貸員找到真正符合條件的窮人漫贞,瞄準自己的服務對象。
五育叁、用戶至上的文化
細心的讀者迅脐,會發(fā)現(xiàn)我所使用的案例,有一個共同特點豪嗽,他們都是對“服務對象”的記錄谴蔑。記錄用戶信息,可能會成為一種評估工具龟梦,我之前撰寫過一篇《用戶檔案》的文章隐锭,就是提出這種評估方法設想。依據(jù)這些信息计贰,我們可以較為系統(tǒng)地分析服務對象的實際需求钦睡,而了解需求是制定干預方案最為關鍵的動作。
這種評估工具有一個“副產(chǎn)品”躁倒,它有助于機構(gòu)內(nèi)部形成”用戶至上”的文化荞怒。它用一定的流程和機制,讓同時與服務對象進行定期溝通秧秉,而且它采用一種較為系統(tǒng)的方式褐桌,讓同事去關注較為全面的內(nèi)容,減少隨意性和偶發(fā)性福贞,幫助工作團隊對服務對象產(chǎn)生更深入的了解撩嚼。
公益組織,要與外界交換資源與價值挖帘。用戶至上的文化完丽,作為一種與籌款至上兩相制衡的文化,在公益領域再怎么提倡都不為過拇舀,它不僅是機構(gòu)使命之所在逻族,更是機構(gòu)保留員工乃至籌集資源的關鍵。而如果這種真正在用的評估骄崩,能起到協(xié)助建立以及拱衛(wèi)用戶至上的文化的作用聘鳞,善莫大焉!