二、培训效果评估相关理论基础
(一)培训效果评估定义
关于培训效果评估的定义,由于目前国内的相关学者对培训效果评估的研究不多,因此,在国内的着作较少有对其作出明确的解释或定义。
英国的管理服务委员会(MSC)将“对培训效果评估定义为通过一系列的评估方法来判断培训是否达到既定目标的过程。它包括审定和评估”。审定即用来确定培训是否达到既定的行为目标所进行的一系列测试和评价[2];评估是对培训总价值所进行的评价,包括一个培训体系、培训实施方案或培训课程。
美国的雷蒙德:A诺伊教授认为,“培训效果(trainingeffeetiveness),是指公司和受训者从培训当中获得的收益”。“培训评估(trainingevaluation)指收集培训成果以衡量培训是否有效的过程[4]。”
鉴于此,作者认为,人力资源培训效果评估,是应用科学的方法从培训结果中收集数据,对其进行比较、分析和判断,从而确定培训效能的发挥程度或培训目标的实现程度。最终来审查和评估培训是否达到即定目标,以确定培训项目的优势、价值和质量的过程。为了实现培训目标,不仅要对学习对象的培训效果进行评估,而且要对培训的结果进行评估,这包括两个方面的评估,一是对培训对象的评估,二是对培训工作本身的评估。
(二)现有人力资源培训模型简介
当前对培训评估进行系统总结的模型主要是柯克帕特里克的“柯式四级评估”模型、菲力普斯(Phillips)的五层次ROI框架模型、CIRO模型、CIPP模型等等。
1、柯克帕特里克四层次模型
美国人力资源管理专家唐纳德?柯克帕特里克(Donald Kirkpatrick) 1959年在《评估培训项目-四个水平的评估》一书中提出了培训效果评估模型,这也是当前国内外运用的最为广泛的评估方法。柯克帕特里克主要是以受训学员作为评估的对象,根据他们的活动状况进行划分,在层级划分上,依据行为学的研究结果,由表及里,由观念到行为直至结果的变化规律,将培训评估分为4个层次一反应、知识、行为、效果[5]。第一层次的评估即反应层评估[6],评估受训者对培训课程的满意程度。是指受训人员对培训项目的印象如何,包括受训者是否对培训项目的实用性是否认同、对培训环境的舒适度是否感到满意、对培训讲师的教学是否满意、对培训内容是否能够接受等。反应层评估主要是在培训项目结束时,通过问卷调查来收集受训人员对于培训项目的效果和有用性的反应。
第二层次评估即学习层评估,是指受训者对培训所学习内容的掌握程度,学习评估是衡量受训者对相关原理、流程、技能等培训内容的理解和掌握程度。学习评估虽然是基础,但也是必不可少的重要环节,因为学员行为和结果上的改变[7]来源于对知识、技能或态度的获得和改变。学习层评估可以采用笔试、现场操作和工作情景模拟等方法来考察。
第三层次评估即行为层的评估,判断受训者是否在工作实践中运用了培训中学到的新概念和新技能,是否转化成个人技能和工作习惯可通过行为层评估进行测量,行为层评估是指受训人员培训前后在实际工作岗位上行为的改变。它在实际操作上相对更难、更复杂,也更难操作。因此,很多企业知难而退,未真正实施行为评估,但行为评估对企业和个人来说十分重要。从企业角度看,行为评估可最直接了解员工对企业的价值,因为它是真正可以发现培训到底导致了员工在工作中产生了哪些变化;从员工角度看,若使工作更有成就感,更有效的成长,可通过行为评估明白自己培训前后发生的知识、态度、技能等方面的改进行为评估可以通过调查问卷,依靠自己、上下级、同事、客户等相关人员对受训者的业绩进行评估,即360评估来测定。
第四层次评估即成果评估是考察受训者行为的变化是否积极地对组织的业绩结果产生影响,比如培训最终促进了企业有多少成本的减少,又有多少收益的增加。
以上柯氏四层次评估模型是目前国内外应用最广泛的评估模型,它简单、全面,有很强的系统性和操作性_。
2、菲力普斯(Phillips)的五级投资回报率(ROI)模型
近年来,很多企业,尤其是企业的高层幵始关注培训的投入所带来的回报。所以,大多数公司在培训结束后总结报告时,不仅关注费用是多少、培训花费的时间和培训参训率、培训基本的满意度、学员知识的获得与行为的改变等,也尝试开始说明培训带来的投资回报,即培训给公司带来的价值。
ROI是在四层次模型上增加了第五个层次:投资回报率。即是从反应和已经计划的行动、学习、工作应用、组织结果和投资回报率五个层次进行评估。
(1)反应和己经计划的行动。。反应是指学员对培训课程的整体满意度,已经计划的行动是指了解他们在培训结束后应用所学知识的欲望与计划。反应和已经计划的行动通常是在培训后采用问卷调查的形式。
(2)学习即测量学员在培训过程中所学到的知识与技能。可以采用笔试、技能模拟、角色扮演等。
(3)工作应用学习新的技能后,通过在岗应用来决定是否在实际工作中使用及应用频率的跟踪法测量。
(4)组织结果通过测量学员是否通过培训促进了整个组织的绩效,达到提升或促进正面的影响,如产品收益率的目标,产品合格率,销售成本,销售,利润,客户满意度是否有提升。
(5)投资回报率培训计划的总成本与所带来的经营利润的投资比较(转化为货币形式)。投资回报率通常被表示为成本和收益的比率,或百分比。
3、GIRO评估模型
CIRO评估方法是一个由沃尔、伯德和雷克汉姆发明的四级评估方法。这种方法描述了四个基本的评估级别:即背景评估(Contextevaluation)、投入评估(Inputevaluation)、反应评估(Reaetionevaluation)、产出评估(outputevaluation),由于它们首字母分别是C、I、R、0,因此,又称CIRO模型。
(1)情境评估为确定培训需求和培训目标而获取和当前操作环境的背景及相关信息,这种评估实际上是进行培训需求分析。在此过程中,需要评估三种目标:直接目标(是指员工必须获取的新知识、技能和态度),中间目标(组织可以通过培训去提升的技能)和最终目标(所要求的员工工作行为的改变)。
(2)投入评估指获取和使用可能的培训资源来确定培训方法。为最大的可能性来达到预定目标,这种评估涉及分析可用的外部资源和内部资源有哪些,以及如何去开发这些资源。
(3)反应评估反应评估主要是通过学员主观对课程的整体满意度的反应进行的主观评估,所以,需用系统和客观的方法对这样的信息进行收集和利用,以使最终的反应评估更准备和有参考性。
(4)产出评估指收集和使用培训结果的信息。它是企业培训追求的最重要的目标,它将促进企业最终业绩的提升。它包括四个阶段:测量或定义的目标,选择或建设目标的方法,恰当的测量和评估,以及提高后续培训。
人力资源培训项目最重要的目的是促进公司工作业绩的变化,也就是使学员在今后工作中的行为发生积极、正面的改变。因组织的最终业绩来源于企业所有员工的能力提升与成长,所以,若企业整体在某些方面受到积极影响,必然要使学员在工作中的整体绩效表现发生了变化,这就是人力资源培训项目所带来的最终结果。
4、GIPP模型
美国学者斯塔弗尔比姆(Stufflebeam, D. L.) 1967年在对泰勒行为目标模式反思的基础上提出了 CIPP模型。CIPP模型是将培训项目本身作为一个对象进行分析。CIPP模型是由情境(Contextual)、投入(Input)、过程(Process)和成果(Product)组成。由于它们首字母分别是C、I、P、P,故而得名(1)背景评估CIPP模型对背景评估的主要任务是确定培训需求和设定培训目标。其内容界定为:了解相关环境;制定培训目标;分析培训需求;诊断特殊问题;鉴别培训机会等。
⑵投入评估信息有助于确定的总体战略和规划的培训方案,培训计划需要外部援助提供的信息,可以用来确定如何最大限度地利用现有资源实现培训目标。
(3)过程评估通常通过以下方式提供相关信息:以了解给定的决策信息,在实施的过程中,反馈,监督和失败的可能原因所发生的事情。负责培训项目的实施能够及时执行程序,不断修正和更正的培训计划。在数据釆集可以在正规和非正规的方法,包括反馈表,讲师记录分析和现有的记录等等。
(4)成果评估成果评估主要是对培训最终的目标(包括对预定目标和非预定目标)的测量和解释。可以训练程序之前或之后,只要适当的评估可以用来评估任何常规方法带来的结果。
CIPP评估模型相对CIRO模型而言,一方面补正了 cmo评估模型的不足,同时又起到了对柯氏四级培训评估模式的完善作用。其中的关键就是将评估活动切入到了整个培训过程的核心地带一执行培训环节,而成果评估重在对后续培训项目的设计产生价值。
CIPP模型虽然显示了评估的全部意义,包括过程和结果的评估,却还有待对成果评估等作出更多解释及应用可能带来问题的思考。
(三)评估模型分析
评估模型的选择要结合企业文化现状、企业培训发展状况、公司高层对培训的重视度企业资源准备情况而选择,没有最好,只有最适合。目前,大多数企业都关注最终培训投入的收益,即关注结果。因此,作者认为,达芙妮公司人力资源培训效果评估模型,应该根据着眼点的不同,分为以结果为中心的基于培训对象的评估模型和以结果为中心的基于培训工作本身的评估模型。
1、以结果为中心的培训对象评估模型
在上文中,介绍了四种现有的人力资源培训效果评估模型。其中的柯氏模型、菲力普斯模型主要是针对培训对象的评估。其中柯氏四级评估模型是基础,菲力普斯是它的补充与延伸,柯氏模型应用最为广泛。然而现在大多数企业强调以结果为中心的评估,更看注培训所带给企业的绩效的变化,也就是培训的成果与价格。因此,菲力普斯的五级评估模型较适合成为企业的以结果为中心的培训对象评估模型。本文主要以此模型为主。
2、以结果为中心的培训工作本身的评估模型
CIRO模型和CIPP模型主要是针对培训工作本身的评估。两者都可应用于企业强调以结果为中心的工作本身的评估,本文主要参照CIPP模型,并将CIRO模型的有关内容作为必要补充。
与国外研究培训效果的评价相比,国内系统化,专业化培训效果评估的研究,还有待完善。目前国内关于培训评估的研究主要在少数的着作与文献中可查到:
如杨云雪(2006)提出了将培训需求分析所得到的预期培训目标与最终的培训结果进行比较的目标评价法;张古鹏(2007)提出的从不同视角对受训者进行评估的关键人员评估法;彭胜峰(2007)提出的比较评估法;万金涛(2003)提出的收益评估法;石金涛(2004)提出的对培训前后工作绩效进行比较的绩效评估法等。培训效果提升策略研究相关文献:通过培训效果评估方法与工具分析来了解企业培训存在的问题,最终不断提升企业培训效果,如陈永骥(2012)对培训受训者训前需求分析与人员层次结果分析着手,创新培训措施,提升培训效果;陈方(2007)企业确保员工培训效果提升的六种方法;王水红(2012)通过优化课堂授课方式,提升培训效果;方晓华(2012)通过优化培训的各个实施细节,以促进培训效果提升等。但在相关研究文献中,大多还是关于介绍柯氏四级评估模型及其应用中的一些问题与见解,未进行深入的研究与探讨并提出自己的观点。
(四)人力资源培训评估程序研究的借鉴
雷蒙德.A ·诺伊教授指出,了解整个评估过程是很重要的。“他认为培训评估过程包括:培训需求分析、预计可测量的学习成果、设定衡量成果、选择合适的评估策略、制定计划并实施评估这五个步骤”。
上海交通大学人力资源管理研究所所长石金涛教授认为,“第一,培训有效性评估应该首先明确培训目标;第二,根据培训目标,确定预期的培训结果;第三、采用适当的培训有效性评估方案设计来收集信息和数据,并对之进行分析,第四,实施评估并给予反馈。因此,培训效果评估有以下四个步骤:确定培训目标、预期培训结果、培训有效性评估设计、实施评估和反馈。
结合国内外关于培训效果评估程序的借鉴及实际操作中的经验总结,作者认为,有效的培训效果评估程序应包括以下几个步骤:
1、确定培训效果评估是否幵展
决定能否开展评估工作有很多方面的原因,并不是企业所有培训效果的评估都能实施,确定是否开展培训效果评估主要包括三个部分:可行性分析、组织准备和人员准备。
(1)可行性分析在正式进行评估前,决定是否能够实施评估,需要从以下几方面考虑:
①、培训目标是否明确要进行培训培训前需要明确培训目标,如果没有明确的培训目标,是无法进行培训评估的。即便进行,是无法达到最终的效果,也是盲目和无价值的。
②、是否有专业的评估人员评估人员本身需要具备评估的专业知识与实践经验,以确保评估结果具有一定的可信度。
③、开展评估工作的资源是否充足由于培训评估耗时、耗力,并且需要部门间积极的协助,所以,评估前需要确定是否有足够的资源支持,以确保最终评估目标的达成。
④、培训评估结果对组织是否重要培训评估开展与否取决于这个培训项目对组织可能带来的绩效影响。如果培训项目本身对组织的影响不大,对组织的绩效成果影响较小,那么花费大量的资源去评估它显然是不值得的。
(2)组织准备为取得高层管理者对培训评估工作的理解与支持及确保组织组织各部门对评估工作的配合与支持,准备阶段首要任务是成立专门的评估机构,例如成立专门或兼职培训效果评估小组,负责培训评估的整体协调事宜,其次,需以文件的形式下发培训效果评估小组的职责。
(3)人员准备本阶段首要的任务是对企业内培训效果评估小组的人员进行分析以及判断其是否具有评估能力,如果不具备评估能力,可以聘请外部专家。评估人员一般包括:企业高层、学员直接主管、培训管理者、评估顾问、专家等。
2、培训需求评估
企业如果没有对员工的培训项目进行需求分析,那么评估的结果很难达到预期。所以,企业必须从组织角度、任务角度、人员角度综合分析培训需求,考察和确定组织培训的目标、对象、内容等结果。我国许多企业,尤其是连锁零售行业培训缺乏科学的分析,因此,基于此开展的相关培训存在一定的盲从性,培训结果也很难达成预期效果。
3、确定评估目标
培训效果评估的目标,是基于培训需求分析和培训目标而确定的。
由于培训效果评估,包括对受训者的评估和对培训工作本身的评估两方面。
因此,对基于培训对象评估而言,评估目标主要是考察接受培训后的员工是否带来个人绩效的提升,即在知识、技能以及行为方式上是否有所改善或提高,尤其要考察对基于培训工作本身的评估而言,评估主要界定培训对组织的贡献,如投资回报率、员工离职率、生产效率、公司整体业绩、公司核心人才的供给等。同时,还可以考察培训体系本身或某个培训项目的有效性。评估目标最终对数据收集的方法和所要收集的数据类型产生影响,所以,它也是指导培训方案实施的行动纲领,培训若想有效,培训目标就应该越具体、可测量。
因此,企业可根据自身情况,选择以下一种或几种的定量、定向的分析方法得出的结果组合作为其评估的目标:①、确定安排谁参加重要的培训项目,也就是明确重点投资对象,参训率如何;②、计算投资收益比;③、培训目标最终是否成功达成;④、评估实施过程的优点和缺点,后续改进的行动方案是什么;⑤、检测各种评估方法,如笔试、情景演练、课堂练习等是否清楚有效;⑥、确定具体有哪个学员在培训过程中的收益与进步最大及与未参加培训前与自己进行比较;⑦、对比参加培训与未参加培训学员在实际工作应用结果的差异;⑧、确定某个培训项目是否能满足公司在发展过程中一些特殊要求,如组织变革对人才适应性的要求以及组织扩张过程中对人才能力的要求等;⑨、收集数据以便将来推广其它类似的培训项目;⑩、建立数据库以帮助高层管理者决策;等等_。
4、选择评估模型,制定评估方案
最终是否有效衡量培训目标的达成,培训评估方案的制定至关重要。因此,在评估目标确定后,企业应努力使用科学、严谨的评估结果。其有效性的评估应包括:领导小组成员的评估,明确评估对象,收集测量数据(在训练前,训练后),评估模型和方法,统计方法等。
5、实施评估和反馈
评估和反馈[29]的实施,需要邀请企业高层,培训经理,受训者主管,培训讲师、和受训人员的广泛参与,以确保科学、有效的评估结果。评价结果应及时反馈给企业四种当事人。第一,是企业的高层,因为他们有些是决策者,决定是否可持续发展的培训项目,他们特别关心的培训所投入的人力资源成本是否能真正造福于企业;其次,是学员直接上司,他们必须了解接受培训后的下属的态度,技能,行为是否得到改善,并帮助和监督学员的后续工作中的行为改变;第三,是培训讲师,基于课程反馈的基础上,培训讲师可以再精益求精,持续改进和提高课堂培训效果;四是学员,他们应该知道在本次培训自己获得的收益,同时与未参加的同事比较,这种反馈可以帮助他们继续努力工作,但也有助于未来吸引越来越多的人积极参加培训。
6、撰写评估报告
培训工作者经过充分调查研究,数据分析,并结合学员的培训考试成绩,拟定一份客观、公正、合理的培训评估报告。
7、健全评估信息系统
应建立评估信息系统,以便不断完善培训记录,便于决策与分析。同时也为更好的呈现培训的价值,提倡持续的培训效果评估。目前,可供企业高层、培训经理、培训讲师等使用的评估信息,主要来源两部分:一部分是评估过程信息;一部分是评估结果信息;其中评估过程的信息,又分为硬信息和软件息。所谓的硬信息是指可量化的,易于收集的,客观存在的。如企业业绩,利润额、产量、服务满意度等,一类是软信息,是不易收集的,定性分析的,如新技能、新习惯,新知识的增加,工作的主动性的提升等等。
