三、达芙妮公司培训效果评估管理模式与方法
(一)达芙妮公司简介
达芙妮国际控股有限公司于1987年在香港成立,迄今己发展成为一个以鞋类、服饰研发及品牌管理为主的多元化时尚集团公司。集团业务遍及大中华区(中国大陆、香港、台湾)、亚洲、欧洲及北美洲,旗下拥有包括达芙妮、鞋柜、AEE、杜拉拉、黛比娜等知名鞋类及服饰品牌。
创建伊始,集团主要从事鞋类OEM业务,其后在中国内地拓展自主品牌。1990年,自创品牌『达芙妮』问世中国大陆市场,即广受消费者欢迎并得以迅速发展。如今,『达芙妮』已成为中国女性喜爱的女鞋品牌,连续16年保持同类产品全国销量第一。此外,凭籍其综合优势及强大实力,集团还是海外进口商及知名OEM客户的主要女鞋供货商。集团于1995年在香港联合交易所有限公司主板上市,并自2006年9月11日起成为恒生中国内地综合成份股之一。
从2000年起,随着中国经济的高速发展,集团业务也得以迅猛发展并实施战略性布局:达芙妮品牌进一步细分消费市场,使「大众、流行、第一、品牌」的定位更加精准,巩固了市场的领导地位;2004年,开创中国鞋业界先河的鞋类量贩店『SHOEBOX鞋柜』应运而生,以「鞋柜鞋不贵」为品牌口号,采用多品牌通路经营模式,和达芙妮品牌共同发展,有效扩大了市场份额,取得了令人瞩目的业绩。
在海外拓展及未来规划方面,集团除了加大力度进军台湾市场并借鉴大陆的成功经验外,同时还在新加坡、日本等地积极开拓潜在市场,为早日实现集团成为顶尖品牌管理公司的目标而不懈努力。此外,自2008年起集团陆续与国际知名高端鞋类品牌如SOFFT、ALDO、AEROSOLES等携手合作,开展中国的销售业务,志在进军高端鞋类市场。
展望未来十年,集团将推行“多品类、多品牌、多档次、多渠道”的核心战略,通过加强投资虚拟通路事业、发展服装业务、整合优化资源、提升创新能力等举措,全面实现集团的可持续发展,致力于成为一家引领时尚与提供舒适的品牌公司。
(二)评估流程的组织领导
企业的培训效果评估工作应该由培训管理部门、员工所在部门共同组成,特殊项目,如在公司内部不具备相应的评估能力的情况下,需聘请专业的评估专家参与评估,以确保培训评估的规范化、程序化和科学化。
达芙妮公司目前受培训预算的限制,只有在重要的培训项目实施前才以公司现有人员组成评估小组,实施评估。主要负责制定培训评估目标、确定评估方案,组织评估过程,数据分析并协调各部门,最终达成评估目标。
(三)培训效果的评估流程
流程是指为达到在逻辑上相关的某种目标并由两个及以上的业务步骤,完成—个完整的业务行为的过程,可称之为流程。
科学的培训评估为提高有效性,减少评估者的主观随意性,应建立有效的、规范的培训评估流程,指的是在评估的过程中,阐述每一步,解释每一个环节。
评估过程中坚持以下三个原则:第一,这个原理的可行性,达到了评估计划的目的是在逻辑上是可能的,以获得所需的数据,资源(人员,设备,资金)可以实现;第二,整体性原则,评价过程应该是一个一系列的评估活动的逻辑连接的循环链,这个链是一个闭环。第三,效率原则,比较合理的投资,不浪费资源,并充分考虑到资源的合理配置,以求最小的投资获得最大的输出。具体流程如图。【1】
1、确认评估是否有必要开展
因为评估要投入一定的资源和相当大的精力,也会占用培训的时间及相关评估人的时间,因此必须进行成本和收益的分析与比较,应重点考虑以下几个因素:
(1)重要性首先需要评估可以为企业带来什么?在哪些方面有绩效的体现?对公司最终经营成果的促进是什么?如果培训未成功可能会导致严重的后果或影响是什么?例如,如果您无法测试员工培训后相应的技能或行为是否获得提升和改变,将会有什么可能的后果?那么,通过相应的比较分析来确认是否还需要开展这次培训评估。
(2)成本因信息来源越广泛,分析得越深入,往往意味着投入评估的费用成本越高。所以,要将评估成本与培训成本进行比较。如果评估成本远远大于培训成本或培训收益时,企业应该考虑是否要简化或暂缓这次培训评估?尤其是达芙妮公司目前对培训预算投入较有限的情况下,评估成本的考量必不可少。
(3)频率因评估收集数据及分析需要花费评估人员大量的精力与公司财务的支出,如果评估搜集到的资料是一次性的投入,无法再行应用,是否还要考虑采用这个数据指标的收集?
(4)影响力当首次在达芙妮公司进行培训效果评估时,一定要考虑此培训项目在公司的影响力。如果评估一个对组织影响不大或无关紧要的培训,风险较低,但收效也不明显,最终也可能拿不出一个很有说明力的培训评估结果。而如果评估当前具有相当影响力的培训,可能对组织产生影响是巨大的,但风险也会更大,如最终评估未达到期许,将会使培训工作陷入开展更大的困局;所以,培训管理者要深入思考,在两者之间寻求一个很好的平衡。
2、培训需求分析
培训需求分析包括:组织分析,主要是通过组织目标与资源,特性,环境,准确地找出存在的问题和问题的原因,以确定培训是否是解决这类问题的最有效的方法;任务分析,重要的任务是明确各种职责和工作态度,技能,知识和行为的要求;人员分析,找到个人能力和绩效标准的差距,与此同时,分析表现不佳的原因是什么,通过培训是否可以解决这些问题,并决定谁应该接受培训。常用方法有培训需求访谈与培训需求问卷调查法。
培训需求分析过程如图。【2】
3、界定培训评估目标
评估目标的实现程度也是衡量培训效果的重要依据。
在培训项目实施之前,培训部门经理将与相关业务主管部门主管一起明确培训将要达到的目标。结合培训评估目标选择相应的评估方案,确认收集的数据及如何实施与分析,必须确认评估目标,也只有培训评估目标确定后,评估的后续工作才能顺利开展。
4、选择评估模型,制定评估方案
为更好的了解培训的效果,同时站在公司高层的角度了解培训后的产出。达芙妮公司的培训评估模型选择为以结果为中心的培训对象评估模型,主要参照菲力普斯(Phillips)的五级投资回报率(ROI)模型和以结果为中心的培训工作本身评估模型,主要参照CIPP模型。
5、实施评估和反馈
达芙妮公司将根据自己的实际情况,在培训资源及培训预算有限的情况下对不同培训项目采用不同的等级评估:
达芙妮公司培训工作目前针对培训对象可分为三种:一是新进人员的企业文化及员工基本规范化培训;二是管理人员的管理能力提升培训;三是跟岗位职责与技能相关的专业技能培训。
根据上述内容,针对培训对象的评估操作可以参照以下办法:
(1)对于几乎所有的培训(除视频培训)都采用是第一级评估;(2)初级职位和适应性训练,采用评估的第二级评估。通常以闭卷考试的方法和实际操作及现场情景模拟为主。(3)中高级管理人员的管理和领导能力培训及高级专业技术人员的专业技能培训,可以进行三、四、五级评估。因为这些培训相对费时,费力,投入成本高,企业的高层更关注培训的投入与产出,即培训效果是否带来企业业绩及员工能力与绩效的提升。
针对培训工作本身旳评估操作可以参照以下办法:
(1)一级背景评估,达芙妮公司目前主要针对管理层的培训项目多数做培训需求分析,进而了解培训目标。新员工及专业技能培训未开展背景评估。
(2)二级投入评估,有助于对培训项目进行规划,它涉及分析哪些是可利用的资源,确定如何开发这些资源,以便最大限度地达到预定目标。为此,可以利用360评估工具,又称“360度考核法”或“全方位考核法”,是指由员工自己、上司、直接部属、同事甚至顾客等从全方位、各个角度来评估人员的方法。需要设计量化的评估问卷,请相关人员进行评估,最后对各评估方的结果进行统计分析,从而得出投入评估的总得分,也可利用一些相对指标进行投入评估。
(3)三级过程评估适合指导培训项目的实施过程,包括监控培训失败的潜在原因及在实施过程中提供有关决策的信息和说明实际所发生的事情。达芙妮公司会在部分重要的项目如领导力培训项目由培训专员记录培训过程,并进行分析与后续总结和改善,同时所有的培训项目均做课程评估表,以便培训管理者可以及时了解课程整体满意度,学员学习后知识转化的欲望及课堂中遇到的突发事件等。
(4)四级成果评估是对学员的知识、技能、观念和行为表现的变化进行训前训后测算与衡量。据此,学员培训知识的考试通过率,各种方法测算的学习评估分值及对承诺的契约业绩的达成情况等。如,培训后跟踪评估学员知识与技能的掌握情况,通过主管访谈,训后评估表统计分析,并对比分析参加培训与未参加培训员工在综合绩效的比较,等等。
6、评估数据分析
数据分析是组织有目的地收集数据、分析数据,使之成为信息的过程。
(1)培训对象评估的重要环节是原始资料的收集与分析等。通常,一级评估是收集培训课程评估反馈表,二级评估是现场收集笔试试卷或现场操作考核结果,第三、四级评估是收集业绩目标达成、员工离职率、员工满意度、顾客满意度、设备完好率、生产率、员工360评估结果及财务利润,等等。数据收集后,对比数据库中原始数据,分析并得出评估结论。第五级评估则要收集培训相关所带来的业绩提升金额与培训所有投入的金额,测算比率,计算培训投资回报率。
(2)培训工作本身的评估。第一级背景评估,培训管理部门与用人部门需一起探讨及评估培训需求是否明确与培训目标是否达成。第二级投入评估是指达芙妮重要核心人员的培训项目,可采用360评估方法评估每位参训者的综合得分,从而了解培训投入;第三级过程评估可通过培训课堂反馈表及培训管理者及培训专员现场记录反馈表监测评估过程状况,及时调整培训过程中存在的问题;第四级成果评估,根据培训对象,事先届定培训成果衡量标准与数据收集渠道与方法,明确最终培训所产生的直接效果及计算方法。
7、撰写评估报告
培训评估报告是对培训项目是否有效进行客观及有说服力的说明。评估报告包括以下几部分:
(1)评估目的概要简要说明开展此项评估的目的、意义、对象及预期的结果。
(2)评估方案评估方案包括评估模型的选择,采用何种测评方法,如何收集数据及数据分析,等等。此过程主要说明如何制定和实施评估方案。
(3)评估结果评估结果需要简要说明最终评估调查的结果与开始设定的期待目标达成的情况,并统计与分析的相关数据分析,依分析结果客观说明培训存在的问题和缺陷,并提出可应用价值及后续行动计划及弥补的措施和改进建议。它是评估报告的主要部分,评估最终要得到的结果。
(4)结论结论是评估报告正文的最后一部分,对整个评估报告做概括说明,并对后续的培训效果改善提出可行性建议与行动计划。
(5)附录应将本次评估所使用的资料,如“问卷调查”、“培训效果评估分析汇总表”、“评估数据统计分析”等等附在报告正文后面备案,这是评估报告的结尾。
8、反馈培训结果
达芙妮公司培训效果评估一般反馈二类人了解。第一、学员的直接主管,便于他们了解学员学习的内容及可能掌握的技能,便于主管后续在工作中继续辅导。
第二,培训管理者,他们可以利用这些信息来持续改进培训项目,在得到反馈意见的基础上持续完善培训效果;综上所述,培训流程是一个相对闭合的环,从开始确定培训评估到最后沟通培训评估结果,每一个步骤都缺一不可,相互影响与制约,每一个步骤的开展与实施都至关重要,对整个培训系统产生重要影响。
(四)评估指标体系设计
菲力普斯(Phillips)的五级投资回报率(ROD模型,第一、二级的反应层和学习层评估结果主要是关于培训的组织与实施的评估;第三级行为评估即评估是关于学员培训后工作行为的改变的评估,第四级组织结果评估是对组织绩效的改变的评估。
所以,培训效果评估指标分为三个一级指标,它们分别是培训的组织与实施、培训后员工行为改变、组织绩效的改变。根据一级指标的主要构成要素,在这三个一级指标下面,达芙妮公司又结合企业现状设立了相应的二级指标及若干三级指标。各级指标的构成采用了定量指标为主,定性指标为辅,定性与定量相结合的方法,并充分考虑可行性、简易性、科学性相结合的原则。
1、培训组织与实施指标
(1)培训内容指标
培训的基础与保障是培训内容,培训最终要实现员工愿意学习,企业高层愿意投资培训,则只有培训的内容与学员的工作密切相关,与组织的目标紧密相连。
从达芙妮公司目前三大类培训的主要目的看,一、确保新员工快速了解企业文化,快速融入公司;这就产生了使新员快速融入企业的培训需求;二、弥补员工现在的技能缺陷,即员工现实能力与绩效的差距,那么将以培训提升员工工作技能为主要培训内容而进行培训;三、结合员工职业生涯发展,为员工今后的发展提供新的管理技能。所以培训内容指标设立需从使新员工快速融入企业、缩短绩效差距、满足员工发展需要的指标考虑。
(2)培训方法指标
培训过程中使用科学有效的培训方法,其目的是在了解成人学习特点的基础上,使受训者能够更快、更有效地掌握所学到的知识和技能,同时改变工作态度,并最终转化为自身的工作习惯。
目前使用较多的培训方法,如课堂讨论法、情景演练、个案研究法、情景模拟、管理风格训练、问题分析等。与传统讲授法比较,这些方法有许多优点:第一,新方法更注重实战问题分析,促进理论与实践的结合;第二,新方法更注重体验式教学,让学员参与式教学的思想,讲师不在是一言堂,更多的将让学员参与其中;第三,新方法强调对人更具有启发性和激励性的体验式教学法,培训讲师更多时间扮演引路人,更多的领悟在学员自身。
(3)培训组织指标
培训组织指标体系可以设计为两个两级指标,即“培训过程组织”和“师资队伍管理”。
①、培训过程组织指标主要考核培训组织管理者在培训前、中、后各项资源的协调与跟进,确保培训的顺利开展与实施,并且学员及管理者对培训有足够的满意度。
②、师资队伍管理指标培训的师资主要是两类,外部培训师与内部培训师。从外部选择切合企业需要的优秀培训师,建立企业自己的外部培训师人才库,并对外部讲师进行评估与资质更新,保留最新、最适合的外部讲师信息;内部讲师则企业需要建立内训师制度,完善内部培训师的选拔、考核、培养提高其教学能力与经验。
2、学员行为改变指标
为更好的判定培训后学员的行为绩效表现是否得到提升。需要以量化的方式对比受训者培训前后的知识、技能或态度的变化程度。员工行为改变指标体系包括二个二级指标。
(1)知识水平
主要包括培训前、后学员对所学知识的理解、掌握以及在岗位工作中的实际应用。一般可以釆用比较计算公式:Kc=Ka/Kb,Kc为知识的变化,Ka为培训后的知识掌握程度,Kb为培训前的知识掌握程度。通常通过笔试测试的方式了解训后学员知识的掌握程度,Kc大于1,即有提升。
(2)技能水平
该指标中主要考核学员培训前后技能变化,一般可以釆用比较计算公式:Sc=Sa/Sb,其中Sc为培训可观察的技能变化结果,Sa为有工作产出、可衡量的培训后相应技能,Sb为有工作产出或其他同样标准可度量的培训前的技能。
通常通过现场或培训结束测试学员培训前后技能掌握程度。Sc大于1,则学员培训后技能有提升。
(3)工作态度
主要指员工培训前后工作态度的变化。计算公式为:Ac=Aa/Ab,其中Ac为态度变化,Aa为培训后的态度;Ab为培训前的态度。通常情况通过培训前后360度评估了解学员态度的变化。
3、绩效组织指标
公司绩效指标一般包括三个二级指标体系,即经营指标、人事指标和财务指标。
(1)经营指标包括销售业绩目标达成、产品生产率、人效指标、薪资生产力指标等。
(2)人事指标组织文化氛围一般由员工的敬业精神、满意度、团队精神、顾客满意度等组成。
(3)财务指标从中长期来看,培训评估必须包括成本一收益分析。
员工培训有关的成本包括直接成本与间接成本。直接成本包括:培训场地租借费用、培训讲师的报酬、受训者的工资、培训组织相关物料费,等等。
培训的间接成本是培训的机会成本,是指由于参加培训而无法完成工作所带来的可能的损失。如不能及时响应客户需求及处理客户投诉,等等,此部分可用人均利润*时间来衡量。
培训的收益包括:利润的增长,服务质量、劳动生产量、产品质量的提高,事故的减少,成本的降低等方面。
用公式表示为:培训的投资回报ROI=收益/成本。如表:【3】
(五)培训评估方法
达芙妮公司结合现有的资源与预算,可使用的培训评估方法如下:
1、调查评估法:为取得可作为评估的资料、证据,评估小组或评估人需结合培训实践,面向参加培训学员的直接主管、培训讲师、培训学员作调查。
2、定量评估法:是对各种培训相关量的关系进行收集、整理和分析,以便做出最终的评估结果。主要是对培训作用的轻与重、影响程度的深与浅、范围的大与小以及评估对象的认识和行为表现的程度等进行数据收集与量化分析。
3、定性评估法:定性评估法是通过对培训活动以及受训人员的表现进行分析与综合剖析其失误的根源,查找问题、分析原因,总结成功的经验,最后做出结论性评价的方法。
4、动态评估法即以发展的眼光,着眼未来来看培训的价格并评估其效果。并基于此而做的人才发展与投资,以求站在未来角度得到培训投资回报与人才综合能力提升对公司发展的影响。
5、测验评估法:以口试或笔试的形式进行考试、考核,依结果评定分数,培训实践中对学员的学习效果评估经常采用这一方法。
6、比较的评估方法:比较评估法是一种相对评价法,包括垂直和水平两方面的比较评价,垂直评估方法是自我比较是对自己的职业发展过程进行评价,比较过去和现在,其个人是进步还是落后,其技能增强或减弱。水平比较的方法来评估自己和别人的差距。
7、追踪评估法:主要是学员培训后回到工作岗位,培训评估者,定期或不定期开展对学员主管、学员本人的访谈、询问、测试等,以了解及判断学员对培训内容的掌握及应用情况。
8、问卷评估法:为了解学员对培训知识的掌握程度,可以对学习内容及相关知识设定一定的考核指标,并通过问卷的方式直接要求评估对象填写或回答,然后按一定标准折合成分数。如培训后根据培训内容设置的闭卷考试。
9、360评估也叫全方位评估法:从不同方面、不同角度对评估对象进行综合的全面的评估。包括:自我评估、同事评估和上下级以及客户评估。
