一体化管理系统动态综合评价新方法

2007年4月JOURNALOFSYSTEMSENGINEERINGApr.2007

一体化管理系统动态综合评价新方法

王雪荣,郭春明

(南京财经大学会计学院,江苏南京210046)

①

摘要:由于一体化管理体系综合绩效评价的多层次、多指标、不确定性和属性复杂的特点,要给出一个满意的

评价是困难的,本文基于证据理论的动态综合模糊评价方法;给出了具体的评价步骤:按指标属性将评价指标区分为定性和定量两类;对各指标进行量化,一致性和无量纲化处理;从评价体系准则层开始进行动态立体综合评价;逐层合成综合绩效值.最后通过实例说明该方法的实用性和科学性.

关键词:综合绩效;评价体系;证据理论;动态综合评价中图分类号:F22410　　　文献标识码:A　　　文章编号:1000-5781(2007)02-0156-06

Newmethodofdynamicallyevaluatingthecomprehensiveperformanceofintegratedmanagementsystem

WANGXue2rong,GUOChun-ming

(SchoolofAcounting,NanjingUniversityofFinanceandEconomic,Nanjing210046,China)Abstract:Itisverydifficulttogivesatisfactorycomprehensiveevaluationforthecomprehensiveperfor2manceofanorganizationwithpracticedIMS(integratedmanagementsystem),becauseofmulti2layer,multi2index,manynon2preciseandcomplexvariablescontainedinit.Basedupontheevidentialreason2ing,anewdynamiccomprehensivefuzzyevaluationmethodisproposed,andacomprehensiveperfor2manceevaluationindexsystemisbuiltup.Theprocedureofthismethodisthat,firstly,allevaluationin2dexesaredividedtwoparts:qualitativeandquantitativeitems,secondly,eachitemsisstandardized,thirdly,startingfrombottomlayer,eachitemisdynamicallyandcomprehensivelyevaluated,and,thesynthesisevaluationcompositionisobtainedbyintegratingeachevaluationloyerbyoneloyer.Finally,anexampleisgiventoshowthatthemethodispracticalandscientific.

Keywords:comprehensiveperformance;evaluationindexsystem;evidentialreasoning;dynamicalcom2

prehensiveevaluation

0　引　言

提高组织的综合绩效和可持续改进能力是一个组织实施质量,环境,职业健康安全一体化管理体系(integratedmanagementsystem,IMS)的主要目的.目前我国质量界正在贯彻实施卓越绩效管理模式,因此如何对组织的综合绩效进行定量的,科

①收稿日期:2005-05-11;修订日期:2006-04-13.

学的评价是实施该模式成败的关键.本文结合IMS绩效内容的丰富性、形成的长期性、效果的持

续性及评价结构多指标、多层次、评价标准模糊且属性复杂等评价特点,建立了适用于IMS的综合评价体系,提出了基于证据理论的动态综合绩效评价新方法.与其他评价方法相比,该评价方法的优点与创新在于:本方法通过基于证据理论的

第2期　　　　　　　　　王雪荣等:一体化管理系统动态综合评价新方法—157—

数据自定义评价属性等级和模糊评语等级,解决了评价等级难确定问题;通过对专家评委评语的置信度修正解决了由于各个专家在知识,理解和偏好上的差异;每个专家给出的评估意见不一定完全可靠问题,通过采用基于mass函数的Demp2ster2Shafer(D2S)合成方法[1](该方法的优点在于只要不是完全冲突,就能进行合成)解决了管理领域中专家评语(常常评语意见分歧较大)量化困难问题;D2S合成方法使合成结果的不确定性信息减少,符合人们对综合结果的要求,同时由合成公式产生新的mass函数,可进一步用于层次综合,对多层次决策问题有更大的适用性;通过动态观点反映出各时间段评价值,便于分析各时间段绩效

的变化率,帮助组织确定绩效最佳增长速率,确保可持续发展.

1　综合绩效评价体系的建立

目前,从国内外研究现状看,对质量、环境、职业健康安全等管理体系进行单一分别评价研究较多,对于二元整合体系评价也尚有研究,对于三元及以上整合体系进行综合评价的研究则不多见,而考虑三维因子的交互作用是实施IMS卓越绩效管理模式的有效方法.本文针对其评价指标特点,使用基于证据理论的多轮专家遴选法,建立了递级综合评价体系(如表1所示).

表1　一体化管理综合绩效评价体系

客户满意度(xi1(tk));{专家评语(p1,p2,…,pn)}组织内部绩效

(2)Ci1

(tk)

市场占有率(xi2(tk));{专家评语(p1,p2,…,pn)}产品性价比(xi3(tk));{专家评语(p1,p2,…,pn)}企业利润(xi4(tk));{专家评语(p1,p2,…,pn)}

与相关法律法规符合度(xi5(tk));{专家评语(p1,p2,…,pn)}

综合绩效

()Ci1

(tk)

产品绿色度(xi6(tk));{专家评语(p1,p2,…,pn)}

2)

(tk)生态环境绩效C(i2

环保,劳保措施有效性(xi7(tk));{专家评语(p1,p2,…,pn)}清洁生产能力(xi8(tk));{专家评语(p1,p2,…,pn)}员工身心健康程度(xi9(tk));{专家评语(p1,p2,…,pn)}社会信誉,品牌优势(xi10(tk));{专家评语(p1,p2,…,pn)}

2)

(tk)社会绩效C(i3社会导向(xi11(tk));{专家评语(p1,p2,…,pn)}支持度(xi12(tk));{专家评语(p1,p2,…,pn)}

　　表1中,C(i1)(tk)为总评价目标———综合绩效,(i=1,2,…,n,表示有n个被评价对象);

(2)

Ci(tk)为子因素集,其中组织内部绩效

选取因素,因素权重分配,综合评价的合成算子以及知识表示与模型选择等.对实施IMS的组织的综合绩效评价本质进行分析,可看出:IMS管理综合绩效评价属于多属性,多层次群决策问题;对于定性指标,其属性特征值和专家评语均采用模糊值;要求评价过程具有透明性和再现性;评价结果尽量客观公正,且能反映出评价对象之间的差异.目前,有关多目标多属性综合评价方法研究大多是在DEA法,模糊综合评价法和改进的AHP法等多目标决策方法基础上进行一些改进与综合.这些方法一般存在下列问题:判断矩阵的一致性难以满足;专家对指标属性值或隶属度值难以确定;理论方法研究同实际应用之间的衔接问题;评价的主观性和客观性结合问题;评价专家知识经验

2)(C(i1(tk))是综合绩效中的关键部分,而生态环2)2)

(tk))和社会绩效(C(境绩效(C(i2i3(tk))则是当

今很注重的指标,它与社会和谐发展和可持续发展问题休戚相关;专家评语(p1,p2,…,pl)是参评专家评委对各指标的打分,对于定量指标直接给出分值,对于定性指标给出模糊评语.

2　评价方法的确定

综合评价结果的可靠性和准确性依赖于合理

—158—系　统　工　程　学　报　　　　　　　　　　　　　　　　　第22卷

表2　模糊评语集各评语等级非排他性赋值表

模糊评语集

E的元素

获取偏差和评价样本积累问题;综合评价问题智能化支持问题;评价系统的规范性和可扩充性等问题.最主要的是未从动态角度来看问题,同时评价中没有考虑信息的不完全性的影响.所以为了较全面立体地反映组织的综合绩效,所选择的评价方法需在动态中分析评价.动态综合绩效评价可分为3个方面:1)横向评价.与同类同期组织进行评价

评语等级S

11.00

0.250.000.000.000.000.00

20.751.000.250.000.000.000.00

30.000.751.000.500.000.000.00

40.000.000.751.000.750.000.00

50.000.000.000.501.000.750.00

60.000.000.000.000.251.000.75

70.000.000.000.000.000.251100

比较,确立自己在同类同期的组织中的位置.2)纵向评价.从时间维上考虑自己在各不同时间段中的综合绩效,以确定最佳绩效增长速率.3)纵横向评价.既考虑不同的组织,又考虑不同的时间段的综合绩效评价.综上所述,本文提出用基于证据理论的动态综合评价方法来评价IMS综合绩效.2.1　基于证据理论动态综合评价数学模型

肯定很可能大致可能可能大致不可能不可能绝对不可能

表3　特征集模糊评语集各评语级非排他性赋值表特征集Ω的元素优(A1)良(A2)合格(A3)不合格(A4)差(A5)

分值

评语等级S

1

2

3

4

5

6

7

(110>A1≥0.8)11000.7501000100010001000100(0.8>A1≥0.6)01000.2511000.50010001000100(0.6>A1≥0.4)010001000.2511000.5001000100(0.4>A1≥0.2)0100010001000.2511000.500100(0.2>A1≥010)010001000100010001000.751100

该评价问题的关键是建立量化模型和多属性、多层次评价模型,通过分析可看出,其评价结构示意图为层次分明的树状结构.第1层为评价总目标C(i1)(tk)(i=1,2,…,n),表示有n个被评价对象(单位),(tk=1,2,…,N)表示评价年份,

(tk)(i,tk同上),q=1,第2层为评价准则层

2,…,s表示有s个分目标;第3层为指标层xij(tk)(i,tk同上);j=1,2,…,m表示有j个基本

(2)Ciq

　　l个专家评委对指标xij(tk)(为书写方便,以下记xij(tk)为xij)进行模糊评语{p1,p2,…,pl},定义专家q对指标xij的模糊评语到Ω中的每个等级的广义贴近度函数为

7

Eq

(x)

ij

(Ak)=

s=1∑(E

7

(x)qsij(x)qsij

∧Es(Ak))∨Es(Ak))

s=1

∑(E

指标.由l个专家评委(其评语是{p1,p2,…,pl})构成的群体对每个指标给出评判意见,并假设某个专家给出的评判意见不受别的专家意见的影响.结合纵横向动态评价数学原理,对n个被评价对象(或系统)S1,S2,……,Sn取定m个评价指标xi1,xi2,…,xim,在N年内,且按时间顺序t1,t2,…,tN获得原始数据{xij(tk)},构成一个时序立体数据表

[1]

　　(i=1,2,…,n;j=1,2,…,m;　　s=1,2,…,7;k=1,2,…,5;　　q=1,2,…,l)

(1)

式中的∧表示min运算;∨表示mx运算;i,j含义同上;s表示评语等级;k表示特征集等级.一定有0≤E(qxij)(Ak)≤1(模糊评语的定义不具有排

5

他性,因而可能有归一化处理).

.由时序立体数据表支持的综合评价问

k=1

∑E

(x)qij

(Ak)≠1,所以将其作

题,是社会现实中经常遇到的一类复杂的时序多指标评价问题,这类问题现今中外许多学者多有关注[3～5],这是经济管理领域新阶段遇到的新问题.

2.2　观测值处理

基于证据理论[6～8],将模糊评语集定义为E={肯定,很可能,大致可能,可能,大致不可能,不可能,绝对不可能},用来表示模糊评判,并进行非排他性赋值(见表2).定义特征集为Ω={优,良,合格,不合格,差}5个等级,并进行非排他性赋值(见表3),作为对评价结果的表达.

根据证据理论构造mass函数[7],用来表示上述具有不确定信息的专家意见.将特征集Ω作为假设空间,按照mass函数的定义,q对指标xij评估意见的mass函数为

β(qxij)E(qsxij)(Ak)

　　A={A1,A2,…,A5}

mq

(x)

ij

(A)=

5

β(qxij)E(qsxij)(Ak)1-∑

k=1

(2)

mq

(x)

ij

　　A=Ω

表示综合各指标xij属于Ak等级的信任程

第2期　　　　　　　　　王雪荣等:一体化管理系统动态综合评价新方法—159—

度,β(qxij)溪专家评判的相对可靠度,可通过集值迭代法[4]来求出,这是由于各个专家在知识、理解和偏好上的差异,每个专家给出的评估意见不一定完全可靠,同时针对不同的指标,不同专家的权威性,知识,经验也不完全相同.

对于专家不确定性评价意见进行综合,必须根据专家意见的表示方法选择合适的合成公式.基于mass函数合成,选用Dempster2Shafer合成公式:设m1,m2,…,mn是Ω上的n个mass函数,则对于其n个mss函数的合成

m(A)=m1(A)󰂉m2(A)󰂉…󰂉

　　mn(A)=

1N

∩Bi=A1≤i≤n

菲法、层次分析法、集值迭代法、特征根法、G1法和G2法,在此评价中采用集值迭代法[4]求出权重

m

vj(vj≥0;

j=1

∑v

j

=1).

驱于“差异性”确定权重系数ωj(j=1,2,…,

m)的原则是在时序立体数据表上最大可能的体

现出各被评价对象之间的差异,这个差异可由总

22

离差平方和σ来体现.由σ确定的对称矩阵H,

2当σ最大时,H的最大特征值λmx(H)所对应的

(标准)特征向量ω即为所求的权重系数向量[8].

如果所求的ω中有某个分量是负的,那么,ω可

(3)

i

i

∑∏m(B)

i

i

∩Bi≠󰂊1≤i≤n

由下面的规划问题解出.

把解出的ωj和vj代入式(6)中,即求出待定综合权系数ωj3,再代入式(5)中求出c(ij2)的评价值

(1)

уi(tk),进而求出总目标ci的综合评价值уi.用这

仍然是mass函数,其中N=

∑∏m(B),它

度量了n个信任函数冲突的程度,只要不是完全

冲突,就能进行合成(当完全冲突时,其合成值为0,即m(󰂊)=0).

种方法求出的уi既隐含了各指标对总评价目标贡献率大小,又充分挖掘了原始数据所包含的信息,同时隐含了时间因素tk,且考虑了信息的不完全性,专家评语的模糊性及专家的置信度问题.

根据各等级赋值的中心值合成得xij的量化指标值,即

(x)(x)

xij=0.9mqij(A1)+0.7mqij(A2)+

()()

　　0.5mqxij(A3)+0.3mqxij(A4)+()

(4)　　0.1mqxij(A5)

再对指标运用数学方法进行一致化,无量纲化处理(为后期评价需要,需采用标准化方法进行无量纲化).

3　实际运用

以某市5个大中型建筑企业(以A,B,C,D,E来代表)在2000年—2004年这5年间的综合绩效为评价对象,按上述方法进行综合评价.3.1　指标量化,一致化,无量纲化处理

2.3　建立综合评价函数

由动态评价问题建立的数学评价模型,对于

时刻tk(k=1,2,…,N)取综合评价函数为线性模型

m

在IMS管理综合绩效评价体系中,如表1所

2)

(tk))”示的二层结构中的“生态环境绩效(C(i2和2)

(tk))”“社会绩效(C(i3中的8个指标属于主观性

уi(tk)=

j=1

ω∑

j

3

xij(tk)

指标,在实际中没有较好的定量解析式来刻画它,所以采用5个专家评委组成评价群体,针对

(2)

Ci2(tk)中的5个指标进行模糊评价.指标

(5)　　k=1,2,…,N;i=1,2,…,n

其中,ωj3是综合待定权值;xij(tk)(i=1,2,…,n;j=1,2,…,m;tk(k=1,2,…,N)是各指标观

x15(tk)～x55(tk)的模糊评语集为{很高,相当高,

高,一般,不太高,比较低,低,很低}.有关评价意见如表4所示.

表4　专家评估意见表

专家号12345x15(tk)

x25(tk)

x35(tk)

x45(tk)

x55(tk)

测值,уi(tk)为第i个组织在tk时刻的综合评价值.对于综合待定权值ωj,有

ωj3=vj+ωj

(6)

3

其中,vj为驱于“功能性”待定权值,ωj为“差异性”待定权值.驱于“功能性”根据指标对上一层目标值相对重要性赋权.其赋权方法有许多,常用的有德尔

很高相当高相当高高很高相当高高相当高高高很高相当高很高相当高相当高高高相当高相当高高相当高很高相当高很高很高　　对指标xij,用集值迭代法计算出专家评判的

—160—系　统　工　程　学　报　　　　　　　　　　　　　　　　　第22卷

相对可靠度β=(0.90,0.95,0.80,0.87,0.92),按

照式(1)、式(2)建立5个专家的mass函数,计算对指标x15(tk)的mass函数值

m1=(0.8357,0.03,0.0000,0.0000,

0.0000,0.1000)

m2=(0.4325,0.4325,0.0850,0.0000,

0.0000,0.0001),根据式(4)的x15(tk)的量化指

标值:x15(tk)=0.9009×0.9+0.0958×0.7+0.0021×0.5+0.0010×0.3=0.8792.

以此类推,进行x25(tk),x35(tk),x45(tk),

x55(tk)的量化计算.再对指标运用数学方法进行

0.0000,0.0500)

m3=(0.32,0.32,0.0715,0.0000,

一致化,无量纲化处理.

3.2　计算权值和综合评价值

采用集值迭代法可求出主观权值vj和最大差异法可求出客观权值ωj,将它们代入式(6)得综合权系数ωj3,再将经过处理的xij(tk)和ωj3(以下还记作ωj)代入式(5)中,即可得到5个单位5

33

年的动态综合绩效评价值уi(tk),显然уt(tk)的值越大越好(因评价指标均是极大型且ωj>0).为了便于直观比较,将у放大处理,i做平移、即уi(tk)得的值和排序情况,如表5～7所示.

0.0000,0.2000)

m4=(0.0450,0.5510,0.2290,0.0450,

0.0000,0.1300)

m5=(0.8543,0.0657,0.0000,0.0000,

0.0000,0.0800)

根据式(5),综合计算x15(tk)的mass函数合成

m(x15(tk))=(0.9009,0.0958,0.0021,0.0010,

2000年表5　2000年和2001年动态综合评价值及排序2001年

Ci3(tk)

Ci(tk)

Ci1(tk)

Ci2(tk)

Ci3(tk)

Ci(tk)

单位Ci1(tk)Ci2(tk)уi1

ABCDE

42.17034.65344.10226.60752.467

序34251

уi2

41.92438.02842.85327.11848.885

序

34251

уi3

37.50335.55652.93128.145.227

序

34152

уi

40.94235.72345.99727.13049.762

序

34251

уi1

34.60833.32655.87736.57939.611

序

45132

уi2

44.03136.91245.44826.00947.601

序

34251

уi3

42.12437.81155.26030.67334.046

序

23154

уi

38.84335.34453.11632.46040.217

序

34152

表6　2002年和2003年动态综合评价值及排序

2002年

2003年

Ci3(tk)

Ci(tk)

Ci1(tk)

Ci2(tk)

Ci3(tk)

Ci(tk)

单位Ci1(tk)Ci2(tk)

уi1

ABCDE

47.04934.43654.73227.56534.586

序

24153

уi2

47.79135.59250.15527.45039.013

序

24153

уi3

48.25940.65253.05528.53529.499

序

23154

уi

47.53736.27953.16927.77934.421

序

23154

уi1

46.36337.42054.97427.22834.013

序

23154

уi2

49.78435.750.86633.18030.406

序

23145

уi3

49.44542.73451.14828.02730.109

序

23154

уi

47.938.33552.99128.91632.135

序

23154

表7　2004年动态综合评价值及排序

单位

ABCDE

Ci1(tk)

Ci2(tk)

Ci3(tk)

Ci(tk)

3.3　评价结果分析

表5中所列的5个单位5年间的综合绩效评

序

23145

уi1

45.42836.23356.21333.93829.1

序

23145

уi2

47.97639.47750.51934.23926.583

序

23145

уi3

48.04443.32851.51030.34826.166

序

23145

уi

46.71938.81853.61433.11627.782

价值与实际情况相一致.A单位是个声誉不错的

中型企业,2002年对管理体系进行了较大的调整,注重实效,使单位取得了很大实质性的变化,A单位的评价值2000年和2001年均为第3名,2002年—2004年升为第2名;B单位是个小型企业,产品销路较好,有良好的改进空间,B单位的评价值2000年和2001年为第4名,2002年—2004年为第3名,一直处于稳定较小的进步中;C单位

第2期　　　　　　　　　王雪荣等:一体化管理系统动态综合评价新方法—161—

是个中大型企业,是本行业中的佼佼者,连续多年被树为样板企业、环保先进,取得了良好的经济效益和社会效益,C单位的评价值2000年处于第2名,2001年—2004年一直领先,且一直在进步;D单位由于资金、技术、和设备等各方面的,一直处于简单的维持生产状况,D单位的评价值一直处于4、5名较后位置,且有上下波动;值得注意的是E单位,20世纪90年代的老国营企业,当初有较多的积累的大中型企业,由于负担较重,加之后期产品滞销,污染严重,多次被限期整改,现已处于不断缩减生产阶段,E单位的评价值从2000年的第1名降低到2004年的第5名.参考文献:

4　结束语

从评价方法过程和评价结果可以看出,此评价方法具有科学性,实用性,客观性,动态可比性和评价过程透明性.但有待于进一步研究的是如何合理、科学地选择时间贴现因子,把每个单位几年的评价值,再进一步合成为一个总的评价值,以便反映出每个系统在较长时间段里总的输出———综合绩效,并且进一步分析该系统的人、料、机、法、环等各项输入是否达到最佳效率,及综合绩效的最佳增长速率,以确保可持续发展.

[1]任若恩,王惠文.多元统计数据分析[M].北京:国防工业出版社,1997.1—171.[2]李登峰,陈守煜.时序多目标决策的模糊优选法[J].系统工程与电子技术,1994,16(2):12—15.[3]杨益民.有时序多指标决策的满意度矩阵法[J].预测,1997,16(1):71—72.[4]郭亚军,等.综合评价理论与方法[M].北京:科学出版社,2002.40—49.

[5]WangJ,YangJB,SenP.Safetyanalysisandsynthesisusingfuzzysetsandevidentialreasoning[J].ReliabilityEngineeringandSystemSafety,1995,47:103—117.

[6]KimH.Evidentialreasoningapproachtomulti2resource2dataclassificationinremotesensing[J].IEEETrans.onSystems,Man.AndCybernetics,1995,8:1257—1265.

[7]张文修,梁　怡.不确定性推理原理[M].西安:西安交通大学出版社,1996.

[8]郭亚军,等.兼顾“功能性”与“均衡性”的综合评价方法及应用[J].中国软科学,2001,3:104—106.

作者简介:

),女,安徽宿州人,博士,副教授,研究方向:管理科学与评价技术研究,wangxuerong212@sina.com;王雪荣(1967—

),男,山西太原人,博士,副教授,研究方向:质量管理成本.郭春明(1975—