王贤慧

袁军鹏

Simplified Chinese

National Science Library,Chinese Academy of Sciences

科技管理研究Science and Technology Management Research 2017  No. 232017 年第 23 期doi:10.3969/j.issn.1000-7695.2017.23.033一种面向社会关系的同行评议方法王贤慧 1，袁军鹏 2（１. 山东省科技统计分析研究中心，山东济南　250101；2. 中国科学院文献情报中心，北京　100190）摘要：提出一种科技评价构想，将评议人与被评议人之间的关系分析识别，并根据紧密程度予以合理量化，同时根据不同的评审要求，设置评审阈值。评审专家的遴选是参照量化后的社会关系赋值以及不同的评审阈值。在评审中，将量化后的社会关系回避处理，或者予以不同的权重设置，与评议人的评议结果相结合，从而使评议结果更具有公信力。关键词：同行评议；回避制度；社会关系；评审阈值；关系量化中图分类号：G353                                   文献标志码：A                       文章编号：1000-7695（2017）23-0228-05A Study on Peer Review by Experts Based on Social RelationshipWang Xianhui1, Yuan Junpeng2（1. Shandong Science and Technology Statistics, Jinan 250101, China; 2. National Science Library, Chinese Academy of Sciences, Beijing 100190）Abstract: According to the requirement of different reviews and the setting of review threshold, this paper proposes a bold scientific evaluation idea for reasonable quantitative analysis of these relationships. The selection of assessment experts refers to quantitative evaluation of social relations and review threshold. In the reviewing process, the selection of expert is combined with a review of appraisal results to make the evaluation result more credible. Key words: peer review; avoidance principle; social relations; review threshold; quantitative evaluation收稿日期：2017-02-16，修回日期：2017-03-29基金项目：国家自然科学基金项目“中英文论文中的中国作者姓名消歧研究”（71473236）同行评议制度是目前学术评价方法体系中可信度最高、应用最广泛的评价方法，在各国的科技评价中应用较为普遍。同行评议也有很多弊端，比如：难以支持创新，难以对科技成果保密，难以支持交叉学科，最重要的是，评议专家的主观倾向性，成为同行评议的短板。专家是社会人，不可避免地与他人存在着种种的社会关系，一些社会关系确实有可能会对科技咨询与决策的效率和有效性产生影响，从而导致评议的无效或不公。为了减小这种影响，在实际评审中，科研管理部门往往会采用回避原则，规避掉与被评议人有利害关系的评议专家，以保证专家决策的客观公正。但是，现行同行评议回避范围较窄，往往局限于同事关系，而对于其他可能影响评议的社会关系涉足较少，比如师生关系、同学关系和合作关系，等等。如果在同行评议中一味地采用回避原则，有可能会面临专家选择余地过少，遴选专家工作难度加大等困境。那么，如何正视专家各种社会关系的影响，灵活运用回避制度，最大程度地保证评议结果的公正性与权威性呢？本文旨在探索这一思路，权衡不同的社会关系对评审产生的可能影响，在评议过程中，将评议人与被评议人之间的种种关系进行分析识别，并根据不同的评审要求予以权重设置或者回避处理，以降低社会关系的主观性影响，这可能会对各类科技咨询、评审、评价和评估的有效性和公正性产生积极影响。1　文献梳理国外文献研究主题主要集中在如何提高同行评议的评议质量，如何进行同行专家的选择，同行评议中定性与定量方法的使用，高质量的同行评议必备的条件，科研管理者在同行评议中的作用以及不同国家同行评议制度的对比等方面。Kostoff ［1］将同行评议定义为一种综合型同行评议，需要不同类型的同行专家来进行评议，不能局王贤慧等：一种面向社会关系的同行评议方法 229限于某个特定的领域。Rennie 等［2］提出修正式的同行评议。Bloom［3］认为，要想取得高质量的评议结果，重点在于评议过程的合理设置。Callaham［4］深入研究了同行评议过程中的保守主义现象。Fisher 等［5］着重研究评议过程中，主持人的影响力。国外一些学者也针对同行评议中定量方法的使用进行了研究，很多评价体系也经过不断地摸索，融入了定量评定。代表人物 Hirsch 在 2005 年提出了h 指标，用以衡量研究工作的累计影响力。英国的RAE（The Research Assessment Exercise） 科 研 评 价体系，将定性和定量评价结合，是全球历史最悠久、最成熟的科研评价体系之一。相较于西方，我国学者开始研究同行评议的时间相对比较晚。我国业内对同行评议讨论与研究的重点，集中在如何更科学、更恰当地选择同行专家。此外研究还比较集中于针对程序公正和利益冲突等涉及评议公正性的问题。国家自然基金委政策局前局长吴述尧的《同行评议方法论》一书，是研究同行评议的经典著作。朱作言［6］院士提出了科学自主性的问题。刘克等［7］用量化的方法对影响项目评审公平性的几种因素进行了分析，包括专家熟悉程度、评价标准度和评价结果偏离度。龚旭［8］归纳、梳理出影响同行评议公正性的因素，为研究科技评价工作的公正性提供了重要的理论依据。国内同行评议方面的文献研究表明，我国关于科学评价问题的研究起步较晚，多驻足于同行评议的具体操作层面，深入到运用相关理论方法开展学理分析的还不多；其研究领域大多还仅限于对科研成果的评价，而对科研体系建设、科研机构及人员等方面的研究涉及很少。我国现有的科学评价体系还不够完善，尚未形成一套公认的评价准则和评估体系，科学评价存在着评价主体单一化、评价方法简单化等问题，尚未与国际接轨。2　面向社会关系的同行评议方法2.1　各种社会关系对同行评议的影响参与同行评议的专家是“社会人”，专家之间存在着各种各样的社会关系。不难理解，他们的社会网络主要集中在 3 个方面：亲缘关系、业缘关系和友缘关系，这 3 种社会关系对同行评议的影响力是不一样的。本文中，将亲缘关系分为家人和亲戚这两类人际关系。前者主要包括配偶、父母、子女、兄弟等直系亲属，这类关系对同行评议的影响最为直接，在实际评审中一般会采取严格的回避处理；后者指相对疏远的有血缘或姻缘关系的亲戚亲属，在实际评审中往往没有必要进行严格的回避。业缘群体包含的人际关系最为丰富，这是专家人际关系网络中重要的组成部分，主要包括领导、同事、学术圈内人士、学生、老师、同学等关系。在实际评审中，很多时候会回避这些关系的影响，但是一刀切地回避，也会有很多弊端。友缘关系是以共同的家乡、区域、社区、爱好、观点等因素而建立的关系，主要包括老乡、朋友、网友等。友缘关系的信息获取比较困难，界定也比较主观，很多时候，同行评议的专家的社会关系只能选择忽视这些关系对评议的影响。但是很多私人关系 ( 如亲缘关系 ) 涉及专家的隐私问题，目前的科技研究尚不能通过公民户籍等渠道来获取。因此，本文主要选择那些可以从公开信息中获取的，与专家学术工作相关的专家关系进行研究，包括同单位、跨部门等的所属组织类别关系，项目合作、学术交流和论文合作等科研协作关系。图1　本文中各种关系的获取途径230 王贤慧等：一种面向社会关系的同行评议方法2.2　社会关系信息的获得方法（1）导师信息、同学信息和学生信息都要依据专家个人简历进行数据的清洗，删除掉同姓名导致的错误信息，从而得到准确的导师、同学及学生信息。（2）本文通过中国知网，结合专家个人简历，获取专家中文论文合作者信息，通过 Web of Science获取专家英文论文合作者信息，将专家英文论文和中文论文信息进行对比、核查，删除掉重复的数据，最终得出论文合作者列表。通过自编程序，对下载的论文合作数据进行处理、清洗、统计和分析，构建了作者合作矩阵。对论文合作数据进行归一化处理，即将论文合作频次进行统计上的概率分布分析。线性函数转换如下：（1）式（1） 中，X 代 表 论 文 合 作 频 次，Y 代 表论文合作频次归一化处理后的赋值； MaxValue、MinValue 分 别 为 论 文 合 作 频 次 的 最 大 值 和 最 小值。将构建的论文合作矩阵导入社会网络分析软件UCINET，采用自带插件 Netdraw 进行中心势分析，绘制专家的论文合作关系网络。（3）梳理专家和他人之间不同的社会关系，构 建 相 应 的 关 系 矩 阵， 导 入 社 会 网 络 分 析 软 件UCINET，采用自带插件 Netdraw 进行中心势分析，绘制社会关系网络，其中社会关系赋值的高低用关系线的 Width 表示。2.3　权重的设定考虑到可操作性和结果的公信力等方面，本文拟采用专家评价法进行权重的设定。具体的做法是：对所要预测的问题征得专家的意见，进行整理、归纳和统计，然后反馈给各专家，并再次进行征求意见、再集中和再反馈，直至得到稳定的意见。专家之间不得互相讨论，不发生横向联系，只能与调查人员沟通，通过反复征询、反馈、修改和归纳，最后汇总成专家基本一致的看法，作为专家调查的结果。本文邀请调研专家 10 人，组成权重确定小组，对本文的各种社会关系进行量化赋值。计算公式为：                                                 （2）式（2）中，Mj 为小组成员对 j（j=1,2,…, n）社会关系的算术平均值；mj 为评定 j 社会关系的专家数；Cij 为第 i（i=1,2,…,m）个小组成员对第 j 个社会关系的评分值。Mj 的值为 0 ～ 1，Mj 的值越大，则方案的相对重要性越大。2.4　评审阈值的设置不同的评审，对专家社会关系的影响是不同的，要具体问题具体分析。例如，论文评审和奖励评审，对专家社会关系回避的设定原则有较大差别。所以，在实际评审中，可以根据不同的评审要求，采用专家评价法分别进行阈值的设置。本研究邀请调研专家 10 人，组成阈值确定小组，充分考虑该项评审的重要性、立项率及对产业政策的贴合度等因素。计算公式为：                                                    （3）式（3）中，Tj 为小组成员对评审 j（j=1,2,…, n）评审阈值的算术平均值；tj 为评定评审阈值的专家数；Cij 为第 i（i=1,2,…, m）个小组成员的评分值。Tj 的值为 0-1，Tj 的值越大，则该评审的限定关系越多。2.5　面向社会关系的评议流程通过不同的方式，提炼了专家的种种社会关系之后，将不同的专家社会关系赋予不同的权重，将这些关系分析识别并予以合理量化，同时根据不同的评审要求，设置评审阈值。评审专家的遴选是参照量化后的社会关系赋值以及不同的评审阈值。在评审中，分析和识别有效的社会关系，权衡对评审可能产生的影响，建立相关关系计算模型。在评审中，除了评议人主动提出需要回避的被评议人之外，其余的被评议人，需要在关系列表中进行对比，如果是关系赋值高于评审阈值，需要进行回避处理或者将评审结果进行权重处理；如果是关系赋值低于评审阈值，可以参与评审，或者将评审结果进行权重处理。总体流程如图 2 所示。王贤慧等：一种面向社会关系的同行评议方法 231图2　面向社会关系的评议流程2.6　实例在本研究中，辅以大量实例，提炼专家的社会关系，并运用于实际评审之中，以验证这一思路的可行性。通过前述方法，得出专家 Z 的同事、导师、同学、学生和论文合作者的信息，结合专家评价法设立的权重值赋值，通过自主编程设计的计算小程序，得出专家 Z 的社会关系量化值。按同样方法，得出评审组其余专家（专家 P、专家 Y、专家 L、专家 W）的社会关系量化值。实际某项评审中，首先提取某项目的申报人、技术负责人和单位管理人员等的信息，与专家社会关系人员相对比，根据评审阈值选取专家。假设专家评价法小组成员已经将某次评审阈值设为 0.203 8，那么选取出专家关系赋值大于等于 0.203 8 的专家关系人列表。在评审中，除了评议人主动提出需要回避的被评议人之外，其余的被评议人，需要在关系列表中进行对比，如果是关系赋值高于 0.203 8，需要进行回避处理，该评议人不能评议此项目；如果是关系赋值低于 0.203 8，可以参与评审，但是如果有关系，需要根据评审实际要求进行权重处理。例如专家 Z 参与的山东某年度某项评审，某项目的项目申报人、技术负责人、单位管理人员等申报的人员信息有：杨同波、张仁旭、荣国栋、李章兵、李振波、佟业新、董琪、李俊二、庞圣波、李满江、张立军、徐延宁、杨承磊、王英、王子罡、张翔、曲昌荣、厉明、王钰、孙德法、郭凤华、王晓波、武卫红、毛希平、潘荣江。评审组专家推荐名单拟定 5 位专家：专家 Z、专家 P、专家 Y、专家 L 和专家 W，其中：在专家Z 关系列表中的人员及人员关系赋值有“李章兵 0.3”；在专家 P 关系列表中的人员及人员关系赋值有“曲昌荣 0.04”；在专家 Y 关系列表中的人员及人员关系赋值有“王英 0.167 7”“王钰 0.015 4”；在专家L 关系列表中的人员及人员关系赋值有“张立军 0.1”；在专家 W 关系列表中的人员及人员关系赋值有“张仁旭 0.005 6”“庞圣波 0.205 6”。 可 以 清 晰 地 看 到， 关 系 赋 值 大 于 评 审 阈 值0.203 8 的专家有专家 Z、专家 W，需要评审委员会或管理部门定夺，是进行回避处理还是可以参加评审，但是最终评定结果要进行相应的权重处理。专家 Z、专家 P、专家 Y、专家 L 和专家 W 等5 位专家，对某项目的打分分别为：90、84、79、89 和 91。按原来的评价方式，项目最终得分是 5位专家的得分平均值，为 86.6；如果回避关系赋值0.203 8 以上的专家专家 Z、专家 W，那么另外 3 位专家的打分分别为：84、79 和 89，该项目的平均分为 84；如果不回避，将两名专家的打分加权处理（分值 / 关系赋值 ×0.203 8）后，打分为：61.14、84、79、89 和 90.2，该项目的平均分为 80.668。通过这样的评价，能对主观评价有一个客观的打分，能够公正对待，合理面对公众质疑。这一改进的综合评价方法，权衡不同的社会关系对评审产生的可能影响，在评议过程中，将评议人与被评议人之间的种种关系分析识别并根据不同的评审要求予以合理量化，以降低社会关系的主观232 王贤慧等：一种面向社会关系的同行评议方法性影响。既正视了评议人的社会关系影响，又通过不同的权重设置，降低了社会关系的主观性影响。这一思路可能会对各类科技咨询、科技评估的有效性和公正性产生积极影响，促进科技资源优化配置，提高科技管理水平，是一项有意义的科学评价构想与尝试，符合当前评审发展的实际要求，可应用于诸多领域。3　面向社会关系评议方法的意义本文的主要目的是，在中国的社会文化大背景下，深入研究专家的各种社会关系，论述社会关系对同行评议的影响，旨在探索一条全新的评审思路，既正视专家社会关系的影响，又能最大程度地保证评审的公正性。本文着重思考如何减少专家社会关系的主观影响，提出针对不同的社会关系，或者严格回避、或者根据关系的紧密程度设置不同权重将评价结果进行加权的创新思路，使得复杂的综合评价更具有科学性和公信力。这种改进的综合评价方法，可应用于诸多领域，适用于同时存在有定量、定性评价意见情况下的综合评价问题。基于社会关系的科技项目评审体系，非常有利于科研管理部门针对不同的项目来选择同行专家，各种社会关系可以在管理系统中可视化呈现，评议人与被评议人之间的社会关系一目了然。并且，不同社会关系的量化值减少了专家打分的主观性影响，从而得到一个更为公正合理、更有公信力的评审结果。4　结论针对不同的社会关系，赋予评议专家以不同的权重，这一思路适应当前评审的实际要求，提供了一种全新的评审思路。但是，这一想法也有很多需要完善的地方，比如：权重值的设置如何更加规范，摆脱主观性的设定；评审阈值的设置如何更有公信力；专家社会关系网络建立过程中，关系人重名的问题较难排查；很多隐性社会关系无法衡量；另外一些社会关系是否也可以通过种种渠道进行量化；这一评审思路在较大规模的评审中，是否具有可操作性，等等。上述问题，都需要进一步的研究。参考文献：［1］KOSTOFF R N.Peer review:the appropriate GPRA metric for research［J］.Science，1997， 277（5326）:651.［2］ RENNIE D.Editorial peer review in biomedical publication:the first international congress［J］.JAMA,1990, 263（10）:1317. ［ 3 ］  B L O O M  F  E . T h e  i m p o r t a n c e  o f  r e v i e w e r s ［ J ］ .Science,1999,283(5403):789.［4］ CALLAHAM M L, WEARS R L, WEBER E J.Positive-outcome bias and other limitations in the outcome of research abstracts submitted to a scientific meeting［J］.Journal of the American Medical Association，1998, 280（3）:254-257.［5］ FISHER M，FRIEDMAN S B, STRAUSS B.The effects of blinding on acceptance of research papers by peer review［J］.Journal of the American Medical Association,1994,272（2）:143-146．［6］朱作言 . 同行评议与科学自主性［J］. 中国科学基金 ,2004(5):3-6. ［7］何杰 , 刘克 . 对同行评议专家评议工作进行评估的一些思考［J］.中国科学基金，2004(1):49-52.［8］ 龚 旭 . 同 行 评 议 公 正 性 的 影 响 因 素 分 析［J］. 科 学 学 研究 ,2004(6):613-618.作者简介：王贤慧（1979—），女，山东济宁人，副研究员，主要研究方向为科技评估、科技统计；袁军鹏 (1973—），通信作者，男，山东临沂人，博士，研究员，硕士导师，主要研究方向为情报学、科学计量学、科技政策。

一种面向社会关系的同行评议方法

http://ir.las.ac.cn/bitstream/12502/9712/1/%e4%b8%80%e7%a7%8d%e9%9d%a2%e5%90%91%e7%a4%be%e4%bc%9a%e5%85%b3%e7%b3%bb%e7%9a%84%e5%90%8c%e8%a1%8c%e8%af%84%e8%ae%ae%e6%96%b9%e6%b3%95_%e7%8e%8b%e8%b4%a4%e6%85%a7_%e8%a2%81%e5%86%9b%e9%b9%8f.pdf

一种面向社会关系的同行评议方法

Abstract

Similar works

Full text

Available Versions

National Science Library,Chinese Academy of Sciences