【摘 要】[目的]根据论文被引频次百分位创建不同学科论文被引频次基准线,探讨基于被引频次基准线遴选论文代表作的方法。[方法]以河南省科学技术领域学者为研究对象,以WoS数据库的学科分类为依据,建立不同学科论文被引频次基准线。依据该基准线对河南省各学科学者2009—2018年发表的每篇研究论文确定PR8分值,PR8分值≥3为论文代表作遴选的最低标准,其中PR8分值≥6者为第Ⅰ层次代表作,PR8分值≥5者为第Ⅱ层次代表作,PR8分值≥3者为第Ⅲ层次代表作。对不同层次代表作遴选的优秀学者进行比较。[结果]创建了177个学科论文被引频次基准线,根据代表作遴选标准确定了河南省学者7707篇代表作。采用代表作论文和全部论文以及采用不同层次代表作论文遴选优秀学者的结果明显不同。[结论]论文被引频次基准线在跨学科学术评价中具有重要意义,可以简单、明确地界定不同学科论文代表作;代表作评价制度的推行势在必行。
【关键词】被引频次基准线 ; 论文代表作 ; PR8分值 ; 跨学科评价 ; 学者评价
学者评价是指以学术人才为对象的学术评价活动[1]。科学合理的学者评价,不仅可以促进人才资源的合理流动和有效配置,也有利于更多的优秀人才脱颖而出,真正实现人尽其才、才尽其用[2]。学术论文是衡量学者学术水平和科研能力的重要标志。早在2013年,教育部发布了《关于深化高等学校科技评价改革的意见》,强调应“对主要从事创新性研究的科技活动人员实行代表性成果为重点的评价”[3];2016年教育部又发布了《关于深化高校教师考核评价制度改革的指导意见》,要求完善科研评价导向,探索建立“代表性成果”评价机制[4]。2018 年5 月,中共中央办公厅、国务院办公厅印发了《关于进一步加强科研诚信建设的若干意见》,指出要着力深化科研评价制度改革,坚持分类评价,突出品德、能力、业绩导向,推行代表作评价制度[5]。2020年2月,教育部、科技部联合印发了《关于规范高等学校SCI论文相关指标使用树立正确评价导向的若干意见》,指出对不同类型的科研工作应分别建立各有侧重的评价路径。对于基础研究,论文是成果产出的主要表达形式,坚决摒弃“以刊评文”,评价的重点应是论文的创新水平和科学价值,不能把SCI论文相关指标作为直接判断依据,要求实行代表作评价,精简申报材料,优化申报流程[6]。不难看出,自2013年以来,国家高层管理机构一直强调并致力于完善代表作评价制度。对代表作的成果类型容易达成共识,除了常见的论文、著作、研究报告、专利、作品等,也包括技术转让、技术服务、技术咨询、获奖、衍生项目等成果[7]。但对代表作的选择标准存在较大分歧,从成果的内容、创新性及对社会贡献度等方面选择代表作的难度显然极大。能够清晰界定代表作选择标准的大多是基于文献计量学层面的研究[8-9]。
2012年发布的关于科研评价的《旧金山宣言》中指出:在未来,研究论文之外的其他产出对于评价科研绩效将越来越重要,但经过同行评议的研究论文仍将是科研评价所使用的核心研究产出。因此认为,成果形式的多元化将会成为未来科技评价的发展方向,但对论文质量和影响力评价依然是科技评价的基础和重要依据。为了贯彻落实《关于规范高等学校SCI论文相关指标使用树立正确评价导向的若干意见》,“不把SCI论文相关指标作为评价的直接依据”,笔者在Bornmann等[10]提出的PR6(已被美国科学基金会采纳[11])基础上,参考ESI数据库论文被引频次百分位数等级设置,提出了论文PR8分值指标[12-13]。本研究以河南省科技学者论文型成果产出为评价对象,探讨基于PR8分值选择论文代表作的方法,避免使用期刊影响因子(废除“以刊评文”)或直接使用未经标准化处理的被引频次进行论文评价,为大规模、跨学科进行学者代表作评价提供参考。
1 研究对象与方法
1.1 研究对象
本研究以InCites数据库和WoS数据库为主要数据来源,以Journal Citation Reports(JCR)划分的177个学科为学科分类依据,以其来源期刊2009—2018年发表的研究论文为研究对象,建立论文被引频次基准线。以2009—2018年Science Citation Index(SCI)数据库收录的河南省学者为第一通信作者的论文为研究对象,以论文被引频次基准线为依据确定论文代表作。
1.2 研究方法
1.2.1 数据获取
登录InCites数据库,选择研究方向分析进入数据库检索页面,时间设定为2009—2018年,学科分类体系选择WoS,文献类型选择Article(由于综述是三次文献,不属于个人的研究产出,本研究忽略了综述文献)进行检索。点击SCI每个学科的论文数,导出相应的数据,并整理为Excel文件,以便进行后续数据处理。
登录InCites数据库,选择人员分析进入数据库检索页面,时间设定为2009—2018年,学科分类体系选择WoS,文献类型选择Article,国家/地区选择“Henan, China's Mainland”,检索并导出相关数据。然后进入WoS数据平台的高级检索界面,点选SCI数据库的“高级检索”,检索来自河南省18个地市的学者在2009—2018年发表的研究论文。选择保存为其他文件格式,记录内容选择为“全纪录”,文件格式选择为“制表符分隔(Win)”,下载所有数据。
1.2.2 论文被引频次基准线的建立
(1)百分位等级的划分方法。2011年,Bornmann等[10]提出了PR6指标,用以进行论文的跨学科评价。刘雪立等[12]在此基础上提出了基于论文被引频次的8个百分位等级,即PR8。本研究将PR6与ESI的基准线设置相结合,将论文分为8个百分位等级,建立论文被引频次基准线。具体划分标准如下:将每个学科每一年的论文均按照被引频次降序排列,把论文分为Top 0.01%、Top 0.1%、Top 1%、Top 5%、Top 10%、Top 25%、Top 50%和最后的50%(Low 50%),对应的论文被引频次百分位数排序分别为(0,0.01%]、(0.01%,0.1%]、(0.1%,1.0%]、(1.0%,5.0%]、(5.0%,10.0%]、(10.0%,25.0%]、(25.0%,50.0%] 和(50.0%,100.0%],共8个百分位等级,建立8个等级论文的被引频次基准线。
(2)基准线数值的获取方法。InCites数据库给出了每篇论文的学科领域百分位数,依据每个学科论文的学科领域百分位确定论文被引频次基准线。如某学科领域被引频次排在前5%的论文的最低被引频次为342次,则Top 5%的基准线为342,某学科领域被引频次排在前25%的论文的最低被引频次为40次,则Top 25%的基准线为40。以此类推,对各百分位等级的论文建立被引频次基准线。若论文数不足10000篇时,则该学科不设置Top 0.01%基准线。
1.2.3 论文赋值方法
被引频次百分位数排序在(0,0.01%]、(0.01%,0.1%]、(0.1%,1.0%]、(1.0%,5.0%]、(5.0%,10.0%]、(10.0%,25.0%]、(25.0%,50.0%] 和(50.0%,100.0%]的论文分别赋值8、7、6、5、4、3、2和1分。每位学者所有论文PR8分值总和就是该学者的PR8总分。
1.2.4 数据处理
整合从InCites数据库导出的177个学科的数据,依据上述论文赋值方法,建立各个学科的论文被引频次基准线。将InCites数据库导出的河南省学者论文相关指标与WoS导出的河南省学者论文的相关指标进行比对,仅保留两个数据库均有的论文及其相关数据(论文标题、通信作者、通信作者地址、来源期刊、出版年、所属学科、被引频次、学科领域百分位和期刊影响因子)。整合后剔除非河南省学者为第一通信作者的数据(考虑到国内通信作者的特殊地位,加上通信作者和第一作者不一致时,第一作者多数是学生,该研究只计数通信作者),并补充所有论文通信作者的机构信息,共获取有效数据42917条,涉及河南省学者11355位、机构291个。学者姓名相同但所属机构(大学)不同,视为不同学者。同一机构姓名相同者依据论文所属学科的相关度确定是否同一学者。
1.2.5 论文代表作遴选标准
参照JCR期刊分区方法,将同一学科、同年度被引频次排序在前25%(Top 25%)作为确定论文代表作的最低标准,即将PR8分值≥3的论文作为代表作。不同层次的学者评价对代表作的要求应该不同,比如院士、长江学者等高层次人才评价与高校教师的职称晋升对代表作要求的标准应该明显不同。在此,按照论文PR8分值将论文代表作分为3个层次,PR8分值≥6(Top 1%)的论文为第Ⅰ层次代表作,PR8分值≥5(Top 5%)的论文为第Ⅱ层次代表作,PR8分值≥3(Top 25%)的论文为第Ⅲ层次代表作。第Ⅱ层次代表作包含第Ⅰ层次代表作,第Ⅲ层次代表作包含第Ⅰ和第Ⅱ层次代表作。第Ⅰ层次代表作中,Top 0.1%(PR8分值≥7)的论文可认为是顶尖代表作。
2 结果与分析
2.1 各学科论文被引频次基准线
依据从InCites和WoS数据库获取的数据,对SCI数据库的177个学科建立了论文被引频次基准线。由于学科数量太多,本研究仅列出农业工程(Agricultural Engineering)、细胞生物学(Cell Biology)和材料科学综合(Materials Science, Multidisciplinary)3个学科的基准线(表1)。观察各学科论文被引频次基准线的数值,可以发现:(1)不同学科论文被引频次基准线差异巨大,不同学科Top 1%基准线有明显差异,例如2009年农业工程学科的Top 1%基准线为201,细胞生物学为399,材料科学综合为237,这一结果客观反映了不同学科论文被引频次的差异;(2)各学科从Top 0.01%到Top 50%论文被引频次基准线逐渐下降;(3)随着论文发表时间的延长,论文被引频次基准线总体上逐年增加,即2009年基准线一般要高于2010年及以后各年度基准线,2010年基准线一般要高于2011年及以后各年度基准线,基准线表现较为稳定;
表1 3个学科论文被引频次基准线
学科名称 | 基准线等级* | 各年度被引频次阈值# | |||||||||
2009年 | 2010年 | 2011年 | 2012年 | 2013年 | 2014年 | 2015年 | 2016年 | 2017年 | 2018年 | ||
Agricultural Engineering | Top 0.1% | 659 | 483 | 460 | 351 | 227 | 239 | 135 | 83 | 57 | 28 |
Top 1% | 201 | 205 | 183 | 146 | 108 | 82 | 65 | 47 | 32 | 19 | |
Top 5% | 111 | 101 | 92 | 80 | 63 | 49 | 42 | 29 | 18 | 10 | |
Top 10% | 78 | 74 | 66 | 56 | 46 | 39 | 32 | 23 | 15 | 7 | |
Top 25% | 45 | 45 | 38 | 33 | 30 | 24 | 20 | 14 | 9 | 5 | |
Top 50% | 22 | 21 | 18 | 17 | 16 | 13 | 11 | 8 | 5 | 4 | |
Cell Biology | Top 0.01% | 1912 | 2674 | 1573 | 1502 | 1568 | 1244 | 1022 | 487 | 249 | 111 |
Top 0.1% | 1036 | 969 | 876 | 713 | 612 | 488 | 403 | 222 | 128 | 59 | |
Top 1% | 399 | 339 | 294 | 266 | 237 | 187 | 147 | 93 | 51 | 22 | |
Top 5% | 166 | 149 | 129 | 116 | 97 | 80 | 61 | 40 | 23 | 10 | |
Top 10% | 107 | 96 | 83 | 75 | 63 | 52 | 41 | 27 | 16 | 7 | |
Top 25% | 53 | 47 | 42 | 38 | 33 | 28 | 22 | 15 | 9 | 4 | |
Top 50% | 25 | 22 | 20 | 19 | 16 | 14 | 11 | 8 | 5 | 2 | |
Materials Science, Multidisciplinary | Top 0.01% | 1864 | 1862 | 1634 | 1323 | 1104 | 977 | 794 | 549 | 284 | 100 |
Top 0.1% | 781 | 855 | 679 | 608 | 539 | 450 | 317 | 220 | 121 | 50 | |
Top 1% | 237 | 255 | 218 | 204 | 180 | 158 | 123 | 86 | 52 | 20 | |
Top 5% | 96 | 96 | 89 | 82 | 72 | 65 | 54 | 39 | 24 | 9 | |
Top 10% | 63 | 62 | 57 | 53 | 46 | 42 | 36 | 26 | 16 | 6 | |
Top 25% | 31 | 31 | 29 | 27 | 24 | 21 | 18 | 14 | 9 | 4 | |
Top 50% | 14 | 14 | 13 | 12 | 11 | 10 | 9 | 7 | 4 | 2 |
(4)学科规模(论文数量)越大,论文被引频次基准线表现越稳定,论文数量较少的学科Top 0.01%和Top 0.1%等级基准线不太稳定,偶尔会出现下一年度基准线高于上一年度基准线的情况。总体上,该基准线较好地反映了科学文献的引证规律。依据该基准线,可以快速而准确地确定每一篇论文的PR8分值,如某学者2009年发表的一篇细胞生物学论文,目前被引频次为1920次,从表1可知该论文被引频次排在该学科2009年发表的所有论文的前0.01%,PR8分值为8。
目前,学术人才的引进与聘用、人才考核、职称评审、课题立项、成果鉴定、评优奖励、团队建设等均涉及不同学科学术人才评价活动,采用传统引证指标无法平衡不同学科引证指标的巨大差异,采用PR8分值进行评价就显得非常重要和必要。在评价不同学科学者的科研绩效时,只需明确该学者的论文出版年、所属学科及其被引频次,就可以依据本研究建立的基准线确定该论文被引频次在所属学科的百分位等级及其相应的PR8分值,将某学者所有论文的PR8分值相加,便可得到反映该学者科研绩效的PR8总分。为了体现代表作评价思想,本研究只计算学者代表作论文的PR8总分。
需要说明的是,学者的科研产出形式多样,除了研究论文外,还有学术著作、专利、研究报告、产品等等,PR8总分仅仅是基于学者论文产出情况而建立的,目的是纠正简单地计算论文数量和被引频次这种不科学的评价方法。长期以来,科研绩效评价中对论文及其被引频次指标的滥用和误用比较普遍,这一现象已被高层管理机构所关注。建立PR8指标的目的是在论文层面上规范评价指标的使用。
2.2 河南省学者论文代表作
2.2.1 代表作总体情况
2009—2018年河南省学者作为第一通信作者共发表研究论文42882篇(剔除了35篇已撤销论文),涉及河南省学者11355位、机构291个。论文代表作共7707篇(剔除了5篇已撤销论文),涉及学者共2992位,来自111个机构,其中高校55所(7313篇,94.9%)、研究机构21个(213篇,2.8%)、医疗卫生机构29个(175篇,2.3%)、其他机构6个(6篇)。各层次代表作数量及其与代表作理论值的差距、涉及学者数、机构数见表2。
表2 2009—2018年河南省学者代表作总体情况
代表作层次 | 代表作数量 | 涉及学者数 | 涉及机构数 | 代表作理论值 | 差距 |
顶尖代表作 | 17 | 15 | 8 | 43 | 0.395 |
第Ⅰ层次 | 290 | 199 | 33 | 429 | 0.676 |
第Ⅱ层次 | 1539 | 836 | 62 | 2144 | 0.718 |
第Ⅲ层次 | 7707 | 2992 | 111 | 10721 | 0.719 |
从表2可以看出,河南省学者各层次论文代表作数量明显低于全球平均水平,代表作所属层次越高,其与全球平均水平差距越明显,Top 0.1%论文数仅仅是代表作理论值的39.5%。因此认为,河南省高水平代表性研究成果产出明显不足。
2.2.2 河南省学者顶尖代表作
2009—2018年,河南省学者顶尖代表作共17篇,详见表3。Liu X H和Zang S Q各有2篇顶尖代表作,其他15位学者各1篇顶尖代表作。郑州大学是河南省唯一的“一流大学”建设高校,在河南省内表现异常突出,17篇顶尖代表作中独占9篇,其他8篇顶尖代表作分布在8个高校,“一流学科”建设高校河南大学也仅产出1篇顶尖代表作。拥有顶尖代表作的高校均为河南省重点高校和骨干高校。
表3 2009—2018年河南省学者顶尖代表作
通信作者 | 机构名称 | 来源期刊 | 出版年份 | WoS学科 | 被引频次 | 学科领域百分位 | 期刊影响因子 |
Liu X H* | 郑州大学 | Materials & Design | 2018年 | Materials Science,Multidisciplinary | 110 | 0.00796 | 4.525 |
Liu X H | 郑州大学 | Polymer Testing | 2018年 | Materials Science,Characterization & Testing | 35 | 0.06774 | 2.247 |
Zang S Q | 郑州大学 | Nature Chemistry | 2017年 | Chemistry, Multidisciplinary | 185 | 0.04087 | 26.201 |
Zang S Q | 郑州大学 | Advanced Materials | 2018年 | Chemistry, Multidisciplinary | 54 | 0.08217 | 21.950 |
Zhang J H | 中原工学院 | Electronic Journal of Qualitative Theory of Differential Equations | 2014年 | Mathematics, Applied | 147 | 0.01778 | 0.881 |
He Y X | 河南科技大学 | Journal of Colloid and Interface Science | 2018年 | Chemistry, Physical | 90 | 0.01786 | 5.091 |
Zheng G Q | 郑州大学 | Journal of Materials Chemistry C | 2018年 | Materials Science,Multidisciplinary | 88 | 0.01908 | 5.976 |
Dai K | 郑州大学 | Journal of Materials Chemistry C | 2017年 | Materials Science,Multidisciplinary | 216 | 0.02919 | 5.976 |
Xu Q | 郑州大学 | Chemical Engineering Journal | 2015年 | Engineering, Environmental | 303 | 0.03817 | 6.735 |
Li H Y |
华北水利 水电大学 |
Boundary Value Problems | 2016年 | Mathematics, Applied | 48 | 0.06940 | 1.156 |
Chai X L | 河南大学 | Optics and Lasers in Engineering | 2017年 | Optics | 72 | 0.07964 | 3.388 |
Cui H F | 郑州大学 | Biosensors & Bioelectronics | 2018年 | Biophysics | 35 | 0.07997 | 8.173 |
Huang K J | 信阳师范学院 | Energy | 2014年 | Thermodynamics | 128 | 0.08324 | 4.968 |
Zhang B | 郑州大学 | Water Research | 2010年 | Engineering, Environmental | 288 | 0.08675 | 7.051 |
Kong X H | 河南师范大学 | Fish & Shellfish Immunology | 2014年 | Fisheries | 88 | 0.09272 | 3.185 |
Zhang S | 南阳师范学院 | Organic Letters | 2018年 | Chemistry, Organic | 26 | 0.09589 | 6.492 |
Zhang X Y | 河南工业大学 | Measurement | 2015年 | Engineering, Multidisciplinary | 132 | 0.09716 | 2.218 |
值得一提的是,中原工学院的Zhang J H和华北水利水电大学的Li H Y的顶尖代表作发表在数学期刊上,影响因子都较低,分别为0.881和1.156,充分说明了“以刊评文”的缺陷和弊端。
2.2.3 基于不同层次代表作遴选优秀学者的比较
不同学者的科研行为和成果产出具有明显不同的特征,有的学者追求“少而精”,注重科研的品质,有的学者缺乏精品意识和能力,希望以数量取胜。传统的科技评价方式过于重视SCI论文数量,使得真正高水平学者可能被低估,甚至被严重低估。2017年中共中央办公厅、国务院办公厅联合印发了《关于深化职称改革的意见》,要求“推行代表作制度,重点考察研究成果和创作作品质量,淡化论文数量要求”[14]。表4中列出了基于不同层次代表作评价遴选的优秀学者,可以看出,采用不同层次代表作评价方法进行遴选时,均能入选的优秀学者只有5位,分别是信阳师范学院的Huang K J,郑州大学的Zang S Q、Dai K、Zhang Y T和洛阳师范学院的Wang L Y。仅用第Ⅲ层次代表作评价进行遴选时,入选的19位优秀学者中有10位学者没有进入前2个层次。在河南省所有学者中,Huang K J无疑是最突出的,采用3个层次代表作评价方法进行遴选时均排在第1位;若统计所有论文数量,他仅仅排在第8位。
表4 采用不同层次代表作评价遴选的河南省优秀学者
第Ⅰ层次代表作 | 第Ⅱ层次代表作 | 第Ⅲ层次代表作 | |||||||||
通信作者 | 所属机构 | 代表作数量 | F | 通信作者 | 所属机构 | 代表作数量 | F | 通信作者 | 所属机构 | 代表作数量 | F |
Huang K J* | 信阳师范学院 | 14 | 1394.4 | Huang K J* | 信阳师范学院 | 36 | 3542.5 | Huang K J* | 信阳师范学院 | 72 | 6747.1 |
Zang S Q* | 郑州大学 | 9 | 896.3 | Zang S Q* | 郑州大学 | 23 | 2256.1 | Qi F | 河南理工大学 | 43 | 3893.2 |
Dai K* | 郑州大学 | 8 | 797.7 | Zhang Y T* | 郑州大学 | 17 | 1660.7 | Wang J J | 河南师范大学 | 42 | 3658.2 |
Xie W L# | 河南工业大学 | 5 | 498.2 | Dai K* | 郑州大学 | 15 | 1480.1 | Zang S Q* | 郑州大学 | 41 | 3826.1 |
Zheng G Q | 郑州大学 | 5 | 498.0 | Cui X L# | 郑州大学 | 13 | 1271.5 | Zhang Y T* | 郑州大学 | 38 | 3530.2 |
Han R P | 郑州大学 | 5 | 497.3 | Qi F | 河南理工大学 | 13 | 1259.2 | Hou H W▼ | 郑州大学 | 36 | 3144.3 |
Shao G# | 郑州大学 | 5 | 496.8 | Gao S Y# | 河南师范大学 | 12 | 1172.0 | Zhang Z Z | 郑州大学 | 32 | 2885.5 |
Liu X H | 郑州大学 | 4 | 398.5 | Zhang Z Z | 郑州大学 | 12 | 1170.4 | Chen C P▼ | 河南理工大学 | 31 | 2666.4 |
Wang L Y* | 洛阳师范学院 | 3 | 299.2 | Xie W L# | 河南工业大学 | 11 | 1078.8 | Pang H▼ | 安阳师范学院 | 30 | 2631.3 |
Zhao B |
郑州航空工业 管理学院 |
3 | 299.0 | Zhang B | 郑州大学 | 10 | 974.5 | Zhang L X▼ | 河南农业大学 | 30 | 2627.1 |
Niu J L# | 郑州大学 | 3 | 298.6 | Wang J T | 郑州大学 | 10 | 968.2 | Xu Q▼ | 郑州大学 | 29 | 2561.5 |
Chai X L | 河南大学 | 3 | 298.4 | Gong J F | 郑州大学 | 10 | 968.2 | Shi D P▼ | 郑州大学 | 28 | 2484.4 |
Zhang Y T* | 郑州大学 | 3 | 298.3 | Shao G# | 郑州大学 | 9 | 887.3 | Jiang Z Y▼ | 河南大学 | 28 | 2477.2 |
Song Y S# | 河南师范大学 | 3 | 298.1 | Wang L Y* | 洛阳师范学院 | 9 | 879.9 | Wang L Y* | 洛阳师范学院 | 27 | 2397.4 |
Cui X L# | 郑州大学 | 3 | 298.0 | Yang F | 郑州大学 | 9 | 874.2 | Zhou Y M | 河南大学 | 26 | 2355.8 |
Bai M | 华北水利水电大学 | 3 | 297.9 | Wang J J | 河南师范大学 | 9 | 869.1 | Li X Y▼ | 河南师范大学 | 26 | 2336.4 |
Gao S Y# | 河南师范大学 | 3 | 297.9 | Niu J L# | 郑州大学 | 8 | 790.5 | Ma C W▼ | 河南师范大学 | 25 | 2162.5 |
Zha Z B | 洛阳师范学院 | 3 | 297.8 | Song Y S# | 河南师范大学 | 8 | 786.2 | Dai K* | 郑州大学 | 24 | 2279.8 |
Zhang Y D | 河南理工大学 | 3 | 297.4 | Zhou Y M | 河南大学 | 8 | 778.5 | Zhang W F▼ | 河南大学 | 24 | 2091.9 |
由此可见,就论文成果而言,采用代表作与采用所有论文对学者进行评价,结果明显不同。要实现科技评价由重数量评价向重质量评价的转变,积极推动代表作评价势在必行。
3 结论
3.1 论文被引频次基准线具有重要意义
基于InCites数据库中论文学科领域百分位创建的论文被引频次基准线在学术评价中具有重要意义:(1)根据被引频次基准线将差异悬殊的论文被引频次转换成PR8分值,实现了对论文被引频次偏态分布的矫正;(2)根据论文被引频次在各自所属学科所处的百分位数,确定论文的PR8分值,较好地平衡了不同学科被引频次的差异,实现了不同学科学者研究绩效的跨学科评价;(3)利用该基准线对论文进行赋值,可以不考虑学科结构的差异,对不同机构(大学)、地区、国家等的研究绩效进行较为客观的评价。
3.2 利用被引频次基准线界定论文代表作简单明确
InCites数据库中给出了每篇论文被引频次百分位,根据Bornmann等[10]的建议和ESI数据库中论文被引频次基准线的设置,本研究对论文被引频次设置了8个百分位数等级并进行赋值,把Top 25%(PR8分值≥3)的论文定义为代表作,将各学科差异悬殊的论文被引频次界定为8个等级并进行赋值,操作简单、标准明确,实现了等级评价与量化评价的结合。
3.3 推行论文代表作评价势在必行
对河南省学者的评价研究显示,采用代表作和所有论文评价筛选优秀学者结果明显不同,如果采用所有论文进行科研绩效评价,将会继续助长科研人员追求数量而轻视质量的歪风。为了鼓励科研人员树立正确的价值导向,注重质量,多出精品,推行论文代表作评价势在必行。
4 研究的局限性
(1)随着时间的推移,论文被引频次会不断发生变化,这必然导致论文被引频次基准线会随时发生变化。所以,论文被引频次基准线必须随时更新,才能保证其时效性和准确性。
(2) PR8分值是仅仅基于科研产出的一种形式——论文及其被引频次建立的评价指标,目的是纠正科研绩效评价中不恰当地单纯使用SCI论文数量及其被引频次,滥用、误用期刊影响因子,“以刊评文”等不良倾向。由于没有考虑著作和专利等其他形式的成果产出,所以基于PR8分值的学者评价也不可能完全准确反映每位学者学术影响力的各个方面。
参考文献
[1]储文静.我国科技人才评价研究文献的定量与定性分析研究[J].图书情报导刊,2019,4(5):65-70.
[2]雷忠.高校人才评价的若干思考[J].华中农业大学学报(社会科学版),2009(2):76-79.
[3]教育部.关于深化高等学校科技评价改革的意见[EB/OL].(2013-11-29)[2020-05-07].http://www.moe.gov.cn/publicfiles/business/htmlfiles/moe/moe_784/201312/160920.html.
[4]教育部.关于深化高校教师考核评价制度改革的指导意见[EB/OL].(2016-08-29)[2020-05-07]..
[5]中共中央办公厅,国务院办公厅.关于进一步加强科研诚信建设的若干意见[EB/OL].(2018-05-30)[2020-05-07].http://www.gov.cn/xinwen/2018-05/30/content_5294938.htm.
[6]中华人民共和国教育部,科技部.《关于规范高等学校SCI论文相关指标使用树立正确评价导向的若干意见》的通知[EB/OL].(2020-02-18)[2020-05-07].http://www.moe.gov.cn/srcsite/A16/moe_784/202002/t20200223_423334.html.
[7]王兵.科研代表作评价工作平台的功能分析[J].中国高校科技,2017(S2):137-139.
[8]张学梅.基于代表作制度的z指数学者评价方法改进研究[J].图书馆研究与工作,2020(1):22-28.
[9]宋敏,杜尚宇,王春蕾.基于高校自然科学奖的代表作评价机制[J].中国高校科技,2019(9):34-37.
[10]Bornmann L,Mutz R.Further steps towards an ideal method of measuring citation performance:The avoidance of citation(ratio)averages in field-normalization[J].Journal of Informetrics,2011,5(1):228-230.
[11]National Science Board.Science & Engineering Indicators 2018[EB/OL].[2020-04-10].https://www.nsf.gov/statistics/2018/nsb20181/.
[12]刘雪立,魏雅慧,盛丽娜,等.期刊PR8指数:一个新的跨学科期刊评价指标及其实证研究[J].图书情报工作,2017,61(11):116-123.
[13]刘雪立,申蓝,王燕,等.学术期刊的跨学科评价指标JIPR8及其应用[J].中国科技期刊研究,2019,30(6):663-670.
[14]中共中央办公厅,国务院办公厅.关于深化职称制度改革的意见[EB/OL].(2017-01-08)[2020-05-08].http://www.gov.cn/xinwen/2017-01/08/content_5157911.htm?allContent#1.