期刊是学术交流的主渠道,具有科研成果记录保存、传播交流、评议审核的重要功能。2015年11月4日,中国科学技术协会、教育部、国家新闻出版广电总局、中国科学院和中国工程院联合发布《关于准确把握科技期刊在学术评价中作用的若干意见》,指出“学术评价是科技期刊的一项基本功能”,“要充分认识科技期刊及其在学术评价中的独特作用”。早在2011年,教育部在其发布的《关于进一步改进高等学校哲学社会科学研究评价的意见》中就提出,要“大力推进优秀成果和代表作评价”,要“正确认识《科学引文索引》(SCI)、《社会科学引文索引》(SSCI)、《艺术与人文引文索引》(A&HCI)、《中文社会科学引文索引》(CSSCI)等引文数据在科研评价中的作用”。各部委对期刊评价的态度已经公之于众,广大科研人员是怎样认识期刊评价的呢?本文从科研人员对期刊评价的认识与关心情况出发,准确研判和分析科研人员对我国期刊评价体系的熟识程度,及对引用、转摘、下载等评价指标的认可情况。
一、问卷发放与回收情况
课题组于2014年5月至7月发出问卷5000份,截至2014年9月共收回问卷2752份,回收率为55.04%。问卷的调查对象主要是学生和科研人员。回收问卷中:①男性1389份(50.47%),女性1363份(49.55%);②30岁及以下年龄段1465份(53.23%),31-40岁596份(21.66%),41-50岁332份(12.06%),51-60岁168份(6.1%),61岁及以上31份(1.13%),未填写年龄问卷160份(5.81%);③学生1400份(55.87%),初级职称者84份(3.05%),中级职称者425份(15.44%),副高职称者387份(14.06%),正高职称者251(9.12%),其他205份(7.45%);④本科学历者420份(15.26%),硕士学历者1188份(43.17%),博士学历者769份(27.94%),有博士后经历者166份(6.03%),其他(7.6%);⑤哲学问卷80份(2.91%),马克思主义研究 86份(3.13%),经济学548份(19.91%),法学253份(9.19%),政治学109份(3.96%),社会学79份(2.87%),人口学21份(0.76%),民族学18份(0.65%),文学181份(6.58%),语言学77份(2.8%),历史学248份(9.01%),考古学27份(0.98%),管理学505份(18.35%),宗教学10份(0.36%),新闻与传播82份(2.98%),其他学科428份(15.55%)。
二、对期刊评价的总体认识
(一)对学术期刊排名的关心程度的调研
在调查对象中,72%的人表示关心学术期刊排名情况。从年龄来看,31-40岁的科研人员最关心学术期刊排名(86%),41-50岁的科研人员次之(85%),然后是51-60岁的人群(77%)和61岁及以上人群(74%),最不关心该问题的是30岁以下人群。30-50岁人群是评定副高、正高职称的主要人群,最关心学术期刊的排名。该现象的出现与职称评审有一定关系。期刊论文是一种重要科研成果形式,在职称评审时,85%的科研人员表示其所在单位将职称评审与期刊论文数量、质量挂钩。如何评定一篇期刊论文的质量?有些机构将期刊影响因子、是否核心期刊作为期刊质量高低的评判标准,然后“以刊评文”,这是促使科研人员关注期刊排名的关键原因。
从职称来看,中级职称人群最关心核心期刊排名问题,其次是副高职称人群,然后是正高人群,初级职称人群对此问题的关注度最低。这也再次印证职称评定与学术期刊排名关心程度的关系,比如初级职称人群大多为学历较低者,研究能力相对较弱,他们更关注的通常是论文能否发表以及论文发表的数量,而不太在意发表在什么刊物。
从学历(经历)来看,博士(86%)最关心学术期刊排名,其次是博士后(81%),然后是硕士(67%),最后是本科(60%)。被调查对象中有1400人是在读学生,其中82%的学生表示其就读学校对毕业发文数量和质量有要求,特别是对于博士来说,发表一定数量、质量的期刊论文是毕业的必要条件。由于当前期刊评价中,期刊质量往往以期刊排名为参考依据,所以博士最关心学术期刊排名问题。博士后人员经过博士阶段训练,对学术期刊排名问题有了一定认识,所以仍然关心此问题,但博士后出站时对期刊论文质量的要求(从一定程度上讲就是对期刊排名的要求)比对博士的要求要弱,所以博士后人群对学术期刊排名的关注度小于博士人群。
(二)对期刊评价体系认知情况的调研
在调查人群中,南京大学《中国社会科学引文索引(CSSCI)》(简称南大CSSCI)的认知度最高,仅7%的人没听说过南大CSSCI。其次是北京大学的《中文核心期刊要目总览》(简称北大核心期刊总览),仅8%的人表示没有听说过。中国社会科学院的《中国人文社会科学核心期刊要览》(简称社科院核心期刊要览),16%的人没听说过。没听说过武汉大学《中国学术期刊评价研究报告——RCCSE权威期刊和核心期刊排行榜》的高达35%。
对四大评价体系所评价期刊学科范围的调查显示,38%的人了解南大CSSCI的期刊收录范围,35%的人了解北大核心的期刊评价学科范围,25%的人了解中国社科院核心期刊的评价范围,仅12%的人了解武大核心期刊评价范围。调查结果还显示,对四大体系期刊评价指标的了解都不多,即使是认知度最高的南大CSSCI,了解其评价指标体系的人也仅占了16%。
(三)期刊评价体系的使用情况
在调查人群中,有83%的人表示在其毕业或评职称时其就读学校或工作单位对发表的期刊论文有要求,详见表1。在学生毕业时,29.09%的学校以北大核心期刊总览为期刊划分依据;在评职称时,35.6%的以南大CSSCI为期刊划分依据;在年度考核及课题结项时,仍然是以南大CSSCI期刊收录结果为主的最高,分别为31.69%和32.6%。总体来看,南大CSSCI收录的期刊是使用最多的(30.92%)。另外,有16.11%的学校在学生毕业时自己制定期刊名单,20.55%的单位在评职称、年度考核及课题结项时使用自制名单。除此之外,15.97%的学校、12.89%的单位使用其他期刊评价的结果。
条件 |
以哪种评价结果为主(%) |
|||||
北大总览 |
南大CSSCI |
武大期刊排行榜 |
社科院要览 |
自制期刊等级名单 |
其他 |
|
本科生毕业 |
30.23 |
20.11 |
4.61 |
21.14 |
16.94 |
22.52 |
硕士生毕业 |
32.02 |
29.00 |
5.05 |
27.22 |
15.21 |
12.93 |
博士生毕业 |
25.02 |
36.53 |
5.41 |
29.54 |
16.18 |
12.47 |
均值 |
29.09 |
28.55 |
5.02 |
25.97 |
16.11 |
15.97 |
评职称 |
27.83 |
35.60 |
4.19 |
32.62 |
19.68 |
10.57 |
年度考核 |
25.43 |
31.69 |
5.12 |
31.56 |
21.82 |
12.46 |
课题结项 |
26.59 |
32.60 |
4.10 |
28.64 |
20.16 |
15.65 |
均值 |
26.62 |
33.30 |
4.47 |
30.94 |
20.55 |
12.89 |
总体均值 |
27.85 |
30.92 |
4.75 |
28.45 |
18.33 |
14.43 |
三、对期刊评价指标的认识
(一)对定性定量评价指标的认识
在进行期刊的定性评价时,调查对象认为期刊学术性(期刊内容的学术含量及比重)最重要,其次是期刊论文的学理性与创新性,然后是期刊公信度(学术水平与学风的社会认同度),第四是学术规范性(论文的写作规范和著录规范),第五是编辑质量(编校差错率及选择策划能力)。
调查对象认为,期刊评价时最重要的定量评价指标是被引频次,然后是期刊被转摘、转载数量,第三是期刊在各数据库中及开放获取网站中下载次数,第四是期刊获基金资助论文比例。
对定性指标及定量指标权重的调查发现,调查对象认为定性指标应占到52%的权重,定量指标应占48%的权重。其中认为应该完全采用定性评价的人仅占0.4%,认为应完全定量评价的人更少,在2752个调查对象中,仅1人认为应完全采用定量指标。
(二)对期刊论文属性指标的认识
有学者调查发现,在180种科技期刊中,有124种(69%)期刊在稿约中明确提出对论文字数的要求,要求论文附摘要的有146种(81%),要求论文列出关键词的有114种(63%)期刊。这些论文属性与学术水平之间是否有联系呢?对于论文字数来说,29.94%的调查对象认为论文字数与学术水平存在弱相关,有29.29%的人认为两者没有关系(不相关),仅5.78%的人认为字数越多学术水平越高(非常相关),甚至有11.21%的人认为字数越多学术水平越低(负相关),如表2所示。有国外学者研究发现,1970至2010年40年间,经济学科顶级期刊论文的长度已经增长了近3倍,有些期刊已经出台相应政策限制每篇论文的长度,这种情况在其他学科也同样存在。对于摘要来说,认为有中文摘要的期刊学术水平会高一点(非常相关、一般相关及弱相关)的人占了72.78%,认为有英文摘要期刊的学术水平要高一点(非常相关、一般相关及弱相关)的人占了73.12%。也就是说,大部分调查对象认为,有英文摘要期刊比仅有中文摘要期刊的学术水平要高,有摘要期刊比没有摘要期刊的学术水平要高。对于关键词来说,认为有中文关键词的期刊学术水平会高一点(非常相关、一般相关及弱相关)的人占了71.5%,认为有英文摘要期刊的学术水平要高一点(非常相关、一般相关及弱相关)的人占了71.6%。由此可知,大部分人认为有关键词期刊比没有关键词期刊的学术水平是稍高。
论文属性 |
论文属性与学术水平相关性(%) |
||||
负相关 |
不相关 |
弱相关 |
一般相关 |
非常相关 |
|
期刊论文的字数多 |
11.21 |
29.29 |
29.94 |
23.78 |
5.78 |
期刊论文包括中文摘要 |
6.53 |
20.69 |
29.56 |
28.27 |
14.95 |
期刊论文包括英文摘要 |
6.44 |
20.43 |
32.22 |
31.61 |
9.29 |
期刊论文包括中文关键词 |
6.91 |
21.59 |
29.33 |
29.52 |
12.65 |
期刊论文包括英文关键词 |
6.62 |
21.77 |
32.55 |
30.64 |
8.41 |
期刊论文的作者知名度高 |
3.15 |
9.39 |
19.19 |
37.85 |
30.42 |
期刊论文的作者单位知名度高 |
3.89 |
13.65 |
26.09 |
38.45 |
17.92 |
期刊论文的作者数量多 |
17.19 |
35.47 |
27.24 |
17.26 |
2.83 |
期刊中合著论文多 |
11.04 |
22.95 |
30.88 |
29.32 |
5.8 |
期刊中基金资助论文多 |
6.82 |
18.41 |
29.09 |
34.01 |
11.67 |
其他 |
4.64 |
23.53 |
28.79 |
30.96 |
12.07 |
从作者知名度来看,87.46%的调查对象认为作者知名度越高,则其撰写的学术论文的水平也更高(非常相关、一般相关及弱相关),并且有30.42%的人认为作者知名度与学术水平有非常相关的关系。从作者单位知名度来看,82.46%的人认为知名单位发表的学术论文的水平总体会高一些(非常相关、一般相关及弱相关),有17.92%的人认为单位知名度与学术水平之间存在非常相关的关系。由此反推,高知名度作者、高知名度单位作者(即使作者本身知名度不高)的论文更易被期刊录用、被学者引用。
有学者认为合作性研究在提高论文质量上优于独立性研究,那么期刊论文的作者数量越多学术水平越高吗?合著论文比例越高,期刊质量就越好吗?从作者数量来看,35.47%的调查对象认为一篇论文作者数量跟学术水平之间没有任何关系(不相关),27.24%的人认为作者数量多一点学术质量也会相应的好一点(弱相关)。认为作者人数越多学术水平越高的人仅有2.83%,认为作者数量越多学术水平越低的人却有17.19%,这与论文署名中的名誉署名、赠送署名、搭车署名和买卖署名等不端署名情况的存在是有一定关系的。有66%的调查对象认为,期刊登载合著论文比例越大,则期刊学术水平越高(非常相关、一般相关及弱相关),仅22.95%的人认为不相关,这与有的学者的研究结论相同。
对于单篇论文来说,并非有基金资助的论文质量一定高于无基金资助的论文,甚至部分学科中无基金资助的论文质量更高,有学者甚至提出期刊是否应该停止刊登一些基金资助的论文,比如药品企业基金资助的论文;对于期刊来说,有学者认为“基金论文比”比“影响因子”更能代表科技期刊的学术质量,但也有学者认为将“基金论文比”作为学术期刊评价指标是欠科学、欠合理的,基金论文比例高并不代表期刊学术水平高。无论学者得出的结论如何,调查中,有74.77%的调查对象认为基金论文越多,则期刊的学术水平相对越高,科研人员认为基金论文的学术水平还是比较高的。
(三)对参考文献特征指标的认识
早在1993年,就有学者提到“引文著录规范化率是否纳入评估指标体系之中,有待商讨”,但“为了全面提高科技期刊的学术质量,引文著录规范化问题理应引起科技期刊编辑的重视”。本次调查显示,有83.47%(非常相关、一般相关及弱相关)的人认为,期刊论文的参考文献著录形式越规范,则期刊的学术水平越高,有22.13%的人认为两者之间存在非常强的相关关系(非常相关),如表3所示。除了形式规范,更是有47.53%人认为期刊论文参考文献引用的真实准确性与期刊的学术水平高度相关(非常相关),认为学术水平高的期刊其参考文献的准确性就越高的人占到了90.98%(非常相关、一般相关及弱相关)。
有学者认为,科技论文的参考文献数量可以反映论文的学术水平,数量越多水平越高,本文的调查也印证了此观点。79.61%(非常相关、一般相关及弱相关)的调查对象认为期刊论文引用的参考文献数量越多则期刊学术水平越高,并且认为与中文参考文献相比,引用的外文参考文献越多则期刊的学术水平越高。
从参考文献的类型来看,有80.13%的调查对象认为引用期刊越多则学术水平越高,有79.14%的人认为引用图书越多则学术水平越高,认为引用学位论文越多则学术水平越高的人占70.03%,对来自网络的参考文献的认同度则降低到61.63%,并且有13.26%的人认为引用的网络文献越多则学术水平越低,认为引用图书、期刊文献越多则学术水平越低的人则只有2.94%和3.34%。
参考文献特点 |
参考文献特征与学术水平相关性(%) |
||||
负相关 |
不相关 |
弱相关 |
一般相关 |
非常相关 |
|
期刊论文的参考文献著录形式规范 |
3.67 |
9.52 |
23.29 |
38.05 |
22.13 |
期刊论文的参考文献引用真实准确 |
2.22 |
3.74 |
11.95 |
31.5 |
47.53 |
期刊论文引用的参考文献多 |
2.73 |
13.26 |
28.96 |
37.9 |
12.75 |
期刊论文引用的中文参考文献多 |
3.82 |
15.63 |
31.8 |
36.41 |
8.14 |
期刊论文引用的外文参考文献多 |
2.51 |
11.34 |
26.93 |
39.5 |
14.83 |
期刊论文引用的期刊论文参考文献多 |
3.34 |
12.14 |
31.18 |
39.03 |
9.92 |
期刊论文引用的图书著作参考文献多 |
2.94 |
13.66 |
31.9 |
37.25 |
9.99 |
期刊论文引用的网络来源参考文献多 |
13.26 |
20.53 |
33.98 |
23.51 |
4.14 |
期刊论文引用的学位论文参考文献多 |
6.65 |
18.13 |
32.56 |
29.58 |
7.89 |
其他 |
1.16 |
2.36 |
5.7 |
4.91 |
2.07 |
(四)对被引用指标的认识
被引用次数一直是重要的定量评价指标,甚至被用作评价期刊质量高低的惟一指标。有88.73%的调查对象认为,期刊论文的被引用次数越多,则期刊的学术水平越高,甚至有44.22%的人认为两者之间高度相关。认为期刊论文发表当年就被引用的次数越多则学术水平越高的达到88.38%,认为期刊论文发表2年后被引用次数多则学术水平越高的达到89.21%,认为5年后被引次数越多学术水平越高的人有88.15%。与前面各指标相比,被引次数是认可度最高的期刊评价指标。
被引用次数 | 被引用次数与学术水平相关性(%) | ||||
负相关 | 不相关 | 弱相关 | 一般相关 | 非常相关 | |
期刊论文被引用次数多 | 2.8 | 4.98 | 10.43 | 34.08 | 44.22 |
期刊论文发表当年就被引用的次数多 | 1.34 | 5.45 | 16.1 | 39.1 | 33.18 |
期刊论文发表2年后被引用次数多 | 1.27 | 4.61 | 15.99 | 44.88 | 28.34 |
期刊论文发表5年后被引用次数多 | 1.71 | 5.2 | 15.73 | 35.39 | 37.03 |
其他 | 0.65 | 2.22 | 3.27 | 4.91 | 57· /3.02 |
(五)对转摘、下载指标的认识
对于转摘和下载指标来说,科研人员对转摘指标和下载指标的认可度也较高,其中有87.35%人认为,期刊论文被转摘次数越多,则学术水平越高;有85.06%的人认为,期刊论文下载次数越多,则学术水平越高。有学者研究发现,下载量与被引量呈高度正相关关系,但也有一部分出现下载与被引背离现象,Nieder等也认为下载量与学术水平之间没有普遍意义上的正相关关系。
被引用次数 |
被引用次数与学术水平相关性(%) |
||||
负相关 |
不相关 |
弱相关 |
一般相关 |
非常相关 |
|
期刊论文被转摘次数多 |
2.58 |
5.63 |
14.06 |
38.77 |
34.52 |
期刊论文被下载次数多 |
2.83 |
7.89 |
22.2 |
40.08 |
22.78 |
四、结论
本次问卷的调查对象具有一定的代表性。结果表明:我国在读学生,特别是博士生,很关心学术期刊排名情况。我国的在职科研人员也非常关心学术期刊的排名情况,其中有副高、正高评审需求的30-50岁的人群最为关心。在四大评价体系中,南大CSSCI知名度最高,其期刊收录名单也是学生毕业、在职人员评职称时使用最多的。定性、定量评价指标的重要性基本相同,指标权重各占一半。被引用指标在评价期刊学术水平时是认可度最高的指标,转摘、下载指标次之。作者知名度越高则其论文学术水平越得到大多数人的认可,作者单位知名度与这些单位作者的论文的学术水平之间也呈正相关关系。认为参考文献越准确、越规范则期刊的学术水平越高,并且外文文献使用比例越高,通常学术水平也比较高。
(该调查在中国社会科学评价中心主任荆林波领导下完成,与王力力、余倩、逯万辉和郝若扬四位老师共同完成问卷设计、发放、回收和整理工作,在此深表谢忱。)
(作者单位:中国社会科学院中国社会科学评价中心)