【作 者】刘雪立:河南省科技期刊研究中心;郭佳:新乡医学院管理学院
【摘 要】科学合理的评价是科技期刊健康发展的基础和前提。通过对相关文献进行研究,结合长期中文科技期刊工作和研究实践,详细分析以同行评议为主导和基于文献计量学的中文科技期刊评价及其存在的问题。在此基础上对中文科技期刊评价提出了相应对策和建议,主要包括坚持正确的期刊评价导向、建立权威科技期刊评价机构、强化同行评议制度、完善文献计量学评价指标体系等。
【关键词】中文科技期刊;学术期刊评价;同行评议;文献计量学
本文探讨目前中文科技期刊评价现状、存在的问题,提出中文科技期刊评价的对策与建议,以期进一步改进和完善中文科技期刊的评价。
1 以同行评议为主导的科技期刊评价
1.1 政府管理部门主导的期刊评价
中国科技期刊评价活动可以追溯到1964年中国科学技术情报编译出版委员会制定的《检索类期刊质量要求》,并在全国推广实施。1988年,新闻出版署颁布《期刊管理暂行规定》,明确提出了所有期刊都应该遵守的基本原则和法规,是我国学术期刊评价的主要基础[1]。1992年,国家科学技术委员会制定了《科学技术期刊评估标准》[2],并应用于1992年开展的首届全国优秀科技期刊评价活动。这是第一次由政府发布的科技期刊质量评价指标体系。按照政治标准(3项)、学术标准(4项)、编辑标准(8项)和出版标准(3项)等4项评价标准进行。1994年,国家科委对该评价标准进行了修订,正式颁布了《关于颁布五大类科技期刊质量要求及评估标准的通知》(国科发信字〔1994〕148号)[3],第2届全国优秀科技期刊及连续3届的国家期刊奖评奖均以此标准为依据。
政府期刊主管部门主导的科技期刊评价主要采用同行评议方式,或者以同行评议为主、文献计量学评价为辅,一般仅做定性评价和分级评价,也经常以期刊评奖的形式进行,如连续3届国家期刊奖的评选、中国出版政府奖等[4]。新闻出版总署曾于2001年主持了“中国期刊方阵”期刊的评选活动,把期刊划分为“双高”“双奖”“双百”“双效”等4个层次[5]。
除了国家期刊管理部门组织的科技期刊评价外,地方政府期刊管理部门根据国家新闻出版管理机构的要求,对各自行政区内的期刊进行审读和分级评价,如河南省新闻出版局在年度期刊审读的基础上,开展了科技期刊综合质量评价,分别评出河南省内自然科学和社会科学“二十佳期刊”、一级期刊和二级期刊。
1.2 期刊出版学术组织主导的科技期刊评价
学术组织主导的科技期刊评价同政府主导的期刊评价极其相似,也是基于同行评议的定性评价和分级评价。这方面表现突出的,是中国高校自然科学学报研究会(现中国高校科技期刊研究会),自1989年开始,在国家教委科技司和新闻出版总署期刊司的支持下,开展了全国高校自然科学学报优秀编辑质量评比活动,一直坚持到现在。该期刊评价活动由中国高校科技期刊研究会组织,教育部科学技术司颁发奖状和证书,成为学术组织与政府主管部门联合进行期刊评价的典范,极大地提高了期刊评价活动的权威性,推动了全国科技期刊评价活动的开展。
2 基于文献计量学的科技期刊评价
普遍认为,文献计量学的萌芽可以追溯到1917年Cole和Eales[6]所做的比较解剖学的文献统计分析。采用文献计量学方法进行期刊评价起源于1934年Bradford [7]对科学文献在期刊中的集中和分散规律的研究。直到现在,Bradford定律依然是核心期刊评价重要的理论基础。1964年美国《科学引文索引》( Science Citation Index, SCI)的创刊[8],极大地推动了国际文献计量学和科学计量学研究。1975年《期刊引证报告》(Journal Citation Reports, JCR)的出版为期刊文献计量学评价提供了一个重要工具,其中的影响因子作为最重要的期刊评价指标逐渐深入人心,并不断强化,形成了目前全球性SCI现象和影响因子崇拜[9]。随着国际期刊评价理论与实践的发展,尤其是SCI的创立和影响因子的应用,我国科技期刊的文献计量学评价也获得突飞猛进的发展,学术研究和期刊评价活动空前活跃。杨泽亚等叫将文献计量学与我国学术期刊评价划分为3个阶段,即理论引进期、实际应用期和成熟发展期。
目前,我国中文科技期刊评价体系主要有北京大学图书馆定期发布的《中文核心期刊要目总览》,中国科学院文献情报中心的《中国科学引文数据库》,中国科学技术信息研究所出版的《中国科技期刊引证报告》,中国科学计量评价研究中心(清华大学)发布的《中国学术期刊影响因子年报》、重庆维普在线发布的《中文科技期刊评价报告》、武汉大学中国科学评价研究中心发布的《中国学术期刊评价研究报告》等。
在所有的文献计量学评价指标中,影响因子无疑是最为重要的期刊评价指标。尽管它一直受到广泛质疑,但在科技期刊评价中依然无法替代[10]。澳大利亚学者Bradshaw等[11]指出:无论你喜欢还是厌恶,用文献计量学指标评价学术期刊及相关研究绩效它就在那里;无论正确与否,学术组织评价申请人业绩、学者选择期刊投稿、学术期刊选择出版公司合作它都无所不在。最近,《Nature》杂志发表了英国伦敦帝国理工学院Tregoning [12]的述评,题目是“如果不用影响因子你将如何评价我?”。
在国内科技期刊评价体系中,《中国科技期刊引证报告》和《中国学术期刊影响因子年报》评价指标体系最完善,成为中文科技期刊评价常用工具,而中文核心期刊成为国内多数省份职称晋升、研究生毕业等人才评价的重要依据。
3 中文科技期刊评价存在的问题
3.1 政府主导的期刊评价活动存在较大局限性
期刊行政管理机构组织的期刊评价活动是最具权威性和公信力的,但政府期刊主管部门主导的科技期刊评价存在较大的局限性:1)政府评价通常以期刊评奖的形式进行,获奖的期刊总是极少数,无法做到对期刊的全覆盖;2)仅做定性和分级评价,缺乏必要的量化评价,期刊评价缺乏区分度和敏感性;3)对科技期刊形式规范要求较为明确具体,对期刊论文的质量和创新性评价缺乏有效的方法。
3.2 科技期刊同行评议制度不健全
学术评价最基本的方法包括同行评议和文献计量学评价,科技期刊评价也是如此。长期以来,国内学术评价体制受SCI数据库和期刊影响因子的深刻影响,中文科技期刊学术质量和影响力评价过分依赖文献计量学指标,加之各专门期刊评价机构定期发布形形色色的期刊影响力评价报告,极大地吸引了期刊出版单位、各高校和学术机构、期刊评价研究者的兴趣和注意力,极度弱化了期刊的同行评议,缺乏完善的科技期刊同行评议制度。过分依赖文献计量学评价而忽视同行评议,必然导致科学共同体追踪研究热点,阻碍科技创新和科学发展;必然导致期刊工作者功利化办刊,如科技期刊自引加剧,同学科期刊之间互相排斥,期刊互引联盟暗潮涌动等。科技期刊评价指标的人为操纵已成为公开的秘密。
3.3 文献计量学评价存在的问题
3.3.1 影响因子滥用和误用
不可否认,影响因子确实是一个较为合理而又简单易用的期刊评价指标,在科技期刊评价实践中发挥着重要作用,国内专门学术评价机构的期刊评价体系几乎无一例外地把期刊影响因子作为最重要的期刊评价指标。国内各级政府、高校和研究机构的学术评价活动也把发表论文期刊的影响因子作为极其重要的参考。影响因子仅仅是期刊评价指标,应用于其他学术评价均属于滥用和误用。虽然Garfield一再强调影响因子仅作为图书馆选择期刊的工具,是测度期刊影响力的指标,而并非作为科研评价的工具;但遗憾的是,影响因子的滥用和误用非常普遍。如Kirchhof等[13]指出:在德国及其他欧洲国家,影响因子的应用已远远超出其最初的目的,政府根据研究机构在高影响因子期刊上发表论文的多少来决定基金资助的额度;研究机构及大学根据科研人员发表论文所在期刊的影响因子高低决定职称的晋升和奖金的发放;教育管理部门经常用其进行大学的评估。
3.3.2 新指标不断推出,但推广应用极其艰难
2008年以前,JCR中给出的期刊评价指标包括总被引频次、影响因子、即年指标、被引半衰期、引用半衰期和影响因子分区等。2009年1月,美国汤森路透发布了加强版JCR-2007,增加了5年影响因子、特征因子和论文影响分值等3个新的期刊评价指标。2015年版JCR中又增加了他引影响因子、影响因子百分位和标准化特征因子[14]。2011年Moed[15]提出了来源标准化篇均影响力(SNIP) , 2005年Hirsch[16]提出了h指数,2017年刘雪立等[17]创建了期刊PR 8指数,等等。
但遗憾的是,尽管更加科学合理的期刊评价新指标不断推出,相关的期刊评价数据库也将其作为重要的评价指标每年发布,却始终未见任何政府管理部门、高校和研究机构应用,期刊评价和相关的学术评价活动依然广泛应用影响因子及基于该影响因子建立的期刊分区。
3.3.3 期刊评价机构众多,各机构自行发布评价结果
我国专门从事期刊评价的机构众多,发布了形形色色的期刊评价系统,这些学术期刊评价系统虽然为促进我国期刊规范发展、推动学术水平不断提高做出了重要贡献;但从总体上看,其权威性和公信度仍然有待提高,尚未形成被学术界广泛公认的学术期刊评价体系[18]。各机构自行设置评价指标、发布期刊评价结果,无法形成国内公认的权威评价体系,各高校和其他学术评价主体自行选择评价工具,导致国内期刊评价没有统一标准可遵循。
3.3.4 期刊的学科分类乱象丛生,跨学科评价困难重重
目前,我国科技学术期刊的分类系统比较混乱,且各评价体系的分类各自为政,互不兼容。《中文核心期刊要目总览》采用的是《中国图书馆分类法》学科体系划分学科;国内的引文索引系统的年度引证报告都是在国家分类标准(GB /T 13745-1992《学科分类与代码》)基础上各自独创了分类系统。国内各引证报告的分类均不同,甚至同一机构的引证报告不同的年度也不同[19]。由于学科分类极度不统一、期刊分类不准确、学科之间相互交叉渗透、很多期刊本身就是跨多个学科甚至是高度综合的,使得科技期刊的跨学科评价困难重重。
4 中文科技期刊评价的对策建议
4.1 坚持正确的期刊评价导向
4.1.1 提高政治站位,突出政治性
中国特色社会主义建设进人新时代,中文科技期刊评价必须顺应时代要求,坚持以习近平新时代中国特色社会主义思想为指导,体现政治家办刊思想。2016年5月30日,习近平总书记在全国科技创新大会、中国科学院第18次院士大会和中国工程院第13次院士大会、中国科学技术协会第9次全国代表大会上提出,“广大科技工作者要把论文写在祖国的大地上,把科技成果应用在实现现代化的伟大事业中”,这为我们办好中文科技期刊提出了更高要求和基本的政治遵循。《关于深化改革培育世界一流科技期刊的意见》强调指出,“要以建设世界一流科技期刊为目标,科学编制重点建设期刊目录,做精做强一批基础和传统优势领域期刊”,为中文科技期刊评价提出明确目标、路径和学术遵循。
4.1.2 引导期刊提升知识服务水平,坚守民族性
中文科技期刊曾经是发布我国重大科研成果的主阵地,自新中国成立至改革开放的初期,我国可以铭刻在中国科技史上的重要工作,基本都是首先发表于中文科技期刊,如结晶牛胰岛素的全合成、哥德巴赫猜想、青篙素结构等,为中国科技发展和文化传承做出了重大贡献。然而,近30年来,由于科技评价导向等外部环境变化,中文科技期刊稿源质量下降,发展动力严重不足,中文科技期刊的发展逐渐滞后于中国科技水平的进步,不仅没有充分发挥对中国科技发展理应起到的支撑作用,而且与国家创新驱动发展的战略要求差距逐渐拉大。最近一个时期,国内有识之士一直在垢病一种奇怪现象:我国每年花费巨额资金支持科学研究工作,产出大量原创性成果首先选择以英文撰写论文,再花费额度不等的版面费发表在国外SCI来源期刊上。我国科研人员要想阅读这些文章,还得再花费著作权使用费或者由高校、研究机构出资购买国外数据库使用权限,而且还必须克服语言障碍。据程维红等[20]测算,仅2015年中国就向国外OA期刊支付了7217万美元版面费,领跑全球各个国家。
坚持办好中文科技期刊是坚持“四个自信”尤其是文化自信的重要体现。中文科技期刊必须坚持为本民族科研工作者服务,做好知识和信息服务工作,让中国科技工作者能够在第一时间检索到、以本民族语言阅读到我国科学研究的最新成果;因此,必须明确我国中文和英文科技期刊的功能定位,对中文科技期刊不宜过分强调国际影响力。
4.1.3 有利于推进国家创新驱动战略,鼓励创新性
中文科技期刊是国家创新体系的重要组成部分,不仅是科研成果的展示窗口和学术思想的交流园地,而且是重要的科研条件之一,更是引导科研方向的航标,在我国学术评价、学科建设、人才培养、文化传承与社会服务中发挥着重要作用。建立更加科学合理的评价方法,使中文科技期刊评价由追踪热点的评价转向注重创新性和实用性评价,引导中文科技期刊充分发挥科技成果主阵地作用,更好地服务于我国科技创新驱动战略。中文科技期刊理应发表更多有重大创新、有实用价值的学术论文。
4.1.4 建立“一票否决”评价标准
建立“一票否决”标准是必要的,对那些问题比较严重而又无法体现在评价系统的期刊进行严肃处理。主要考虑以下几个方面。
1)出现政治性错误“一票否决”。科技期刊必须坚持习近平新时代中国特色社会主义思想,牢固树立“四个意识”,坚定“四个自信”,做到“两个维护”,严格落实政治家办刊思想,杜绝一切政治性错误,发现政治性错误“一票否决”。但在执行过程中必须严格区分政治性错误和知识性差错。
2)发现有严重学术不端者“一票否决”。国家新闻出版署2019年5月29日发布了行业标准CY/T174-2019《学术出版规范——期刊学术不端行为界定》,为界定学术不端行为提供了重要依据。
3)发现人为操纵行为“一票否决”。期刊工作者较为熟悉的反映人为操纵行为的指标是期刊他引率或自引率。与同专业期刊相比,自引率过高一定存在人为操纵。除了自引率外,还有几个指标具有识别期刊人为操纵的作用,如扩散因子、被引半衰期、开放因子和互引指数等[21]。
4.2 建立权威科技期刊评价机构
目前我国专门从事学术期刊评价的机构主要是情报服务机构和数据库提供商,主要包括中国科学技术信息研究所、中国科学院文献情报中心、北京大学图书馆、中国科学计量评价研究中心(清华大学)、中国社会科学评价研究中心(南京大学)、中国社会科学院文献信息中心和中国科学评价研究中心(武汉大学)等。尽管这些机构名称中大部分都带有“中国”,但都分布在高校和研究机构,无一能代表中国政府行使学术评价职权;因此,使得评价标准、指标体系花样繁多,最终得到的评价结果也各不相同。各期刊评价机构的期刊评价活动均属民间自发行为,缺乏权威性和公信力。
因此,我们建议将各评价机构进行优化整合,一方面有效节省评价成本,另一方面也能够统一评价体系与指标,保障最终的学术期刊评价质量。可以考虑整合中国科学技术协会、教育部、科技部、中国科学院、国家自然科学基金委员会等相关机构的科技评价资源,成立专门的科学技术评价机构(在该机构下设专门的中文科技期刊评价部门),如“国家科学技术评价委员会”,统一组织开展全国的科学技术评价工作,并把科技期刊评价作为科学技术评价工作的一项基础性工作予以高度重视。
4.3 强化中文科技期刊同行评议制度
4.3.1 建立国家科技评价专家库
由国家科学技术评价委员会负责筹建权威的国家科技评价专家库,或者由中国科学技术协会、教育部、科技部、中国科学院、国家自然科学基金委员会等某一机构负责筹建。专家库建立以后,每2年组织同行专家对我国中文科技期刊进行评价,评价内容侧重期刊的创新性、实用性、编辑出版质量、学术影响力等。
4.3.2 充分发挥专业学术团体的同行评议作用
由中国科学技术协会组织各专业学术团体,邀请本学会具有正高级职称或者博士学位人员定期(1年或2年)对本专业领域中文科技期刊进行同行评议。这一同行评议方法可能突破专家库成员过少的局限,使更多的同行专家参与到中文科技期刊评价中。2019年9月25-27日,第15届中国科技期刊发展论坛上发布了由中华中医药学会和中国中医科学院共同完成的“首个中医药科技期刊分级目录(T1,12级期刊)”,究竟效果如何,是否能够推广尚有待观察;但我们不主张各学会发布各自专业期刊的评价结果,而是为国家专门的期刊评价机构提供同行评议的相关数据。
4.3.3 创建具有同行评议性质的文献数据库
为了使同行评议更加客观公正和高效,建议按照英国科学领航集团(Science Navigation Group, SNG)创建F1000数据库[22]的模式建立我国具有同行评议性质的、覆盖各学科的文献数据库,让每一专业领域的知名科学家推荐他们认为有创新价值的文献,并给所推荐的文献评分。基于该数据库,按照盖双双等[23]提出的期刊F1000因子(Journal F1000 Factor, JFF)计算出每一种中文科技期刊的相应指标。这一指标实现了科技期刊同行评议与文献计量学评价的最佳结合。
4.4 完善文献计量学评价指标体系
4.4.1 影响因子的优化
近年来,对影响因子批判的声音不绝于耳,甚至有不少学者提出彻底废除影响因子在期刊评价中的应用。Garfield提出的影响因子确实存在许多缺陷,比如没有考虑期刊的过度自引和论文被引频次的偏态分布、引证时间窗口过短、分子分母文献类型不统一、不适于期刊的跨学科评价;但这些缺陷很容易矫正,如目前的JCR中同时给出了5年影响因子和他引影响因子,分别矫正了引证时间窗口和期刊过度自引的缺陷,其他方面的缺陷也得到了理想的矫正。学术界对影响因子的批判和否定并不是影响因子自身的缺陷,而是影响因子应用的扩大化。目前,影响因子应用于期刊评价已深入人心,其统治地位依然无法动摇。我们的任务是,矫正和优化期刊影响因子、科学合理地应用影响因子。
4.4.2 创建反映创新性和实用性的科技期刊评价指标
以引证分析为基础的各种文献计量学指标的关键数据是期刊和论文的被引频次,它受制于许多非学术因素,如学科的规模、学科发展阶段、数据库中期刊的构成、时间因素、文献老化速度等;因此,被引频次和影响因子并不能准确反映期刊内容的创新性和实用性,而中文科技期刊的创新性和实用性评价又尤其重要。建立能够反映科技期刊创新性和实用性的客观指标就显得非常必要。
普遍认为,同行评议在某种程度上弥补了文献计量学评价无法针对期刊内容进行评价的缺陷,是实现创新性和实用性评价的最佳方法;但是,同行评议同样存在较多问题,如怎样保证评审专家选择的精准性?如何避免评审专家的主观性?评审专家过少则评价结果未必可靠,评审专家过多又不太容易组织。因此,最好能够找到恰当的切入点,能够近似地体现同行评议属性,又能方便建立客观的评价指标。李恩昌等[24]建议用院士论文比作为期刊质量的评价标准具有一定合理性。我们相信,如果能够开发出类似F 1000那样具有同行评议性质的文献数据库,这一问题将能得到较好的解决。
4.4.3 综合性评价指标代替独立评价指标
对于期刊评价来讲,综合评价指标优于单一指标,如《中国科技期刊引证报告》中的综合评价指标为综合评价总分(CPS),《中国学术期刊影响因子年报》中的中的综合评价指标为影响力指数(CI)。CPS由6个单一指标构成,反映了期刊影响力的方方面面。CI是将期刊在统计年的总被引频次和影响因子等2个指标进行组内线性归一后向量平权计算所得的数值。相比之下,综合评价指标应用于期刊评价更加合理。
综上所述,中文科技期刊评价应坚持以学术性和创新性为核心,以实用性为导向,以创建和培育一流学术期刊为目标,改进和完善中文科技期刊评价方式和方法,全面提升中文科技期刊水平,用科学合理的科技期刊评价助推科技创新与发展;但是,我们应该清醒地认识到,期刊评价和学术评价是非常复杂的系统工程,永远不可能建立完全科学合理的“金标准”,任何指标或指标体系的评价结果都只能是近似地反映期刊的学术质量和影响力。所以,完善中文科技期刊评价永远在路上。
5 参考文献
[1] 陈冠初.我国科技期刊的评价问题[J].编辑学报, 2004,16(4):240
[2] 张小可.我国学术期刊质量评价方法之比较分析[J].中国劳动关系学院学报, 2016,30(2):105
[3] 朱晓东, 宋培元, 曾建勋.科学技术期刊评估标准[J].中国科技期刊研究, 2007,18(3):375
[4] 杨泽亚, 赵迎红.我国科技期刊评价发展脉络及研究展望[J].科技进步与对策, 2013,30(16):125
[5] 林娜.我国学术期刊评价体系评析[J].东南学术, 2015(6):269
[6] COLE F J, EALES N B.The history of comparative anatomy.part 1:a statistical analysis of the literature[J].Science Progress, 1917,11(44):578
[7] BRADFORD S C.Sources of information on specific subjects[J].Engineering, 1934,137:85
[8] GARFIELD E.The evolution of the Science Citation Index[J].International Microbiology, 2007,10(1):65
[9] 刘雪立.全球性SCI现象和影响因子崇拜[J].中国科技期刊研究, 2012,23(2):185
[10] BRODY S.Impact factor:Imperfect but not yet replaceable[J].Scientometrics, 2013,96(1):255
[11] BRADSHAW C J A, BROOK B W.How to rank journals[J].PLoS One, 2016,11(3):e0149852
[12] TREGONING J.How will you judge me if not by impact factor?[J].Nature, 2018,558(7710):345
[13] KIRCHHOF B, BORNFELD N, GREHN F.The delicate topic of the impact factor[J].Graefes Archive for Clinical and Experimental Ophthalmology, 2007,245(7):925
[14] 刘雪立, 魏雅慧, 孟君.影响因子百分位在学术期刊跨学科评价中的局限性[J].中国科技期刊研究, 2018,29(10):1018
[15] MOED H F.The source normalized impact per paper is a valid and sophisticated indicator of journal citation impact[J].Journal of the American Society for Information Science and Technology, 2011,62(1):211
[16] HIRSCH J E.An index to quantify an individual’s scientific research output[J].Proceedings of the National Academy of Sciences of the United States of America, 2005,102(46):16569
[17] 刘雪立, 魏雅慧, 盛丽娜, 等.期刊PR8指数:一个新的跨学科期刊评价指标及其实证研究[J].图书情报工作, 2017,61(11):116
[18] 叶继元.人文社会科学评价体系探讨[J].南京大学学报(哲学人文科学社会科学版), 2010(1):97
[19] 关卫屏, 游苏宁, 石朝云, 等.我国科技学术期刊分级评价及管理机制探讨[J].编辑学报, 2012,24(2):103
[20] 程维红, 任胜利.世界主要国家SCI论文的OA发表费用调查[J].科学通报, 2016,61(26):2861
[21] 刘雪立.论期刊影响因子认为操纵的识别[J].编辑学报, 2018,30(1):98
[22] WALTMAN L, COSTAS R.F1000 recommendations as a potential new data source for research evaluation:a comparison with citations[J].Journal of the Association for Information Science and Technology, 2014,65(3):433
[23] 盖双双, 刘雪立, 周晶.基于F1000的期刊评价指标构建及其实证研究[J].科技与出版, 2015(11):123
[24] 李恩昌, 刘书文.论我国期刊评价标准的利弊及改进措施[J].中国卫生事业管理, 2014(10):797