业内信息

学术期刊的质量与创新评价

2014-07-21 来源:《浙江大学学报》 叶继

  【内容提要】目前我国学术期刊评价体系已初见端倪,但仍存在质量和创新力评价弱化、过分数量化、过分形式化、过分简单化(或官僚化、管理简单化)、评价主体淡化、评价结果软化等问题。这些问题的产生有着深刻的社会、经济、文化等原因。在保持原有期刊评价体系中某些合理因素的前提下,可采用形式评价、内容评价和效用评价的新概念组合,形成新的同行专家评价与引文等文献计量评价相结合的评价方法和新的评价指标体系,以期更好地推动学术期刊评价工作逐步走上科学发展轨道。

  【关 键 词】学术期刊 期刊评价 内容评价 效用评价 

  【英文标题】Quality and Innovativeness in the Evaluation of Academic Journals

  【作者简介】叶继元,男,南京大学信息管理学院教授,博士生导师,主要从事文献信息资源建设与信息检索、期刊与文献计量学、社科评价与学术规范研究(江苏 南京 210093)。

  一、学术期刊质量评价现状

  学术期刊是研究成果发表和交流的重要载体,是学科建设、实务管理、新人培养、专业信息传播的重要阵地。学术期刊的质量涉及期刊编辑、期刊内容、出版发行等多个方面的水准或要求。就目前学术期刊的评价而言,大致有以下几类:

  一是优秀期刊评价。此类期刊评价大多由各学科领域的学会、社科基金会、新闻出版总署等机构牵头开展;评选目的是奖优汰劣,通过评选质量上乘、品质优异的期刊,提高学术期刊的整体水平,繁荣学术期刊的生态,鼓励学术期刊发表更多更优质的学术论文。就其评价手段而言,更多的是衡量期刊的学术水平、编辑水平、出版水平等等,方法上以同行评价为主。

  二是核心期刊评价。核心期刊的评价大多由学术机构承担。笔者在拙作《核心期刊概论》中就明确指出过:“核心期刊主要是通过载文量、引文率、利用率等文献计量学的指标来筛选的,这些指标从一些重要的侧面反映了期刊的学术、技术水平及质量,然而,要较全面地衡量期刊的质量,除了文献计量学指标外,尚有其他一些指标。这(较全面地衡量期刊的质量)是一项十分有益而庞大、复杂的系统工程,需要一定的人力、物力和常设机构。”[1]113核心期刊评选的主要目的是为图书情报部门选购期刊提供参考依据,为图书馆员指导读者阅读提供参考依据,当然也能够为科研管理部门的学术成果评价提供参考依据。因为核心期刊的评价主要以文献计量学的指标为主,相对于主观评价而言,它增加了许多客观性。但核心期刊评选并不是为了高校或其他科研管理机构进行管理评价之用的。

  在这一点上,科研管理部门存在着对核心期刊的误读和误用,为了方便科研管理,目前大学或其他相关科研管理部门机械地依据期刊影响因子来决定期刊的排序,进而“以刊评文”,这就造核心期刊论文和非核心期刊论文在学术评价上的待遇迥异,由此出现了在学术评价中过分数量化、过分形式化、过分简单化、评价主体淡化及评价结果软化等问题。从某种意义上讲,学者和学界对核心期刊有诸多异议和诟病都与此有关。一些学者认为必须立即改革,否则学术将不成为学术,繁荣发展也很难实现。

  三是引文来源期刊评价。来源期刊(source journals)是指编者根据所编数据库的目的、要求,从期刊学术性、编辑标准等方面加以衡量而选出的作为统计源的期刊,如CSSCI、CSCD来源刊等。引文数据库的来源期刊每隔几年都要评选一次,每次遴选都会引起一些争议。引文来源期刊的遴选通常由某学术或研究机构承担,如SCI的来源期刊由ISI负责,其选刊标准很严格,体现了专家评价与计量评价的结合。

  上述三种不同类型期刊的评价所采用的遴选方法根据其评价目的的不同亦有所不同,但从总体上讲,基本是定性、定量或定性定量相结合的方法。在这些方法中,由学术同行进行学术期刊的“内容评价”和“效用评价”,无疑能最有效地反映学术期刊的内容质量和水平,但这些评价复杂、精细,人力物力花费大,且要对同行专家进行有效的制度约束。

  我国目前有学术期刊六千余种,人文社科类学术期刊有2 866种。近几年每年全国文科论文五十万篇以上,研究咨询报告数万部。2009年全国约有文科教学和研究人员四十二万,全日制研究人员约三万,文科研究生约四十万,文科在校生约八百万,全国文科专业人员数约一千六百万。如果对如此众多的期刊和论文进行同行评价,其工作量可想而知,可见评价确实是一项费时费力的系统工程。且同行评议方法很难排除评价者的主观意志对评价活动的影响,存在学术视野、学术偏好、情感动机等主观因素干扰。如此巨大的成果、人员、经费等数量向公正、合理而高效的评价提出了严峻的挑战。


  二、当前我国学术期刊评价进展及面临的问题

  有关学术期刊评价的研究和实践,总的说来对学术研究起到了促进作用。目前我国已经初步建立学术期刊评价指标体系,形成了学术期刊评价的一整套方法,学术期刊杂志社也更重视期刊的影响力,期刊编辑规范化、学者论文写作规范都有所加强,以行政级别代替期刊质量级别的现象得到遏制,一定程度上提高了学术期刊的整体水平[2]。

  虽然我国的学术期刊评价取得了较大发展,但随着国家对人文社会科学研究投入的大幅增加,学术评价已不仅仅是学术界普遍关注的问题,也广泛涉及研究人员的切身利益,更与国家巨额投入能否合理分配和学术研究能否健康发展有密切关系。文科科研经费每年增长,以国家社科基金为例,2010年已增加到6亿元,2012年达到约十二亿元。而学术期刊正是联结学者与评价的纽带,因此期刊评价就显得尤为瞩目,其存在的问题突出表现在以下六个方面:

  1.“以政代学”

  从理论上说,科研管理部门的评价目标与学术共同体的评价目标应该是一致的,即合理评价,繁荣学术。如果配合得好,完全可以互补。但由于过多追求短期的行政管理目标,又无有效的监督、核查机制,因此,评价管理出现简单化与非学术化的问题。目前社会上3000名大学毕业生竞争一个公务员岗位,高校不少教授争当行政职务,都与学术及其评价简单化和非学术化有关。在学术单位,去官僚化、遵循学术发展规律进行管理已基本形成共识,但如何从根本上、实际行动上去除“官本位”思想,从繁荣发展学术的高度,理性、明智地厘清行政权力与学术权力的界限,学术评价权力到底如何配置、监督等问题,已经到了非解决不可的地步。

  就学术期刊领域而言,在核心期刊产生之前,学术期刊主要是基于行政级别的分级管理,根据期刊的行政级别对学术论文的质量和水平进行评价。自1992年“核心期刊”的概念进入中国学界以来,二十年来其概念内涵发生了重要的变化。随着核心期刊、来源期刊的出现,期刊的行政级别意识有所淡化,期刊评价的客观性、可验证性有所进展。但是,去行政化的努力仍显不够,还需要在内容评价和质量评价方面进一步推进。

  2.评价主体的缺位、失位与淡化

  就学术期刊而言,同行评审是基本的评价制度。但目前这方面的工作仍然匮乏,存在评价主体的缺位与失位等问题,主要表现在因评价目的不明导致评审专家的选择标准不明,评审专家库信息不全、更新不快,选出的专家或同行多数不是真正的小同行或专家,而是大同行或外领域专家,或是低于被评价者的水平,致使真正的评价主体缺位、失位。

  能否选到合适的同行和专家与评价组织者的专业和管理水平及责任心有关,亦与评审专家数据库的编制质量有关。一旦选到合适的专家,专家是否能对评价对象不因亲疏、不以个人好恶进行评价,对评价的结果乃至对学术的发展至关重要。讲人情和人文关怀是可以的,但不能不讲原则,不顾真理,不考虑自己与他人长远利益,而仅唯近期的利益是图。如果说以学术水平为主兼及“人情”还好理解、危害还不严重的话,那么不以学术水平为主,一味以学术之外的因素进行评价,则后果非常严重,不仅直接伤害到一起竞争的被评价者,而且会损害学术评价的公正性,浪费宝贵的科研经费,导致“劣币驱除良币”现象出现。复旦大学章培恒教授认为,如果不将人文社会科学研究“作为严肃的科学事业……为维系人际关系而作违心之言等,都由此而产生”[3]。

  3.评价指标过分数量化

  过分数量化就是仅仅看被评价人的论文数量、期刊等级、获奖数量等等,至于研究的内容倒在其次。有的学术单位要求教师在不减少教学、社会服务等工作量的情况下每年都要发表3篇论文或相当的著作,研究生也要发表1—3篇的期刊论文或相当的著作,结果造成这样的奇怪现象:数量越多则奖金越多,似乎学术水平就越高。于是,将一篇长文拆成几篇有之;文章不再精细打磨,不求卓越,只要能发表亦有之。大量平庸、重复之作,或中等水平的文章、著作充斥其间,甚至有意抄袭、造假之作也应运而生,导致具有原始创新的成果鲜见,大师级学者难出。这种过分的数量化对学术及国家、社会、人民造成的损失,许多学者认为比大地震带来的损失还要大。

  学术成果如果是期刊、出版社经过同行专家严格审稿后发表、出版的,那也包含一定的质量,但问题是,目前中国许多人文社会期刊并没有实质性的同行评审制度,不少期刊只要交纳一定的版面费,文章不是太差,就能发表或出版。难怪有的学者认为,不少所谓的成果实际上是学术垃圾。更有调查者认为,目前中国已产生一个庞大的地下论文制造工厂,其数额高达数亿元。过分的数量化使广大教师疲于奔命,逼着自己生产出自己也不满意的成果,浪费了宝贵的学术时间,并在一定程度上助长了学术不端的出现。

  4.评价方式过分形式化

  目前许多科研管理部门对学术评价目的不明,对不同的被评价对象实行统一评价,诸如“以刊评文”,只看期刊,不看具体论文质量;都要有期刊论文,忽视文科的一些学科如文史哲比较注重图书的特点;都一律要求在核心期刊或引文索引的来源期刊上发表,文章字数一定要在3 000字以上,等等。由于引文数据被广泛应用于期刊评价、论文评价、个人评价及机构评价,因此已出现相当多的人造引文数据的现象,如个别期刊诱导作者引用、一些期刊达成互惠引用等等,大大削弱了引文评价的某些客观性和公正性。一定的形式是内容的反映,适当的形式是需要的,但一过分,就消解了最重要的内容,出现许多走过场、简单化与片面性问题,不能达到以评促优等评价目的。


  5.评价质量和创新力评价弱化

  学术评价的实质应为质量和创新力评价,但目前许多评价对质量和创新力指标重视不够,研究不深,许多评价指标概念不清,并不能评价成果质量或创新力。比如,某些引文可以用来说明被引作品的质量和一定的创新性,但有些引文则不能,要由专家根据引文上下文仔细分析引文数据,不能将引文的影响就直接等同于学术的影响,更不能一律等同于成果的质量或创新力。换言之,引文与成果影响力或质量、创新力有正相关性,但并不是质量和创新力本身。

  需要强调的是,目前国内外各种引文数据库的主要功能是信息的检索、学术交流的分析,兼及某些评价功能。不论是美国的SSCI、A&HCI,还是荷兰的SCOPUS,还是中国内地的CSSCI,均是检索和学术交流系统分析工具,因为这些索引并不是为评价而编制的,比如不管是伪引、自引、负面引用、中性引用等在引文库里均作为一次“评价”。引文索引只提供数据,至于这些数据反映什么问题、说明什么情况,是要专家解读的,它是帮助而不是代替专家进行评价,数据不能说明一切,但没有数据也是不行的,因此,对引文索引的评价作用一定要有恰如其分的认识,不可偏废,要针对不同的评价目的,选择恰当的引文数据库,合理、正确使用引文数据。目前一些学术影响力或质量、创新力评价都存在指标概念不清、以偏代全的问题,产生了许多误导。

  6.评价结果软化

  由上述五大问题带来了评价结果软化这一问题。一项好的评价结果的信息应该能被共享,从而达到提高评价质量和效率的目的。但目前的许多评价共享程度不高,或者说因为公信度不够,无法为人所信服,因此很难达成共识,其评价结果很难为其他相类似的评价应用。

  三、当前我国期刊评价中存在问题的原因分析

  1.社会原因

  近三十年中国社会发生了巨大变化,正处在剧烈的转型期。以信息化带动工业化的战略已使中国实现了跨越式发展,第一产业的比重大为下降,第二产业发展迅速,第三产业也增长很快,整个社会正向信息社会快速迈进。在信息化、知识化的影响下,从事知识生产的人数激增,科研的规模化、社会化、应用化和资助化极大地影响和改变了传统的科研方式。社会的急剧变化产生出许多社会问题,如快速的城市化、老龄化、教育、就业等问题迫切需要社会科学给予解答。同样,由许多社会问题引发的人的精神方面的问题也明显增多,心理学专业成为热门,人文学科的传统研究模式也发生很大变动。

  根据社会发展的需要进行研究,还是依然凭着自己的兴趣和好奇心进行研究,是追求研究效率和近期的实用,还是为了品质和长远的“大用”,围绕诸如此类问题的争论与不同的做法,势必对实际的学术期刊评价中涉及的数量与质量、形式与内容等问题产生影响。

  2.经济原因

  随着我国经济实力的不断增强,国家对社科科研经费的投入不断增多。尽管科学家人均科研经费与发达国家相比仍有较大差距,但科研经费总量已列国际前茅,社科研究经费每年以15%的幅度增长。社科研究人员为了获得必要的经济待遇,为了能招收研究生,为了能进行科学研究,不得不不断地申请项目经费资助。学校等机构为了能在各种大学排名榜上名次靠前,同时也想以此来改善研究人员的经济条件,也大力鼓励教师申报各种科研经费。经济的现实压力和社会上重金钱轻人文的不良现象,对研究人员的价值取向及其研究行为都产生了很大影响,进而也影响到了学术研究和学术评价。

  3.思想文化原因

  一定的经济、社会的影响势必带来思想文化上的影响。对外开放和市场经济一方面促进了经济和社会的快速发展,另一方面也使一些意志薄弱者深受物欲影响,陷入金钱拜物教的泥潭。传统文化中一些不良的价值观,如实用主义、注重眼前、缺乏远见、急功近利、贪图物质享受、极端个人主义思潮等沉渣泛起;一些传统有意义的价值观,诸如诚信、求真、讲道德等受到极大挑战。相当多的人精神世界贫乏,没有更高的精神追求,这其中也包括部分科研管理者和研究人员。不良思想的影响造成了许多学术研究及其评价上的诸多问题。

  4.管理原因

  尽管改革开放以来管理水平有很大提高,但从整体上看,目前我国的社科科研管理体制基本还是老一套,管理体制僵硬,管理方式粗线条、不精细,管理水平不高,某些管理者一味围绕政绩指挥棒转,没有按学术逻辑和评价特点及其复杂性来制定评价规则,对学术和知识的尊重未能具体化,或者不作为、图省事、一刀切,对“例外”管理不重视。有的管理者既要搞学术研究又要抓管理,有时既当运动员又当裁判员,除了有些学者型管理者身体好、水平高,能处理好学术与管理两者关系,能使两者良性互动外,确实有相当一些学者型管理者对此身心疲惫,往往两头都搞不好,或抓了学术丢了管理。

  5.学术共同体原因

  由于中国现代学术史不长,仅有百年时间,其间还不断受到战争、经济、政治等各种干扰,一直处于未发达状态。尽管近三十年来,学术研究有了较大发展,但从总体上看,良好的学术生态和环境尚未形成,学术近亲繁殖现象严重,学术氛围不浓,理性思维不足、不彰。由于学术环境和不科学的管理制度的影响,许多学者被逼得急功近利,不愿或不让坐冷板凳,精品意识淡薄,学术自主性不强。从整体看,学术共同体缺乏独立性,社会责任感退化。

  6.评价体系原因

  除了以上总体原因外,还有评价方面的原因,或评价技术上的原因,诸如上文已提及的对评价、评价主体、评价客体、评价目的、评价指标、引文、引文索引等基本概念和基本含义认识不清、研究不够,对具体评价方法、程序规定不合理等。


  四、完善学术期刊评价体系及其措施

  对于人文社会科学评价的认识,目前无论是图书情报学者还是人文社会科学专家学者已经达成比较一致的看法,都认识到了人文社会科学评价的特殊性和复杂性,并指明学术评价应走向多元化、本土化,需要从形式评价走向实质性的内容和效用评价。

  (一)基于形式评价、内容评价和效用评价的评价体系

  形式评价、内容评价和效用评价是一组新概念集合,是从知识的形式、内容和效用三要素推广而来的。这组概念比另一组概念,即数量评价和质量评价能更好地解释目前评价中存在的问题及其对策。关于形式评价、内容评价和效用评价这组新概念集合如何提出、怎样界定、有何意义,笔者曾在三年前发表的《人文社会科学评价体系探讨》中有过较详细的表述[4]。这些观点也被有的学者评为“形式评价、内容评价和效用评价的‘三位一体’组合的观点,既具创新性、学理性,也具有较强的可操作性”[5]7。

  所谓形式评价,是指评价主体对评价客体内含知识的外部特征的评价,既包含同行的定性评价,也包含定量评价,但最终的评价可用数字、数据反映,包括发表论著数、被引用数、被文摘量、获奖数、发表字数、发表成果的级别等。形式评价与内容质量、效用评价有密切关联,在一定程度上可以反映评价对象的知识含量,是一种简单易行、粗略、可测试、可核实的评价[4]104-105。

  所谓内容评价,是指评价主体对评价客体内含知识的本身特征的评价,由同行专家通过直接观察、阅读、讨论来进行,为方便计算,可能会将定性评价转换成数字,但最终的评价通常用文字或数字加文字来反映,如“优秀”、“一流”等。它是针对某一评价目的对知识内容的逻辑性、合理性、价值等的直接评价,是一种费时费力、测试和核实更花时间,但却精细、较为可信、可靠的评价。一般对于关系到评价对象直接、重大利益的精细评价都应采取此种评价,而不能片面强调工作量大而放弃[4]105。

  所谓效用评价,是指实践、时间、历史对评价客体实际作用、价值的验证或最终评价。它既强调用一段时间、有限的实践、已有的历史事实来评价,更注重长时间、更多实践和事实的评价。它既依赖于学术共同体的评价(因学术共同体最能认定实践、事实的意义),但又有独立性,不以任何人的主观意志为转移。由于此种评价包含着无限的过程,因此它是一种“进行时”加上“未完成时”[4]105。

  人文社会科学的研究成果一般会对社会与政府决策产生较大影响。因此,社会效益和社会反响应成为是检验社会科学研究成果的一个重要方面。而效用评价在我国是被普遍忽视或轻视的一个评价维度。

  (二)学术期刊的形式评价、内容评价和效用评价

  就学术期刊而言,如果说,近十余年来学术期刊的评价总体上侧重于定量评价、形式评价的话,那么未来几年应该强调学术期刊的“内容评价”和“效用评价”,关注同行学科专家评审等定性评价,同时更多地听取各期刊部的评价意见。努力营造有利于学术期刊发展的公平、宽松的办刊环境,使学术期刊的评价更加合理。

  期刊的被引次数、影响因子、文摘率等文献计量方法,大体(所谓“大体”,即不完全等同)可以看成是形式评价,如果这种形式评价是可靠、真实的话,那么它在某种程度上可以反映期刊的内容和效用,尽管它不能等于内容或效用。同行评价法大体对应于内容评价(尽管文献计量方法也可以进行内容评价,但同行评价法更侧重于内容评价),此法需要同行直接阅读期刊文本,对期刊的策划、设计、风格,对论文的观点、研究方法、论据、结论、理论价值和应用价值等进行分析、判断,这不是统计引文数、转载数就能奏效的,远较形式评价复杂。实践、时间最终评价法大体可对应效用评价(同样并不排斥同行评价法等也能进行效用评价)。在有限的3—5年的时间里,期刊及其论文产生哪些社会影响、文化成果和经济效益,有的能看出,有的则不明显。因此,效用评价更为精细和复杂,来不得半点急躁和简单化。

  从形式、内容和效用三个面,还可以引申出三个“力”或曰“度”,即潜力、实力和效力,每个“力”下一般可分为若干“力”。比如潜力可分成支撑力、学术素养力及生产和影响力等,实力可分成创新力、准确力和解释力等,效力则可分成精神(思想)启发力、物质贡献力和文明推动力等。“三面”是所有评价客体所具有的共性,而“三力”则允许有个性、有变通,且指标的解释也可不同。

  目前中国文科的论文和著作主要通过期刊社和出版社发表和出版,它们是学术第一个“出口”,许多平庸之作和伪劣之作的出现均与此有关,真正创新之作能否及时发表也与这些出口有关。因此,必须创造必要的物质条件完善严格的评审制度,实行匿名审稿制,保持学术期刊和学术出版社的学术水准、权威地位。力争制定以下规定:凡有专家评审制的学术期刊,并得到学术共同体认可的,不论是否为核心期刊、来源期刊等,均应得到科研管理部门评价系统的承认。同时加强发表后论文、著作的再评价,建立健全文科精品成果数据库,建立和完善引文数据库,新建图书评价数据库、评论数据库、专用于评价的文摘数据库和评价结果数据库。


  (三)解决期刊评价问题的措施

  1.解决以刊评文问题

  第一,教育部等主管部门不以学者在核心期刊、来源期刊上发表的论文数量为配置学术资源和评选重点学科、博士点、基地等的主要或唯一依据。第二,各大学等学术机构不以核心期刊、来源期刊的发表论文数量为发放奖金、评职称等的主要或唯一依据。第三,以同行专家评价为主,辅以引文等文献计量评价,评选出真正的学术质量好的期刊。第四,配置学术资源和评选重点学科、博士点、基地等,或发放奖金、评职称等均以论文的内容评价、效用评价为主,不以期刊的质量等级为唯一标准。

  以上四点建议并非要否认核心期刊或来源期刊的作用,而只是认为对论文质量的评价可以参考该论文是否发表在核心期刊上,因为核心期刊录用的论文毕竟比非核心期刊的论文,一般说来,在编辑的初审、专家的外审、修回、主编的复审和终审等一系列环节的内容把关等方面更为严格,且较好论文的概率更高些。但仅仅有这些过程还是不够的,各期刊编辑部办刊目的不同、审稿水平不同,已发表的论文质量差别不一,因此,对于论文的真实水平,还是要根据一定的评价目的采用一定的评价指标,更重要的是通过精细、专门的同行评议,对论文的内容进行评价,只有这样才能得到更具说服力的评价结果。目前迫切需要在核心期刊或来源期刊的基础上,评价出同行公认的期刊质量等级。如此,其一定的评价作用才更有意义。

  2.解决评审专家缺位、失位问题

  第一,由相对独立的评价方根据专家库、学者实际能力选择恰当的评审专家。目前评审专家库基本上都是行政管理部门推荐、主导下建立的,尽管这样的专家库也容纳了许多优秀、合格的专家,但毕竟不够理想,一些学术水平未必合格的行政管理人员可能位列其中,而一些崭露头角的学术新秀因未入行政部门的“法眼”被排除在外。独立的评价方可以学术水平、学德,而不是以非学术因素为标准来选择评审专家,建立数据库。笔者及其团队已通过引文等数据库,结合同行专家(如语言学会)及行政管理部门的校对、验证或推荐建立了外国语言学专家库,避免了仅仅根据行政系统建立专家库的一些弊病,收到专业学会和同行的肯定。

  第二,建立健全适合于进行精细学术评价的评审专家库系统。需要指出的是,尽管在制度上作了一系列的保证,但评价的结果最终还是由每个专家做出的;而专家作为一个个独立的个体,必然受其自身众多因素的制约,因此,其评价结果通常围绕着各自理想的客观真值产生不同程度的波动。真正高质量的评审专家库应该实现专家个体围绕理想真值的波动尽可能小,这些波动间的差异尽可能小。而目前围绕这两类波动,至今未见有系统的专家库质量控制理论,也缺乏这种质量控制技术。因此通过更为科学合理的理论和方法,建立适合于进行精细学术评价的评审专家库系统,是目前学术评价研究中亟待解决之问题。目前国家社科基金、教育部等对重大项目评审进行了卓有成效的改革。重大项目评审专家在全国五大社科研究系统内遴选。遴选的原则和标准主要有四条:一是专业对口和权威性,确保是同行评审;二是回避原则,即投标课题的首席专家和子课题负责人一律不担任评审专家,评审专家一律回避本单位投标课题的评审;三是初评和复评衔接,初评专家中有一半左右继续担任复评专家;四是邀请有关实际工作部门同志参加,力求做到公平、公正和公开。这些改革值得完善和推广。

  第三,评价方根据回避制度、保密制度等选择评审专家。评审方选择评审专家时,应注意回避与评价对象或评价过程有利益关联的专家,以避免可能出现的人情或其他情感或利益因素干扰;同时,评审专家在评价过程中也因遵守保密制度,对评价过程中形成的数据、资料,在评价结果发布之前,不得向评级对象透露相关评审细节;因为评审的数据资料本身就属保密信息,评价方和评审专家应严格遵守评审规则,遵循既定的评审程序,对评审过程中接触到的相关资料、信息,严格履行保密义务。

  第四,建立评审专家评审信任度考察制度。通过科学组建评审专家,严格执行考察回避制度,虽然在一定程度上可以保证评价结果的公正性,但由于学术评价最终还是归于同行学者的学术良心、学术水平、学术眼光和学术操守,而这些都与脆弱的人性相关,因此,在道德上要求学者完美无瑕是一种乌托邦式的美好愿望,在实际的评价活动操作中,依然要依托制度的建设。建立评审专家评审信任度考察制度对学术评价来说是必不可少的。要逐步建立评审专家评价的诚信机制,评审人员要签订诚信协议并建立诚信档案;通过把评审专家置于舆论和学术共同体的有效监督之下,促使他们认真履行职责,公正行使学术权力。一旦发现有意严重违反制度者,一律处以重罚。对由于制度不明确、不健全造成问题的,或不具有相关知识者,以教育为主。

  第五,建立和健全评价结果公示、反馈、申诉、复议等制度。对评价结果应有公示流程,公示内容包括评价的内容、方法、程序和评价结果。被评审方如对评价结果有异议,可直接向评价方提出申诉。评价主体必须认真调查,要根据原始记录和原始实证材料给予耐心、透彻的答复,实事求是地作出恰当处理,并及时向申诉人反馈,维护其权益。如果被评价方不服评价意见而提出复议要求的,应由相关学术管理、教育行政部门作出裁定。


  3.解决重量轻质问题

  首先,淡化或暂时取消单纯以研究成果数量来排名的各种评价,即使要排名,也必须说清是按照数量排名的,绝不能有意无意使之等同于质量排名,误导学界和公众。

  其次,慎重进行任何有实质性作用的各种质量评价,要有必要的人力物力及时间等评价基础,不能简单从事。

  再次,鼓励以书评(包括论文评论)等形式对成果内容进行实质性评价。书评通常采用历史性评价、传记性评价、比较性评价、特色性评价等方法,有识见地分析论著的形式和内容,对作品的历史价值、学术价值、实用价值作出信誉评价。相对于形式评价,书评是进行实质评价的重要而有效工具。建立包括书评在内的学术批评制度是期刊评价重要的补充。狭义的学术评价,即有组织的学术共同体的评价既有一定的作用,也有先天的局限性,而广义评价中的学术批评则是很好的补充评价,书评(包括论文评论等)则是学术批评中的重要类型。

  最后,建立和健全同行专家对论著以形式评价为切入点、内容和效用评价为核心的评价体系。国外非常重视社会科学成果对政府决策、民众生活质量与社会思潮的影响作用,所以社会科学研究成果的社会转化问题与社会影响力测评一直是国外学者讨论的热点。社会效益的评价不是通过数量计算可以一蹴而就的,需要通过复杂的社会系统的检验。而社会效用评价一直是我国学者、科研管理者、政策决策者和社会受众普遍忽视或轻视的一个评价指标。

  4.解决评价结果公信力不高问题

  上述解决期刊评价问题的措施都是最终解决评价结果公信力不高问题的必要条件。此外,从具体评价工作设计和评价结果监督上看,似有以下四个措施:

  首先,延长评价时间,条件不成熟的可以不评价。人文社会科学是以人、人化的自然和社会为研究对象的,不少研究成果无法或很难通过实验重复验证,从某种意义上说只能通过时间和历史的检验,才能得以证明。因此,其学术价值常常不是即时性显现的,有时甚至是相当滞后的。因此,对学术影响的探讨,除了应关注其轰动效应和即时性等特征之外,还应在更广阔的时间与空间范畴内对其进行深度审视。从某种意义上来说,历史评价和社会评价才是学术研究成果的终极评价。

  其次,适当合并评价项目,只要评价的结果是可信的,其他评价可共享其评价结果。目前国内有许多学术期刊评价,如果其评价目的相同,评价指标并没有本质区别的话,有关组织方和评价方大可联手,集中力量,合并有关评价项目,将评价尽可能做精做好。评价结果一旦在期刊界、学界等达成共识,就应该将其作为共享的基础,这样不仅能减少不必要的重复评价,减轻期刊社的负担,而且可大大提高评价的质量和公信度。

  再次,及时公布评价结果和评价意见,便于大众验证、反馈信息。一项评价完成后,应该将评价的结果(不仅仅是简单的排名)和文字意见及时在媒体上公示,公示的时间应足够长,以便于有关利益方对照、检验、再评价(元评价),对反馈信息应及时回应,对有理有据的申诉应按照一定的程序积极受理,如发现评价中确实有误,应及时纠正。大量的评价实践证明,对于精细、复杂的质量评价不可能要求十全十美,只能要求尽可能地少出差错,或没有大差错,而一旦发现差错,就应及时纠正。有快捷顺畅的反馈、纠错机制,评价的公信力将大为提高。

  最后,建立评价结论数据库,便于查询、检索和利用。目前所作的评价都是过程性的,一旦评价完成,就不再关心该评价的后续发展,不重视评价信息的积累和管理,这对学术评价的可持续开展是不利的。数据库技术的发展为我们提供大量的评价信息。评价方通过筛选、标引、分类等一系列的信息组织活动,就能建立起相关的评价信息数据库,时间越长,数据库中的信息越多,查询、检索和利用就越方便,对于今后的各种评价和决策就越有意义。国外一些研究、评价机构很注重做这方面的工作,而在国内,这方面的工作尚未起步,亟待开展。


  五、结语

  学术期刊的质量与创新评价关系到学术期刊和学术健康发展的大问题。学术期刊的形式评价、内容评价和效用评价是由低到高的三个评价层次。根据不同的评价目的,三个层次的评价各有其适用领域和不同的作用。同行评价与引文等文献计量学评价并不是“对立”的关系,而是互补、互证、互校的关系。对质量和创新评价来说,基于同行和实践、历史评价的内容和效用评价更有意义,也更为复杂和精细,更需要研究和探讨。认真总结核心期刊、来源期刊评价的经验,分析其问题,探讨其原因,采取切实可行的办法,解决评价的“六化”问题,已是当务之急。本文提出的形式评价、内容评价和效用评价的“三位一体”新概念组合,以新的概念描述了合理的期刊评价的框架结构,合理解释了期刊评价的历史、现状,并能很好地预测期刊评价的未来。这一学术评价的新思维及其可实现路径并非仅仅适用于学术期刊评价,也适用于学术专著评价、项目评价、机构评价等领域,其宗旨为打破影响评价健康发展的体制性障碍,使学术评价沿着正确的方向前进,逐步建立起一个学术共同体梦寐以求的、利于后世学人的公正合理的学术秩序和宽松的学术环境。

  (袁曦临及杜慧平在本文的撰写、资料提供等方面付出了辛勤劳动,特此致谢!本文在提供给全国哲学社会科学规划办公室的《建立和完善以质量和创新为主的哲学社会科学评价体系》一文的基础上修改而成。)

  【参考文献】

  [1]叶继元:《核心期刊概论》,南京:南京大学出版社,1995年。[Ye Jiyuan, Introduction to Core Journals, Nanjing: Nanjing University Press, 1995.]

  [2]叶继元、顾烨青:《中国大陆学术期刊评价现状与走向》,《教育资料与图书馆学》2008年第1期,第111-146页。[Ye Jiyuan & Gu Yeqing, “The Present Situation and Trends of Chinese(Mainland)Academic Journal Evaluation, ”Journal of Educational Media & Library Sciences, No. 1(2008), pp. 111-146.]

  [3]佚名:《立足创新,大力提高哲学社会科学研究质量》,《中国教育报》2006年1月16日,第5版。[Anonymity, “Based on Innovation, Improving the Quality of Philosophy and Social Sciences, ”China Education Daily, 2006-01-16, p. 5.]

  [4]叶继元:《人文社会科学评价体系探讨》,《南京大学学报(哲学·人文科学·社会科学)》2010年第1期,第97-110页。[Ye Jiyuan,“Approaching Evaluation System in Humanities and Social Sciences,”Journal of Nanjing University(Philosophy, Humanities and Social Sciences), No. 1(2010), pp. 97-110.]

  [5]余三定:《关于我国新时期学术评价讨论的评述》,《云梦学刊》2011年第2期,第5-12页。[Yu Sanding,“A Brief Introduction to the Discussion about Chinese Contemporary Academic Appraisal,”Journal of Yunmeng,No. 2(2011),pp. 5-12.]

国家广播电视总局 | 湖北省人民政府 | 中国邮政集团公司 | 武汉市人民政府 | 中国期刊协会 | 中国图书进出口(集团)总公司 | 中国邮政集团公司报刊发行局 | 湖北省广播电视局 | 湖北日报传媒集团 | 长江广电传媒集团 | 长江日报报业集团 | 知音传媒集团 | | 湖北中图长江文化传媒有限公司 | 决策信息网 | 湖北新闻出版广电传媒周

copyright(c) 2013 湖北省新闻出版局 版权所有 技术支持

鄂ICP备19004605号-4  鄂公网安备 42010602004016号