作 者：减莉娟 南京大学信息管理学院，江苏 南京210046、南京理工大学学报(社会科学版)，江苏 南京210094;葛星 南京理工大学 人事处，江苏 南京210094。
摘 要:在现有人文社科一类学术期刊评价过程中，定性评价虽被作为与定量评价并列的评价方法，但在具体实践中定性评价井没有很好地发挥作用。同行评议作为主要的定性评价方法，在世界范围内仍被认为是最好的评价方法和分配机制，但其也因裙带关系、精英主义、利益冲突等遭受诟病;在具体操作过程中，其又因组织困难、专家难选、不确定因素太多、评价结果模糊等举步维艰。定性评价应从隐秘走向透明，要对定性评价开展元评价。在定性评价中将定量评价结果提供给评议专家作为参考数据是一种可行的途径。
关键词:定性评价 定以评价 同行评议 期刊评价
期刊评价受到深切关注主要是由于其和学术评价的亲密关系。在我国，现阶段的学术评价在阳春白雪的学术研究与世俗世界的资源分配之问充当了桥梁角色，成为确立优先权和分配资源的最好方式。学术评价过程中，学术期刊又处于职称晋升、学术奖励和资源分配系统的核心，竞争的激烈和资源的稀缺放大了社会对期刊评价结果的重视和关注。木文基于四种主要期刊评价体系探讨人文社科类学术期刊定性评价的尴尬与艰难。选取的四种期刊评价体系分别是南京大学中国社会科学研究评价中心的中文社会科学引文索引(CSSCI>，以北京大学图书馆为主研制的《中文核心期刊要目总览》，武汉大学中国科学评价研究中心、武汉大学图书馆和武汉大学信息管理学院共同研发和编著的《中国学术期刊评价研究报告——RCCSE权威、核心期刊排行榜与指南》以及中国社会科学院中国社会科学评价中心的中国人文社会科学期刊综合评价指标体系(AMI )。
一、理论与实践背离：定性评价的尴尬存在
定性评价是指评价者根据其价值观与历史观对研究成果进行概括性评价。同行评议是定性评价的一种主要方法，亦称专家评审，指同一个学科或研究领域或同一个研究方向的专家按照一定的标准对研究成果进行的评价活动。定量评价指评价者根据数据对研究成果进行具体精细的评价。前我国的学术期刊评价一般都采用何种评价方法?定性评价方法在其中地位如何?笔者结合四种主要期刊评价体系的最新版本，整理归纳出其定性评价开展的具体情况，见下页表1。
| 表1 四种期刊评价体系定性评价开展情况 | ||||
| 评价体系 | 评价方法 | 评价指标 | 定性评价的比重 | 开展定性评价的具体描述 |
| 中文社会科学引文索引(2014-2015) | 定量与定性相结合 | 他引影响因子、总被引频次 | 无具体比重说明 | 定性评价为定量评价的制定提供原则、方向，定量评价为定性评价提供量化依据。遴选体系受专家咨询委员会会议的指导，选刊体系中有面对专家在线投票的系统。专家意见采集形式多样，主要有：在线打分，专家咨询委员会会议讨论，其他访谈、座谈等。选刊综合值中有专家意见打分的结果，定性评价与定量评价同时进行，最后综合。 |
| 中文核心期刊要目总览(2014年版) | 定量评价和定性评价相结合 | 被索量、被摘量、被引量、他引量、被摘率、影响因子、被重要检索工具收录、基金论文比、web下载量 | 无具体比重说明 | 以定量评价为依据，以专家定性评审为补充。通过网络将学科期刊送审表发给专家，其中包含定量评价数据。专家评审内容：(1)调整学科核心期刊排序(可以调整，并说明理由)；（2）调整学科核心期刊表、调整核心区和扩展区；（3）增补优秀期刊进学科核心期刊表；(4)修改学科核心期刊数量。 |
| 中国人文社会科学期刊评价报告(2014) | 无明确说明，但从指标看，明显有定性评价成分，比如三级指标里有“同行评议” | 由五级指标构成，其中一级指标3个(吸引力、管理力、影响力)，二级指标12个，三级指标36个 | 总分208分，同行评议45分，占比21.63% | 同行评议是指学科专家、期刊编辑和普通读者对期刊学术性、创新性、规范性、社会声誉方面进行打分。此外，AMI指标体系的36个三级指标中，有一些指标，比如价值导向，编辑业务水平、编辑规范、出版规范、评审规范等都介于定性评价和定量评价之间。 |
| 中国学术期刊评价研究报告 (武大版)(2015-2016) | 定量评价与定性分析相结合 | 基金论文比、总被引频次、影响因子、wob即年下载率、即年指标、二次文献转载或收录、专家定性评价 | 3.26% | 在系统程序筛选出来的期刊基础上提取排在该学科前60%的期刊数量，按学科门类由业内专家进行人工审查和评审。专家可通过分值的高低对期刊排序进行调整，如有优秀学术期刊不在被评审列表中，专家可以进行增补，在“增补期刊”一栏中填写期刊名称后按同样标准进行评审。同时，须对增补期刊的理由进行文字说明，并签上自己的姓名。 |
| 注：表1中关于四种期刊评价体系定性评价开展情况的描述主要来自CSSCI官网以及参考文献 | ||||
| 表2 《中国学术期刊评价研究报告(武大版)》期刊评价指标体系及权重 | |||||||
|
评价指标 版本 权重 |
基金论文比 | 总被引频次 | 影响因子 | Web即年下载率 | 二次文献转载或收录 | 即年指标 | 专家定性评价 |
| 2011一2012 | 0.15 | 0.20 | 0.35 | 0.05 | 0.20 | - | 0.05 |
| 2013一2014 | 0.1493 | 0.2005 | 0.3516 | 0.0496 | 0.1993 | - | 0.0497 |
| 2015一2016 | 0.1501 | 0.1987 | 0.3186 | 0.0501 | 0.1987 | 0.0512 | 0.0326 |
| 注：表格数据来源于《中国学术期刊评价研究报告(武大版)》2011-2012年版本(第15页)、2013-2014年版本(第18页)以及2015一2016年版本(第19页)。 | |||||||
二、定性评价与定量评价：评价的两张面孔
1.定性评价与定量评价的各自优劣
定性评价方法以同行评议为主要核心。从学术共同体的角度来看，同行评议的逻辑依据是无可争议的——根据所受训练和专家知识，谁最适合来评判最好的“科学”?当然是同行。同行评议是包括美国在内的很多国家科学资助机构在进行科学资源配置过程中普遍采用的主要机制，被认为是迄今最好的评价方法和分配机制。它体现了学术共同体的自主性，能使学术研究在学术的范围内有序开展而免受来自政治的、社会的影响。
我国国家自然科学基金项目评审采用的也是同行评议方式。以同行评议方式开展学术期刊评价，体现了学术自治，具有表征学术自主性和学术共同体自我治理的特殊含义。定性评价系统也存在弱点，在世界各国，同行评议都在不同程度地因为裙带关系、精英主义和利益冲突遭受批评、抱怨甚至是攻击。评价人是否具有评价资格，以及评价结果的低质量、模糊性是定性评价最严重的弱点。由于研究领域变得越来越专业化，挑选合格的评议人变得非常艰难。合适的、恰当的评价专家数量日益缩小，而需要评价的项目数量不减反增，评价组织机构对评价结果的要求也在不断增加。评价日益增加的复杂性，以及资源竞争的强度正在加剧评价的压力。客观的、无私的、合理的评价在伦理上、具体操作上的难度都在增大，甚至被认为是不可能完成的任务。同行评议另一个饱受争议的缺点是被认为只适用于“添砖加瓦”的、非颠覆性的学术发现，只能从“平庸之辈”中预侧那些相对“良好的”，但不适用于那些颠覆性的、完全创新的、前所未有的重大科研突破，难以识别或因为利益冲突而压制有创意的、卓越的、突破性的研究。有人从这个角度指出“同行评议”是在用落后限制先进，已成为学术发展的绊脚石。而在学术期刊的定性评价中，评审专家的判断往往受到期刊主办单位的影响，对于那些高声望机构主办的期刊会给子过高注意力。同时又过于重视期刊的过往业绩和知名度，较少关注新期刊、进步期刊。同时，我国学术期刊的一个特殊现象——大量综合性学术刊物的存在也使得同行评议难上加难。因为没有哪个专家是人文社科类学科的全才，能正确有效地对综合性刊物进行评价。
在被定性评价缺陷困扰的同时，文献计量学家不断向决策者们灌输他们所需要达到的期望，即学术成果水平、期刊水平是完全可以被量化的。数字是不会自己说话的，文献计量学之所以在当今学术界和期刊界大行其道，并确立其在学术评价和期刊评价过程中的位置，主要是我国科研机构的决策者和管理者赋子了他们这种权力。科研评价的决策者和管理者面对同行评议的种种问题以及巨大的实施困难时，文献计量学给他们提供了一条看似简单易行、一目了然的方法;不同的学术期刊定量评价机构所提供的数据和排名，可供科研评价机构挑选使用，在这种情况下文献计量学在学术评价、学术资源分配及职称评定等方面逐渐占据主要优势。人文社科类学术期刊是一种传播媒介，其传播内容是人文社科类学术研究成果，开展定性评价最权威的评价主体是各学科专家。而定量评价的主体则主要为文献计量机构和文献计量学专家，他们在文献计量领域是专家，但对于人文社科类大部分学科，他们却是“门外汉”。从这个角度来说，定量评价的评价主体资格就值得商榷。
评价是对被评价主体价值的判断，而这种判断必然是根据一定量的某种质或一些质的一定量来判断的，或更准确地说是根据一个质量向量来判断的。所以，不可能有纯粹的定性评价，纯粹的定性评价必是主观随意评价，毫无科学性可言;也不可能有纯粹的定量评价，纯粹的定量评价必然不是评价，而是一种纯粹侧量。定性评价和定量评价并不是相互对立的两种评价方式，它们各自有优缺点，但可相互补充。如果能将定性评价和定量评价真正有效结合起来共同发挥效用，期刊评价结果的公信力将大大增加，但多年来的实践告诉我们，这显然没那么容易。
2.学术期刊定性评价的困难
第一，组织困难。同行评议是一种组织化程度较低的活动，组织者据该活动而建立的正式制度(如条款式的评议准则)实际上并不能很好地奏效，真正起作用的往往还是科学共同体的非正式制度(包括学术传统和研究方式及习惯等)。同行专家根据自己的知识储备、主观认识等作出评价，但它有时并不可靠，因为不同评价人对标准的意见不一致甚至存在极大差异。第二，专家难选。何谓专家?对同行专家的界定也在不断地发生变化。随着专业越来越细化、窄化，某一个学者或研究方向只有非常少的同行甚至没有同行。在这种情况下，遴选出来的就可能只是“大同行”或是“准同行”。越来越多要评议的内容也会使得专家的工作量加大，神经紧绷，还要面对质疑，因此部分学者对参与评价没有多少兴趣。部分参与评价的专家面对这额外的工作量和压力，有时急于完成任务敷衍了事，这侵蚀了他们评价的质量，降低了他们对新思想的容忍度，增加了利益冲突发生的机会。第三，不确定因素太多。不同专家的打分方式及不同组织方的投票规模和投票方法等存在差异，因此会产生不同的评价结果。此外，由于评价参与各方都有自己的圈子，人际关系、个人偏见、利益冲突等因素也会影响评价结果。第四，评价结果模糊。定性评价由于带有评价专家主观判断，表面上看不像定量评价结果那般精确，这不是科研管理部门想要的结果。组织者以及科研管理部门需要的结果都是以名次而排的，要分个高下前后，而定性评价的结果看起来比较模糊，不能完全达到组织方的组织意图。这些因素都导致定性评价在具体操作过程中有一定困难，也是各家期刊评价机构虽然认可定性评价但又无法具体操作的主要原因。
三、从隐秘走向透明:缓慢行动中的定性评价
没有任何一种评价是完美的，尤其是在受到某些历史条件限制的情况下。脱离社会的、政治的、历史的和文化的语境，来考察期刊评价是不适当和不明智的。评价系统也需要在质疑声中不断改进，进而寻求平衡发展。定性评价和定量评价作为评价方法没有对错之分，关键是如何解读、如何利用。现行的以定量评价为主的期刊评价结果没有得到正确的理解和对待，评价结果被误导，被扭曲，被利益攸关者的不同价值观赋子了不同的解释。严格被区分的评价结果使资源的流向以及充分的交流变得比以往困难，优质稿源越来越向核心期刊集聚，非核心期刊稿源数量、质量均受到极大影响，核心期刊和非核心期刊之间的充分交流成为奢望，具有一定特色的非核心期刊生存和发展举步维艰。评价结果的威力影响到期刊接下来的发展，对期刊意义重大，使得部分期刊不得不跟着评价体系的指挥棒走，渐渐失去了自我。长此以往，将威胁到学术交流和学术自由。
现在我国有些科研机构已逐步采用代表作制度开展学术评价，定性评价越来越受到重视。在期刊评价领域，伴随着对定量评价的不满，尽管困难重重，对于期刊评价的改革也在慢慢进行。同行评议在目前认可度较高，发挥同行评议的作用，让真正的同行在期刊评价过程中起到主导作用，会增加期刊评价的公信力。这需要我们在认识到定性评价存在问题的基础上，采取措施规避之，不断在评议过程中制订公正性政策，如规范评议程序、出台利益冲突防范机制、规范评议标准等等。
1.建立期刊评价专家库，在更广泛的范围内开展同行评议
我国人文社科类学术期刊2800余种，若实行同行评议，需要庞大的专家群体。要让学科专家、编辑同行共同参与开展评价，具体也可借鉴国家自然科学基金遴选专家的方法。2011年版《中文核心期刊要目总览》公布了其各版参与评价的专家数量，见表3。评审专家数量在逐步增多，2011年版参与专家数量最多，为8253人，但其要评审的期刊数量为5800种左右(自然科学学术期刊近3000种，人文社科类学术期刊2800余种)，比较而言，专家数量远远不够。此外，专家参与程度也是参差不齐。之前就曾有报道称，有的专家竟然不知道自己是《中文核心期刊要目总览》的评审专家。
| 表3 《中文核心期刊要目总览》各版参评专家数量表 | |||||||
| 年版本 | 1992 | 1996 | 2000 | 2004 | 2008 | 2011 | 2014 |
| 专家人数 | 420 | 288 | 215 | 871 | 5529 | 8253 | 3779 |
其次，在学者尤其是青年学者甚至是研究生中开展关于学术道德、行为价值观和学术规则的教育。唯有在正确价值观指导下才能保证同行评议的顺利开展。
再次，加强学术共同体的培育。开展同行评议有一个前提:须在学术共同体的范围内进行。目前我国的学术共同体建设还存在很多问题。如果学术共同体发展不够充分，那么同行评议就不可能真正实现。
2.公开透明地开展定性评价
比较四个期刊评价体系，《中国学术期刊评价研究报告》和《中文核心期刊要目总览》对外公布的研究报告中关于定性评价的开展有较为详细的说明。《中文核心期刊要目总览》( 2014)公布了如何选聘评审专家及所有学科评审专家姓名、单位和职称，并介绍了通过网络如何进行专家评审、专家评审的内容等。《中国学术期刊评价研究报告(武大版)( a2015-2016)》专门介绍了评审专家的遴选与定性评价过程。专家评审的目的是甄别系统排序的合理性或减少因某些特殊因素没被纳入评价指标的优秀期刊。评审专家主要指学科专家、评价专家、图书馆的学科馆员，要求他们必须具有高级职称和长期的业内从业经验。评审专家根据评审细则，对该学科的期刊进行审查、排序及增补。
尽管如此，专家评议过程仍不为外人知。同行评议因此被认为是非常隐秘的，其评议主要依靠评议专家的“头脑”，整个评议过程都是在评议组织机构所搭建的隐秘的大门之后完成的。对于这个程序几乎所有的环节都是不可进入的、不透明的，也许还会受到利益故关者的价值观和利益的严重浸染。同行评议栖息在一个黑箱里，躲避着公众的视线。它通常是秘密地获得，再被塞进了一张拥挤的表格的狭小空间里。这种情况下，见到适时而善意完成的全面的、仔细的、均衡的评议反倒会令人惊奇。事实上，越是与世隔绝，越是不公开，潜在的风险也越大。不公开、不透明较之公开、透明更容易带来不正确的猜测，会带来错误的反击甚至报复。现在部分学术期刊评价体系中的同行评议部分仅对公众公布极少内容，专家姓名被公布，但并未公布其评议的具体是哪些期刊，也不公布评议流程和细节，这就给被评议期刊以猜侧的空间。如果实行公开透明的评议，将同行评议从“小黑屋”搬到“玻璃屋”，那么同行评议将被置于公众视野之下，这样的期刊评价会增加评价专家的责任感和约束力，那些之前隐藏在黑暗中的不良行径将会因此而无处遁形，评价结果的可信度会提高。好的评价应敢于公开评价方法、评价过程、评价数据等相关信息的评价。公开透明的期刊评价会使得期刊间、学者间的交流更加融洽，更加利于学术发展。
3.对定性评价开展元评价
元评价由国际绩效改进协会提出，指对评价的评价。期刊评价体系不断发展、壮大，而对期刊评价的元评价却一直没得到重视，现有的批评和反思只是部分学者的个体行为，尚未上升到元评价的高度。某种意义上说，对某种评价存在怀疑与不满无损该评价的价值，这些张力的存在有时是有益的，我们没有必要消除它们。定性评价的特殊性反而更应当重视对评价的问责，以保证评价结果在公众的监督下得到更合理的使用。期刊评价的元评价对学术期刊、评价专家及其评价内容持续的资料采集和评价将对确保评价公正性大有裨益。开展元评价有助于反思期刊评价，不断优化学术期刊定性评价技术，方便评价组织机构发现影响评价质量的薄弱环节并加以修正，可以提高学术期刊评价的科学性和公信力，改善评价组织机构和评价专家的声誉。
对学术内容的争议或对学术评价的争议，都应在学术界内部解决，而不应牵扯过多政治因素和意识形态因素。对期刊定性评价开展元评价仍然是学术界、期刊界的事。元评价的组织方可能是政府专事评价的相关机构或专业评价机构，但期刊评价元评价的质量标准最终还是应由学术界研究、制订更为合理。元评价是提高期刊评价质量的有效手段，对期刊评价的元评价要贯穿期刊评价的整个流程。在我国，关于元评价的理论研究和具体实践尚处于起步阶段，因此对期刊定性评价开展元评价也是新鲜事物，要慎重地推出元评价质量标准。
如何实现人文社科类学术期刊的公平评价，绝非某一项研究所能解决，这需要学术界、期刊界、政府部门，甚至是更广范围内的社会公众的共同努力:学术界促进建立学术共同体，并逐步形成具有普遍性、无私利性特点的内部规范系统;政府要为开展评价保证期刊正常有序发展提供基础性的制度和政策;社会公众则可以对期刊的发展和期刊评价活动提供监督和评估。
