【作 者】盛怡瑾、初景利：中国科学院文献情报中心
【摘 要】为了解同行评议质量控制方法的研究现状，本文定义了同行评议质量，并对质量问题进行分类，同时使用文献调研法和网站调研法梳理并归纳相关研究。结果表明，虽然研究者对提高准确性、增强公平性、保持一致性、控制时间、增强评价和关注成本的方法进行了一定探索，但目前对方法的研究还处于探讨阶段，仍存在一些空白和问题。同时可以看到，控制方法正逐渐从定性转向定量，在同行评议中设置质量控制点，提前选取正确方法并在实施中加以监督可有效提升整个流程的可控性。
【关键词】同行评议；质量；控制方法
同行评议是科学界确保学术出版物质量的基本过程，其雏形出现在17世纪中叶英国皇家学会期刊《哲学会刊》的论文评审中，1731年首次出版的《医学散文与观察》正式介绍我们今天所知的同行评议过程。同行评议沿用至今，一直被视为汇聚专家智慧、识别重要思想、更正研究错误、确保研究团队获得更大团队知识和支持的重要方法和可靠工具。Ma认为，同行评议的两个关键功能是通过判断作品有效性、重要性及原创性过滤出好的研究成果以待发表；通过审稿人评审建议提高稿件质量。斯库茨尼等也认为同行评议具有筛选和促进知识生成的双重功能。可见，同行评议主要承担控制和提高期刊文章质量的职责，扮演着“科学的守门人”的角色。虽然学界对同行评议存在问题及缺陷已讨论多年，但近年来，随着一系列撤稿事件的集中爆发及“同行评议造假”或“同行评议欺诈”作为新的学术不端行为愈演愈烈，人们对同行评议质量的关注、质疑和研究热度更甚以往。如果科技期刊难以保证同行评议的质量，也就难以保证期刊质量乃至科学质量。对同行评议进行质量控制能够有效把控和提高同行评议质量。目前的文献没有提到过“同行评议质量控制方法”这个术语，也没有对提高同行评议质量的方法进行系统梳理，因此本文欲从质量定义出发，系统梳理和归纳相关方法，阐述同行评议质量控制方法的研究进展，以便为研究和实践提供参考。
1 同行评议质量定义
同行评议质量似乎是一个简单概念，在诸多文献中无需定义即可被理解，但深究之下却非常模糊和复杂，每个人所理解的“质量”的具体涵义和范围都有差异。为有效梳理目前有关同行评议质量控制方法的研究，必须先明确同行评议质量的内涵。从广义上讲，质量不仅包括产品质量，还有过程质量和体系质量。同行评议可被看作一个过程或者一种体系，因此可以定义其质量。一般地，质量是指一组固有的特性满足要求的程度，此处的“特性”指可以区分的特征，“要求”指“明示的、通常隐含的或必须履行的需求或期望”，包含法律法规要求、合同规定、顾客提出、各相关方惯例等。现代质量观认为，质量包含了产品的专用特性、通用特性（可靠、维修、保障、安全、测试）、经济性、时间性、适应性等方面，是产品满足使用要求的特性总和。也有学者认为质量特性包括性能、可信性、安全性、经济性和寿命性。本文认为同行评议质量指同行评议系统或过程的固有特性满足要求的程度。这里的特性包括稿件评审特性（准确性、公平性、一致性）、时间性（审稿时间、其他时间），经济性（人力成本、平台成本、使用成本等）、可评价性（可靠、维修、保障、安全、测试）。
2 同行评议质量问题分类
目前，学者们认为同行评议过程各阶段和各方面都存在很多问题，解决和改进这些问题能够提高质量。但很少有人注意到，这些质量问题往往被笼统提及，缺乏明确的归类，因而限制了人们的深入理解和研究。本文根据同行评议质量特性分类，重新对质量问题进行划分，以方便后续的讨论和分析。
2.1 评审问题
评审问题是指审稿人对论文的评审无法满足编辑部要求而产生的问题。包括审稿意见不准确、不公平和不一致。
不准确。审稿意见不准确指审稿人对稿件价值认识不确切，给出的评审意见无法反映稿件真实水平，也无法代表同行总体意见的情况。不准确的审稿意见会导致编辑部做出错误的录用决定，对作者、编辑部及科学社区造成不良影响。而这种不准确源于审稿人自身能力不足，无法承担起质量把控和筛选职责。审稿人研究细分方向不同、缺乏审稿经验、没有责任心、不了解期刊要求和定位等都可能导致审稿意见不准确。
不公平。同行评议中，最受关注的就是不公平现象。不公平是指因审稿人的偏见、歧视、利益冲突、嫉妒心、打击报复等心理导致稿件被不正当地评价、拖延等。不公平与不准确的区别是，不公平现象与审稿人的主观意识有关，是审稿人有意的针对和区别对待，涉及人性，因此更加复杂，难以控制。而且不公平的操作具有隐蔽性，不容易被发现。
不一致。为了保证同行评议的结果具有代表性，期刊一般会请两个以上专家对稿件进行评审。这种方式会产生两种问题，一是所选出的专家审稿人能否代表所有同行意见，二是专家返回的意见不一致。专家意见不一致的情况很普遍，需要编辑部花费更多精力去判断稿件真正的水平和录用与否。
2.2 时间问题
“科学的意义”2009年进行了一项调查，43%答复者认为同行评议耗时长，65%的作者表示一般3个月内才能收到同行评议结果。2014年自然出版集团的调查中，超过70%回应者认为其经常因同行评议所花费的时间而沮丧。威利研究报告分析2013年排名前12的出版商用在审稿上的时间发现，2013年它们共收到2432803篇文章，其中79%的文章需经过评审，平均每篇文章花费5小时，总时间是22102015小时。由此可见，同行评议耗时问题不仅对作者产生困扰，也影响着出版商的出版流程和成本控制。此外，审稿前后发生的准备时间和决策时间，一样影响同行评议流程和读者对同行评议的满意度。
2.3 评价问题
2016年8月，同行评议评价项目（PRE）调查显示，91%读者必须自己判断一篇文章的可靠性，95%答复者希望同行评议过的文章有一个明确指标。但因为大多数同行评议都是期刊在后台进行操作的，因此相关数据无法获得，评审过程无法验证或认证。每个编辑部的同行评议流程不尽相同，如何去评价同行评议是一个很大的问题，只有能够对同行评议进行评价，才能够将同行评议的效果量化，从而真正获得读者的信任。
2.4 成本问题
期刊在操作和选择同行评议方式，控制和改进同行评议质量的过程中，会产生一定的成本，如人力成本、平台成本等。在考虑同行评议质量时，不考虑这些成本是不实际的，只有在现有预算范围内能达到的质量，才是符合实际的最佳质量。
3 质量控制方法研究进展
目前，还没有文章明确提出“同行评议质量控制方法”这一术语，但实际上，许多文献为解决上文归纳的各种同行评议质量问题，早已提出了若干方法，这些方法实质上加强了编辑部对同行评议质量的控制能力，因此可以被统一称为同行评议质量的控制方法。本文从这一角度出发，对相关研究中提出的控制和提高同行评议质量、解决同行评议质量问题的方法进行梳理和总结，呈现同行评议质量控制方法的研究进展。有一些方法可能在实际中能满足多种需求，如既能便于找到审稿人又可以节省审稿时间。为了便于归纳，本文只根据这种方法产生的主要目的和影响最大的特性进行分类。
3.1 提高准确性
使用科学方法，发现小同行。审稿人在同行评议过程中扮演主要角色，其审稿意见及结论深刻影响着文章录用结果。找到熟悉文章研究领域的审稿专家能够增强结果准确性。但实际上，领域专家的研究方向日益细化和交叉，且常随热点调整变化；互联网在扩大审稿人范围的同时使期刊对审稿人的深入了解和联系变得困难，找到合适的审稿人十分不易。“科学的意义”2009年调查显示，61%审稿人在近一年中因不了解该领域而拒绝审稿邀请，侧面反映出编辑部在寻找审稿人时缺乏足够了解。因此提高匹配精准性成为研究者探索的解决方法。常见的是引入科学计量学等方法发现小同行专家及其动态。如奥特加采用科学计量学方法，探讨同行评议认证平台Publons注册学者的同行评议措施及其在谷歌学术中文献计量指标之间的相关性。朱伟珠等使用领域本体、社会网络分析和共词分析等方法构建概念知识网络，通过具有相同科学语境和科学概念体系的小科学共同体选取小同行审稿人。贺颖等构建基于科学计量学的同行评议专家遴选系统。此外，刘丹等提出利用主题地图技术选择小同行专家。刘伦刚提出开发协同专家建库，科学设计和使用学科专业预置分类表突破小同行审稿瓶颈。刘凤华等统计分析2011-2015年的期刊审稿记录，对审稿专家做出评价和邀请建议。朱岩等提出外审专家信息更新与维护策略。
了解专家心理，提高接受率和质量。找到正确的审稿人还不够，让审稿人接受邀请并做出符合要求的审稿意见才能真正提高准确性。一位负责威利诸多期刊的执行主编说到，审稿人邀请到接受的转化率在过去5年下降了至少5%。随着期刊和文章数量增加，领域专家收到的邀请很多，会根据判断进行取舍。但即使接受邀请，因其时间有限、责任心不强等原因影响审稿质量的情况也时有发生。因此通过调查和案例分析影响审稿人的因素，能够有的放矢，提高邀请接受率和审稿质量。威利对审稿人接受审稿邀请的动机和影响审稿人受邀决定的因素进行了调查和分析。李晓通过问卷调查分析专家审稿质量影响因素。占莉娟采用文献法与逻辑推理法探究审稿动因。王俊丽等介绍了《中国化学快报》选择小同行专家的途径和原则。蔡斐等介绍了《航空学报》青年编委遴选条件、途径与结果。
近年来，研究者视激励和认可为提高接受率和质量的重要方法，但存在争议。威利调查显示，4/5审稿人认为被期刊及其机构认可的同行评议不足，斯库茨尼等修改了“投资博弈”框架测试不同激励计划的效率，表明审稿人没有物质激励的现行模式最有效。汤普森等以《农业与资源经济学期刊》为例，发现如果评审意见长度可以代表质量，那么有经济激励时质量会变好。钟琳等依据扎根理论构建科技期刊外审专家审稿意愿模型，从而提出审稿专家激励措施。孙力炜等对比分析了国内外同行评议回报模式并给出建议。
进行审稿培训，创新培训形式。长期以来，审稿人是根据自身经验和认知对稿件进行评价，主观性过强，易导致评审结果不准确。编辑部对审稿人的培训重视不足、形式单一。有调查表明，审稿人培训的常见类型是指导方针（32%），全球出版伦理委员会（COPE）道德指南（18%），来自监管者（19%）或者同事（16%）的非正式培训，只有极少部分受访者表明参加过正式培训。现在，越来越多研究者认为培训可以让审稿人更加了解期刊要求和规范，掌握审稿技巧，提高审稿意见的质量，同时还可以培养更多年轻学者成为审稿人。鉴于49%审稿人同时审阅5本以上期刊，培养新生力量可以极大缓解审稿人数量不足压力，从而间接提高审稿质量。研究者对培训形式和设计进行研究，施罗特等按照三个阶段对比了未接受培训、面对面培训和在家学习的审稿人审稿的错误率，发现一次性教育对质量影响不大，应该开发更多模式和纵向的培训项目。威利调查表明审稿人在职业生涯早期和后期对培训的需求不同。张向谊提出期刊可以在审稿邀请函中加入期刊介绍、评审信息和辅助完成评审的信息，审稿单不仅应考虑需要审稿人作出评价的各个方面，还要包括体现期刊特色的问题及审稿人发表自由评论的空间等信息，引导审稿人进行有效的同行评议。
3.2 增强公平性
同行评议不公平产生的最大原因是作者身份披露使审稿人产生偏见及审稿人身份不透明而无法监测和约束其行为。根据作者和审稿人身份披露与否，同行评议产生了多种形式，因此对公平性的探索，体现在研究者对不同同行评议模式的研究上。
对单盲评审和双盲评审的探讨。早在1998年戈德里等就按照是否知道作者信息、是否签署评审报告及对照组将审稿人分为5组，检验评审意见异同，探究减少同行评议偏见和问责制的策略。希伯等使用计算机科学会议论文调查分析作者身份揭示与否产生的影响，认为作者身份不是在所有领域都显而易见，并表明该研究是否能为期刊所用，取决于作者身份在该领域被猜出的难易程度。巴登等对《行为生态学》实施双盲评议前后，及其他5种实施单盲评议的同领域期刊在同一时期作者性别比例变化统计分析发现，双盲评议使女性为第一作者的论文比例有了显著增加。一些调查表明，受访者对双盲评议的支持率最高。《自然地球科学杂志》在2012年的读者调查显示，约75%回应者强烈或多少同意双盲评议是好的想法。虽然单盲审比较流行，但确实双盲评审中利益冲突和自我剽窃更难实现。
对开放评议的探讨。开放评议是一种全新的趋势和模式，用来解决传统模式中的不公平问题。加西亚等研究了一种开放参与的同行评议模型，让潜在审稿人在没有邀请的情况下选择审稿，结果审稿人均衡数量很少，评审意见很极端，结果很随机。刘丽萍等分析了开放评审的利弊。常唯等对实行开放评议和双盲评议的国际科技期刊进行案例分析，探索二者优缺点及对科技期刊质量控制的价值。张春丽等在分析同行评议的定义及现有模式基础上，探讨了科技期刊开放式同行评议的优势、劣势、机遇和挑战。郑辛甜等分析了公开同行评议的主要形式及其发展现状和趋势，为网络公评系统的建立提供参考。汪挺等探讨了开放审稿的必要性及可行性。
对现有模式的比较。因为各种模式高下难分，因此研究者将其统一进行分析和对比，为期刊提供参考。赫尔南德斯对比分析了几种同行评议模式的优缺点。克瓦尼斯等使用代理人模型比较了同行评议系统与5种可替代系统的效率。评论《同行评议的危险》提到，同行评议模式：单盲审，双盲审，开放评审，出版后评审甚至三盲审中没有最完美的办法。
除此之外，通过科学方法建立回避模型也是不错的解决方法，如雷雪等探讨了与同行评议回避相关的学术关系的抽取，并构建面向不同场景的回避评估模型。
3.3 保持一致性
审稿人意见与编辑决策呈很强正相关，往往不同数量的审稿人对同一篇文章的反馈意见并不一致，给编辑决策带来困难，降低同行评议质量。有研究者认为，同行评议可靠性差是因为审稿人之间一致性差，鲍诺曼等通过元分析，量化地证实了这一点。审稿意见不一致不仅体现在清晰度、组织及相关性这些基本问题上，还会出现在方法与讨论等核心问题上。因此不一致对于同行评议质量的影响还是很大的。产生这种不一致的原因除了审稿人自身的经验和知识结构不同之外，还有审稿人对期刊及稿件要求的把握程度不同。目前研究者对于不一致的解决方法主要有两种，一种是规范审稿人的意见，减少其自由发挥程度，即使用计分卡，将审稿意见条目化，如奥尼洛等认为应该让审稿人评价具体的条目，为其提供特定选择，并要求其附上作出该选择的依据，从而增强一致性。海恩斯等通过虚拟的双盲实验指出期刊可以使用反馈表、清单或者计分卡使该过程更加系统和一致。另一种是发挥编辑部在其中的作用，如提高编辑判断力和判断技巧，增强其与专家的沟通等，试图将专家不一致的反馈在编辑部得到统一。如邵凯云提出编辑部将专家意见进行转化时应该注意的原则、重点及方法。赵丽莹等分析审稿专家结论发现，“非共识”结论经常发生，甚至高于“共识”概率。并提出通过编辑主观能动性、优化审稿流程、应用信息技术等手段减少偏差。周凯虹介绍了编辑部对专家意见进行反馈时的处理方法。还有很多学者也用代理模型进行同行评议研究，帮助理解同行评议和发表决定。
3.4 控制时间
上文提到过，审稿时间不仅是吸引读者投稿的重要因素之一，也是决定编辑部工作效率的重要因素。因此研究者对决定审稿时间的要素进行了探索，希望可以找到缩短审稿周期的方法。莱曼分析了其在1980-2012年的170篇稿件的审稿时间趋势，并猜想其他缩短审稿时间的技术或概念或许会缩短编辑接收审稿意见的时间。库克等调研了生物多样性及保护学科中，同行评议时间对传播的影响，提出需要加快该过程。胥司曼等调研了作者提交到SciRev.sc网站的3500条评审经验，发现在不同科学领域审稿时间很不同，同时也发现同行评议时间长的学科被引高。莫林斯基等通过分割同行评议阶段，使用概率模型分析了同行评议所耗费的时间，发现编辑认识的审稿人和其他渠道邀请的审稿人相比，审稿时间分布差不多，但稿件完成率更高。将审稿邀请发送给潜在审稿人，能更加节省时间。阮等调研在保护生物学领域发文的作者发现，男性及年轻作者对审稿时间有更高期待。编辑的坚持和期刊声望被认为可以加快审稿过程。陈钢等通过《预防医学》杂志的同行评议记录，对审稿数量、审稿时间、超时审回和拒绝审稿数量等数据进行多因素逻辑回归模型分析，探讨了评审专家超时审稿的影响因素。熊英等对专家延迟审稿的原因进行分析并提出合适对策。
此外，研究者还采用相应方法，减少评审时间。厉艳飞建议通过建立大规模的小同行专家数据库缩短同行评议时滞。接雅俐等阐述了《南京医科大学学报（自然科学版）》编辑部对同行评议流程进行改进，优化审稿流程和加快审稿周期的经验。孙昌朋等提出建立互联网共享专家库、建立并利用审稿专家微信群等解决时滞问题。龙静等通过对期刊运行数据进行分析挖掘，探讨了缩短发表周期的方法。范永德分析显示网上定稿会系统能够减少论文出版时滞。此外，对人工智能方法在减少评审时间方面的探索也是令人欣喜。莫林斯基等发现笛卡尔遗传规划可以动态提高编辑策略，减少同行评议30%的时间。
3.5 增强评价
为了评价同行评议的有效性，一些研究者制定了相应的评价指标，马定义了指标EPR评价同行评议的有效性。切尔特认为同行评议过程透明性是评价同行评议质量的一个指标，并且根据编辑指南和最佳实践，以期刊网站为基础，开发和验证了使不同利益相关者能够评估同行评议透明性的工具。玛格丽塔等提出发表的勘误数量除以发表数量计算的指标可以成为科学及编辑质量的替代指标，使时间趋势易于评估。范罗扬等开发工具RQI评估审稿人评价意见的建设性和证实程度。拉贡等定义一组衡量同行评议过程质量的指标，指标主要涉及可靠性、公平性、有效性和效率，对计算机科学领域的评审意见数据进行了大规模分析。拉马钱德兰等认为审稿意见的元评价可用来判断审稿意见质量，他们开发了自动的元评价软件，并使用评论内容类型、评论相关性、评论覆盖度、评论基调、评论量和评论票l窃指标评价审稿意见质量。罗伟清建立了同行专家审稿行为后评价的评价指标。
另一些研究者通过对退稿被他刊录用情况判断同行评议有效性，如西勒等跟踪退稿被他刊录用情况并加以分析，同时分析提交给三大医学期刊的1008份手稿的数据集的引用情况，评价了同行评议的有效性。
3.6 关注成本/经济性
比安奇使用基于代理人模型，通过设置审稿人会采取的三种策略场景进行模拟，发现审稿人数量增加时评审开支增加，相比其他两个场景，审稿人采取随机行为时成本最低。
4 小结
通过对文献资料进行总结分析发现，学者已经认识到需要采取措施对同行评议质量进行控制和保证，这种尝试和探索是多方面的，目的都是能科学把握同行评议流程，控制其走向，并提高其评价质量。但研究者对同行评议质量的控制方法研究还处于探讨阶段，从趋势上看，控制方法正逐渐从定性方法转向定量方法，并不断引入新技术、新方法去解决传统同行评议中的问题。
对照同行评议质量问题的分类，目前的研究中还存在以下问题或者空白，一是对公平性的探索多是依赖局部数据，或采用对比分析，缺乏从整体上量化表示各种模式的适用情况的模型及方法。二是在一致性上，缺乏对审稿专家能否代表同行的量化指标研究；对审稿人间一致性的判断方法过于简单。三是对审稿时间的研究集中在对影响因素的发现，缺少系统的项目时间管理方法或模型来控制整个流程的时间。四是对于经济性的探讨不足，或许因为经济性相比诸多存在的问题优先度不足，或许经济性已在实际中定性考量过，科学、量化地对同行评议流程进行经济性考量的研究还是太少。毕竟经济性是影响编辑部经营和效益的重要因素，也是质量的重要组成部分，更多考虑经济性能够更全面地看待现有问题和策略。此外，对安全性、维护性、可靠性等控制方法的探索目前仍是空白。
正如企业要对产品进行质量管理和控制，才能保证生产的产品符合要求一样，要想保证同行评议过程的质量，必须对其进行质量控制，消除过程中可能导致质量问题的因素。在同行评议过程中，可以分析质量控制的重要节点并在质量控制点采取有效或特殊措施，规避和控制过程中可能产生的损害质量的行为及倾向。各个编辑部的审稿流程都“大同小异”，大致可分为论文提交、预审、送审、审稿、审稿意见评价、结果传递6个步骤，在每个步骤及其之间设立合适的质量控制点，提前选取正确的方法，并在实施中加以监督可以有效地提升整个流程的可控性。
