[关键词]智能集体评审 开放同行评审 匿名评审
[作 者]周京艳、黄裕荣、刘如 、张惠娜：北京市科学技术情报研究所，北京市西城区西外大街140号 100044
[摘 要]【目的】 探索智能集体评审的流程、特征及对我国同行评审的启示。【方法】 介绍智能集体评审实验，概括智能集体评审的特征，分析其对我国学术期刊同行评审的启示。【结果】 智能集体评审是一种限时的在线开放同行评审，采取专家匿名评审方式。评审过程中，评审人之间可进行学术交流。评审意见快速而全面，有利于提高论文的学术质量，是一种可行的同行评审方式。【结论】 作为一种全新的同行评审方式，智能集体评审全面推行尚需时日，但其给当前同行评审以重要启示：一是加快信息技术的应用；二是为评审专家提供交流机会。
学术期刊论文的同行评审有两种方式，即公开评审与匿名评审。公开评审是一种双向互动评审，评审者与作者知道彼此的身份信息，评审过程中双方可进行交流；在匿名评审中作者与评审人无法交流。此外，还有混合式评审方式，即公开评审与匿名评审的组合。各种评审方式的最大差异是评审人与作者之间能否进行交流。
随着信息技术的发展，开放同行评审（Open Peer Review）出现，它有较多重叠方式，可根据开放科学的精神来调整评审模式，包括公开作者与评审人的信息，公开出版评审报告，以及让更多人参与评审。随着开放获取（Open Access）和开放科学的不断深入发展，开放同行评审也呈现出不同的形式。本文介绍一种全新的开放同行评审方式——智能集体评审（Intelligent Crowd Review）。该方法由Synlett主编Benjamin List教授提出并进行初步实验。
1 、开放同行评审的研究与发展现状
开放同行评审自出现便受到广泛关注，广大学者和期刊社通过调研、实验等多种方式对其效果、具体执行方式等进行研究。早在1999年，Nature Neuroscience已刊文对开放同行评审的优缺点进行了讨论。
1.1 、开放同行评审的定义
Ross-Hellauer通过梳理相关文献发现，学者对开放同行评审的定义超过120种，而“开放同行评审”最早于1982年由Armstrong提出，他认为开放同行评审可促进交流，评审人与作者可就不同意见进行讨论，以提高论文质量。
早期对开放同行评审的研究多从作者与评审者信息公开角度进行讨论，并与传统的匿名评审进行比较。Mulligan等认为开放同行评审是指作者与评审人均知道对方信息，并且信息向社会公开；Ware直接将开放同行评审与双向盲审进行对比界定，认为开放同行评审是作为双盲评审的对立面而出现的。
随着数字人文、开放获取、开放科学的发展，开放同行评审逐渐强调其在线科学交流的特征，同行评审不仅是出版的流程之一，还是在线科学交流的过程，也为作者和评审人提供知识与经验的分享平台。Shotton认为在开放评审过程中，每篇投稿文章均可在期刊网页查询，并鼓励评审人与读者发表评论意见；Perakakis等认为开放同行评审是指将科研论文先行发表于网络，通过公开透明的公众评审过程，完成“科研论文的自然选择”（Natural Selection of Academic Papers）。
1.2 、开放同行评审的特征
开放同行评审的特征也是研究热点之一。Ford指出开放同行评审具有5个典型特征：评审人签名、评审人与作者信息公开、对特定科学共同体或公众完全公开、编辑主导、众包；Ross-Hellauer则总结出7个特征：公开评审人与作者信息、评审意见跟随文章出版、公众参与评审、公开交流、公开预审文章、公开最终评审意见、公开交流平台；刘春丽等总结出开放同行评审的3个构成要素：公开评审人姓名、公开评审结果、网上开放同行评论；刘丽萍等也从审稿人与作者角度出发，认为学者们的论述虽有差异，但也有相同之处，如均将公开作者与评审人信息作为首要特征，强调科学团体和普通公众的参与。由此可见，学界和出版界虽然对开放同行评审的定义尚有争议，但对其特征已达成一定共识。
1.3 、开放同行评审的利弊
开放同行评审在保证文章质量、促进学术交流等方面得到了学者们的普遍认可。如有学者指出，开放同行评审与传统同行评审可结合起来，有效保证文章质量，促进科学交流。刘丽萍等总结开放同行评审的优缺点，其中优点包括提升论文质量，减少学术不端行为；避免审稿人责任滥用及问责问题；创造学术对话，促进学术交流；削弱作者与审稿人的等级关系；消除期刊垄断行为。缺点有编辑与审稿人存在潜在利益冲突；公众评议员观点可信度受到质疑；容易失去一些不愿实名的专家审稿人和不愿预先开放作品的作者；存在评议意见刻意现象；存在作者违心修改论文问题。
开放同行评审经历了从强调信息公开到注重学术交流的发展过程，如今提及的开放同行评审多指网上开放同行评审。同时，开放同行评审的实践也不断前进，如Atmospheric Chemistry and Physics、英国医学委员会（British Medical Council，BMC）系列医学杂志、开放存取期刊PLOS ONE等均采取网上开放同行评审的审稿模式。国内期刊《心理学报》也进行了相关尝试。这些研究与实践为开放同行评审的发展奠定了基础，但由于开放同行评审是随着信息技术发展而出现的评审方式，在学界与出版界仍处于探索阶段，对其认识尚未达成一致，具体实施中也出现了不同形式。智能集体评审即为此探索中出现的全新开放同行评审方式之一。本研究将介绍智能集体评审实验，分析该评审方式的流程与特征，以及开展智能集体评审需具备的条件，以期为我国学术期刊的同行评审提供参考。
2 、智能集体评审的缘起
智能集体评审由化学合成期刊Synlett主编Benjamin List教授提出并进行实践检验。List教授对智能集体评审的介绍论文“Crowd - based peerreview can be good and fast”发表于2017年5月30日的Nature全球观点专栏上，他认为智能集体评审是一种允许评审人互动、匿名、在线开放的公开同行评审方式。
作为一名主编，List教授审阅过很多“这篇文章非常好，值得发表”“这篇文章没有达到本刊的录用要求”等同行评审意见。类似意见既不能为编辑提供参考，也不能指导作者的论文修改。鉴于此经历，List开始了一项“智能集体评审”实验。Synlett杂志社与创业公司Filestage合作，后者在其网站（http：/ / welcome. filestage. io / secure -crowd -review）介绍智能集体评审的过程与方法。根据List的论文及Filestage网页相关内容，本研究总结了智能集体评审实验要点。
2.1 、实验过程
智能集体评审过程包括4个步骤，具体过程如下：
a.招募评审人-·100余位高资历评审人·确保客观性
b.开发在线评论-·与IT公司合作·确保安全性
c.征求投稿人意见-·征求投稿人同意·确保透明性
d.对照-·两份评审报告·确保公平性
第一步，招募评审人。List与其助手招募了100余位评审人参与实验。为了确保实验的客观性，这些评审人均由期刊编委会成员推荐且具有较深的资历。
第二步，开发在线论坛。网络时代，科学论文的安全性至关重要，论文数据泄露乃至被窃取事件对论文作者与研究团队是巨大的损失。为了确保信息安全，Synlett杂志社与IT公司Filestage合作，开发作为网上评审渠道的封闭式在线论坛。该网站对投稿的论文采用256 bit加密技术，保证信息的安全性。
第三步，征求投稿人意见。作为一项实验，智能集体评审需要得到投稿人同意。截至“ Crowd-basedpeer review can be good and fast”发表，Synlett共评审10篇论文，随着实验的进行，越来越多的投稿人愿意参与实验。
第四步，对照。智能集体评审与常规评审同时进行，评审结束后，作者将收到经过编辑整理的两份评审报告，一份来自智能集体评审人，另一份来自常规评审人。经过比较，可看出哪种评审方式更有效。
2.2 、实验效果
从评审意见来看，智能集体评审的意见更为快速、全面。实验发现，上传至在线评审论坛的文章均在短时间内收到大量回复，如2016年1月，编辑部于封闭式在线评审论坛同时发布了2篇论文，并设置72小时集体回复时间。72小时后，每篇论文均收到数十份内容充实的评审意见。同时，智能集体评审的回复意见与常规评审同样关注论文细节，甚至还补充了正文之外的信息。实验的10篇论文所收到的回复均有助于编辑做出公平、迅速的决定。相较于常规评审，智能集体评审表现出两个优势：一是评审速度快，即72小时，而常规评审可能需要几个月；二是评审意见更全面、详细。
参与实验的投稿人与评审人均给予实验以肯定性评价。评审人表示更愿意与他人互动而不是独自撰写评审报告；投稿作者也认可智能集体评审方式，对评审意见的全面性和评审速度尤为满意。即使投稿被拒绝，作者也未提出申诉，这说明作者对评审结果较为信服。
同时，实验过程中没有出现评审人主导论文讨论倾向的问题；编辑的工作量没有明显增加，也没有出现违反保密协定的现象。总体而言，实验取得了令人满意的效果，List表示这项实验还将进行下去。
2.3 、存在的问题和改进方式
实验虽然取得一定效果，但作为新的尝试，智能集体评审仍存在某些问题。目前，组成一支专业、可信赖的评审队伍是实施智能集体评审的前提，但需要解决两个问题：（1）如何将文章推荐给最合适的评审人；（2）如何答谢评审人的评审劳动。List将使用关键词来自动匹配论文与评审人，并提供免费订阅或在网站上公布审稿人姓名以示答谢。
从List的实验效果来看，智能集体评审方式是可行的。笔者认为在线评审方式可吸引更多评审人随时随地参与评审，能够提高评审质量，评审人之间的讨论又能为评审人搭建即时的学术交流平台。此外，智能集体评审的专家匿名方式又可解决传统开放同行评审可能面临的失去不愿意实名的专家的问题。它既解决了传统开放同行评审处理速度慢的问题，又克服了传统开放同行评审不能给作者提出详细修改意见的弊端。
我国信息技术和网络技术的不断发展为智能集体评审的实行提供了技术条件。（1）智能集体评审所依赖的信息技术已经成熟。我国许多杂志社已采用网络投稿系统，该系统包含作者投稿、专家审稿、编辑办公等多个版块。从技术上看，在此系统上增加智能集体评审版块具有可行性；从信息安全角度来看，256 bit的加密技术在我国的信息界已广泛应用，可保证论文安全。此外，关键词匹配技术也比较成熟，尤其在情报界，通过关键词匹配研究领域与作者常有应用。（2）实行智能集体评审的环境已具备。不少杂志社已建立审稿专家库，当评审某一领域文章时，编辑可迅速从专家库中查询与文章相匹配的审稿专家，形成评审队伍。而大多数专家、学者已习惯计算机办公与网络办公的工作方式。此外，智能集体评审为领域专家提供交流的机会，受到专家的欢迎。
3 、智能集体评审的特征
3.1 、评审人之间的互动
在传统开放同行评审模式中，论文正式发表前，评审人之间不知道彼此的评审意见。同一篇文章，不同的评审人有可能给出相反的评审意见。这既给编辑决定是否录用带来困惑，也让作者的修改无所适从。智能集体评审是评审人通过编辑指定的线上交流平台，公开发表对论文的评审意见，与传统开放同行评审不同，评审人可对其他评审人发表的意见进行评论，也可对某一问题进行多轮讨论，评审人之间可进行直接的学术交流。最终，无论论文是否录用，作者均可得到多方专业的评审意见。
3.2 、论文正式发表前即开放评审
从时间来看，智能集体评审在论文录用前即开放在线评审。传统开放同行评审则在文章发表后开放网上公开评论，其缺点是不能帮助作者修改已发表的文章。也有期刊采用预出版形式，即编辑部在收到文章后首先将其发表于网站或相关论坛，允许公众和相关研究者在线公开讨论，作者也可对评审意见进行回复，但文章能否录用还需专家匿名评审。评审专家是否借鉴在线评审意见?作者虽可回复他人意见，但如何处理这些意见?这些问题都不得而知，因为文章能否录用仍取决于匿名评审专家。因此，这种形式对论文质量的提升作用有限。智能集体评审则是在论文正式发表前将众多专家评审意见反馈给作者，留给其充分的修改空间，有利于提升论文质量。
3.3、专家匿名评审
从评审人身份来看，智能集体评审的评审人均为编辑选定的该领域专业评审人。传统开放同行评审对科学共同体（Scientific Community）和公众开放，即所有人均可评论已公开发表的文章，公众的参与可拓宽论文思路，也可能带来某些创新观点，但其观点的可信度需细加甄别。同时，不同的个人与组织机构的目标不同，评价标准各异，不同个人与组织的评价公式值得考虑。智能集体评审则不同，它由编辑选定相关领域的专业评审人进行评审，既避免公众评审的随意性，又能避免不同组织和个人评价标准的不统一问题，从而保证评审的专业性。
同时，智能集体评审采用专家匿名制度，不同于传统开放同行评审。许多采取开放同行评审的期刊，除特殊情况外，均公开评审者姓名，如较早采用开放同行评审制度的BMC系列医学杂志、动态同行评审网站Naboj、学术推荐系统F1000等。List指出智能集体评审以匿名方式对尚未发表的作品进行评审，这是因为匿名评审可解决诸如失去一些不愿意实名的专家审稿人及评议意见刻意等问题。
3.4 、限时在线评审
智能集体评审采用在线评审方式且由编辑规定具体评审时间。传统开放同行评审也采用在线评审，但未规定具体时间，各类评审人可随时发表意见。此方式虽然便于发表意见，但意见较零散，作者很难及时看到有用的意见。限时在线评审则需要在编辑规定时间内给出评审意见，由编辑进行汇总并反馈给作者，保证作者及时收到有建设意义的评审意见。因此，限时在线评议保证了评审的时效性。在科学发展日新月异的数字化时代，时效性是评审、出版事业需要关注的问题。
4 、对智能集体评审的评价
从上述特征可看出，智能集体评审符合当前信息化和开放科学的发展需要，它克服了传统评审的一些缺点，又能兼顾传统评审的优点，促进科学事业的发展。
4.1 、评审意见及时而全面
智能集体评审采用限时在线评审方式，能够确保评审按时完成，克服传统评审时间长的弊端。同时，由于有众多评审专家参与，可给出更多意见，即使有些专家不能参与，收到的意见也能帮助编辑做出决定。目前学术期刊普遍实行初审、外审、终审的三审制度，其中，外审阶段耗时最长且最不可控。最为作者诟病的是经过漫长的等待后，得到的却是评审意见简单的拒绝发表。智能集体评审要求选定专家在有限的时间内给出评审意见，能够克服这些缺点。
4.2 、有利于提升论文质量
智能集体评审形成集体评审报告，在论文录用之前返回给作者，作者可根据评审意见在论文发表之前进行修改。传统开放同行评审虽然允许专家和公众发表意见，但一般在论文正式发表后，作者难以及时吸收有益的专家意见。
4.3 、提供科学交流的机会
智能集体评审允许评审人就论文与评审意见进行交流，提供学术交流机会。传统的开放同行评审虽可保证评审的公平性，但很难直接交流。正如Maharg等所说，公开的同行评议能够围绕学术写作创造对话，盲审则无法实现。
4.4 、解决交叉学科与创新研究的评审难题
在大科学背景下，交叉学科研究、创新研究层出不穷。这些研究给论文评审带来一定困难，因为此类研究往往需要多领域评审专家的共同参与才能给出相对合理的评审意见。少数审稿人参与的传统评审方式难以满足这种需求。智能集体评审邀请众多专家进行评审，并能在评审过程中及时讨论，能很好地解决当前交叉学科研究、创新研究中遇到的评审难题。
5 、对当前评审的启示
虽然智能集体评审具有诸多优点，但作为一种尚处于实验阶段的评审方式，立即全面推行尚需时日，但仍给当前的同行评审以重要启示。
5.1 、加快信息技术的应用
智能集体评审是在新技术条件下产生的评审方式，新技术的应用是提高评审效率的关键。目前信息技术在评审过程中仅发挥远程办公的功能，在线科学交流等功能尚未启动，诸如关键词匹配技术等智能化手段依然欠缺，评审论文的传送方式较为原始。同时，投稿系统用户体验差，投稿过程中容易出现多种问题，审稿流程的公开性和透明性有待提高。这些问题均可应用信息技术加以解决。
5.2 、提供评审人交流的机会
智能集体评审的特征之一是评审人之间可直接交流。独立匿名评审是当前同行评审的主流，一篇文章送审给哪几位评审人员，只有编辑知道，评审人之间很少获得相关信息。这给评审工作带来一定困难，尤其针对跨学科研究和创新研究，单独审稿人很难给出全面意见。因此，需要编辑和杂志社给评审人提供利用即时通讯设备进行在线交流的机会，这就需要编辑进行有效的沟通和组织。智能集体评审虽然增加了编辑的工作量，但能够加快评审的速度，提高评审质量。
6 、结语
本文介绍了智能集体评审的缘起，分析其特征。分析发现，在信息技术环境下产生的智能集体评审方式具有传统开放同行评审的优点，又能避开其缺点。智能集体评审能够缩短同行评审时间，评审意见相对系统且具体，还能为评审专家提供交流机会，有利于科学事业的发展，是一种可行的同行评审方式。
