【摘 要】［目的］为提高期刊论文透明度和可读性，研究一种解决方案，使论文与其背后的数据、代码等科研要素有效关联，以支持研究结果的可重复验证。［方法］首先，分析科研成果无法重复验证的现状和主要原因；其次，调研针对该问题目前的解决方案及局限；最后，设计出一种嵌入科研要素以支持在线重复验证的新型出版模式。［结果］基于Apache Tomcat环境，在Java开发的论文发布平台上实现程序调用，在线验证论文研究结果。［结论］所设计的在线重复验证新型出版模式丰富和补充了中国科技期刊的出版模式。
【关键词】科技期刊；新型出版；重复性检验；出版模式；FAIR原则
可重复检验是科学研究的默认原则，但随着科学研究复杂度的不断提升，数据密集型研究不断增多，对研究过程与研究结果的可重复性要求也日益严格。学界不断出现无法重复实验导致的撤稿事件，Retraction Watch数据显示，仅2019年，由于图片、数据、结果造假的撤稿高达360篇[1]。2019年4月，根据业界专家反复实验验证和核实，Nature、Science同时决定撤回英国剑桥大学关于DNA基因修复的研究成果，其中关键数据不实或涉嫌造假[2]；韩春雨团队提出的新基因编辑技术NgAgo-gDNA的重复性备受国内外学者质疑，最终主动从Nature Biotechnology撤稿，并宣称将进一步研究不能重复的原因[3]。Nature的一项调查结果[4]显示，超过52%的受访者认为在科研过程中存在“重复验证危机”，并且70%的受访者曾经无法复现他人实验，甚至超过半数的科研人员无法重复自己的实验。
目前，针对研究成果的重复验证问题，学界已对此展开了一系列研究，可归纳为3个方面。
（1）对已有研究开展重复验证工作。如同行专家、出版商、公司等机构针对已有研究进行重复验证[5]。来自五大洲超过270名研究人员联合再现3种顶级心理学期刊的100项研究，研究结果显示仅有36%得到了同等效应[6]；癌症生物学领域重现性项目（Reproducibility Project: Cancer Biology）复现5篇高影响力的癌症研究，只有2篇得到重复认定[7]。
（2）分析无法重复验证的主要原因。胡传鹏等[8]通过数据模拟、元分析等方法分析心理学研究无法重复的原因，并提出通过提前注册研究、完整公开研究过程和数据结果、公开数据及材料有助于可重复验证。
（3）研究无法重复验证的发现机制或缓解危机的解决方案。如，Nature及旗下子刊推出研究数据共享机制，帮助其他研究人员理解、重复、验证所报道的研究发现[9]。黄小茹[10]针对主观因素造成的科研论文成果不可验证问题，从同行评议、重复性实验、数据公开、统计分析、科学家自律等方面提出改进措施。
可见，“重复验证危机”这一早已存在并不断恶化的问题已经受到学界和社会的广泛关注。相关研究已较为系统地剖析了危机的根源，并不断制定和完善相应的发现机制，而缓解这一问题的解决方案还处于探讨阶段。鉴于此，本文试图从创新期刊出版模式入手，通过关联论文背后的数据和代码来实现研究结果的重复验证，以期丰富开放、透明、协同的新型出版模式。
1 问题剖析及相关解决方案
造成研究无法重复验证的因素来自诸多方面，主要包括三种类型：
（1）学术造假。伪造或篡改实验数据、实验结果、论文内容等事实导致的无法重复验证，如匿名专家在pubpeer.com上揭示的小保方晴子学术造假事件[11]。
（2）研究误差。通过合理的观察得到实验结果，但数据收集的不全面、方法操作上的失误、结果的错误分析等造成的假阳性[12]，被后续研究通过合理的学术争议所反驳，这也是科学研究不断进步的本真过程。
（3）数据不可获取，实验描述错漏。数据无法有效获取、实验过程描述不充分等导致无法有效重复实验。
针对以上三种类型，主观上恶意的学术造假涉及学术体制、科研文化、激励机制等方面的复杂因素；合理的学术争论和研究改进是正常也是被需要的；而针对实验无法复现的最主要原因[13]——由于篇幅限制无法充分描述实验过程、作者由于各种原因故意不给出完整信息、夸大实验结果、对阴性实验结果的偏见、选择性地挑选样本等——都可以利用一定的机制进行有效控制和缓解，学界也为此做出了努力[14]。
笔者主要针对第三种情况下的研究结果无法重复验证问题进行讨论，在总结分析现有解决方案的基础上，提出一种新型的出版模式，以增强研究的透明度，提高研究结果的可重复性。
1.1 数据公开机制
研究结果无法重复验证的主要原因之一便是数据的不可获取，如何使科研全过程（数据、方法、实验方案、分析过程、结果等）更加透明成为整个学界关注的热点问题。
Center for Open Science的Transparency and Openness Promotion （TOP） Committee提出TOP Guideline，分别从引用标准、数据透明度、分析方法（代码）透明度、研究资料透明度、设计分析过程透明度、研究预注册、分析方案预注册以及验证研究8个方面给出了3种数据共享实施程度的最佳实践指南供期刊选择，旨在提出具体学科共性的共享标准来改变目前的激励机制，促进科研环境更加透明开放[15]。Elsevier也制定了一套全面的数据共享标准，建议作者共享、引用所用数据，并将其详细标注于文献中，使数据更加透明[16]。eLife的一项调查[17]显示，科研人员不愿意公开数据的主要原因可分为三个方面：没有任何激励机制促使他们花费时间和精力分享数据；数据过于复杂，不知道如何分享；对数据质量、知识产权等方面的担忧。
可见，由于现有学术奖励机制、科研评价机制、作者权益保护等方面的不完善，数据公开难度也不断增加。
1.2 支撑数据政策
Reproducibility Project: Cancer Biology的研究发现，即便是数据开放，在没有原作者参与或帮助的前提下，往往缺乏对数据及其采集或处理的过程、方法、参数等的详细描述，因此其他研究人员很难重复试验[18]。
针对这一问题，各大出版机构在要求作者公开数据的同时，还需要详实地描述实验过程。如，Nature所有投稿都需要对支撑结果的程序代码进行描述说明，并给出了明确的代码公开类型及格式要求[19，20]，甚至提倡审稿专家对代码进行重复试验后给出相关的反馈[21]。目前，所有发表在Nature及其子刊的生命科学论文都需要提交一份报告摘要[22]以充分揭示实验设计、试剂及统计分析[23]。BioMed Central发布了Minimum-Standards-of-Reporting Checklist，要求提交的稿件应有代码描述，并给出相应的DOI，方便读者引用[24]。《数据分析与知识发现》（原《现代图书情报技术》）自2016年第2期起，要求作者提交支撑论文结论的数据，并通过适当方式与研究共同体或社会公众共享[25]，但该刊编辑部最近的一项关于“数据可获得性声明”的调查结果显示，各学科Q1区①（①数据来源：根据CNKI发布的2018年版《中国学术期刊影响因子年报（自然科学与工程技术）》，选择各学科Q1区前30%期刊共316种，剔除重名及没有网站的期刊，实际调研期刊数量为297种。）的297种期刊中，有相关支撑数据政策的不足5%（14种），其中，13种期刊仅鼓励作者将数据存储到期刊或公共可获取的数据库中，只有Molecular Plant期刊强制作者存储数据。
可见，随着研究复杂度的提高，仅仅依靠公开数据、提交描述报告也未能更好地解决重复验证危机。我国科技期刊还没有意识到公开数据的重要性，相关机制尚未健全。
1.3 数据管理工具
目前，各知名期刊和大型出版机构如Nature、Science、PLoS等都推荐或强制要求科研人员在发表论文时，将论文数据提交到指定的存储库或公共存储库中[26]，从而实现将科研数据与学术论文进行关联。如，软件项目的托管平台GitHub[27]，除了git代码仓库托管及基本的 Web管理界面以外，还提供订阅、讨论组、文本渲染、在线文件编辑器、协作图谱（报表）、代码片段分享等功能。FigShare[28]旨在为原始数据等资料提供一个共享平台，数据类型包括图表、多媒体、海报、论文、数据集、演示文稿等，为所有内容对象分配DOI，采用CreativeCommon许可协议共享数据，并且采用Amazon基于云的数据管理系统保证数据存储的安全性和可靠性[26]。
这样的方式虽然提高了数据的可获取性，但事实上该类存储库仍然与论文的内容相分离。为了使研究过程更加透明，国外出版机构开始讨论可重复验证文稿（Reproducible Manuscript）的需求和可行性，并尝试实践。eLife于2017年开展了一项关于研发“支持重复验证研究论文”的需求调研[17]，结果显示科研人员最期待的功能主要包括4个方面：（1）直接在线查看并下载文章的代码和数据；（2）在线与数据、代码交互，甚至直接在文章中绘图，以获得对文章更深入的理解；（3）提交稿件时能够将代码和数据保存在文本周围；（4）在线执行作者的代码以重复结果，或者修改代码后重新执行新的代码。
2 支持在线重复验证的出版模式
根据上文的分析结果，本研究试图探讨一种新型出版模式，尝试实现其他科研人员在没有原作者协助的情况下，直接在线查看并下载代码和数据，能够与代码进行交互，能够在线输入参数并执行代码以复验实验结果。在本研究的前期调研[29]中，尚未发现有传统期刊采用该种在线出版模式，因此具有一定的研究价值。
2.1 实验环境
在Windows Server 201264位服务器端配置安装Python 2.7版本，安装os、sys、warnings、csv等标准库；安装gensim、jieba等类库，以实现原始文献中的词典、向量构建以及分词等；安装Apache Tomcat 8.0软件，实现文章的发布以及与客户端交互（包括js调用、参数输入等功能）。
2.2 技术流程
所设计的支持在线重复验证的出版模式技术流程如图1所示。
图1 支持在线重复验证的出版模式技术流程
（1）基于NISO JATS 1.1标准，使用Magtech journalX publishing 2.0软件，将论文原文。docx文件转化为JATS 1.1 XML文件，并进行内容增强（参考文献），得到RichXML文件；
（2）将原文Python程序嵌入RichXML，通过网刊系统发布；
（3）在页面上设计参数输入框及运行按钮；
（4）用户点击运行按钮，实现ajax调用后台Java程序（网刊平台基于Apache Tomcat 8.0使用Java语言开发），通过接口调用原文Python程序；
（5）计算生成实验结果文件，Java程序读取结果文件后通过ajax返回页面，浏览器渲染显示。
其中，Java程序调用Python接口的核心代码如下：
* @param pyPath python脚本路径
* @param args1 参数1
* @param args2 参数2
*/
public String getPythonDemo（String pyPath， String args1， String args2）{
Process proc；
String line = null；
List<String> lines = new ArrayList<String>（）；
try{
String[] args1 = new String[] {"python"
//，"D:\\tomcat\\webapps\\wtpwebapps\\demo_console\\WEB-INF\\model\\svm_reviewer.py"
，pyPath
，String.valueOf（args1）
，String.valueOf（args2）
}；
proc = Runtime.getRuntime（）。exec（args1）；
//用输入输出流来截取结果
BufferedReader in = new BufferedReader（new InputStreamReader（proc.getInputStream（），"gbk"））； //gbk 避免汉字乱码
while （（line = in.readLine（））!= null）{
System.out.println（line）；
lines.add（line）； //把Python的print值保存了下来
}
in.close（）；
int exitVal = proc.waitFor（）；
System.out.println（"Process exitValue: "+ exitVal）；
} catch （IOException e）{
e.printStackTrace（）；
} catch （InterruptedException e）{
e.printStackTrace（）；
}
System.out.println（"Java调Python脚本结束"）；
String lineData = lines.toString（）；
return lineData；
}
}
2.3 效果呈现
以笔者所在团队前期研究成果[30]为例，进行效果呈现。
（1）在线查看并下载文章的代码和数据。在文章的算法位置提供原始程序的浏览框，用户能够直接在线查看并下载文章的代码和数据，如图2所示。
图2 效果图——代码展示及下载
（2）在线与数据、代码交互。用户可输入参数，在线执行作者的代码，实现研究结果的检验。对文献[30]中图2的结果进行验证，结果如图3所示。
图3 效果图——实验结果验证
3 结语
开放、透明、协同是学术交流的根本需求，可重复验证是科学研究应遵循的根本原则。开放的学术交流模式下，在某些专项资金或者政策指导下进行简单的出版物开放获取已无法满足日益增长的创新性需求，数据作为支持科研结果的关键依据同样要求被开放。但现有学术奖励机制、科研评价机制、作者权益保护等方面的不完善，使数据公开难度加大。同时，即便是公开数据，也往往缺乏对数据及其采集或处理的过程、方法、参数等的详细描述。随着研究复杂度的提高，单纯依靠论文已无法客观全面反映科研过程，即便拥有数据，也往往无法完成重复验证。当研究无法重复或发现错误后，由于数据无法溯源，往往无法确定原因，这就为如何将科研数据嵌入到学术论文中，使得科研全过程（数据、方法、实验方案、分析过程、结果等）更加透明提出了新的要求。
本研究提出一种新型的论文出版模式，通过关联论文背后的数据和代码，一方面实现在线复现实验结果，另一方面研究成果将能够作为开放可利用的工具供领域专家公开使用。本研究成果是中国科技期刊可重复验证论文出版形态的有益尝试，丰富了开放、透明、协同的新型出版模式。与此同时，本文作为探索性研究成果，存在一定的研究局限，如仅适用于计算机、情报学等学科中涉及算法处理数据的相关文章的在线验证，并不能覆盖全部学科论文的在线验证；仅以单篇论文进行样例开发，在未来研究中将进一步探索更多学科在线重复验证论文的实现方式。
参考文献
[1]Retraction Watch数据库[EB/OL].[2020-06-01].http://retractiondatabase.org/.
[2]Kaidi A,Jackson S.P.收回说明:KAT5酪氨酸磷酸化将染色质感应耦合到ATM信号[J].自然,2019,568(7753):576.
[3]韩春雨主动撤回论文:一场理性的学术争议事件[N].第一财经日报,2017-08-04(A01).
[4]贝克M.1500科学家掀开了重现性的盖子[J].自然,2016,533(7604):452-454.
[5]Begley CG,Ellis L M.药物开发:临床前癌症研究的提高标准[J].药物不良反应,2014,30(5):109-114.自然,2012,483(7391):531-533.
[6]开放式科学合作.关键词:心理科学,重现性科学(Science),2015,349(6251):aac4716.
[7]凯撒(Kaiser J.严格的复制努力仅在五篇癌症论文中的两篇中获得了成功[J/OL].科学,2017[2019-09-25].https://www.sciencemag.org/news/2017/01/rigorous-replication-effort-succeeds-just-two-five-cancer-papers.
[8]胡传鹏,王非,过继成思,等.心理学研究中的可重复性问题:从危机到契机[J].心理科学进展,2016,24(9):1504-1518.
[9]公告:为提高自然界生命科学研究的可重复性[J].自然,2017,546(7656):8.
[10]黄小茹.科研成果不可验证性问题:发现机制的重复及可能的对策[J].科学学研究,2017,35(7):961-966,974.
[11]Obokata H,和歌山T,Sasai Y等.撤回注意:体细胞刺激触发的命运转换为多能性[J/OL].自然,2014,511(112)[2019-09-25].https://doi.org/10.1038/nature13598.
[12]骆大森.心理学可重复性危机两种根源的评估[J].心理与行为研究,2017,15(5):577-586.
[13]Ioannidis JP,Allison DB,Ball CA等.关键词:微阵列基因表达分析,重复性自然遗传学,2009,41(2):149-155.
[14]方FC,Steen RG,Casadevall A.行为不检占撤回的大部分科学出版物[J].美国国家科学院院刊,2012,109(42):17028-17033.
[15]开放科学中心.透明度和开放性促进指南是一项由社区推动的工作,旨在使科学理想与实际做法保持一致[R/OL].[2019-09-25]..
[16]研究数据指南[EB/OL].[2019-09-25].https://www.elsevier.com/authors/author-services/research-data/data-guidelines.
[17]eLife.创新:了解对可复制研究文章的需求[EB/OL].(2017-07-14)[2019-09-25].https://elifesciences.org/inside-elife/e832444e/innovation-understanding-the-demand-for-reproducible-research-articles.
[18]Nosek BA,Errington T M.癌症生物学中的可重复性:使复制具有意义[J].物理化学学报,2012,28(11):1927-1932e Life,2017,6:e23383.
[19]Barnes N.发布您的计算机代码:足够好了[J].自然,2010,467(7317):753.
[20]Ince DC,Hatton L,Graham-Cumming J.开放计算机程序的案例[J].自然,2012,482(7386):485-488.
[21]重新启动审核[J].自然生物技术,2015,33(4):319.
[22]自然.报告摘要[EB/OL].[2019年9月25日].http://www.nature.com/authors/policies/checklist.pdf.
[23]公告:为提高自然界生命科学研究的可重复性[J].自然,2017,546(7656):8.
[24]Kenall A,Edmunds S,Goodman L等.更好的报告,更好的研究:可重复性检查表[J/OL].BMC Neuroscience,2016,16(44)[2019-09-25].https://bmcneurosci.biomedcentral.com/track/pdf/10.1186/s12868-015-0177-z.
[25]《现代图书情报技术》编辑部,张晓林,彭希珺.关键词:公开研究数据,保障学术研究的可检验性和可重复性现代图书情报技术,2015(11):1-3.
[26]赵萌.强制数据共享推进研究结果的可重复性:[J].中国组织工程研究,2016,20(40):5930.
[27]GitHub[EB/OL].[2019-09-25]..
[28]FigShare[EB/OL].[2019-09-25].https://figshare.com/.
[29]孟美任.Pub+Lab:融汇出版与科研的学术交流模式及其实践研究[D].北京:中国科学院大学,2020年.
[30]孟美任,彭希珺.基于VSM和余弦相似度的稿件精准送审方法[J].中国科技期刊研究,2018,29(10):982-986.
