【作 者】张业安：上海体育学院期刊中心
【摘 要】［目的］ 提出“以文评刊”的学术期刊评价方式与实施策略，为优化我国学术期刊评价体系提供参考。［方法］ 基于当前以引文为主导的传统学术期刊评价方式存在的现实问题，以体育学术期刊为例，提出“以文评刊”的具体内涵与实施路径。［结果］ 新媒体环境下“以文评刊”的实施路径包括：划清体育学术期刊报道内容的学科边界;构建学科专家库和网络评审平台，对论文进行学科共同体内的专家同行评议和读者评论;基于论文质量评议和相关指标结果，对期刊进行年度评价;多元监督，确保评价过程及结果的透明与公平。［结论［ 以引文指标为主的评价方式无法真正评价学术期刊的质量;在学术期刊评价实践中不断检验、修正的“以文评刊”的方式，是未来学术期刊评价的发展方向。
【关键词】以文评刊；学术期刊；评价；引文；新媒体；体育期刊
学术期刊评价是关乎学术交流、学科建设和学术期刊自身发展等诸多层面或主体的系统工程，其重要价值与意义不言而喻。国内学者对学术期刊评价的理论探讨从未间断。通过文献检索发现：曾建勋等[1]和何峻[2]对我国学术期刊评价的现状进行全面调查与评估；刘新燕等[3，4，5，6]运用文献计量学和知识图谱等方法对国内外学术期刊评价的研究进展进行分析；苏新宁[7]列举了我国学术期刊评价的现实困境；任胜利等[8，9，10]分析了现行学术期刊评价体系及相关指标的优化策略。这些研究成果从不同层面促进了学术期刊评价实践的优化，但对于如何破解以引文为主导的评价方式弊端仍缺乏可借鉴的理论模式与策略。
从实践来看，无论是基于文献集中分散定律评选的核心期刊和非核心期刊[11]，还是基于期刊影响因子遴选的引文数据库来源期刊或分区（Q1、Q2、Q3、Q4区）期刊，抑或是基于吸引力、管理力、影响力评选的顶级、权威、核心、扩展及入库期刊[12]；不管评价机构和数据库是否承认，其均直接或间接地对学术期刊进行了评价，或为学术期刊评价提供“决定性”数据。虽然多数评价机构或数据库自称其“重在便于订阅、方便数据检索等功能，不参与评价期刊”，但相关单位对评价结果的简单借用和“集体无意识”的多年惯性，导致这些数据库和机构对于期刊的评价功能不断地被人为放大。然而，以上数据库和评价机构对于学术期刊的核心评价指标仍是被引频次、影响因子等，即倚重于以引文为主导的影响力评价，难以实现对学术期刊及其核心内容——单篇论文质量的有效评估。笔者认为，质量是学术期刊的生命，对学术期刊的评价，首先应回归对其质量的评价（即对于论文和学术期刊好坏及其程度的评价）。学术期刊的质量是“内核”，影响力是“外显”，单纯对于学术期刊影响力的评价（且被引情况往往只是学术期刊影响力的部分反映，在新媒体环境下，学术期刊影响力还表现为使用影响力、捕获影响力、提及影响力和社交媒体影响力的综合），显然无法真正实现学术期刊评价的初衷。
1 对以引文为主导的传统学术期刊评价方式的反思
一般认为，以引文为主导的期刊评价方式主要依据加菲尔德提出的基于引文信息计算及衍化的影响因子。江晓原等[13]曾指出：“办学术期刊的目的，是帮助学者之间进行学术交流；办普及期刊的目的，是将科学家研究的新成果以相对通俗的形式介绍给更多读者。这就是办期刊的‘初心’。至于一本期刊的优劣好坏，当然是看期刊上刊登的文章本身水准高不高，读者口碑好不好，这样的标准数百年来也已成天经地义。但是这一切，从1975年开始逐渐被颠覆了。办期刊的‘初心’早已被许多期刊自己彻底抛弃，‘影响因子游戏’风靡全球。”学术期刊被基于引文计算的影响因子“牵制”由来已久、日渐加深，导致我国许多单位唯“影响因子”论赏，部分科研工作者唯“影响因子”发文，一些学术期刊唯“影响因子”办刊。
虽然目前学界对于基于被引信息计算的影响因子的声讨不断（国内的声讨主要集中于学术评价机构简单运用影响因子对学术论文或期刊进行评价，甚至达到“跪拜”的程度[14]；国外的声讨主要集中于影响因子计算方法单一甚至可以被“操作”，主张运用其他或多元方法评价期刊或论文[15]），办刊人和学者也深知在不“忽视”被引的同时，不应“跪拜”被引，不应“迷信”被引，更不应“操作”被引，但是，对于学术期刊评价本质的理论探讨，以及对于“抛弃”影响因子后如何客观评价学术期刊的实践探索，国内外学者和相关机构始终未能给出令人满意的答案。
如前所言，对于学术期刊而言，质量和影响力是两个不同的概念，亦不可相互替代。“高被引”论文与高质量论文、“高影响因子”期刊与高水平期刊之间是否可以简单地划“等号”？笔者认为，答案显然是否定的。简单而言，“高被引”论文是被其他作者引用次数较高的论文，只能说明该论文中的诸多论点、论据或方法引起其他作者的关注或兴趣进而被引用（或支持或批判），至于这些论点、论据或方法的质量高低、正确与否等评价论文质量的指标如何，简单通过被引数量无从判断。同理，由“高被引”论文集合而成的“高影响因子”期刊亦不可简单地被认定为高水平期刊（但不排除为高水平期刊的可能）。
学术期刊评价和论文评价也是相互关联但截然不同的两个概念。学术期刊是一系列论文集合后定期出版的出版物，论文是学术期刊的主要内容。在逻辑上，对学术期刊进行评价首先应是对其核心内容——论文进行评价，刊载学术论文的好坏是学术期刊好坏的核心表征。从直观角度来看，一本刊载好论文多的学术期刊自然是好的学术期刊（当然，这种好坏应通过质量指标而非被引指标来体现）。因此，目前许多机构无视或绕开论文质量而直接对学术期刊进行的基于被引指标的评价，显然是不客观或不能令人信服的评价。然而，国内外学术期刊界存在一个不争的事实：影响因子高的学术期刊，其质量相对较高。笔者认为，这与学术评价机构对于学术期刊影响因子的“追捧”密切相关，犹如生源好的学校，其升学率相对较高，学术评价机构对高影响因子期刊的“追捧”（对于发表高影响因子期刊论文作者的巨大激励）自然带来高水平稿源的集聚。这种集聚和期刊的高水平是学术评价制度带来的，而非影响因子作用的结果。
2 除了“以引文评刊”，我们能做什么？——以文评刊
诚如赵大良先生[16]所言，学术期刊的“初心”是“服务科学研究，促进科学研究，进而引领科学研究（参与过程），贡献科学发展”。不为被引数据牵制，回归学术期刊“初心”，应是当下所有学术期刊办刊人的理想和信念。对于学术期刊评价而言，同样需要回归到对于“学术期刊评价最应该评价什么”这一本源问题的探讨。不可否认，期刊的装帧需要评价，期刊的编校需要评价，期刊的规范需要评价，期刊的影响力也需要评价，然而，笔者认为，学术期刊评价中最需要评价的内容还是刊载论文的质量，因为论文质量是反映论文水平的核心指标，论文水平是反映期刊水平的核心指标。因此，回归学术期刊评价的“初心”即为对学术期刊所刊载学术论文质量的评价，通过对学术论文质量的评价，综合反映学术期刊的质量和办刊水平，从而实现“以文评刊”。
“以文评刊”并非一个新词，也并无新意，此概念已被学界诸多学者引用和阐释。对于“以文评刊”的讨论，多数学者认可其在学术期刊评价中的意义和作用，然而，如何在学术期刊评价实践中真正贯彻“以文评刊”，学界和业界并未给出清晰的实施路径和举措。同时，一些学者认为，“以文评刊”在国内的实施面临缺乏充分的、具有一致性的论文同行评议数据，以及专家评议的主观随意性、人情干扰难以控制等现实困境。目前学界较为普遍的观点是：学术期刊评价应坚持同行评议与文献计量相结合的路径。例如，在国内学术期刊评价实践中，“中文核心期刊”评价体系除了通过对引文数据的计量分析，还辅助学界专家对学术期刊的同行评议结果，对学术期刊的学术水平进行评价（排名）。这一举措看似实现了专家同行评议，但其仅仅实现的是专家对学术期刊的直接评价，然而，专家对于学术期刊的评价仅依据其日常的主观印象，仍未能跨出“专家直接对论文进行同行评议”这一实质性的关键一步。
笔者认为，通过学科内学术共同体对单篇论文质量进行集体同行评议，在此基础上通过一定的定量方法对论文的集体评价结果进行“集合与加总”，进而对学术期刊进行评价，才是相对符合学术期刊评价“真义”的“以文评刊”方式。在具体评价实施过程中，首先应凝练学术共同体的“普适性”价值判断标准，为专家对论文进行评价提供基本参照和规范，通过学术共同体的共识性判断去除个体的主观随意性；同时，评价前应对专家进行相关规范和评审尺度的培训，根据专家的评审质量、速度、尺度合理性等对专家库进行动态调整。其次，根据不同学科的特点，明确学科学术共同体的边界，使得受聘评审人员真正是该领域的专家，具有统一的论文评价“尺度”。最后，扩大单篇论文的评价专家范围，通过本领域内大样本专家评审，克服单个专家评议主观随意性较大、人情干扰难以控制等同行评议的“顽疾”。
在学界和业界，很多学者认可“以文评刊”的重要意义，然而多冠以“以文评刊”耗时、耗力、耗财，对其望而却步。笔者认为，任何新生事物的产生在当时都会受到人们的质疑和挑战，任何新评价系统的运行都会遭到旧有评价系统的堵截和非议；但我们不能因噎废食，只要认清“以文评刊”方向的正确性，前进中的困难均可通过一定的技术、财力支撑得以克服。
3 新媒体环境下“以文评刊”的实施路径——以体育学术期刊评价为例
笔者认为，基于引文指标的评刊方式与传统纸媒期刊的传播方式相契合。例如，许多数据库基于引文指标研发“核心期刊目录”的初衷为帮助订阅机构遴选期刊、节省订阅成本，无论这一初衷是否与评价“挂钩”，显然其是基于纸刊的出版方式提出的。然而，由于现代信息技术的发展和传播媒介的革新，数字化、网络化的学术期刊出版方式已摆脱纸刊容量和成本的束缚，使得即时传播、深层链接、开放获取等逐渐成为学术期刊出版的主流。学术期刊出版方式的革命也急需期刊评价方式的更新与之相配。于是，基于现代数字化、网络化出版方式的期刊评价方式也应运而生，例如，Altmetrics在对期刊使用影响力、捕获影响力、提及影响力、社交媒体影响力、引文影响力的评价方面已经开始“布局”。然而，这些评价方式由于多倚重对传播深度与广度的衡量，未能实现对期刊内容（论文）质量的定性评价，因此，评价结果与以引文指标为主的评价方式“殊途同归”，无法揭示学术期刊的核心内容——学术论文的质量，进而无法真正评价学术期刊的质量。
基于当前的出版发展趋势，有必要将数字化、网络化的传播、出版工具或方式与学术期刊评价的核心内容有机结合，依靠现代化的传播手段实现对学术期刊内容的有效评价，进而实现对学术期刊的客观评价。即遵循“以学科为边界，以网络为工具，以专家为主导，以评文为核心，以评刊为目标”的路径，对学术期刊进行有效评价。以体育学术期刊为例，与国内大多数高校学报存在的困境相似，全国50余种体育学术期刊的刊名综合化、栏目相似化、内容同质化问题经过学界多年的呼吁，仍无明显改观。在当前的科研评价体制下，由于体育学术期刊的主办单位（多为体育类院校和体育科研院所）的利益牵制，欲实现从刊名到内容的专业化发展困难重重。在此环境下，为了实现对当前体育学术期刊的客观评价，进而促进体育学科发展，建议遵循如下实施路径。
（1）划清体育学术期刊报道内容的学科边界。体育学学科内容的交叉性决定了体育学术期刊报道内容的综合性。例如，体育学二级学科的体育人文社会学研究内容属于人文社会科学范畴，而运动人体科学的许多研究领域属于自然科学范畴，二者差异巨大。因此，在无法打破现行科研评价体制和单刊综合化报道内容的前提下，可尝试通过网刊的形式对体育学术期刊的报道内容进行整合、分类，划清论文的学科边界。建议具体操作方式为：将全国50余种体育学术期刊以及其他类期刊刊登的体育学术论文以月份为单位进行搜集（每月出版1400篇左右），以体育学的二级学科（体育人文社会学、体育教育训练学、运动人体科学、民族传统体育学）为一级指标，以具体的专业领域（体育人文社会学可分为体育管理学、体育经济学、体育新闻传播学、体育伦理学等；体育教育训练学可分为体育教育学、运动训练学等；运动人体科学可分为运动生理学、运动心理学、运动生物力学、运动解剖学等；民族传统体育学可分为武术文化学、武术养生学、武术技击学等）为二级指标，对每月全国出版的体育学论文进行分类，以二级指标为栏目建立数据库，形成体育学术期刊报道内容的学科边界。
2019年7月开通的微信公众号“体育学术文摘”，利用网络化、数字化技术打破纸刊出版的界限与壁垒，对国内出版的体育学研究论文进行集约化、系统化、定期化分类与整理，从每月新近出版的1000余篇国内体育学期刊论文中精选100余篇高水平论文，按领域、方向分专辑推送（每月推送4期，含若干专辑）。其帮助体育科研工作者划定期刊报道内容边界，为不同领域的科研体育科研工作者提供新近、系统、个性化的“体育学术成果地图”。该微信电子刊通过新媒体平台服务体育学不同领域学者的信息需求，为“以文评刊”初步奠定了体育学术论文报道领域分类基础和高水平文献数字集合基础。
（2）构建学科专家库和网络评审平台，对论文进行学科共同体内的专家同行评议和读者评论。收集每个体育学二级指标栏目领域的专家信息，建立学科专家库。在网刊上建立网络评审平台和论文评分标准，设置诸如论文的创新性、科学性、真实性、规范性等具体指标及其权重。同时，网刊上发布的所有论文对读者开放，读者可对每篇论文进行评论。此后，将网刊上每月发布的不同领域的论文及其读者评论内容发送给该领域的专家进行评价（根据该领域专家的总体人数确定一定比例的送审专家人数，在具体评价方法上，专家可视情况采用排序、定级、评分、主管赋值等方法对论文质量进行评价），根据专家评价结果确定每个领域的每月优秀论文（按总论文数确定一定比例）。
目前，南京大学中国社会科学研究评价中心遵循“以文评刊”的基本理念，开发了“中文学术出版物测评系统”及其子系统——“专家网络测评系统”，以已在中国（不包括台湾地区）出版的在限定时间范围内的学术期刊、学术图书、学术集刊等类型的中文学术出版物原始数据信息为基础，以学科作为分类依据，邀请学术界专家对经过初选，且符合时间、出版方式等要求的学术出版物进行网络评测，在获取一定数量的专家网络评测结果后，结合学术出版物在引证、馆藏、获奖、基金等指标形成综合影响力数据，各学科专业委员会将根据综合影响力数据最终审定形成来源学术出版物。专家网络测评系统设置的专家网络评审指标包括创新程度（占35%，主要从理论创新和方法创新两方面考察）、完备程度（主要从可靠性、逻辑性、规范性三方面进行考察，占20%）、难易程度（主要从研究难度和资料搜集整理处理难度两方面考察，占30%）和成果价值（主要从论文的学术价值和社会价值两方面考察，占15%）。同时，每个指标给评审专家分值提示，例如，在“创新程度”的10分值打分中，9分及以上的评分标准为（需具备其中一项）：①提出新的重要理论观点，研究取得突破性进展；②提出新的研究方法，使研究取得突破性进展；③通过新的论证，丰富和完善了某种学说或重要理论。该测试系统开启了学科专家库和网络评审相结合的“以文评刊”模式的新尝试。
（3）基于论文质量评议和相关指标结果，对期刊进行年度评价。沈固朝教授[17]认为学术评价是针对内容的。这就要求评价者（专业编辑和同行评审者）能够读懂论文的内容，能够从研究问题的难易程度、专业知识的掌握程度、论证水平、观点、方法和资料驾驭水平等尺度进行论文的综合质量分析，并在此基础上进行科学性、价值性、前沿性、学术贡献、学术特色、风格、专长的比较，最终得出刊物整体的创新性、研究的多样性、争鸣性、价值性的判断。同时，还需要对作为载体的学术刊物的研究导向、栏目设置、编稿质量（差错率）、学术规范（审稿、编辑、著录、出版及学术不端检测等）进行审查。显然，上述评价不是引文索引的数据加工人员能够做到的。因此，评文是评刊的前提。同时，一段时间内连续性的评文数据积累亦是对期刊进行评价的基础。
笔者认为，基于一年的优秀论文数据，追溯这些优秀论文的原发刊物，依据刊发优秀论文数量对期刊进行排序，一年中刊发优秀论文多的期刊（按照一定比例）自然为年度优秀期刊。当然，对于期刊的评价，还应结合专家对期刊本身的评议、期刊编校质量、论文被引情况、论文传播情况等指标，依据一定的权重和统计方法进行“加总”，得出最终的期刊评价结果。但不可否认的是，论文质量对于期刊质量具有决定性影响，同时对于论文的同行评议亦是迄今为止最被认可的论文质量评价方式，因此，对论文质量的同行评议结果是期刊评价的核心因素。
（4）多元监督，确保评价过程及结果的透明与公平。在以人情因素和关系经济为纽带的中国社会，“以文评刊”的定性评价方式面临的最大挑战即为评价结果的公平性与公开性难以保证。正如南京大学朱剑编审所言：学术评价权力回归学术共同体的过程必然是学术民主重建的过程，必须要让评价权力置于有效的民主监督之下，使其成为“透明的评价”[18]。
在我国的特殊人文与文化背景下，对于“以文评刊”同行评议过程与结果公平、公正性的监督与保障，首先需要保障的是参与同行评议专家个体的自律性。对于能否进入同行评议的专家而言，其道德素质、科学素养、精神品质等主观品行是决定性条件。所以，对专家个体科研伦理道德的培育（如通过专题报告、学术诚信知识宣传活动等，强化评议专家的学术责任感与职业伦理道德）与监督（如建立严格的回避制度、专家公示制度、事后惩戒制度等，防止不当利益的影响和干扰）是进行论文和期刊同行评议的前提。
因此，在实施“以文评刊”的过程中，笔者建议：①对论文和期刊进行评价的主体应为真正的“第三方机构”，该机构应确保其与被评价对象及其相关单位的相对独立性，评价过程和决策不受其他机构的影响和干扰；②评价流程、步骤、指标的公开透明，应通过官方网站、微信平台等向社会公布其评价方法，评价过程接受媒体、社会监督，避免暗箱操作；③评价机构与受聘评审专家签订保密等相关协议，使专家和机构人员的评审行为在相关法规、制度规制下进行，一旦违反相关规定，自行承担相应民事或刑事责任。
4 结语
朱邦芬院士在“2017中国学术期刊未来论坛”上指出：“对于研究成果和学术期刊，我们应该制定自己的评价标准，不应该片面地受影响因子标准的影响”[19]。如何破解以引文指标主导的学术期刊评价传统，建立适合我国特殊国情的学术期刊评价体系，成为近年来学界和业界探讨的热点。本文在对以引文为主导的传统学术期刊评价方式进行批判性反思的基础上，以体育学术期刊为例，提出新媒体环境下“以文评刊”的必要性与实施路径。期待以此抛砖引玉，在后续研究中，对于“以文评刊”方式的具体实施方案与措施进行细化并应用于学术期刊评价实践中，对其不断进行检验、修正，使其真正实现引领学科良性发展、促进办刊初心回归的目标。
参考文献
[1]曾建勋, 宋培元 . 我国科技期刊评价工作的现状与走向[J]. 编辑学报, 2007,19(4):241-244.
[2]何峻 . 中国期刊出版及评价现状分析[J]. 广西民族大学学报(哲学社会科学版), 2011,33(5):62-68.
[3]刘新燕, 武夷山 . 我国期刊评价研究文献的计量分析[J]. 中国科技期刊研究, 2008,19(4):564-569.
[4]李云霞 . 我国期刊评价研究现状的文献计量学分析[J]. 中国科技期刊研究, 2008,19(6):973-976.
[5]陈燕, 李锐 . 国内外科技期刊评价研究文献的计量分析及思考[J]. 中国科技期刊研究, 2010,21(6):780-786.
[6]姜春林 . 基于知识图谱的我国期刊评价研究评述[J]. 情报科学, 2011,29(7):1109-1113.
[7]苏新宁 . 期刊评价的困境与思考[J]. 重庆大学学报(社会科学版), 2010,16(6):78-79.
[8]任胜利 . 特征因子(Eigenfactor):基于引证网络分析期刊和论文的重要性[J]. 中国科技期刊研究, 2009,20(3):415-418.
[9]钱荣贵 . 核心期刊与期刊评价[M]. 北京: 中国传媒大学出版社, 2006: 51.
[10]李爱群, 黄玉舫, 邱均平 . 我国学术期刊文献计量评价体系的客观性与评价结果的准确性探讨[J]. 中国科技期刊研究, 2009,20(4):609-613.
[11]李宗刚 . 建立中国特色学术期刊评价体系[EB/OL]. (2018-12-26)[2019-10-09]. http://skpj.cssn.cn/xspj/qkpj/201811/t20181127_4782544.shtml.
[12]中国社会科学评价研究院. 中国人文社会科学期刊AMI综合评价报告(2018年)[EB/OL]. (2018-12-26)[2019-10-09]. http://skpj.cssn.cn/xspj/xspj_yw/201811/W020181119593425785869.pdf.
[13]江晓原, 穆蕴秋 . 反抗“影响因子”的时刻来临了吗?[N]. 南方周末, 2017-06-22(1).
[14]孙周兴 . 江晓原:我们不能再跪拜影响因子了![N]. 文汇报, 2017-02-28(1).
[15]生物谷. 影响因子该不该退出历史舞台?[EB/OL]. (2017-05-12)[2019-10-09]. http://www.sohu.com/a/109308463_119995.
[16]赵大良 . 以文评刊与以刊评文[EB/OL].(2019-01-29)[2019-10-09]. http://www.editorhome.cn/editors/20325/dad1ccac-3d84-47bc-beac-f0ea4bc96b4b.aspx.
[17]沈固朝 . 期刊评价与学术评价中的CSSCI[J]. 澳门理工学报(人文社会科学版), 2017(3):120-124
[18]上海市期刊协会. 砥砺奋进:上海学术期刊发展报告[M]. 上海: 上海大学出版社, 2018: 216.
[19]中国知网. “2017中国学术期刊未来论坛”在京召开[EB/OL]. (2018-12-26)[2019-10-09]. http://news.sciencenet.cn/htmlnews/2017/11/395064.shtm.
