【摘 要】[目的] 探讨被引频次、Altmetrics得分和F1000评分指标对生物医学论文进行综合评价的可行性,为论文及期刊评价提供参考。[方法] 以2014—2017年Altmetrics Top100论文为研究对象,选择论文发表后3年被引频次、论文发表当年Altmetrics得分和F1000评分分别作为学术影响力、社会影响力和同行评议的代表指标对论文进行评价分析。[结果] 是否OA出版对F1000评分、Altmetrics得分和被引频次影响不显著;F1000评分与被引频次弱相关,Altmetrics得分与F1000评分及被引频次均不相关;大多数论文F1000评分、Altmetrics得分和被引频次结果不一致,标准化后各指标数据直观地反映了论文同行评议、社会影响力以及学术影响力情况。[结论] F1000评分、Altmetrics得分和被引频次相互独立、互为补充、不可替代,结合使用可以更全面地评价论文及期刊的影响力。
【关键词】 F1000； Altmetrics；被引频次；相关性；生物医学论文；综合评价
长期以来,传统文献评价以引文评价为主,受引文和发表周期影响,基于引文分析的文献计量指标存在时滞性、片面性、可操纵性等缺陷[1]。随着学术环境的变化和网络媒体的发展,单一的评价方式已无法全面反映论文和期刊的学术价值,亟需引进网络化、多元化评价指标和方法对论文和期刊进行客观、综合评价。
一些学者主张将客观评价与主观评价相结合,如Mahmood[2]通过Meta分析发现基于感知的期刊评价方法与期刊影响因子(Impact Factor,IF)存在正相关关系,推荐使用混合评价方法;Walters[3]则将文献引用数据分析与期刊声望调查相结合对图书情报类期刊进行评价。一些学者通过一定的数学模型,将具有不同特征的期刊评价指标合成为一个综合评价指标,如Prathap[4]构建了针对引文分布一致性的三维指标z指数;Leydesdorff[5]设计了I3指标,将论文按被引频次划分为不同等级并赋予权值,累积计算期刊所发表论文的权值总和。
基于同行评议的F1000以及基于社交媒体的Altmetrics也为文献和期刊评价提供了新的视角。研究表明,传统引文指标与Altmetrics各指标、F1000评分间均有不同程度的相关关系。Eldakar[6]发现被引频次与Mendeley指标相关;Holmberg等[7]对114种韩国科技期刊进行了研究,发现期刊影响因子与期刊在Twitter、Facebook上的提及量呈中等程度相关;Thelwall等[8]选择Scopus文献引用数据和Altmetrics得分作为研究对象,认为Altmetrics得分能预测学术论文的被引情况;宋丽萍等[9]对心理学与生态学论文的F1000因子、Mendeley阅读统计量、期刊影响因子进行相关性分析,发现三者呈低度正相关。一些学者将不同维度的指标相结合,通过数据整合的方法构建综合评价模型,如李鑫等[10]以65种国际图书情报学期刊为研究对象,选择影响因子、特征因子、即年指标等引文指标以及Altmetrics关注得分(Altmetric Attention Score,AAS)、Mendeley读者数作为模型指标,通过主成分分析法构建了期刊影响力综合评价模型;赵蓉英等[11]对国际图书情报学期刊指标数据进行因子分析、主成分分析等处理后,将得分映射到二维坐标象限中,对期刊进行二维评价。这些学者均选择了引文指标与Altmetrics指标相结合进行研究,未将同行评议指标纳入评价模型。本文尝试从学术影响力、社会影响力和同行评议3个方面对论文进行评价,拟以2014—2017年Altmetrics Top100论文为研究对象,考虑到论文从发表至被引的时滞,选择论文发表后3年总被引频次、论文发表当年Altmetrics得分和F1000评分作为代表指标进行研究。本研究试图回答以下3个问题:(1)开放获取(Open Access,OA)出版是否对Altmetrics热点论文各指标有影响;(2)Altmetrics热点论文的F1000评分、被引频次以及Altmetrics得分之间是否有相关性;(3)将F1000评分、被引频次、Altmetrics得分相结合对论文及期刊进行评价是否可行。
1 方法
1.1 数据来源与收集
2014—2017年Altmetrics Top100论文中有F1000评分的论文共54 篇。这些论文均为生物医学论文,其指标数据反映了高水平生物医学论文的影响力情况,具有一定的代表性。其中2014年14篇,2015年8篇,2016年14篇,2017年18篇。2014年的Altmetrics Top100论文中有两篇论文的发表时间为2013年底,本研究以Altmetrics Top100统计为准,后续统计中仍将其记在2014年的论文中。
提取论文的DOI、PubMed唯一标识码(PubMed Unique Identifier,PMID)、标题、作者、发表时间、发表期刊、OA情况、发表当年Altmetrics得分等信息。通过DOI或PMID在PubMed上进行检索,如论文为F1000推荐论文,检索结果将在LinkOut中显示该论文的F1000链接,以此选取出具有F1000评分的论文,并通过链接获取论文F1000评分情况,根据推荐情况计算出每篇论文的F1000总分。从Web of Science数据库中获取论文被引频次以及高被引论文、热点论文情况。考虑到论文从正式发表到被引用需要一定时间,文献引用通常在发表后3年达到高峰值[12],故选择论文发表后3年的总被引频次作为本研究的论文被引指标,以2014 年发表的论文为例,则记录其2014—2016年的总被引频次。
1.2 数据处理与分析
使用IBM SPSS 21.0软件进行统计学分析,采用Kolmogorov-Smirnova检验对数据正态性进行检测,检测结果显示数据呈非正态分布,以中位数和四分位距表示;采用秩和检验,并运用Spearman检验分析F1000评分、被引频次以及Altmetrics得分间的相关性,双侧检验水准α=0.05。
将各论文的F1000评分、被引频次和Altmetrics得分数据进行Z-score标准化处理,得到各指标的标准化数值,分别用Z-F1000、Z-cite和Z-Altmetrics 表示,正值表示高于平均水平,负值表示低于平均水平。Z-score标准化公式为
X=(χ−μ)/σ (1)
式中:μ为均值;σ为标准差;X为标准化后样本数值;χ为样本数值。使用标准化后的数据制作三维散点图,从同行评议、学术影响力以及社会影响力3个维度对论文进行评价分析。
2 结果
2.1 论文来源期刊及高被引论文、热点论文情况
如表1 所示,所有论文都发表在高影响因子期刊上,Nature及其子刊的论文数量最多,其次为The New England Journal of Medicine(NEJM)、The Lancet、The Journal of the American Medical Association(JAMA)及其子刊。54 篇论文中47 篇论文为高被引论文,高被引论文覆盖率达到了87%,其中2篇为热点论文。这些结果表明,高影响因子期刊论文的高被引情况与高Altmetrics表现在一定程度上是一致的。
表1 54篇Altmetrics Top100论文来源期刊分布
| 发表期刊 | 论文数量 /篇 | 2018年IF值 |
| Nature | 10 | 43.070 |
| Nature Communications | 2 | 11.878 |
| Nature Methods | 1 | 28.467 |
| NEJM | 10 | 70.670 |
| The Lancet | 9 | 59.102 |
| JAMA | 5 | 51.273 |
| JAMA Internal Medicine | 3 | 20.768 |
| British Medical Journal | 3 | 27.604 |
| Cell | 1 | 36.216 |
| Cell Metabolism | 1 | 22.415 |
| Cell Stem Cell | 1 | 21.464 |
| Science | 3 | 41.037 |
| Annals of Internal Medicine | 1 | 19.315 |
| Clinical Gastroenterology and Hepatology | 1 | 7.958 |
| Human Reproduction Update | 1 | 12.878 |
| Morbidity & Mortality Weekly Report | 1 | 14.874 |
| Proceedings of the National Academy of Sciences of the United States of America(PNAS) | 1 | 9.580 |
2.2 OA情况
54篇论文中34篇论文需付费获取,14篇论文以OA模式出版,6篇论文可免费获得(表2)。将OA论文及免费获取论文同视为OA论文,与付费获取论文进行比较,F1000评分(Z=-1.256,P>0.05)、被引频次(Z=-0.878,P>0.05)以及Altmetrics得分(Z=-0.502,P>0.05)各指标差异均无统计学意义(表3)。
表2 54篇Altmetrics Top100论文OA情况
| 获取方式 | 论文数量 /篇 | ||||
| 2014年 | 2015年 | 2016年 | 2017年 | 总计 | |
| 付费获取 | 12 | 6 | 5 | 11 | 34 |
| OA | 2 | 2 | 5 | 5 | 14 |
| 免费获取 | 4 | 2 | 6 | ||
表3 OA论文与非OA论文F1000评分、被引频次和Altmetrics得分的比较[中位数(四分位距)]
| 获取方式 | F1000评分 | 被引频次 | Altmetrics得分 |
| OA | 2.0(2.8) | 220.0(450.8) | 2128.5(779.5) |
| 非OA | 3.0(2.3) | 159.5(177.5) | 2119.0(1882.0) |
2.3 相关性研究
F1000评分、被引频次和Altmetrics得分的统计结果如表4所示,Kolmogorov-Smirnova(K-S)检验结果表明Altmetrics得分呈正态分布(P=0.02),F1000评分和被引频次均呈非正态分布(P<0.05),故选用Spearman进行相关性分析。分析结果显示,F1000评分与被引频次弱相关(r=0.273,P<0.05),与Altmetrics得分不相关(r=0.122,P>0.05)。被引频次与Altmetrics得分亦不相关(r=0.191,P>0.05)。
表4 54篇论文F1000评分、被引频次和Altmetrics得分情况
| 指标 | 中位数 | 四分位距 | 均值 | 标准差 | K-S指标 |
| F1000评分 | 2.0 | 2.0 | 3.8 | 4.7 | 0.293* |
| 被引频次 | 167.5 | 292.2 | 318.0 | 435.1 | 0.256* |
| Altmetrics得分 | 2128.5 | 1378.2 | 2073.8 | 964.0 | 0.101 |
2.4 标准化数据分析结果
将F1000评分、被引频次和Altmetrics得分数据进行标准化处理,正值表示高于平均水平,负值则表示低于平均水平,从而直观地显示论文各指标水平,各区域论文分布情况如表5所示。将标准化数据制成三维散点图,结果亦显示大部分论文分布在两个区域:高Z-Altmetrics+低Z-cite+低Z-F1000区域和低Z-Altmetrics+低Z-cite+低Z-F1000区域(图1)。
表5 各区域论文分布情况
| 区域 | 论文数量 /篇 | 占比 /% |
| 高Z-Altmetrics+高Z-cite+高Z-F1000 | 4 | 7.4 |
| 高Z-Altmetrics+高Z-cite+低Z-F1000 | 5 | 9.3 |
| 高Z-Altmetrics+低Z-cite+低Z-F1000 | 15 | 27.8 |
| 高Z-Altmetrics+低Z-cite+高Z-F1000 | 4 | 7.4 |
| 低Z-Altmetrics+高Z-cite+高Z-F1000 | 3 | 5.6 |
| 低Z-Altmetrics+高Z-cite+低Z-F1000 | 4 | 7.4 |
| 低Z-Altmetrics+低Z-cite+高Z-F1000 | 4 | 7.4 |
| 低Z-Altmetrics+低Z-cite+低Z-F1000 | 15 | 27.8 |
图1 标准化数据散点图
3 讨论
本研究尝试从同行评议、学术影响力和社会影响力3个方面对学术论文进行评价。F1000是基于同行评议的文献评估系统,由全球著名生物、医学专家根据论文的学术价值和科学贡献对论文予以快速评分、推荐,其结果F1000评分反映了论文的学术质量,有助于科研人员对论文影响力作出快速预估[13]。文献被引频次是传统的文献计量指标,能直观地反映出文献学术影响力。Altmetrics是一种基于社交网络数据的新型计量方法,具有指标多样化、信息源广泛、时效性强、数据开放透明等优势[14],能即时、全面地反映学术成果的社会影响力。基于此,本研究选择了F1000评分、被引频次以及Altmetrics得分作为同行评议、学术影响力和社会影响力的代表指标进行研究。
3.1 OA出版能提高论文学术影响力和社会影响力
本研究结果显示,论文是否OA出版对F1000评分、被引频次以及Altmetrics得分均无影响。F1000评分基于专家同行评议,并不受OA出版的影响,故OA论文和非OA论文的F1000评分并无差异。OA能促进学术论文传播,有利于提高论文的引用,提升论文及期刊影响力。许多研究都证实了这一点,如Holmberg等[15]研究发现,与订阅期刊相比,OA期刊的论文具有更高的网络社交活动频率;阎雅娜等[16]以ESI的生物及生物化学文献为研究对象,发现OA论文的被引频次显著高于付费论文;李鑫等[17]则以我国165种科技期刊为研究对象,发现除了Google+提及量,OA期刊的其他Altmetrics指标均值均显著高于非OA期刊。然而本研究结果却显示OA论文和非OA论文的Altmetrics得分和被引频次差异均无统计学意义,这可能是因为:(1)本研究的样本量较少,进行统计学分析时有所欠缺,一定程度上影响了统计分析结果的准确性;(2)选取的论文为热点论文,本身就具有高学术影响力和高社会影响力的隐含属性,故OA出版模式对其影响不明显;(3)一些论文的OA途径并不仅限于期刊网站,郭飞等[18]通过Google Scholar检索了2014年、2015年的Altmetrics热点论文,发现其OA比例远高于网站提供数据;(4)虽然没有OA出版,很多期刊对论文进行了大力推广宣传,同样达到了提高影响力的效果。
3.2 F1000评分与被引频次弱相关
本研究的相关性分析结果表明,F1000评分与被引频次弱相关,而Altmetrics得分与F1000得分和被引频次均不相关。F1000将论文分为3个等级:good、very good以及exceptional,分别赋值1——3分,按推荐情况计算总分[19],是基于同行评议的定性评价,其得分固定不变[9];被引频次则是文献计量的定量指标,随着时间的推移而增长。本研究结果显示两者呈弱相关,这与很多研究结果是一致的,如檀旦[19]对2010年发表的医学信息和糖尿病论文的F1000总分与总被引频次相关性进行分析,发现两者呈显著低度正相关;宋丽萍等[9,20]以免疫学、生物信息学文献以及生态学与心理学文献为研究对象,均得出计量指标与同行评议结果具有正相关性的结论。F1000评分是对论文影响力的预估,与被引频次呈正相关这一结果佐证了其预测的可靠性。但是这种相关性较低,这可能与F1000评分的视角以及主观局限性有关。F1000是从全球顶尖专家角度进行评价,而文献引用的主体是所有研究人员,两者关注的侧重点有所不同。此外,F1000评分是一种主观评价,同行评议过程中难免受到个人兴趣爱好、偏见、人情等因素的影响,导致评价结果出现偏颇[13]。
3.3 Altmetrics得分与F1000评分、被引频次间相互独立
Altmetrics得分是从政策文件、主流媒体、博客、在线参考文献管理工具等数据源得到数据后给予数据不同权重,通过加权累积自动计算获得[21],其底层数据包括F1000提及次数,但是F1000提及次数与F1000评分是不同的概念,所以Altmetrics得分与F1000评分并未有交集。此外,Altmetrics得分的底层数据也不包括任何学术引文类数据库。本研究结果显示Altmetrics得分与F1000评分和被引频次均不相关,证实了Altmetrics指标与F1000评分、被引频次指标是相互独立的。这些指标互为补充,可为多元化、多角度的文献评价提供更全面的数据。
值得一提的是,关于Altmetrics得分与被引频次的关系,既往研究显示了不同的结果。如苟莉等[22]以ESI热点论文中临床医学论文为研究对象,分析发现被引频次与Altmetrics得分呈弱正相关关系。黄晓等[23]选择ESI数据库的热点论文作为样本数据,发现ESI高被引论文被引频次与Altmetrics得分呈弱负相关。丁佐奇等[24]分析了2017年的Altmetrics Top100论文,发现Altmetrics分值、被引频次和使用次数两两正相关。各研究的文献来源以及数据处理的差异造成了研究结果各异,文献被引频次与Altmetrics之间的关系受多种因素影响,两者的关系仍需进一步研究证实。
此外,本研究的标准化数据分析结果显示,大多数论文F1000评分、被引频次和Altmetrics得分结果是不一致的,这是因为公众、科研人员和专家的关注点常不一样。一些论文受到公众的关注、扩散,但是在学术领域中不受重视或未得到学术界认可,甚至这种关注有可能是负面的,仅仅是因为其具有话题性;一些论文被引频次高、专家评价高,但是因为其专业性太强,或者缺乏有效的传播、推广,未能引起社会关注。即便是具有相关性的F1000评分和Altmetrics得分,也常常会出现相反的情况,综述更容易被引用,专家则更青睐临床实践类文章[19]。这些结果再次表明,指标单一容易导致评价片面,将多项指标结合起来,建立多维度的综合评价体系,对于文献、期刊、机构、学者等评估都很有意义。
4 启示与小结
本研究结果表明,F1000评分、被引频次与Altmetrics得分之间互相独立又互为补充,可作为论文同行评议、学术影响力和社会影响力的评价指标。论文是期刊的基础,论文的质量决定了期刊的质量。基于以文评刊的原则,本研究的评价模式也适用于期刊评价,可从同行评议、学术影响力和社会影响力3个维度选取代表性指标,对评价指标进行权重分配,进而构建期刊多维评价模型。值得注意的是,由于Twitter、Facebook等社交媒体在国内无法使用,国内数据库也未纳入Altmetrics数据来源,Altmetrics指标体系并不适用于我国期刊评价。国内已有不少学者开始探索适合我国期刊的Altmetrics评价方法,如王磊[25]以中文期刊点评网、小木虫论坛为数据源,构建了国内期刊影响力评价模型;郭颖等[26]参照Altmetrics指标体系,选择科学网、机构知识库、微信、微博、百度百科等为数据源构建了新的指标体系对我国学者进行评价。这些研究为如何建立本土化的Altmetrics评价体系提供了参考。
对于学术期刊而言,在保证论文学术质量的基础上加强论文的推广和传播是提高期刊影响力的有效途径。建议期刊推行OA出版,使文献更易被阅读、引用;加入国内外知名数据库,提高期刊显示度;文献收藏、阅读是Altmetrics得分的重要评价维度,期刊可提供文献的多种版本格式,与Mendeley等文献管理软件对接,方便科研人员使用;通过综合性社交网络平台如期刊微博、微信公众号、作者微信群等进行宣传、推送;利用学术社交网络如小木虫、科学网、ResearchGate、Academi.edu等搭建期刊展示平台;鼓励作者通过社交网络分享其研究成果,以此实现快速传播,提升期刊影响力。
由于调研工具的限制,本研究尚存在许多不足:(1)以具有F1000评分的Altmetrics Top100论文为研究对象,样本量少;(2)Altmetrics Top100论文的高学术和高社会影响力导致一些结果缺乏普适性;(3)只选取了3种代表性评价指标,研究指标不够细化、全面;(4)未能对期刊进行评价。笔者将在后续研究中以期刊为研究对象,增加文献样本量,纳入更多的评价指标,优化评价模型,以寻求更为科学、有效的期刊评价方法。
参考文献
[1]Priem J,Taraborelli D,Groth P等.Altmetrics:一项宣言[EB/OL].(2010-10-26)[2020-03-13].http://altmetrics.org/manifesto.
[2]Mahmood K.基于知觉的期刊排名与期刊影响因子(JIF)的相关性:系统评价和荟萃分析[J].期刊评论,2017,43(2):120-129.
[3]Walters W H.图书馆和情报学综合期刊排名:一种因子分析方法[J].高校图书馆学报,2017,43(5):434-442.
[4]Prathap G.文献计量法的大小,影响和集中度的度量[J].物理化学学报,2011,27(09):1857-1951信息科学技术协会学报,2015,66(8):1740-1741.
[5]Leydesdorff L.期刊影响因子的替代方法:I3和引用率最高的论文的前10%(或前25%?)?Scientometrics,2012,92(2):355-365.
[6]EldakarMAM.谁在阅读埃及的国际学术文章?关键词:门德利,读者类别,测度分析Scientometrics,2019,121(1):105-135.
[7]Holmberg K,ParkH W.基于韩国的科学期刊的在线可见度的高度计量研究[J].计算机应用,2006,26(6):1175-1178Scientometrics,2018,117(1):603-613.
[8]Thelwall M,Nevill T.科学家可以使用Altmetric.com分数来预测长期引用计数吗?信息学报,2018,12(1):237-248.
[9]宋丽萍,王建芳.关键词:F1000与WOS的同行评议与文献计量相关性研究中国图书馆学报,2012,38(2):62-69.
[10]李鑫,任俊霞.基于引文指标和Altmetrics指标的期刊影响力综合评价研究-以国际图书情报学期刊为例[J].情报科学.情报杂志,2020,39(1):146-153.
[11]赵蓉英,王旭.测度指标的学术期刊影响力评价研究-以国际图书情报学期刊为例[J].情报科学.图书与情报,2018(5):1-10.
[12]Moed H F.科学期刊的引文分析[M]//研究评估中的引文分析.Heidelberg:Springer-Verlag,2006:91-105.
[13]刘春丽.关键词:F1000因子中国科技期刊研究,2012,23(3):383-386.
[14]黄笑炎,张业安.关键词:计量指标,科技期刊评价,问题与优化路径中国科技期刊研究,2019,30(5):494-499.
[15]Holmberg K,Hedman J,Bowman T D等.与基于订阅的期刊中的文章相比,开放获取期刊中的文章具有更频繁的替代活动吗?关键词:芬兰大学,研究成果Scientometrics,2020,122(1):645-659.
[16]阎雅娜,聂兰渤,王静.邓小平.单篇文献的引文计量指标与Altmetrics的比较分析-以ESI的热门论文为例[J].中国科学技术杂志图书馆杂志,2018,37(3):100-107.
[17]李鑫,郝冬冬.中国科技期刊的测度指标分析与解读[J].计算机应用,2006,26(5):1175-1178情报杂志,2019,38(11):158-166.
[18]郭飞,游滨,薛婧媛.关键词:论文,传播特征及影响力分析图书情报工作,2016,60(15):86-93.
[19]檀旦.F1000与传统文献计量学指标的相关性研究[J].中国科技期刊研究,2016,27(1):111-115.
[20]宋丽萍,王建芳,王树义.科学评价视角下F1000,Mendeley与传统文献计量指标的比较[J].中国科学技术杂志中国图书馆学报,2014,40(4):48-54.
[21]Altmetric.com.如何计算注意力注意分数?[EB/OL].(2019-07-29)[2020-03-13].https://help.altmetric.com/support/solutions/articles/6000060969-how-is-the-altmetric-attention-score-calculated.
[22]苟莉,陈一龙,王雁,等.关键词:计量学,视角下临床医学科技期刊,学术影响力,提升策略,初探-基于ESI热点论文被引频次与中国科技期刊研究,2019,30(11):1240-1244.
[23]黄晓,高嘉慧,吴江.不同学科高被引论文的测度指标特征分析[J].情报理论与实践,2019,42(9):56-63.
[24]丁佐奇,郝海平.关键词:计量学,传统计量指标,相关性分析及对科技期刊,传播启示科技与出版,2019(11):134-139.
[25]王磊.关键词:基于Altmetrics的国内期刊影响力评价研究大学图书馆学报,2019,37(3):74-83.
[26]郭颖,肖仙桃.关键词:计量指标研究情报理论与实践,2019,42(4):64-70.
