新一代期刊评价指标:影响因子或将走下神坛
小编为您收集和整理了新一代期刊评价指标:影响因子或将走下神坛的相关内容:原文作者:PaulWouters, CassidyR.Sugimoto, VincentLarivière, MarieE.McVeigh, BerndPulverer, SarahdeRijcke&
原文作者:Paul Wouters, Cassidy R. Sugimoto, Vincent Larivière, Marie E. McVeigh, Bernd Pulverer, Sarah de Rijcke & Ludo WaltmanPaul Wouters等人表示,我们需要一套更全面、更透明的期刊评价指标来进一步提升科学出版质量。
虽然目前影响因子仍是评定研究的主要指标,但是要求制定更加合理全面的学术期刊评价指标的呼声越来越高。为此,文献计量专家和评估专家、科研人员、出版商、学术团体和研究分析单位正在努力推出更加全面的期刊评价指标或评价方法。这项任务并不容易:不同群体需维护各自的利益,而这些利益之间常常存在冲突;但这项学术出版界的重大变革又需要出版界、学术界、研究资助机构、政策制定者、文献计量数据分析人员协调一致,共同努力方能实现。
插图:David Parkins
在此他们郑重呼吁,变革需包含以下核心要素:增加指标,全面保证涵盖学术期刊所有功能;制定指标使用原则;建立专门机构对评价指标进行维护及更新。该提议最早提出于2023年在荷兰莱顿举办的一场研讨会。该会议由莱顿大学科学技术研究中心(本文作者Paul Wouters、Sarah de Rijcke及Ludo Waltman工作的地方)、科睿唯安(Clarivate Analytics,发表年度期刊引用报告的公司)和欧洲的一家生命科学研究组织EMBO共同举办[1]。学术期刊相关领域共有二十多位专家参加了此次会议(详情参见go.nature.com/2wfeyjc)。
会议上,他们首先梳理了期刊的核心功能,这些功能自350多年前期刊出现以来,几乎没有发生过改变。它们分别是:对原创研究的观点进行记录汇总;对研究记录(包括修正及撤稿)进行编纂管理;组织对研究进行公正评估;对学术成果进行传播及归档(参见“学术期刊的核心功能”)。
学术期刊的核心功能记录汇总
通过发表出版,期刊记录科学研究中的观点的提出时间及作者,日后可用于确定观点提出的先后顺序。
编纂管理
编辑和审稿人对研究论文内容进行筛选,编成合集。同一合集中发表的研究具有相关性;期刊发表的论文合集描述了特定学术领域的理论及方法学范畴。
公正评估
同行评议根据多条标准(如研究质量、新颖性)对研究进行评估,研究作者可以从同行那里获得评价反馈。通过发表出版,期刊明确该研究已经过公正评估;期刊通过发表修正文件和撤稿声明,持续对已发表研究进行评估。
学术传播
通过将研究公之于众,期刊通过正式的渠道在专业学术圈内进行学术传播。期刊还可以通过开放获取及其它传播工具,让更广泛的群体了解研究成果。
学术归档
期刊将研究与元数据关联起来,使其在线上、索引及论文集成系统中可用,通过这种方式帮助学术内容永久保存,同时易于查找。
考虑到学术期刊发展迅速且正在成为传播数据、方法及其他数字对象的主要平台,增加新的期刊评价指标显得尤为重要。期刊影响因子(JIF)主要基于研究引用数量,是目前的主流指标之一,但这些常用指标都只能反映期刊的部分功能。一套更加细致全面的评价指标应当能够反映期刊各个功能的实现情况。譬如围绕编纂管理的指标应评价编辑团队的专业性及多样性、投稿的接收率、接收标准是否公开透明等。随着开放获取和独立分析的发展普及,围绕数据的评价指标(如数据引用或报告标准等)将变得越来越重要。研究评估指标则会将重点放在审稿环节是否公开透明、同行评议人员数量及组成多样性、审稿是否及时等。
何为恰当的评价指标?改进评价体系并不等同于单纯增加评价指标数目。必须保证合理地设置和使用新的评价指标[2, 3]。改进后的指标应符合以下标准:有效(能够反映评价内容);易于理解;公开透明(应公布评价数据,同时明确说明评价不足及不确定程度);公正(应避免系统性偏差);灵活(当偏差、滥用或其他不足变得日益明显时,可及时更新);可再现性(指标使用者应能够再现其结果)。
他们认为即使研究发表内容发生改变,这些指标也将适用。譬如可以想象未来学术期刊发表的对象只是完整研究论文的一个部分。只要是需要被发表记录的学术信息,无论规模大小,以上原则均适用。一个现有的例子就是论文图表所使用数据集的引用(如EMBO的SourceData计划),其中可能只包括了论文的部分作者。
何为适用?期刊引用报告于1975年首次发布,包括期刊影响因子和其他多项期刊评价指标,主要总结科学引文索引(Science Citation Index,SCI,该数据库目前为科睿唯安所有)中论文的引用情况。最初的发明者从未料到这份意在帮助图书管理员评估库内期刊价值,指导研究人员选择合适的投稿期刊,为学者、政策制定者及研究评估人员提供意见的报告,竟会被推广和滥用到如今的程度[4](详见 go.nature.com/30teuoq)。
评价指标一旦投入使用都有扭曲现实实践的倾向[5]。以评价指标为导向(即选择研究课题是仅考虑指标是否好看而非课题是否具有意义及重要性)对于科研发展极为有害,现在却成了驱动研究的主要动力。这种情况下,不再有人愿意去碰那些指标可能不好看的研究。对于指标的盲目追求可以影响研究的整个过程,包括设计、执行、传播等[6]。
影响因子在研究评估中的重磅地位以及随之而来的各种为追求影响因子的不当行为(如在参考文献中反复自我引用),甚至是欺诈活动(小作坊式地涌现了一大批吹嘘虚假影响因子的水刊)让人非常担忧[4,7]。《旧金山科研评估宣言》(the San Francisco Declaration on Research Assessment DORA)批评了将影响因子作为评价研究论文或研究者的指标的行为,现已有1,356家机构和14,000多位个人签名支持该宣言内容。《莱顿宣言》(Leiden Manifesto)提出了更加全面的评价原则[8],现已被翻译成23种语言(详见 go.nature.com/2hv7eq3)。尽管有这些举措,影响因子的主导地位仍未被撼动。
为防止滥用指标,他们提出任何指标的使用都应符合以下四项标准:
1. 合理
在评估个人或机构所做的研究时,期刊评价指标仅应作为次要参考指标,且其作用应被明确界定[9]。
2. 根据情况解读
除了单纯的数字统计结果,指标还应反映统计分布(例如,论文被引次数的分布),2023年起期刊引用报告已采用了这样的方式[10]。使用指标时还应考虑学科差异。
3. 使用者充分知情
专业团体和相关专家应帮助潜在使用者建立对指标的正确认识。譬如,博士课程可以通过角色扮演游戏,帮助学生切身了解期刊评价指标在职业评估中的正常使用和滥用情况。
4. 负责
所有利益相关者都应注意指标的使用可能对研究人员和其他利益相关者产生怎样的影响。呼吁停止不负责任地使用评价指标。
何为正确的管理?所有利益相关者都应对评价指标的制定和恰当使用负责。鉴于每个利益相关者都有其不同的出发点,他们建议设置专门机构(以下简称“机构”)负责期刊评价指标的管理。
机构可以提出新的指标以评价学术期刊的不同职能,而且就如何负责任地使用指标提出建议并制定相关标准。机构还可编写相关教育材料(例如指标开发和使用伦理方面的培训),借此宣传评价指标使用不当或使用得当的情况。例如,机构可以帮助保护研究人员免受“掠夺性期刊”的欺压——这类期刊通常质量较低,只为赚取经济利益,不按照承诺进行同行评议或编纂管理。机构还可以就开放获取出版和数据共享提供指导。
机构的组织构架可以参考学术出版的成功范例,例如非营利组织Crossref和ORCID,它们分别为文章和作者提供唯一的标识符。机构将由不同国家的人员组成,并将在各利益相关方团体之间进行联络沟通,协调组织相关活动倡议,如DORA、英国合理研究指标论坛和出版伦理委员会等。机构成员可以来自不同行业,如学术交流系统、专业学术团体、商业出版商和非营利出版商、高等教育机构、研究资助机构和政府等。
或许有人会辩驳说任何激励体系都可能被不当利用。但他们希望上文中阐述的原则能够帮助阻止对期刊评价指标的病态追逐,为实现目标铺平道路。此外,相比如今单一的评价指标,不当利用多个指标显然困难得多。科学出版正在发挥新的作用,对公众的开放程度也日益增加。新一代期刊评价指标应支持出版商发挥其各种不同的作用,并对良好表现予以充分肯定和激励。
参考文献:1.Sugimoto, C. et al. F1000Research https://doi.org/10.7490/f1000research.1116751.1 (2023).
2.Wilsdon, J. et al. The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management (2015).
3.Gingras, Y. Bibliometrics and Research Evaluation: Uses and Abuses (MIT Press, 2016).
4.Larivière, V. & Sugimoto, C. R. in Springer Handbook of Science and Technology Indicators (eds Glänzel, W., Moed, H. F., Schmoch, U. & Thelwall, M.) (Springer, in the press).
5.Campbell, D. T. Eval. Program Plan. 2, 67–90 (1979).
6.Müller, R. & de Rijcke, S. Res. Eval. 26, 157–168 (2023).
7.Fong, E. A. & Wilhite, A. W. PLoS ONE 12, e0187394 (2023).
8.Hicks, D., Wouters, P. Waltman, L., de Rijcke, S. & Rafols, I. Nature 520, 429–431 (2015).
9.McKiernan, E. C. et al. PeerJ Preprints 7, e27638v2 (2023).
10.Larivière, V. et al. Preprint at bioRxiv https://doi.org/10.1101/062109 (2016).
原文以Rethinking impact factors: better ways to judge a journal为标题发表在2023年05月28日的《自然》评论上
以上就是小编为您收集和整理的新一代期刊评价指标:影响因子或将走下神坛相关内容,如果对您有帮助,请帮忙分享这篇文章^_^
本文来源: https://www.tushuolishi.com/a/66d90e853d0084a1cb01e910.html
相关推荐
热门专题
南北朝的歌妓苏小小,为何年仅二十三岁就凋零了呢?
说起古代四大名妓,相信大家对她们并不陌生,即:北宋时期的李师师、南北朝之际的苏小小、明朝的陈圆圆和清朝初年的柳如是,感兴趣的读者可以跟着途说历史网小编一起往下看。这四大名妓能歌善舞,才艺双绝,被当时之人称古代的青楼名妓是怎么收费的?唐朝身价最高的名妓值多少钱?
今天途说历史网小编为大家带来古代的青楼名妓是怎么收费的?希望对你们能有所帮助。此女堪称是历史上身价最高的青楼名妓,看一眼的价格可以买辆轿车与今天不一样,在古代,开设青楼是属于合法的,在那个时候,逛青楼不仅吕后的外孙女张嫣11岁当皇后,为何到死还是处子之身呢?
在我们现代社会中,已经禁止了近亲结婚,但在中国古代时期,近亲结婚却是一件司空见惯的事情。提到中国古代中的近亲结婚,接下来我们要讲到的这一位女子便是其中的典型,她就是汉惠帝刘盈身边的皇后——张嫣。张嫣本城隍姥爷是怎么来的?城隍的本意是什么?
“城隍”本意是什么?下面途说历史网小编为大家带来详细的文章介绍。千年以前,在我国古代某座城市的一条普通街道上,可能不会有商人的店铺、不会有官府的衙门、不会有烟花柳巷、不会有高门豪宅、不会有佛寺熏风,但一定和珅往灾粮中掺沙子,只是因为他想贪污吗?
可能在很多人的眼里,和珅一直都是一个十恶不赦的贪官形象,而这位乾隆身边的大红人在乾隆刚去世便被嘉庆帝抄了家,据说,抄出来的财富比国库的都多,然而在历史上,和珅并不是一件好事都没有做过,今天途说历史网小编就古代的美女主动献身,为何却往往下场并不好呢?
俗话说女追男,隔层纸,一捅就破,得到容易,男人会不会珍惜,就难说了。但古代的许多美女笃信“万般皆下品,唯有献身高”,大玩轻率献身的两性游戏。孔子的母亲颜徵在,就是个例子。十六七的年纪,闭月羞花似的容貌揭秘:为什么古代青楼女子从来不会怀孕?
古代的青楼女子也分两种,一种样貌出众的女子,这类女子会从小培养,琴棋书画,无所不精,而青楼培养她们的目的,就是为了更好满足那些达官贵人兴致。所以,这类女子待遇会比一般女子的待遇好很多,如果幸运的话,遇李广在边疆驻守时,经历过什么奇幻的故事?
据传说,西汉的著名飞将军李广曾在边疆驻守时经历过这么一段奇幻的故事,感兴趣的读者可以跟着途说历史网小编一起往下看。有一天,李广和他的同伴骑马打猎,突然发现白一只狐在大雪中奔跑。这只狐狸十分可爱,浑身雪白色揭秘:古代大户人家买一个丫鬟需要花多少银子?
可以说,在旧社会,老百姓就算是卖儿卖女也不一定能得到温饱。一旦将儿女们卖给别人,那么,他们将会世世代代为人奴仆,没有自己的人身自由,生活会很凄惨。一般,男孩子会被卖去当小厮,女孩子则会被卖去当丫鬟。在笮融曾经杀过自己的恩人,为何后世却得到佛教的追捧
三国乱世英雄辈出,同样也有许多小人,其中笮融就是这样的一类人,更是被称为三国时最卑鄙的将领,接下来听听途说历史网小编讲一讲他的一些故事。在很早之前,徐州牧陶谦很信任笮融,还让笮融担任下邳的国相,甚至还让其