同行评议是指同一领域的专家学者评议研究人员稿件,确定学术论文是否适合发表、提出意见的过程。同行评议一直是学术期刊出版的重要基石。然而,学术界关于同行评议中的偏见和不利影响的争论,也一直伴随着这项制度而存在。正因如此,同行评议制度得以不断调整优化。奥地利因斯布鲁克大学金融学教授尤尔根·胡贝尔(Jürgen Huber)等人近期发表的一篇论文指出,在同行评议过程中,作者会因声望与地位的不同而遭受不同待遇。
在本项研究中,尤尔根·胡贝尔的研究团队向三组审稿人发送由诺贝尔奖获得者和一位鲜为人知的研究助理共同撰写的研究论文,但三组审稿人能看见的作者姓名不同,分别为诺贝尔奖获得者、研究助理和匿名。结果显示,当作者显示为诺贝尔奖获得者时,只有23%的人建议不发表;当作者显示为研究助理时,该数据为65%;而当论文作者匿名时,48%的人建议不予发表。基于此,研究人员得出的结论是,同行评议应采取双向匿名模式,即审稿人与作者双方都不公开身份,以促进公平。
【资料图】
该研究引起广泛讨论。针对同行评议中存在的偏见问题,丹麦奥胡斯大学研究员谢尔盖·霍尔巴赫(Serge P. J. M. Horbach)、奥地利格拉茨技术大学高级研究员托尼·罗斯·海洛尔(Tony Ross Hellauer)与荷兰莱顿大学定量科学研究教授卢多·沃尔特曼(Ludo Waltman)近日在伦敦政治经济学院官网发文提出,双向匿名模式并不能从根源上应对偏见问题。围绕双向匿名模式存在的利弊,以及如何优化同行评议机制等问题,本报记者采访了海洛尔。
双向匿名制存在的问题
海洛尔等人在文章中写道,他们赞同胡贝尔等人的研究理论与实验过程,但不赞同其结论。他们认为,虽然双向匿名模式比单向匿名模式能更加有效地从结果上减少偏见的发生,但没有从偏见产生的根源出发解决问题。因此,双向匿名模式无法解决同行评议中的偏见问题。海洛尔认为,人们高估了双向匿名模式的有效性,一些研究表明,在双向匿名模式中审稿人能根据语言风格或观点等识别出作者身份。
海洛尔表示,目前大多数审稿人依然着重于评估研究是否新颖或重要,这是偏见产生的重要原因。期刊会偏向于选择那些会被大量引用的、最有影响力的论文发表,因此才会产生诸多偏见,而双向匿名模式并不会影响审稿人的评估重点。海洛尔等人提倡采用新型评议方式,减少对研究结果重要性的关注,“如果我们改变评价体系,不对论文是否重要、有意义作出评价,而只是从技术角度审核其正确与否,那么就能在很大程度上减轻甚至消除偏见”。
此外,双向匿名模式还会阻碍开放科学实践,如预印本(preprint)和“发布—评议—精选”(publish-review-curate)等开放评议模式都与双向匿名模式相冲突。双向匿名模式要求在稿件正式发表前不能公开,而在预印本与“发表—评议—精选”等模式中,作者需要在互联网上预先发布尚未在正式刊物上发表的论文。海洛尔认为,预印本模式是近年来快速发展的评议形式,提高了评议效率,让信息更早地面向大众,有利于学术争鸣。在新冠肺炎疫情期间尤为如此,预印本模式加快了信息传播速度。
预印本模式的兴起意味着越来越多的作者在同行评议前就将文稿放在网络上,一旦稿件上网,双向匿名模式就很难起作用。海洛尔说:“双向匿名模式与预印本模式很难兼容,而我们认为,预印本模式是重大进步,要放在优先发展的地位。应在这个认识的基础上再考虑如何消除偏见,我们建议将评议过程透明化。”
开放同行评议的重要内涵
开放同行评议是开放科学的重要支柱,但学界一直没有就其标准化定义形成共识。海洛尔在论文中系统回顾和梳理了“开放同行评议”(open peer review)的重要内涵。他将开放同行评议总结为三种主要形式:公开评审人和作者信息、公开同行评议报告、开放公众参与。
海洛尔向记者介绍,提到开放同行评议时,人们首先会想到的是公开作者或审稿人的身份。审稿人身份公开的时机也较为多样,可以在评议过程中或者评议完成后公开。例如,在评议过程中,作者不会收到任何消息,直到收到稿件录用通知时,审稿人的姓名才会与同行评议报告共同公开。
海洛尔表示,公开评议报告呈现出审稿人对稿件的意见与建议,是开放同行评议的重要形式。公开评议报告有以下几种好处:第一,有利于推动学术交流与发展。“公开评议报告将对学术发展大有裨益,在人文社科领域尤其如此。行业内顶尖的专家围绕文章展开讨论,这些对话中包含着许多有价值的重要信息,有助于学术交流与发展。”第二,公开评议报告、实现透明化还能够解决掠夺性期刊(Predatory Journal)的问题,即专门以营利为目的、完全不进行或进行虚假同行评议的期刊。如果实行开放评议,要求公开评议报告,会有效减少期刊市场乱象。第三,期刊团队相对封闭,编辑们倾向于邀请固定的专家参与评议,也会避免邀请某些群体。公开评议报告有利于打破传统,推动期刊多样化发展。
海洛尔提到,开放同行评议的第三个方面是指公众参与。在开放评议的过程中,人们可以发表评论,令评议意见多元化。海洛尔说,作者在网络上发布预印本的同时,也会将文章提交给期刊,读者阅读预印本后可以留言反馈,与此同时,期刊的审稿人、编辑与作者本人也会进行对话,将两种对话有机结合有助于增加评议的科学性和合理性。
海洛尔表示,与双向匿名隐藏过程只呈现结果的模式相比,开放同行评议能令评议过程透明化,更有利于解决学术中的偏见问题。
人文社科领域亟须创新评议方式
不同研究领域都有自己特定的评议模式传统,人文社科领域的常用模式为双向匿名评议制度,在评议与发表方面的创新发展较慢。海洛尔认为,人文社科领域更应在同行评议制度上积极创新,因为在该领域中开放同行评议将发挥更大的作用。
正如伦敦大学学院学者马塞尔·诺切尔曼(Marcel Knochelman)在其研究中所论述的那样,与物理和生物医学等学科相比,人文学科的同行评议不太依赖于“抽象、客观的定量内容”,而是更多依赖于“审稿人或编辑理解水平内的共识问题”。通常来说,同行评议更像是质量把关,需要判断方法论与结论的正确性,这在科学领域明确有效,因为科学与客观事实直接关联且有标准答案。然而,在人文社科领域,研究更多地依赖理论和个人解读,因此,对人文学科来说,同行评议更应该通过对话、讨论、意见交换来完成。在这种情况下,公开同行评议报告可以鼓励更多人参与讨论,从而优化论证和理解。
在谈及人文社科领域所适合的评议模式时,海洛尔倾向于采用“发布—评议—精选”模式。这种模式先在网上发布预印本,并公开审稿人的评论,同时大众也可以参与评论,最后通过筛选标识出各方认可的文章。这种新兴模式可以提供相关特定研究主题的合集,帮助读者了解研究背景,并且通过直接提供相关文章链接的方式为原文增加附加价值,这一模式有望成为品牌期刊的改革方向。