预注册工作坊总结与建议
预注册工作坊主讲人总结
主讲人简介:
陈绍庆(心理科学加速器训练委员会助理监督)
(预注册工作坊录屏,详见https://osf.io/ycugr/)两年多前我写下第一篇讨论预先注册及注册报告的网志,当时才刚开始准备第一项注册报告。今年7月28日与Chinese Open Science Network合作,举办第一次在线工作坊。透过带领三位研究者规划研究计划的预先注册,帮助有意愿尝试的研究者开启第一次经验,并向旁观朋友推广开放研究操作。三位研究者的项目来自发展心理学、社会心理学与认知心理学,计划目标与规模也互有差异。
与三位参与者还有热心朋友的在线互动经验,让我更确信在开场建议的准备三步骤,确实能形成值得信赖的预先注册计划:首先先确定最关键的研究问题,了解想采取的分析模式,最后尽可能列出有可能导致伪阳性结果的弹性研究操作,才能充分评估研究计划是适合节制弹性操作的验证性研究,还是最大化研究内容透明度的探索性研究。我就本次工作坊尚待改进的一些措施,做些检讨与建议。
值得改进的地方
这次开始前除了要求有意愿完成预先注册的参与者缴交报名费,也要求以AsPredicted的格式提出初步计划书。这些措施确实提高参与者动机,不过因为AsPredicted能说明的篇幅有限,加上我不是完全熟悉所有参与者的研究,作业开始后需要参与者花一些时间说明自已的研究问题与规划。加上第一次使用分组在线会议功能,我与所有参与人员午休之前几乎都在习惯这种在线互动模式,一直到中午之后才了解每位参与者的研究问题与想采用的分析策略是什么。
从三参与者的回馈(此连结为暂时网页,正式发布后更新),也证实参与者有接收到我想传达的理念,但是因为事前准备不足的关系,尚未完全落实在活动成果,是让我觉得最可惜的地方。在此必须感谢三位参与者,帮肋我与Chinese Open Science Network核心成员获得宝贵经验。除了继续帮助他们完善本身的预先注册计划,也希望所有参与人士能更认识开放研究操作。
改进建议
对于下一次不论是在线或现场活动,我们这次采用的模式对所有参与者都有正面帮助,不过主办方应该有一些更积极的作为。首先是对于参与者提出的计划,主要讲者应该花些时间了解,最好能与每位参与者先做实时沟通,清楚每项研究真正的目标及想采取的资料分析策略。参与者可先准备完整的说明文件或影片,让旁观朋友在事前或现场随时了解,有助众人融入现场,更能提高主动参与的行为。
这次限于时间安排,弹性研究操作的样态我只能用简报约略带过,也因为大多数作业时间在了解各项研究项目目标,并未带领每位参与者完整区辨自己的研究计划可能遇到的状况。认识弹性研究操作需要亲身体悟,才能明白其不良影响。我建议Chinese Open Science Network可以规划几次网络广播,邀请各领域的朋友彼此分享与讨论自己或熟人遇到的状况,让有意愿尝试预先注册的朋友,真正了解关心科学知识质量的人士,推广开放研究操作的宗旨。
学员总结(一)
大家好!我是一名预注册小白,真的非常开心和幸运地参与了第一次预注册工作坊。在工作坊的过程中,我了解了什么是预注册、为什么要进行预注册以及预注册的流程及注意事项,整个过程紧凑而高效。
但是,由于我是初识预注册,在预注册工作坊开始前并没有做太多准备,所以在开始的时候有些摸不着头脑。因此,我想给参与后续预注册工作坊的小伙伴们一些建议
首先,在工作坊开始前做好详细研究设计。预注册的目的就是把自己想做的研究进行一个公开化。因此,详细的研究设计非常重要,至少要包括研究假设、被试、被试量、工具、数据分析方法等。我在工作坊开始前,并没有详细的研究设计方案,有的只是一个“研究想法”,所以,在工作坊开始的上半部分,整个人都是懵的。不知道和别人交流什么内容,也明白别的小组在讨论什么内容。
因此,我认为工作坊开始前的研究设计方案的确定应该可以确保工作坊的成效。另外,由于预注册的平台是国外的,所以建议在进行研究设计时,采用英文,这样工作坊的时候省去语言转换的时间。
其次,工作坊期间展示研究设计。前期确定的研究设计,可能也会存在一些这样或那样的问题,因此可以在工作坊期间展示给其他人,听取一下别人的建议与意见,从而更加科学有效地指导后续的研究开展。
在工作坊开始前,我并没有详细的研究设计,在工作坊进行过程中,只能通过口头表述的形式把自己尚不成熟的想法展示给大家。由于没有相应的资料呈现,可能在一定程度上限制了别人对我研究的理解。
因此,我建议大家可以在工作坊期间通过共享屏幕的形式展示自己的研究设计,进而加深其他人对该项预注册项目的了解。
最后,工作坊前进行预热。如果你和我一样是预注册小白,我建议最好先通过微信公众号等网络资料去了解一下预注册。如果有时间的小伙伴可以去预注册的平台去看看预注册的模板,也可以尝试一下填写。这样的话,通过前期的预热,在参与工作坊期间不至于那么迷茫。
同时,预热期间遇到的问题,也可以在工作坊期间与大家讨论,从而进一步增大工作坊的效益。我在工作坊开始前也进行了一些预热,但都是走马观花,所以在工作坊期间可能有一些吃力。
好了,以上是我参与第一次预注册工作坊的体会,希望未来我们可以共同进步。
学员总结(二)
研究的可重复性是反映研究信度的重要概念。两年前我自己在进行一项重复研究时,导师就强调了预注册的重要性和必要性。在自己对AsPredicted和OSF两个预注册平台的摸索上,尝试提交了预注册文案,但对每项问题的应答是否合适全面,当时并没有清晰的标准。
此外,由于提交表单后未能及时邮件确认,导致预注册失败。这次失败经历让我意识到预注册项目的后续跟进和管理也十分重要。但当时针对预注册流程国内的经验交流平台仍较少,直到看到OpenScience的工作坊推文,我便怀着惊喜和期待提交了project,并非常有幸能够入选,与大家一起探讨中推进。
工作坊在背景介绍后,采取头脑风暴的形式组织分会场。这种群策探索而非模仿既定的方式很能激发大家用发散的思维和开放的态度广泛讨论。
工作坊先给了学员较大的创造自由度,深化理解的同时暴露问题,然后在总结呈现时几位老师再针对性点评和更正。这种过程发散收尾聚焦的形式让学员很有收获感,尤其是对project的分享者而言。只是……对于其他参与者,尤其是只听不言的学员,收获感可能会稍少。所以,以下我想为我们工作坊提一二建议。
01
其一,结构上开放式推进封闭式升华。如上所说,开放式讨论更自由更有活力,但只针对几个案例所暴露的有限问题回应可能会稍受限。但若在开放式讨论和针对性总结后,再加上普适性讲解就更完美。
换言之,采用“创造-总结-规范”的形式。不同于“创造-总结”,它多了传授普适性经验的环节。老师们可能要辛苦些总结一番自己曾经预注册经验中的一般性经验,在讨论环节后,增设讲授环节,总结预注册列表的每项问题的回答要素,提供一般性规范。这样,即使不发言的学员也能有干货指南,如此任何一位学员都会收获感满满,好评满满(若今后收费建议如上)。
02
其二,准备上更全面些。第一次工作坊虽然遇到一些小故障但也都及时解决了,辛苦会场组织者们了~~在此建议:可以预想好可能会出现的问题,写个简洁的Q&A给project的分享者/分会场主持人,在工作坊开前带几个分享者预演次流程。也可让分享者将分享材料准备充分些,如proposal的PPT(背景+问题+假设+设计),把研究基本信息汇以文字呈现给其他学员。不然只靠听,容易注意分散,错失信息。
总体而言,在本次工作坊中收获非常大,感动于你们的初衷、用心和热情,非常感谢各位老师和组织者们!你们辛苦啦~~祝工作坊越来越成熟,影响力越来越大!
学员总结(三)
心理学研究的可重复性危机是当下研究者们关注的重点问题之一,同时也是每位心理学工作者难以避免,不得不面对的难题。为了逐渐解决这一问题,目前一些杂志社提出了预注册这样的方法。
在研究开始前或者投稿前,研究者们可以在OSF平台上进行预注册,通过回答一些关于实验内容的问题,使得研究中的信息更加透明,也使得真实的阴性结果能够得到一定的重视。
但是预注册并不是简单的登录填写,国内学者普遍对于预注册的经验不足,又较少有平台提供详细的讲解,最近openscience 公众号的预注册工作坊,正是国内讲解预注册的先驱平台。
作为一名参与者,在整个预注册的学习过程中,体会到了预注册对于心理学研究的重要性与必要性,同时预注册更是一种趋势,也是心理学工作者需要掌握的一项技能。
预注册不仅是公开信息,提高研究透明度的一种手段,也是帮助研究者更好整理自己研究思路的过程,同时又起到了自检报告的作用。
一开始填写的时候的确很难上手,但是随着老师对遇到问题的讲解,对预注册的理解也逐渐加深。总之,在本次学习中,不仅对预注册的必要性有了一定的了解,也对如何进行预注册以及预注册的流程有了一定的了解。
如果能有下一次预注册工作坊,我建议老师们能先讲解一遍然后学员再进行自己的预注册。一开始就上手的确难度很大,如果能增加先讲解的过程,知识体系会更完整和清晰,学习效果也会更好。
最后希望openscience能被更多的心理学工作者所熟知,能有更多更好的学习与交流的机会!
(预注册工作坊录屏,详见https://osf.io/ycugr/)
作 者:陈绍庆、陈晨、王子叶、辛昕
校 对:胡传鹏、方圆
排 版:赵加伟、念靖晴
Open Science Club
Make psychology open and trustworthy!