问卷是否有效——基于2010—2020年CSSCI收录体育期刊文献的系统分析//柯友枝，等
《上海体育学院学报》2023年第2期
论文导读
本文对体育科学研究论文中问卷调查法效度检验应用的现状、存在问题进行回顾与剖析，并提出在体育科学研究中调查问卷效度检验的方法和流程，以期推动问卷调查法的规范使用，完善体育科学研究方法体系，促进体育科学良性发展。以我国体育科学研究领域中的调查问卷效度检验情况为研究对象，以2010—2020年中文社会科学引文索引（CSSCI）收录的9本体育类学术期刊（2010—2020年无变动的期刊）中采用问卷调查法的文献为调查对象。最终在筛选出的1375篇使用问卷调查法的文献中，有701篇文献（51%）进行了效度检验，其余674篇（49%）未对调查问卷的效度进行报告或说明；对问卷效度测评类型明确说明的文献有547篇（39.8%），无明确说明的有828篇（60.2%）；存在结构效度检验缺乏规范性、内容效度检验缺乏严谨性、误用引入问卷的效度等问题。掌握问卷调查法效度检验现状，了解效度方法应用中存在的问题，才能更科学地运用问卷调查法，使其真正成为一种透析体育社会现象的“利器”，这对问卷调查法的规范化和科学化也具有重要意义。
第一作者简介
柯友枝，1995年生，湖北十堰人，上海体育学院体育教育学院博士研究生，美国怀俄明大学运动与健康学院访问学者，主要研究方向为学校体育、儿童青少年身体活动与健康促进。至今在CSSCI、SSCI、SCI收录期刊发表论文10余篇，参与国家级和省部级课题3项。
通信作者简介
刘阳，1979年生，河南洛阳人，芬兰于韦斯屈莱大学博士，上海体育学院体育教育学院教授，博士生导师，体育教育理论团队负责人，上海市学生体质健康研究中心研究员。上海市高校东方学者特聘教授，曙光学者，浦江人才，教育部首批全国高校黄大年式教师团队成员。主要从事体育与健康教育、运动与健康促进方面的研究。近年来，主持国家级项目2项、省部级项目8项，发表学术论文100余篇。现任华人身体素养学会副会长，活力健康儿童全球联盟中国大陆地区联合负责人，SCI收录期刊JESF、QUEST编委，中国体育科学学会会员，美国运动医学学会会员。曾获国家级教学成果奖二等奖，上海市教学成果奖特等奖，第八届高等学校科学研究优秀成果（人文社会科学）青年成果奖，中国体育科学学会科学技术奖一、三等奖，上海市体育社会科学研究课题优秀成果二、三等奖，全国学校体育科学论文报告会一等奖等奖项。
本文引用格式
柯友枝，孙建刚，李博，等.问卷是否有效——基于2010—2020年CSSCI收录体育期刊文献的系统分析[J].上海体育学院学报,2023, 47(2):37-47，103
问卷是否有效——基于2010—2020年CSSCI收录体育期刊文献的系统分析
问卷调查法是目前社会学研究中应用较为广泛的资料收集方法，尤其在社会调查中，问卷调查法的使用最为普遍。美国社会学家艾尔·巴比称“问卷调查是社会研究的支柱”，英国社会学家莫泽说“10项社会调查中就有9项是采用问卷进行的”，由此可见，问卷调查法在社会研究领域的巨大作用。近年来，体育研究持续快速发展，作为体育社会研究领域中主要的研究方法之一，问卷调查法对体育科研工作者收集资料以开展相关研究起到了重要作用。其中，问卷的研制与使用具有严格的标准，问卷的信度与效度检验是运用问卷调查法的关键步骤，影响研究结果的可靠性和准确性。可信的问卷不一定是有效的问卷，但有效的问卷必是可信的问卷。因此，效度是评价调查问卷最关键的指标，其代表问卷可准确测出所测变量的程度，在一定程度上直接影响整个调查问卷的质量。
效度是指一项测验或量表所测量结果的准确程度，即实际测出的结果和预想结果的一致程度。对于使用调查问卷的研究者而言，为确保所使用的调查问卷具有较高的有效性，需要对调查问卷进行效度检验，根据效度检验结果修改问卷，调整问卷的内容和结构，以提高调查问卷的效度，保证调查问卷所获结果的准确性和科学性。然而，张力为对100名2003年本科毕业生的学位论文进行分析发现，仅有2篇论文交待了调查问卷的效度；之后，张力为对《体育科学》2003年发表的社会科学论文进行调查发现，很大一部分研究者忽略了调查问卷的效度检验。有学者还发现，存在对效度评价方法分类不明确的问题，部分文章将效标效度和区分效度并列进行评价。另外，还有文章未明确说明进行效度检验的具体方法以及评价系数的具体值等。一项严谨、规范的学术研究须以严谨、规范的科学方法为支撑，而调查问卷存在的效度问题使其研究结论的科学性和可靠性受到质疑。
目前，大多数运用问卷调查法的体育科学研究都与相关理论问题密切相关，有的甚至是开展某一重大体育科研项目的关键，对研究任务的完成和学科发展有着不可忽视的作用。因此，对体育学科研究论文中问卷调查法的效度检验情况进行剖析，揭示问卷调查法的运用现状，有助于及时发现在问卷调查法应用过程中存在的问题。本文在对2010—2020年中文社会科学引文索引（CSSCI）收录体育期刊刊发的使用问卷调查法的文献进行调查和分析的基础上，总结效度检验现状与存在的问题，并提出在体育科学研究中调查问卷效度检验的方法和流程，以推动问卷调查法的规范使用，完善体育学科研究方法体系，促进体育学科良性发展。
1
研究对象与方法
1.1 研究对象
以我国体育科学研究领域中的调查问卷效度检验情况为研究对象，以2010—2020年CSSCI收录的9本体育类学术期刊（2010—2020年无变动的期刊）中采用问卷调查法的文献为调查对象，纳入的9本期刊分别是《体育科学》《上海体育学院学报》《中国体育科技》《北京体育大学学报》《体育学刊》《体育与科学》《天津体育学院学报》《武汉体育学院学报》《西安体育学院学报》。
1.2 研究方法
运用文献资料法收集相关文献，运用数理统计法对研究信息进行统计与分析。以中国知网（CNKI）高级检索程序为检索工具，以CSSCI收录的9本体育类学术期刊为文献来源，文献的刊发时间段为2010年1月1日—2020年12月31日。在精确文献来源期刊和刊发时间的基础上，将符合研究条件的各期刊所有文献导入文献阅读与管理软件。共检索到16191篇文献，通过阅读文献题目、摘要和全文的方式进行人工筛选，最终纳入1375篇文献（图1）。以数理统计法对纳入文献进行信息提取与整理分析。
1.3 文献纳入与剔除标准
纳入标准：2010年1月1日—2020年12月31日，在9本期刊上刊发的运用问卷调查法（包括使用各类量表）的学术论文。
剔除标准：未采用问卷调查法的论文；仅采用由询问事实性问题组成问卷的论文；所有作者均为国外研究者的论文；非定量研究范式的论文；会议论文、刊讯、题录、通知等。
2
结果与分析
2.1 问卷调查法的应用情况
图2为纳入文献问卷调查法的应用情况。总体而言，2010—2020年各年度应用问卷调查法的论文比例浮动较小，除了2018年的89篇（6.5%）和2019年的52篇（3.8%）外，基本均保持在100篇以上。2017年之前均在120篇（8.9%）左右，2010年甚至有191篇。可见，总体上问卷调查法的应用较为广泛。体育学科同时具备社会学科和自然学科的性质，这也决定了体育学科研究方法的交叉性和渗透性。同时，这也说明体育科研工作者已不再满足于运用单一方法进行研究，熟练掌握和正确运用各种研究方法进行综合研究已成为体育科学研究发展的趋势。然而，无论使用哪种研究方法，科学和规范是关键。体育学科的发展与科学、规范的研究方法紧密相连，要保证体育学科的稳步发展，必须重视对学科研究方法的规范和探索，不断充实和完善学科研究方法体系。目前，问卷调查法是体育学科研究领域中应用广泛的研究方法之一，其以有效的数据实现对复杂、宏观体育现象或问题的精准把握，也为解决问题和改进现状并促进学科发展提供理论依据。因此，问卷调查法的质量高低将会直接关系研究结果的可靠性和准确性，进而影响学科未来的长远发展。
2.2 问卷效度的报告情况
近年来，问卷调查法在体育科学研究中依旧扮演着重要角色，但运用问卷调查法过程中的规范性问题令人担忧。在本文纳入的1375篇使用问卷调查法的论文中，对使用的调查问卷进行效度检验的有701篇（51%），其余674篇（49%）未对文中调查问卷的效度进行报告或说明（表1）。“引用问卷”通常需要简要介绍前人研制问卷的效度情况，有312篇文献使用“引用问卷”，其中，54.8%的文献说明了“引用问卷”的效度情况，45.2%的文献未提及“引用问卷”的效度情况。“自编问卷”需对问卷进行效度检验，并详细说明检验的方法和结果，共777篇文献使用“自编问卷”进行调查，其中51.1%的文献未对调查问卷进行效度检验。根据自身研究需要对成熟量表进行改编的问卷，由于地区文化、样本的差异，也应进行效度分析，保证改编后的调查问卷的质量，有139篇文献采用“改编问卷”，其中25.9%的文献未对“改编问卷”的效度进行检验。此外，还有147篇文献仅说明运用问卷调查法，但未交代调查问卷的来源，其中，32.0%的文献对问卷的效度“一笔带过”，68.0%的文献未提及问卷的效度。这在一定程度上反映出国内体育科学研究者在运用问卷调查法的过程中仍缺乏规范性。究其因：一方面，问卷调查法本身具有严格的操作标准与科学的流程，但部分体育科学研究者对问卷调查法的流程与操作不够熟悉；另一方面，部分体育科学研究者对调查问卷效度检验的重要性认识不足，导致在方法运用过程中忽略了一些必要步骤。
2.3 问卷效度类型的报告情况
根据调查问卷目的和效度的功能范围可将效度分为内容效度（content validity）、结构效度（construct validity）和效标效度（criterion-related validity），其解释的内容具有一定的差别。因此，研究者在应用问卷调查法进行效度检验时，应明确说明该问卷进行效度检验所揭示的具体效度类型，一方面确保该效度检验方法选用的准确性，另一方面为同类研究提供足够的参考信息。结果显示，对问卷效度测评类型进行明确说明的仅有547篇文献（39.8%），对问卷效度测评类型无明确说明的有828篇文献（60.2%），其中131篇文献在文中仅以“效度良好”“效度达到标准”“效度经过检验”等描述调查问卷的效度检验情况（未说明该问卷使用何种类型的效度检验方法，以及进行效度检验的具体值）（表2）。这表明，在纳入文献中，对调查问卷进行效度报告的过程中普遍存在效度检验具体信息缺失的问题。
从效度检验的方法看，在纳入文献中有246篇（17.9%）使用结构效度、193篇（14.0%）使用内容效度、3篇（0.2%）使用效标效度进行问卷效度检验。总体而言，目前效度评价所应用的方法较为集中，缺乏全面性和多样性。效度是一个多层面的概念，需要根据效度适应范围和特定功能，从不同的角度分别进行效度评估。在对调查问卷进行效度检验时，仅使用一种效度检验方法进行评估可能会存在不足。一般而言，对于一份新的问卷（或用于不同条件下的经典问卷），需根据实际情况对其进行内容效度、结构效度和效标效度的检验，应尽量避免仅使用一种效度检验方法。在本文纳入文献中，仅有105篇采用2种以上的效度检验方法进行检验，其中，100篇（7.3%）同时报告了内容效度和结构效度，5篇（0.4%）同时进行了结构效度和效标效度检验。由此可知，大部分研究者在进行调查问卷效度检验时仅使用了一种方法，说明部分研究者在使用问卷调查法进行效度检验的过程中，对于效度规范应用的认识仍存在一定的欠缺。
此外，还有18篇文献（1.3%）在报告问卷效度时仅表明该问卷效度已得到验证，达到了可接受及以上的标准，并未具体说明引入效度的类型以及具体检验值。值得注意的是，不同的问卷所适用的情景和人群存在差异，特别对于“引用问卷”，还需要考虑该问卷在不同文化背景下在语言、测量和功能上的等值性。严格而言，如果“引用问卷”中任意一个等值性发生变化，则表明该问卷可能无法适用，应重新修订和检验信效度。因此，应用“引用问卷”时，应对照分析原始问卷的研究对象和研究背景等，如完全适用，则应明确说明原始问卷进行效度检验的具体信息，以供读者参考。
由上可知，在体育科学研究领域中问卷调查法的效度评价存在不规范、不合理现象。究其因，研究者对问卷调查法缺乏科学的认识和定位，对于效度评价的相关知识掌握不够充分。问卷调查法有其特定的方法论背景和基础，只有严谨、规范地使用问卷调查法，重视问卷的信度和效度问题，才能获得科学的研究结果。另外，对于学术期刊而言，对相关问题进行严格把关对规范问卷调查法的使用具有一定作用。
2.4 问卷效度类型的应用情况
明确表明进行各类效度检验的具体方法是确保效度检验准确的基础。在纳入的1375篇文献中，对问卷效度类型明确说明的有547篇（其中内容效度、结构效度和效标效度均被使用）。但回溯原文发现，部分研究者对不同类型的效度存在不同程度的误用和滥用。
在明确表明效度类型的547篇文献中，有193篇（35.3%）使用内容效度进行问卷效度评价（表3），其中：190篇文献明确说明了内容效度检验的具体操作方法（其中186篇采用的是专家评定法）；3篇文献未明确说明内容效度检验的具体方法。从对内容效度检验的最终呈现方式看，152篇文献（78.8%）明确描述了内容效度检验值，38篇文献（19.6%）未明确描述内容效度检验值。综上可见，大部分研究者仅对调查问卷的内容效度进行检验，且大多以专家评定法进行验证。有研究表明，在使用自制问卷时仅以专家评定法评估调查问卷的内容效度无法保证调查问卷的质量，更无法保障研究结果的准确性。因此，将内容效度作为调查问卷唯一的效度检验指标的科学性存疑，且存在将内容效度检验归责于“专家”的嫌疑。
共246篇文献对问卷的结构效度进行检验。239篇文献在进行结构效度检验时写明了具体方法，其中，67篇采用探索性因子分析法，84篇采用验证性因子分析法，且46篇文献对探索性因子和验证性因子分析结果均有交代。同时，15篇文献仅说明使用结构效度的具体方法，但未显示具体结果。此外，7篇文献仅说明使用结构效度检验，但未明确表明检验方法和具体结果。由此可见，部分研究者在进行结构效度检验时对具体的检验方法和检验结果交代不明，这可能源于对结构效度的应用缺乏理解且对具体检验方法不明。结构效度一般用于分析定量数据的设计合理性，如果是非经典问卷，研究者在进行结构效度检验的同时还应使用内容效度进行综合分析，从而全面论证调查问卷的合理性，以保证调查结果的准确性。就本文纳入文献中采用问卷调查法的效度检验情况看，绝大多数研究者仅使用结构效度对调查问卷进行效度评估，反映出研究者对调查问卷结构效度的认识不充分。
使用效标效度进行检验的文献仅有3篇（0.5%），主要采用相关系数进行验证，其中，2篇文献明确说明效标效度检验的方法且有具体值，1篇未明确说明检验方法和具体值。相对而言，对调查问卷进行效度检验时效标效度的使用较少，可能源于找到一个适用的效标通常比较困难，导致效标效度的应用受限。
共5篇文献（0.9%）在文中同时对结构效度和效标效度进行检验，其中，4篇明确说明了效度检验的方法和具体值，1篇未说明检验方法和具体值。共100篇文献（18.3%）同时对内容效度和结构效度进行检验，其中：60篇文献明确说明了内容效度和结构效度检验的方法（57篇显示了效度检验的具体值，3篇仅说明方法未明确显示具体值）；40篇文献未明确说明内容效度和结构效度检验的具体方法，仅说明使用专家评定法得出该问卷的内容效度和结构效度良好。此现象反映出部分研究者在进行效度检验过程中的不规范与不科学。应注意到，“科学”与“经验”虽有联系，但也存在差异。在问卷调查研究中，以专家评定法所得的内容效度在一定程度上依据专家的经验，但专家经验在未得到科学验证之前，只能作为参考，不能作为科学证据，更不能以此评价调查问卷结构效度的高低。在通常情况下，检验一份调查问卷的效度，对于非量表题宜检验内容效度，对于量表类应根据实际情况检验结构效度或效标效度。
2.5 问卷效度测评的趋势
从效度报告的整体趋势（图3）看，自2014年开始效度报告的比例达到50%之后呈稳步上升状态，在2018年达到顶峰，效度报告比例超70%，2019、2020年再次回到50%左右。这一现象说明，近年来对效度进行报告的相关研究数量整体有所提升，但上升趋势不稳定。反之也可以看出，问卷调查法在体育研究领域中的使用仍存在较多效度报告缺失的问题。运用问卷调查法之前对问卷进行效度检验和报告是必不可少的。就目前的效度报告情况看，问卷调查法使用的规范程度还有待提升。
为方便研究结果的横向比较及优质问卷的推广普及，在使用问卷时应对问卷的效度参数值进行准确描述，让读者获取更多与问卷有关的信息，即效度结果呈现应具有完整性。从效度结果呈现的完整性（图4）看，“有具体值描述”即对效度的具体参数进行量化描述的研究所占比例整体呈上升趋势，且2014年后上升显著，但在2020年又呈现显著下降的趋势。进行“主观描述”即对问卷效度进行“形容式”描述（如“效度较好”“效度较优”“效度可接受”，但没有具体参数的描述）的研究比例整体呈下降趋势，下降的态势较为平缓，在2019年所占比例达到最低（10.4%）。“无任何说明”（并未提及效度问题）的研究比例总体也呈下降趋势，2020年与2010年相比，下降了13.9%。从目前情况看，体育科研工作者在问卷调查法效度描述规范化方面仍有很大的提升空间。
效度的检验方式有多种，不同检验方式的适用场景和效果略有不同。对效度检验方式的说明能给予读者相关信息，对于解读和重现研究结果有积极意义。从图5可以看出，在对问卷进行效度检验的方法选择上，使用结构效度检验的研究比例呈显著上升趋势，说明结构效度在整个效度检验方法中占据了十分重要的位置，尤其在对研制的新问卷进行效度分析时，更需要进行结构效度检验。从2010—2020年效度检验类型应用的变化趋势看，随着科学研究规范性的提高，结构效度逐渐被广大学者所接受和重视。从内容效度的应用情况看，2010—2020年应用内容效度的比例浮动较小（处于10%～20%），这可能与使用的问卷类型和评价的目的不同有关。由于应用效标效度的研究较少，故未用趋势图的形式呈现。此外，对问卷效度类型未报告的文献呈现显著减少趋势，值得注意的是，2010年有70%的文献未对效度类型进行明确说明，2018年仅39%的文献未报告效度类型。总体来看，对于问卷效度检验类型的选用呈现向好趋势，但仍存在部分文献的问卷效度检验方法不规范的问题。
3
体育科学研究中问卷效度检验的优化建议
3.1 测评方法
在纳入文献中，大部分文献未报告所使用问卷的效度，尽管有部分文献对问卷进行了效度检验，但其测评方法存在介绍不清楚或选用方法不合理的情况，这些都可能造成效度检验的结果存疑，使文献结果的科学性面临挑战。以下对体育科学研究中常见的问卷效度检验方法进行介绍，为体育科研工作者在使用问卷调查法进行效度检验时提供借鉴。
3.1.1 内容效度
问卷的内容效度是指一份问卷各题项所要测量的内容是否反映研究者想测量的内容，即调查对象对各题项的理解或回答与调查问卷设计者想要收集内容的一致程度。对于一份全新研制的调查问卷而言，如果包含非量表题，则无法使用统计方法进行效度检验，在这种情况下应对问卷的内容效度进行分析，以证明问卷设计的合理性。调查问卷具有较高的内容效度需具备2个条件：一是调查问卷要有定义好的内容范围；二是测量题目的取样需要有一定代表性。严格而言，对于全新研制的问卷都需进行内容效度的检验，因其可揭示题项与所规定内容之间的符合程度，从而保障选题的合理性，避免其他无关变量对研究质量的影响。但应避免仅使用内容效度证明调查问卷的效度合格，这种做法无法很好地保障调查问卷的质量。
评价问卷内容效度主要有以下2种方法：①专家评定。为了检验初始问卷是否有内容效度，最常见的方法是邀请相关领域的专家对问卷的各个题项与原定内容的一致程度做出判断，评价问卷的各个条目是否恰当地代表了想要测量的内容。为了提高专家评判的客观性，应尽可能对问卷的编制过程、设计的理论与实证依据进行详细说明，并编制专家调查表，便于专家进行客观评定。如果问卷的题目具有较好的代表性，则说明问卷具有较好的内容效度。一般最少需要3位专家评估，当专家人数≤5时，要求所有专家的效度评估意见均在“可接受”水平以上[条目水平的内容效度指数（Item-level Content Validity Index，I-CVI）>1.00]；当专家人数≥6时，可有1位或以上专家给出不同的效度评估意见（I-CVI>0.78）。此外，须对问卷的编制过程和参考依据、参评专家的基本信息和评价过程进行描述说明，并以数据报告专家的评价结果。②统计分析。主要以问卷单个条目和总和相关分析法进行判定，即计算单个题项得分与题项总分的相关系数，根据相关性是否显著判断是否有效。若问卷中有反向条目，应将其进行逆向处理后再计算总分。
3.1.2 结构效度
问卷的结构效度也称构想效度，是指问卷在多大程度上正确验证编制问卷的理论构想，其反映了效度概念最为本质的要求。对于调查问卷而言，结构效度是其确定性、稳定性和有效性的重要指标。在研制一套新问卷时，通常根据所测量的内容特性提出设想来编制问卷，然后检验调查结果在多大程度上符合构想的理论。因此，对于全新研制的问卷均应进行结构效度的检验。与其他效度相比，结构效度的概念和内容都有一定的区别，其效度概念相对更加明晰，包含内容也更宽泛，且在效度概念中占有较为重要的地位。但结构效度也存在一定的局限性，当所获结果不能验证原本的构想时，无法根据结果判定这是由问卷构想问题还是内容效度较低导致的。因此，在研制问卷时应将结构效度和内容效度结合使用。
调查问卷结构效度的评价分为两步：第一步提出结构假设；第二步对结构假设进行验证。因子分析是评估调查问卷结构效度的常用方法，意在了解调查问卷中同一条目下不同题项是否属于同一公共因子。在进行验证性因子分析时，可以采用基于共变异数的结构方程模型（Covariance-Based Structural Equation Modeling，CB-SEM）和基于偏最小平方法的结构方程模型（Partial Least Squares Structural Equation Modeling，PLS-SEM），这2类结构方程模型在基本原理和适用条件等方面存在诸多差异，且各自都有一定的优势和劣势。目前，在对问卷的结构效度进行检验时通常采用CB-SEM较多，本文主要介绍基于CB-SEM的验证性因子分析法，关于PLS-SEM方法应用的详细介绍建议参考骆雷的研究。
探索性因子分析通常用于未知影响因子和没有理论支持情况下的试探性分析，其主要目的是找出影响观测变量的因子个数。在因子分析前，通过KMO与Bartlett's球形检验判断问卷是否能进行因子分析。其标准是：KMO位于0～1，当KMO小于0.5时不适合进行因子分析，KMO大于0.6而小于0.7时勉强可以进行因子分析，KMO大于0.7、0.8、0.9分别表示尚可、适合、极适合进行因子分析。提取公共因子一般遵守如下原则：①结合碎石图并提取特征值大于1的因子；②各个条目的因子载荷系数大于0.4；③公共因子的累积方差贡献率为50%以上。
验证性因子分析是在已知因子和有预设理论支持的情况下，检验调查数据是否按原先设想的结构产生作用，其主要目的是考评预设的因子模型拟合实际调查数据的能力。一般用于评价模型的指标有3类：第1类为简约适配度指数，如卡方自由度比（χ2/df）、PGFI、PNFI；第2类为增值适配度指数，如NFI、RFI、IFI、TLI、CFI等；第3类为绝对适配度指数，如GFI、AGFI、RMSEA等。通常采用验证性因子分析评价问卷的指标及拟合标准如下：①简约适配度指数采用χ2/df，χ2/df为2～3时可以认为模型拟合较好，样本较大时χ2/df 为5左右可以接受；②增值适配度指数采用比较适配指数（Comparative Fit Index，CFI）、增值适配指数（Incremental Fit Index，IFI）、非规准适配指数（Tacker-Lewis Index，TLI），当它们的值大于0.90时认为模型具有较好的拟合度，若它们的值超过0.95则表明模型的拟合度较理想；③绝对适配度指数采用近似误差均方根（Root Mean Square Error of Approximation，RMSEA），RMSEA≤0.05表明拟合较好，RMSEA≤0.08表明拟合合理。
在进行问卷的标准化研究或制定新问卷时，往往将2种因子分析法并用，即先做探索性因子分析再做验证性因子分析，这样可以保证问卷的确定性、稳定性和可靠性，提高问卷的结构效度。聚合效度和区分效度是结构效度的又一证据，聚合效度是指问卷中不同观测变量是否真正反映了同一个潜在变量，通常采用计算平均变异系数提取量（Average Variance Extracted，AVE）与组合信度（Composite Reliability，CR）来判断。AVE≥0.5，CR>0.7，说明问卷具有较好的聚合效度。区分效度是指不同潜变量之间是否存在显著性差异，通常以AVE进行判断，若每个潜变量AVE的平方根大于该潜变量与任意其他潜变量之间的相关系数，则问卷区分效度较好。
3.1.3 效标效度
问卷的效标效度也称实证效度或效标关联效度，是指以一个公认有效的效标作为标准，检验新问卷与效标测得结果的相关性，以判断对特定情境中的个体行为进行预测的准确程度。通常以调查问卷的分数与效标分数之间的相关系数来评估效标效度，相关系数越大表示问卷的效标效度越好。但在很多调查问卷的效度分析中很难选出一个合适的效标以进行比较，导致这种方法的适用性较差，且仅以效标效度对全新的问卷进行效度检验不足以全面保障问卷质量。根据效标获取的时间可将效标效度分为同时效度（concurrent validity）和预测效度（predictive validity），前者反映调查问卷所获结果与当前效标间的关系，后者反映调查问卷的结果与将来效标间的关系。衡量同时效度的方法是用新旧2份问卷测量同一批对象，将新旧2份问卷的结果进行相关分析，获得效度系数，系数越高说明同时效度越好，一般在0.4～0.8表明问卷的同时效度较为理想。衡量预测效度的常用方法是分析调查问卷的结果与同一对象未来发展状况之间的相关关系，相关系数越高表明预测效度越好。效标效度的分析可通过SPSS统计分析软件实现，具体操作方法如下：在SPSS统计分析软件中的Analyze分析菜单下选择Correlation并点击Bivariate选项，当测量变量为连续变量时应采用Pearson相关系数，当测量变量为分类变量时应采用Kendall或Spearman等级相关系数，相关系数>0.4表明问卷的效标效度较为理想。目前，在对问卷进行效标效度检验时仅考察同时效度，预测效度评价较复杂，所以很少被使用。
3.2 应用流程
调查结果显示，部分研究者对于调查问卷效度的检验方法认识不够充分，且在效度检验流程的规范性上有所欠缺。因此，本文总结归纳了问卷效度检验的一般流程（图6），旨在为保证问卷调查法的科学化和规范化提供一定借鉴。
在对效度进行测评时，首先判断该问卷是否是已有问卷。如果是已有问卷，则查询该问卷是否经过效度检验，并确定原问卷在语言、测量以及功能上是否与本研究相同或类似，效度检验方法是否正确，效度检验结果是否明确报告，效度评估标准是否符合要求。如果该问卷符合以上所有条件，则可被引用并说明具体的效度情况。如果该问卷不符合以上条件或是新研制问卷，则应进行规范的效度检验。①确定测验内容。明确需要进行效度检验的内容，并非所有内容都需要进行效度检验。②选择效度指标。应根据需要测验的内容、问卷的种类和问卷的整体性设计选择效度指标。一般而言，新研制的问卷根据实际情况需要同时考虑内容效度、结构效度和效标效度。③确定效度检验方法。不同效度类型应用的检验方法不同。④计算效度结果。根据应用的效度类型计算效度结果。⑤评价效度结果是否符合标准。根据所应用效度类型的评价标准对所得效度结果进行分析，以此判断该问卷的效度，如果所得结果符合效度评价标准则表明该问卷效度合格，反之则应修改问卷再次进行规范的效度检验直至符合评价标准。
3.2.1 引用成熟问卷的效度检验描述示例
本文采用的量表是陈善平等基于MPAM-R所编制的简化版量表—“锻炼动机简化量表”，其中包括健康、外貌、乐趣、能力与社交5个子维度，每个维度3个项目共15个项目。评分标准以Likert 5点计分，1为“非常不强烈”，5为“非常强烈”，得分越高表示动机水平越高。问卷的结构效度各项拟合指标为CFI=0.963，NFI=0.960，NNFI=0.955，EIFI=0.963，RMSEA=0.0801，SRMR=0.0685，根据吴明隆的评价标准，该问卷的结构效度较好。
3.2.2 全新研制的问卷效度检验描述示例
（1）内容效度。本文以文献资料调研为基础，根据研究目的和内容，查找与儿童青少年身体活动相关的文献，结合已有理论，进行初始问卷的编制。请6位相关领域的专家参与问卷内容效度的评价（专家信息见表4），对问卷的每一条目与相应内容维度的关联性（或代表性）做出选择。可选项为4等级评分：1代表“不相关”，2代表“弱相关”，3代表“较强相关”，4代表“非常相关”。根据专家B和专家C的意见，将条目4“放学后参与身体活动时间”改为“学校课堂之外参与身体活动时间”。I-CVI、PC（随机一致性概率）及K*（计算调整后的Kappa值）见表5。该问卷的I-CVI均大于0.78，K*大于0.74，评价为优秀，S-CVI（量表水平的内容效度指数）为0.98（>0.9），均符合要求，说明该问卷的内容效度较好。
（2）结构效度。运用因子分析检验问卷的结构效度。利用SPSS 24.0进行因子分析，结果发现KMO为0.806，并通过Bartlett's球形检验（P<0.001），依据Kaiser等的评价标准，适宜进行因子分析。采用主成分分析法，根据碎石图陡阶检验并提取特征值大于1的因子、累积解释方差百分比至少50%、因子载荷系数大于0.4等指标对初始问卷的题项进行删减。利用探索性因子分析将题项删除后，借助统计软件包AMOS 24.0对剩余题项进行验证性因子分析，结果显示，χ2/df=2.375，RMSEA=0.063，CFI、TLI、IFI均大于0.9，根据吴明隆的评价标准，该问卷的结构效度较好。为更好地分析各题项的鉴别度，进行了区分效度和聚合效度分析，结果显示，各变量AVE值的平方根均大于该变量与任意其他潜变量之间的相关系数，说明本问卷具有较好的区分效度，同一潜在变量的观测变量的AVE≥0.5、CR>0.7，说明本问卷具有较好的聚合效度。
（3）效标效度。将加速度计作为效标检验“学生校外身体活动问卷”的效标效度，利用加速度计测得学生校外平均每天的身体活动水平，将问卷的整体得分与加速度计计数值进行相关分析，相关系数为0.51，根据Streiner等的评价标准，该问卷的效标效度较好。
4
结束语
研究方法在体育科学研究中居于关键地位，研究方法的科学化和规范化与科学研究的质量息息相关，在一定程度上体现学科的发展水平，因此，规范研究方法的使用至关重要。目前，在体育学研究领域，问卷调查法的效度检验仍存在较多问题，这可能是对效度种类认识不充分、对检验方法不了解造成的。科研工作者应加强对调查问卷效度检验的了解与学习，明确效度检验方法，规范效度检验流程，助力提升我国体育学研究的科学化、国际化水平。
本文刊于《上海体育学院学报》2023年第2期。为方便阅读，此处删去原文注释，如果其他媒体或机构转载，请标明文章出处。
上海体育学院学报
长按扫码关注我们