实验设计的核心原则：控制变量。除了你要研究的自变量，其他条件应尽可能保持一致。随机分组、双盲设计、重复实验，都是提高实验信度的常用手段。如果你的实验设计连自己都说服不了，答辩委员更不会被说服。

实验类型选择。①实验室实验：控制最严格，因果推断最强，但外部效度可能较低（"实验室里有效不代表现实中有效"）。②现场实验（Field Experiment）：在真实环境中进行，外部效度更高，但控制难度更大。③准实验（Quasi-experiment）：无法随机分组时的替代方案（如自然实验、断点回归），需要额外的统计控制。④A/B测试：互联网产品常用的实验方式，适合研究用户行为。

样本量确定。不要凭感觉定样本量。用功效分析（Power Analysis）计算：给定效应量（参考同类研究）、显著性水平（通常α=0.05）、统计功效（通常1-β=0.8），计算出所需的最小样本量。免费工具：G*Power（桌面软件）、在线Power计算器。样本量不足是答辩时被质疑最多的实验设计问题之一。

随机化与分组。用随机化工具（如Random.org、Excel的RAND函数）将参与者分配到实验组和对照组。记录随机化过程，在论文方法部分详细说明。如果无法随机分组（如自然班级），要承认这是"准实验"并讨论潜在的selection bias。

实验流程的标准化。写一份标准的操作程序（SOP），详细描述：参与者到达后做什么、指导语怎么念、实验任务是什么、时间怎么控制、意外情况怎么处理。SOP确保所有参与者经历完全相同的流程，减少实验者偏差。

实验实施中的注意事项。①记录所有细节：每个参与者的操作过程、反应时间、异常行为。②防止实验者效应：如果可能，采用双盲设计（参与者和实验者都不知道分组情况）。③数据即时备份：每完成一个参与者的实验，立即将数据备份到安全位置。④伦理合规：确保参与者已签署知情同意书，实验结束后提供debriefing（说明实验真实目的）。

常见实验设计错误。①没有对照组（只有一个实验组，无法判断效果是否来自干预）；②样本量太小（N=10就敢做t检验）；③没有随机化（人为分配导致选择偏差）；④实验条件控制不严（不同组在不同环境下测试）；⑤p-hacking（反复尝试不同分析方法直到显著）。

实验设计的核心原则：控制变量。除了你要研究的自变量，其他条件应尽可能保持一致。随机分组、双盲设计、重复实验，都是提高实验信度的常用手段。如果你的实验设计连自己都说服不了，答辩委员更不会被说服。

实验类型选择。①实验室实验：控制最严格，因果推断最强，但外部效度可能较低（"实验室里有效不代表现实中有效"）。②现场实验（Field Experiment）：在真实环境中进行，外部效度更高，但控制难度更大。③准实验（Quasi-experiment）：无法随机分组时的替代方案（如自然实验、断点回归），需要额外的统计控制。④A/B测试：互联网产品常用的实验方式，适合研究用户行为。

样本量确定。不要凭感觉定样本量。用功效分析（Power Analysis）计算：给定效应量（参考同类研究）、显著性水平（通常α=0.05）、统计功效（通常1-β=0.8），计算出所需的最小样本量。免费工具：G*Power（桌面软件）、在线Power计算器。样本量不足是答辩时被质疑最多的实验设计问题之一。

随机化与分组。用随机化工具（如Random.org、Excel的RAND函数）将参与者分配到实验组和对照组。记录随机化过程，在论文方法部分详细说明。如果无法随机分组（如自然班级），要承认这是"准实验"并讨论潜在的selection bias。

实验流程的标准化。写一份标准的操作程序（SOP），详细描述：参与者到达后做什么、指导语怎么念、实验任务是什么、时间怎么控制、意外情况怎么处理。SOP确保所有参与者经历完全相同的流程，减少实验者偏差。

实验实施中的注意事项。①记录所有细节：每个参与者的操作过程、反应时间、异常行为。②防止实验者效应：如果可能，采用双盲设计（参与者和实验者都不知道分组情况）。③数据即时备份：每完成一个参与者的实验，立即将数据备份到安全位置。④伦理合规：确保参与者已签署知情同意书，实验结束后提供debriefing（说明实验真实目的）。

常见实验设计错误。①没有对照组（只有一个实验组，无法判断效果是否来自干预）；②样本量太小（N=10就敢做t检验）；③没有随机化（人为分配导致选择偏差）；④实验条件控制不严（不同组在不同环境下测试）；⑤p-hacking（反复尝试不同分析方法直到显著）。