单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,*,《实验经济学》第二讲： 实验设计初探,,财经大学经济学院-经济学实验室,1,《实验经济学》第二讲： 实验设计初探1,经济学实证分析工作的主线是比较静态分析，而经济实验是比较静态分析的天然工具,通过实验控制其它无关因素,直接观察到被研究的因素对实验中的经济运行的影响,,研究人员在实验中对无关因素的“控制” 是怎样实现的？,,其根本基础是有效的实验设计2,经济学实证分析工作的主线是比较静态分析，而经济实验是比较静态,讨论的要点：,实验设计中的基本术语和基本问题,有效的实验设计所具备的基本特征,实验设计的基本步骤,实验设计简例,,3,讨论的要点：实验设计中的基本术语和基本问题 3,一、实验设计中的基本术语和基本问题,4,一、实验设计中的基本术语和基本问题4,1．绝对实验和相对实验,5,1．绝对实验和相对实验5,相对实验是指测度某个特定环境中某种因素变化所产生的效果的实验比较同一片土壤中种植不同农作物的产量有何不同，或使用化肥对提高产量的影响；,使用某种新药对治愈某种疾病的作用；,厂商的生产技术发生变化对厂商利润的影响。
相对实验所回答的研究问题，都可以归结为比较静态分析问题6,相对实验是指测度某个特定环境中某种因素变化所产生的效果的实验,除相对实验外的其它实验都归类于绝对实验绝对实验中所测度的量往往是普遍的恒量，或者是在相同的实验设置下固定不变的量测量电子的质量,某种特定的博弈中选取纳什均衡策略的人数,7,除相对实验外的其它实验都归类于绝对实验7,在实验设计的过程中，我们所关注的核心是相对实验杜赫姆·奎恩问题（Duhem-Quine problem）,样本选择问题,8,在实验设计的过程中，我们所关注的核心是相对实验 8,杜赫姆·奎恩问题,当研究人员创造出实验环境进行理论检验时，不仅仅被研究的要素（即理论所描述的对象）可能对实验结果造成影响，这个特定的实验环境本身也可能对实验结果造成影响当我们观察到某个实验结果时，该结果究竟是来自于理论还是来自于实验环境本身？,9,杜赫姆·奎恩问题当研究人员创造出实验环境进行理论检验时，不仅,,理论,A,,应用背景 B,,理论假说 H; 观察值 C,,将A应用到背景B中去; 运行实验以确定观察值是否为C,结果为 C,,结果不是 C,,H 被支持,,H 不被支持,,(2),,(5),(6),(1),,(3),,(4),,10,理论 A应用背景 B理论假说 H; 观察值 C将A应用到背景,(1) 对理论进行陈述；,(2) 将理论运用到特定的背景中去（例如，在经济学实验中，我们考察的是被货币回报所激励的实验参与者）；,(3) 将理论在环境中的应用总结为一个或多个理论假说；,(4) 描述实验设计；,(5) 记录用于理论检验的实验数据；,(6) 根据实验结果，推断理论假说是否被拒绝。
11,(1) 对理论进行陈述；11,实验结果所表达的，是关于实验所要检验的理论、和所有实施这一理论所需要的环境的联合检验因此，如果在特定环境中检验理论假说H时，我们需要使检验过程在该环境中得以实现的辅助假说A1, A2,..., An，那么我们观察到结果C意味着条件假说（H|A1,A2,...,An）为真如果我们观察到的实验结果不是C，其原因可能是H,A1,A2,...,An中的任何一个假说不成立，可能性不仅仅来自于H不成立见Smith 2002）12,实验结果所表达的，是关于实验所要检验的理论、和所有实施这一理,相对实验的方法能在很大程度上解决 “杜赫姆·奎恩问题”,,当实验组和参照组的环境基本一致时，相对实验中实验结果的对比差异只能归结于被研究因素的变动13,相对实验的方法能在很大程度上解决 “杜赫姆·奎恩问题” 13,样本选择问题,例,某劳动经济学家希望了解接受某种专业技能培训对个人收入的影响她采用了问卷调查的方法：,,在接受过该专业技能培训的人群中随机选择样本若干，调查其收入；,,在未接受过该专业技能培训的群体中也选择样本若干，调查其收入通过对比平均收入，判断接受培训是否对收入有显著影响。
14,样本选择问题例 某劳动经济学家希望了解接受某种专业技能培训对,进行此类调查的明显缺陷是研究人员在对受调查者分类时，研究人员并不知道受调查者被归入某个具体类别背后的原因是什么，即存在,样本选择,问题比如，假若选择接受培训的人全部是高智商的人、而高智商的人无论是否接受培训其收入都比其他人高15,进行此类调查的明显缺陷是研究人员在对受调查者分类时，研究人员,相对实验的另一个优势就是它能极大地克服“样本选择”问题比如，针对劳动经济学家的问题，我们可以设计这样一个实验：,在未接受培训的人中随机选择样本若干,随机分为两组一组接受培训，另一组不接受,追踪这两组参与实验的人的收入变化,,在相对实验中，实验参与者是否参与某个条件下的实验完全由研究人员所控制、不受实验参与者个体特征的影响16,相对实验的另一个优势就是它能极大地克服“样本选择”问题16,2．实验变量与实验设置,17,2．实验变量与实验设置17,实验变量（Experimental Variable）,有时也被称作设置变量(Treatment Variable)，或实验的因子(Factor)，是指相对实验中所测度的因素一个实验变量可以包含多种状态，而实验变量的各个状态被称作实验条件(Experimental Condition)，也被称作实验变量的水平（Level）。
实验设计中的实验变量不宜过多，通常情况下实验变量的数量不会超过三个,,18,实验变量（Experimental Variable）有时也,实验设置（Treatment）,在一个实验里，实验设置是指包括实验说明、实验的激励机制以及所有实验运行规则在内的全部实验流程的集合在实验设计中包含多个实验变量、而每个实验变量又包含多种状态的情况下，实验设置也被称作实验单元（Experimental Cell）19,实验设置（Treatment）在一个实验里，实验设置是指包括,例子：特定拍卖下的成交效率检验,,,,,保有价格分布,,低保有价格,,高保有价格,,,拍卖机制,,英式,,A,,B,,荷式,,C,,D,20,例子：特定拍卖下的成交效率检验20,在实验设计中一种常见的错误是同时变动多个实验变量，造成研究人员无法解释在不同的实验设置下实验参加者行为变化的原因21,在实验设计中一种常见的错误是同时变动多个实验变量，造成研究人,3．跨被试设计与同被试设计,22,3．跨被试设计与同被试设计22,如果实验参加者只参与一个实验设置下的实验，这样的实验设计被称作跨被试设计（Across Subject Design)；,,如果实验参加者同时参与多个被比照的实验设置下的实验，这样的实验设计就被称作同被试设计（Within Subject Design）。
23,如果实验参加者只参与一个实验设置下的实验，这样的实验设计被称,跨被试设计能有效避免同被试设计中常出现的“,次序效应,”问题，却难于避免“,个体效应,”,,而同被试设计能有效避免“,个体效应,” ，却难于避免“,次序效应,”24,跨被试设计能有效避免同被试设计中常出现的“次序效应”问题，却,“,次序效应,”：在同被试设计中，由于实验参加者要同时参与多个被比照的实验设置下的实验，实验参加者在先运行的实验设置中的行为往往会影响他们在后运行的实验设置下的决策，从而干扰实验结果个体效应,”：由于在跨被试设计中不同实验设置下的实验参加者不同对实验结果所造成的干扰25,“次序效应”：在同被试设计中，由于实验参加者要同时参与多个被,对“个体效应”的克服：在同一总体中随机抽取实验参加者，并将实验参加者随机分配到被比照的各个实验设置中去，以保证各个设置下的参加者不存在系统差异对“次序效应”的克服：将实验设置的实施次序随机化，以保证实施不同实验设置的次序不会对实验结果产生系统影响26,对“个体效应”的克服：在同一总体中随机抽取实验参加者，并将实,4．实验局（Session）,27,4．实验局（Session）27,实验局是指同时被征召的同一组（或一个）实验参加者所参与的一次实验。
在跨被试设计中，一个实验局里只包括一个实验设置；而同被试设计中，一个实验局包括两个以上的实验设置在大多数情况下，一个实验局在同一天内完成，且长度不会超过两小时特殊情况下，如共有价值产品拍卖的实验中，为使实验参加者获取交易经验，实验往往分为两天；为了让实验参加者在第二天能重返实验室，第一天实验参加者得到的实验报酬通常在第二天发放一个实验局的参加人数不宜过多28,实验局是指同时被征召的同一组（或一个）实验参加者所参与的一次,5．独立观察值,,29,5．独立观察值 29,实验数据中记录的观察值是实验参加者在实验过程中的决策30,实验数据中记录的观察值是实验参加者在实验过程中的决策 30,如果某实验参加者的决策依赖于其他参加者的决策，那么该实验参加者的决策就不能被当作独立的观察值处理某实验局中研究人员征召20名参加者，两个人一组，分别进行“囚徒的困境”对策有20名实验参加者参与双向拍卖市场的实验，在实验中10人扮演销售者的角色，10人扮演消费者的角色,研究人员通过实验参加者对不同博彩的取舍选择估计出实验参加者对风险的厌恶程度31,如果某实验参加者的决策依赖于其他参加者的决策，那么该实验参加,如果实验参加者的决策依赖于参加者本人的决策历史，那么该实验参加者在每个回合的决策不能被视作独立的观察值。
在“囚徒的困境”对策实验中，研究人员征召20名参加者，两人一组固定配对，将对策重复进行15轮在实验中，研究人员征召20名参加者，每轮两人一组随机配对，将对策重复进行15轮,32,如果实验参加者的决策依赖于参加者本人的决策历史，那么该实验参,我们把一个实验设置下能被当作独立观察值的最小实验参与者集合称作实验单位（Experimental Unit）根据上面对独立观察值的讨论，在不同的实验设计下，实验单位有可能是实验局、有可能是实验局内的几个参与者，也有可能是一个参与者33,我们把一个实验设置下能被当作独立观察值的最小实验参与者集合称,6．对实验的控制,34,6．对实验的控制34,在变动实验变量的同时，其它与研究问题无关的因素应当被研究人员所固定，以免污染实验结果如果研究人员失去了对实验的控制，她将无法回答实验数据背后的真实原因究竟是什么35,在变动实验变量的同时，其它与研究问题无关的因素应当被研究人员,需求效应,“需求效应”是指实验参加者对实验目的以及对研究人员期望的主观预期对实验结果的影响猜测：“或许这是关于公平互利的实验”，“也许买卖的次数越多研究人员越能得到有用的数据”由于实验参加者往往希望配合实验人员，这些猜测很可能会影响到实验中的决策。
实验参加者的主观猜测无论是否与研究问题相关都会对实验的控制有不利的影响：研究人员将无法断定实验结果究竟是出于物质激励，还是出于实验参加者基于各种猜测的“主动配合”36,需求效应“需求效应”是指实验参加者对实验目的以及对研究人员期,克服“需求效应”的一种常用的方法是给予实验参加者更多的选择37,克服“需求效应”的一种常用的方法是给予实验参加者更多的选择例,：在共有价值拍卖的实验中，研究人员发现很多实验参加者由于出价高于拍卖品的真实价值而产生亏损，在亏损的情况下这些实验参加者仍然继续参与竞价，而不是选择退出市场这一现象随着实验参加者的经验增加有所缓解，但并没有消失Cox, Dinkin and Smith (2001)的研究试图回答这种“过度参与”的现象是否能被“需求效应”所解释：实验参加者主观上认为研究人员希望他们参与市场活动，为了“配合”研究人员，尽管亏损实验参加者仍然参与竞价38,例：在共有价值拍卖的实验中，研究人员发现很多实验参加者由于出,在Cox, Dinkin and Smith (2001)的实验设计中，实验参加者可以在两个市场之间进行选择：,共有价值拍卖市场,“安全市场”：该市场中，实验参加者将被保证得到正收入，而具体收入的高低服从某种特定分布。
由于安全市场的存在，实验参加者出于“配合”实验人员的考虑而对市场活动的参与完全可以体现在安全市场上实验结果表明，在存在安全市场的情况下，亏损的实验参加者继续参与共有价值拍卖市场竞价的现象大幅度减少需求效应”至少能部分解释以往的共有价值拍卖实验中实验参加者的“过度参与”现象39,在Cox, Dinkin and Smith (2001)的,个人偏好,当与研究问题无关时，实验参加者的个人偏好对实验结果的影响也是实验设计者需要避免的,,克服个人偏好影响的主要办法是在实验说明中采用中性的词语40,个人偏好当与研究问题无关时，实验参加者的个人偏好对实验结果的,例,：实验设计者希望检验劳动者在劳动力市场上寻找工作的理论模型由于理论所刻画的是劳动者的物质回报与劳动者在劳动力市场上的决策之间的关系，劳动者的其它偏好对劳动者在劳动力市场上所作的决策的影响并不在实验所检验的范围之内实验说明书对实验的描述中淡化了实验的社会背景，并未出现“就业”，“失业”等词语，而是代之以“决策A”，“决策B”等中性词语41,例：实验设计者希望检验劳动者在劳动力市场上寻找工作的理论模型,有的实验设计里研究人员并未采用中性词语、同时也引入了一定的社会背景，这是由于这些特定背景对实验结果的影响本身已经进入了实验设计者的研究问题。
42,有的实验设计里研究人员并未采用中性词语、同时也引入了一定的社,欺骗,为了保证对实验进程的控制，在经济学实验中研究人员从不欺骗实验参加者经济学实验与心理学实验的最大区别是经济学实验的实验结果与物质激励因素直接发生关联欺骗” 一旦被发现，研究人员将会失去实验参加者的信任失去了对所承诺的物质回报的信任，使实验参加者的决策与物质回报失去关联， “报酬的显著性”被破坏、实验失去了控制43,欺骗为了保证对实验进程的控制，在经济学实验中研究人员从不欺骗,7．心理偏见,44,7．心理偏见44,损失厌恶,,“损失厌恶”是指损失与收益相比，实验参加者通常对损失更为敏感除非研究问题本身涉及“损失厌恶”这一心理因素，在实验设计中，各实验设置下实验参加者出现损失的机会应基本相同45,损失厌恶 “损失厌恶”是指损失与收益相比，实验参加者通常对损,现状偏好,“现状偏好”是指实验参加者的决策会受到其他人、特别是研究人员的暗示的影响在实验说明书里举例讲解各种规则的过程中不应涉及具体数值如果必须要用到具体数值，一定要阐明这些具体数值与实验参加者在实验中的决策无关46,现状偏好“现状偏好”是指实验参加者的决策会受到其他人、特别是,禀赋效应,“禀赋效应”是指所有权对实验参加者的估价过程产生影响。
例：某人拥有一个博彩，当该博彩的市场价格不低于r元的时候，她愿意向市场出售该博彩；但是，当她从市场上购买相同的博彩时，她所愿意支付的最高价格通常会低于r元除非是研究问题的需要，在被比照的实验设置之间应剔除“禀赋效应”的影响47,禀赋效应“禀赋效应”是指所有权对实验参加者的估价过程产生影响,8．单盲设计与双盲设计,48,8．单盲设计与双盲设计48,单盲设计与双盲设计是保障 “实验的隐私性”的重要手段，这两种设计广泛应用于心理学和经济学实验当中在单盲设计中，每个实验参加者只知道自己在实验中的角色，并不知道其他实验参加者在实验中扮演了什么角色在双盲设计中，不仅实验参加者不知道其他参加者扮演了什么角色，研究人员也不知道每个实验参加者究竟扮演了什么角色49,单盲设计与双盲设计是保障 “实验的隐私性”的重要手段，这两种,双盲设计的一般做法是：,,实验开始前随机选择一名实验参加者承担实验参加者与研究人员之间的信息传递的工作；,,承担信息传递的实验参加者领取固定报酬，并不直接参与实验过程实验一旦开始，研究人员就将离开实验室；研究人员只知道在实验室内各个座位上的实验参加者分别扮演什么角色，但不知道究竟谁坐在哪个座位上；,,信息传递者收集各个座位上的实验参加者的决策信息，但信息传递者不知道各个座位上的实验参加者的角色是什么。
50,双盲设计的一般做法是：50,单盲设计与双盲设计并不妨碍实验参加者观察到其他某个实验参加者的决策或决策历史比如，在标价市场里，尽管没人知道究竟是哪个实验参加者扮演2号销售者的角色，但买方能观察到2号销售者所有标价记录51,单盲设计与双盲设计并不妨碍实验参加者观察到其他某个实验参加者,9．实验室实验与实地实验,,52,9．实验室实验与实地实验 52,一般情况下，经济学实验征召大学本科生作为实验参加者，在特定的场所（即实验室）参与特殊的市场活动实验室实验的最大优势在于对经济环境和市场机制的控制，实验室实验能在最大程度上淡化社会背景和个人偏好等与研究问题无关的因素对实验结果的影响但是，如果特定的社会背景或实验参加者的个人偏好进入了实验设计者的研究问题，研究人员就会希望在实验中强化这些特定的社会背景或个人偏好这些强化特定社会背景与个人偏好的实验有可能在实验室内进行，也有可能在日常生活的市场中进行，这些实验被统称为,实地实验,53,一般情况下，经济学实验征召大学本科生作为实验参加者，在特定的,实地实验的例子：,在Kagel and Levin (1986)的实验中，研究人员不仅征召本科生进行共有价值拍卖实验，以参与竞拍为业的职业交易员也被征入实验室参与实验；,,Lucking-Reiley (1999)在互联网上拍卖网络游戏装备以检验不同拍卖机制对成交价格的影响；,,如果政府需要了解某就业政策对失业者决策的影响，那么政府很可能需要征召失业者进行相关实验。
54,实地实验的例子：在Kagel and Levin (1986,实地实验能回答某些实验室实验所难于回答的研究问题，但实地实验也有其劣势：,,价格昂贵Kagel and Levin (1986),,实地实验对经济环境的控制不如实验室实验对环境的控制严格Lucking-Reiley (1999),55,实地实验能回答某些实验室实验所难于回答的研究问题，但实地实验,二、有效的实验设计所具备的基本特征,56,二、有效的实验设计所具备的基本特征 56,不存在系统误差,研究人员根据实验数据构造出对实验效果的估计值；,,对系统误差进行控制，其目的是要得到满足一致性的估计值如果实验存在系统误差，那么不论实验重复的次数再多、实验单位的数量再大我们也不能得到对实验效果的准确估计57,不存在系统误差研究人员根据实验数据构造出对实验效果的估计值；,例：,某人设计实验比较A和B两种不同拍卖机制下给拍卖者带来的收益有何不同，A机制下的实验参与者全部为女性，而B机制下的实验参与者全部为男性58,例：某人设计实验比较A和B两种不同拍卖机制下给拍卖者带来的收,避免系统误差的两个基本原则,,两个接受不同实验条件的实验单位之间只允许表达出随机的差异,,每个实验单位必须是独立的,59,避免系统误差的两个基本原则 59,精确,实验的精确度是指除系统误差外，实验对其它随机误差的控制。
实验所需要达到的精确度与实验目的有关如果对实验效果的估计值极不精确则实验毫无价值另一方面，“完全精确”的估计量是不存在的，寻找极度精确的估计量成本极高、也不必要60,精确 实验的精确度是指除系统误差外，实验对其它随机误差的控制,实验的精确度依赖于实验单位之间的内在差异，也依赖于实验单位的数量，更依赖于实验设计通常情况下，实验单位的数量扩大N倍，实验的精确度会扩大 倍61,实验的精确度依赖于实验单位之间的内在差异，也依赖于实验单位的,对有效范围给出描述,,好的实验应当谨慎回答造成不同实验效果背后的原因是什么，否则可能造成从实验结果中推断出的结论被滥用例,：不同国家的国民、不同收入阶层的群体的利他偏好可能会有所不同在某个国家的某个收入阶层内进行的关于利他偏好的实验的结论不能被滥用到其它国家或其它的收入阶层62,对有效范围给出描述 好的实验应当谨慎回答造成不同实验效果背后,三、实验设计的基本步骤,63,三、实验设计的基本步骤63,（1）,陈述研究问题,,对自己需要回答的研究问题的陈述要准确，千万不要在没有提炼好自己的研究问题和理论假说的情况下开始实验64,（1）陈述研究问题64,（2）,设计实验设置,,在实验中将应用什么实验条件？,如果实验条件是由某些特定因素的水平决定的，那么实验中包括多少种不同的因素，每个因素又有多少种不同的水平？,实验条件是质的条件还是量化的条件，究竟是质还是量的条件会影响对实验结果的分析吗？,,65,（2）设计实验设置65,（3）误差控制,设计,,在实验计划中，哪些实验参与者在哪些实验设置下进行实验？,,怎样合理地安排实验设置以避免系统误差？,,可行的误差控制设计方法包括随机设计，随机区组设计，拉丁方以及因素分析。
这些方法将在以后的课程中介绍66,（3）误差控制设计66,（4）样本与观察值,设计,,得到实验结果后，那些类型的数据将被实验者记录？,,这些数据将在什么水平上被记录？,,观察值的单位与实验单位是否一致？,67,（4）样本与观察值设计67,（5）数据分析方法,设计,,最后，你需要把实验设计的全过程再推敲一遍从提出问题到数据收集，然后找出与你的实验设计相适合的数据处理和统计分析方法通常，在真的开始实验以前运用随机过程或其它仿真方法产生出模拟的观察值、应用统计方法对这些模拟数据进行处理以检验统计方法的效果非常必要如果在这最后的阶段发现问题，我们必须返回到前面的几步修正实验设计在未进行恰当设计的情况下开始实验风险极大，很可能大幅度增加不必要的实验成本68,（5）数据分析方法设计68,作为总结，下面的线性模型会帮助你评价你的实验设计的有效性：,,观察值 = 个体效果 + 实验效果 +,实验误差（不恰当运用实验设置,所产生的误差）+ 观察误差（对各,种效果度量的误差）,,实验设计的目的在于从上述线性模型中剥离出实验效果69,作为总结，下面的线性模型会帮助你评价你的实验设计的有效性：,四、实验设计的简例：从女贵族品茶的故事中得到的启示,70,四、实验设计的简例：从女贵族品茶的故事中得到的启示 70,统计学家Ronald Fisher在他的“Design of Experiments”一书中提到了一个英国女贵族品茶的故事，这个故事揭示了实验设计方法中的许多问题。
某个出身于英国贵族家庭的女士宣称她在品尝兑了牛奶的红茶的时候，她能够分辨出究竟茶杯里是先放的牛奶、还是先放的红茶那么我们究竟能不能通过实验的手段来评判这位贵族女士的论断？,71,统计学家Ronald Fisher在他的“Design of,（1）,陈述研究问题,,零假设：该女士无法分辨出究竟茶杯里是先放的牛奶、还是先放的红茶备择假设：其它情况，即该女士的论断成立72,（1）陈述研究问题72,（2）,设计实验设置,,实验过程如下,,实验人员让该女士品尝若干杯掺了牛奶的红茶：有几杯先加牛奶、另外几杯先加红茶实验者要求该女士标识出各杯奶茶加入牛奶与红茶的顺序基于研究问题，研究人员所采用的实验设置是关于“质”的设置研究问题的焦点并不在于牛奶和红茶的比例，而在于给定一定的牛奶与红茶的比例、该女士能否分辨出添加牛奶与红茶的顺序73,（2）设计实验设置73,（3）误差控制,设计,,设计误差控制最重要的问题是，误差的来源是什么？,,,下面仅列举几个该实验中可能的误差来源,,74,（3）误差控制设计74,即便这一贵族女士没有说谎、真的能够分辨出奶茶中加入牛奶与红茶的顺序，她也有可能偶然失误因此，研究人员给该女士品尝的奶茶的杯数应当足够多。
我们不妨考虑研究人员调制了8杯奶茶的情形75,即便这一贵族女士没有说谎、真的能够分辨出奶茶中加入牛奶与红茶,将奶茶放入不同材料制成的茶杯中，在口味上可能会造成不同的效果无论实验条件为“品尝先放了牛奶的奶茶”、还是“品尝先放了红茶的奶茶”，研究人员都应当用同一种茶杯来盛奶茶76,将奶茶放入不同材料制成的茶杯中，在口味上可能会造成不同的效果,如果研究人员按照特定的顺序制作奶茶，极有可能导致实验结果失真比如，研究人员先制作先兑入牛奶的奶茶、再制作先兑入红茶的奶茶，那么先兑入牛奶的奶茶就会比先兑入红茶的奶茶凉如果该贵族女士发现了研究人员的制茶顺序，她就会应用“先兑入牛奶的奶茶比较凉”这一额外信息帮助她进行判断研究人员恰当的做法是将制作奶茶的顺序随机化77,如果研究人员按照特定的顺序制作奶茶，极有可能导致实验结果失真,类似地，如果研究人员让该女士按照特定的次序品尝奶茶，该女士也有可能运用这一额外信息改善她的决策同样的道理，研究人员不应当改变各杯中牛奶和红茶的比例如果在先兑入牛奶的奶茶中牛奶的比例比较高，该女士很有可能根据这一额外信息改善她的判断78,类似地，如果研究人员让该女士按照特定的次序品尝奶茶，该女士也,（4）样本与观察值,设计,,该女士给各杯奶茶作出的标识是实验的观察值，研究人员针对这些标识进行统计检验并判定研究命题中的假设是否为真。
79,（4）样本与观察值设计79,（5）数据分析方法,设计,,,该女士对每杯奶茶都有“先加茶后加奶”和“先加奶后加茶”这两种可能的标识，对于8杯奶茶，则有2,8,= 256种标识方法80,（5）数据分析方法设计80,在零假设为真的前提下，该女士无法分辨出茶杯里是先放的牛奶、还是先放的红茶，在此前提下该女士将8杯奶茶全部标识正确的概率为1/256，标识正确7杯奶茶的概率为C,7,8,/256 = 8/256，标识正确6杯奶茶的概率为C,6,8,/256 = 28/256因此，如果该女士标识正确了6杯奶茶，我们将在15%的显著水平下拒绝零假设；如果她标对了7杯，我们将在5%的显著水平下拒绝零假设；如果她全部标识正确，我们将在0.5%的显著水平下拒绝零假设81,在零假设为真的前提下，该女士无法分辨出茶杯里是先放的牛奶、还,实验成功的前提是在控制误差的过程中恰当地运用了随机设计方法如果实验中未能有效控制系统误差，根据实验数据所进行的统计推断的有效性将受到损害随机设计的方法，我们将在下一讲中介绍82,实验成功的前提是在控制误差的过程中恰当地运用了随机设计方法。