t检验法的详细步骤

?Linear contrast

即线性比较，是一种非常灵活的比较方式，不仅可以比较两组，还可以进行各种方式的组合比较，其大致思路如下：

如要验证A和B是否有统计学差异，其无效假设为A=B或A-B=0，则可以给它加一个系数，改为1A-1B=0，所以要比较A和B的差异，在contrast比较上，其系数就是1和-1，对于A、B、C三组，如果要比较A和B，则contrast比较为1 -1 0参与比较，如果要比较A和C，则contrast比较为1 0 -1，如果要比较B和C，则在contrast比较为0 1 -1；如果要比较A组与B、C两组平均值是否有差异，则contrast比较为1 -0.5 -0.5，如果要比较A、B两组均值与C组是否有差异，则contrast比较为0.5 0.5 -1。

?Fisher’s LSD法

LSD法基本相当于t检验，不过LSD要求在方差分析有统计意义时才能使用该法并没有控制FWER，因此如果进行多次两两比较，那么其假阳性率可能会提高。

在大多数情况下，LSD法都不作为首选，除非你在一开始设计时就很明确要比较哪两组，这是可以考虑这种方法，因为如果事先计划比较多次，那么通常需要分配检验水准（如做两次比较，设检验水准为0.025），这样多次比较后不用再次校正，直接用0.05即可。

?SNK法、Turkey法和REGWQ法

SNK法是利用学生化极差q统计量来计算的，q界值可通过查表或者软件函数来得到，q考虑到了比较两组的跨度，如比较A和B时跨了2组，而比较A和C时跨了三组，通过计算不同和跨度时的最小差异统计量，然后计算欲比较的两组差值，与各自对应跨度的最小差异统计量W比较，如果大于W，则认为有统计学意义，否则认为无统计学差异。

Turkey’s HSD的思想跟SNK法差不多，唯一的不同在于，SNK法是根据各比较组不同跨度r计算出不同的最小差异统计量Wr，然后分别与其比较，而Turkey’s法则是根据最大跨度计算出最大的Wr，所有比较组的差值都与Wr进行比较。

Turkey法在控制I型错误方面更加严格，但随之而来的副作用就是假阴性率可能会有所增加，而SNK法在控制假阴性方面更具有优势（更容易检出差异），但是也会导致假阳性率有所增加。

REGWQ法是在SNK法的基础上改进的，在SNK法中，每次比较所用的检验水准都是0.05，随着比较组跨度的增加，q界值也随之增加，但这种增加的速度不足以控制FWER在0.05水准上，因此提出的REGWQ法根据比较组的跨度修正检验水准的建议。

?Games-Howell法

Games-Howell法的思路与上述三种方法差不多，当该法做了一点小改动，在公式上对q界值的自由度进行了调整，第二，用到了两个比较组各自的标准差，而不是误差均方。一般来说，当各组例数相差较大的时候，往往方差也会有所差异，当方差相差不大时，用误差均方没什么问题，但如果方差相差很大，Games-Howell法则是一个更好的选择。

?Scheffe法

Scheffe法不是基于q统计量，而是基于F统计量，通过计算基于F界值的最小差异统计量后，与各比较组差值进行比较，如果小于最小差异统计量，则认为没有统计学意义。

?Dunnett法

Dunnett t检验不是用于两两比较，而是用于特定的比较，在通常情况下，如果有一个对照组和多个试验组，多个试验组之间不进行比较，但是每个试验组分别与对照组进行比较，则选择Dunnett t检验。

思路与SNK法相似，也是先计算一个界值，然后看看各比较组的差值是否大于该界值，通过将对照组与试验组1、对照组与试验组2的差值与该界值进行比较，如果大于该界值，则认为有统计学差异。

?Bonferroni法和Sidak法

Bonferroni t检验是多重比较中非常流行的一种方法，部分原因是其思路简单、容易理解，而且适用范围广泛，但是当比较次数较多时，Bonferroni法的结果较为保守，容易导致假阴性率增加，所以统计学家对其进行了修正，即为Sidak法，通过对检验水准进行校正，提高了功效，但实际中还是以前者应用较为广泛。

?Holm法和Hochberg法

在进行多指标的比较时，如基因筛选，此时用Holm法和Hochberg法则会大大提高功效，增加检出阳性率。

Holm法顾名思义是对Bonferroni进行step-down的校正，其具体的校正思路为:对于n个基因，首先根据原始p值从小到大排序，然后用原始p值乘以对应的顺序赋值即得到Holm法的校正p值，计算的顺序是从最小的原始p值开始，且每次计算的校正p值都要更上一次计算的校正p值进行比较，取二者中的大者。

Hochberg法也称为step-up Bonferroni法，与Holm法的思路正好相反，是逐步升高的方式，对于n个基因，先按p值从大到小排序，计算的顺序是从最大的原始p值开始，再依次计算较小的，且每次计算的校正p值都要跟上一次计算的校正p值比较，取二者中小者。

?几种方法的比较

1.LSD法很容易拒绝H0，因为它并没有真正控制FWER，可能假阳性率较高。

2.SNK法和REGWQ法在三组的两两比较中效率相同但在四组以上二者会有差异。

3.Turkey、Sidak和Bonferroni法均控制了FWER，但Turkey法效率最高，而Bonferroni相对较为保守，

4.Scheffe法最为保守，也就是说，最不容易检出差异。

?两两比较方法选择建议

如果一开始你就明确了打算比较哪几个组，那么采用LSD t检验就可以，在这种情况下，一般需要你在设计时就对a进行分配，如打算比较两次，可能每次比较都分配a=0.025，这样两次比较合起来总的I型错误率仍是5%，所以可用LSD t检验，但如果一开始没有对a进行分配，每次比较仍按0.05的检验水准，那么最后用LSD t检验时仍需要用Bonferroni法进行校正。

如果你在设计前没有什么想法，而是等数据出来进行了分析后才有了两两比较的想法，那么上述的大部分方法都可以考虑，但可能有效率高低的不同。

1.如果比较的组数较多（4组以上），两两比较首选Turkey 法或REGWQ法，这两种方法效率较高。

2.如果比较组数不是很多（如3组），则Turkey法和Bonferroni法都可作为首选。

3.如果你不仅想执行两两比较，还想进行其他方式的比较，则可选择Bonferroni法或Scheffe法，但如果比较次数较多，则不建议首选Bonferroni法。

4.如果有明确的一个对照组和多个试验组，分别比较各试验组与对照组，则首选Dunnett法。

5.如果各组例数相差较大，尤其方差相差明显，可以考虑Games-Howell法。

6.如果不是进行组间比较，而是进行多指标筛选，尤其在指标很多的情况下，则可考虑FDR法、Holm或Hochberg法。

Ref: 《白话统计》冯国双著