Ilyenkor két egymástól független hipotézisvizsgálatot végzünk, és két szignifikancia vizsgálatot, mindegyiket az alfa=0,05 szinten. Miután két független vizsgálatról van szó, ezért a két szignifikancia vizsgálat is függetlennek tekinthetõ. Tegyük fel azt is, hogy mindkét esetben a nullhipotézis hibás elvetésének a valószínûsége pontosan 0,05.
Ha ekkor valójában mind a két null hipotézis érvényes, akkor a következõképen számíthatjuk ki annak valószínûségét, hogy legalább egyik nullhipotézist (hibásan) elvetjük.
Jelölje P(s1)=0,05 az elsõ teszt esetében a fenti valószínûséget, P(s2)=0,05 a második teszt fenti
valószínûségét.
A két esemény együttes elõfordulásának valószínûsége P(s1)*P(s2), ami 0,05*0,05=0,0025
A három lehetséges esemény: s1 önmagában, s2 önmagában, s1 és s2 együtt fordul elõ.
A két független kisérlet esetében annak valószínûsége, hogy legalább az egyikben hibásan elvetjük a null hipotézist:
p= 0,05+0,05-0,0025= 0,0975,ami lényegesen magasabb, mint az egy szignifikancia teszt esetében elfogadott 0,05.
A fenti gondolatmenet k=10 független teszt elvégzése esetén p=1-(1-0,05^10)=0,4
A független vizsgálatok számának növelésével jelentõsen növeljük annak valószínûségét, hogy olyan hatások létezését mondjuk ki, amelyek a valóságban nem léteznek.
A gyakorlatban a fenti nehézséget tovább rontja az, hogy az ilyen többször elvégzett vizsgálatok esetén az egyes statisztikai tesztek egymástól nem függetlenek. Gyakori az, hogy kisérletekben az egyes változók nem függetlenek, azaz erõs korreláció lehet kettõ,vagy több változó között. Ilyenkor ha az egyik változó szignifikánsan eltér egy valamilyen változó értékétõl, akkor az elsõvel korreláló további változók eltérésének is nagyobb a valószínûsége. Ez különösen erõsen jelentkezik az "önkontrollos" kisérletek esetében.
Ha sok, valóban független mintával dolgozunk, akkor a minden lehetséges szignifikancia tesztet tekintve a tesztek nem függetlenek, noha a minták azok voltak. Ha példáúl egy mintában véletlenül elõfordulnak kis értékekek, akkor azok minden olyan összehasonlítást érinteni fognak, amelyben ez az adott minta résztvesz.
Összefoglalva:
A részdöntésenkénti szint alacsonyabb, mint a kisérletenkénti szint.
Jelölje az alfa* a részdöntésekben alkalmazandó szignifikancia szintet, amely k darab alkalmazás után a kisérletenkénti alfa szintet eredményezi.
alfa*=1-(1-alfa)exp(1/k), másképen az (1-alfa) k-adik gyökét kell vonnunk, és az kivonni 1-bõl.
Ha k=6, akkor (1-0,05)=0,95, és ennek az ötödik gyöke 0,9898,
Ha a függetleneség is bionytalan, akkor alfa*=alfa/k
Az eljárás elég konzervatív, ezért ha van jobb lehetõségünk, ne a Bonferroni eljárást válasszuk.
Ehhez az eljáráshoz minden elvégezni kivánt szignifikancia teszthez kiszámitjuk a nullhipotézis hibás
elvetésének a valószínûségét. Ha k tesztet vézünk akkor a p1, p2, ..., pk valószínûséget táblázatba foglaljuk emelkedõ sorrendben.
|
|
|
|
(ha alfa=0,05, és k=5) |
| 1 | p1 | alfa/k | 0,01 |
| 2 | p2 (>p1) | alfa/(k-1) | 0,0125 |
| 3 | p3 (>p2) | alfa/(k-2) | 0,0166. |
| 4 | p4 (>p3) | alfa/(k-3) | 0,025 |
| 5 | p5 (>p4) | alfa/(k-4), azaz alfa |
0,05 |
Ezen eljárások családja igen kiterjedt, és elsõsorban a variancia elemzésére alapozottak (analysis of variance, ANOVA) esetében számos szimultán alkalmazható, többszörös összehasonlító eljárás ismert.
Az egyes eljárások alkalmazhatósága, elõnyei és hátrányai viszonylag jól ismertek, az eljárások egy része az ismertebb statisztikai programcsomagokban hozzáférhetõ, bár csak egyszerûbb formájukban.
A kisérleti eredmények kiértékelése akkor optimális hatásfokú , ha a helyzethez legjobb eljárást alkalmazzuk. Ekkor tévedünk legkevesebbet, és dolgozunk a legjobb lehetséges hatásfokkal, mind a befektetett pénz, élõmunka szempontjából (és állatkisérletek, vagy klinikai vizsgálatok esetében igy okozzuk a legkevesebb szenvedést, bizonytalanságot).