Jo, man må bestemme seg før testen gjennomføres for hva man måler.ch skrev:Den statistiske analysen må være uavhengig av hva dere mente på forhånd hva dere testet for.
Det er altså ikke nødvendig å bestemme på forhånd hverken antall tester eller om det skal være en individuell eller gruppetest.
En må bare ha det klart for seg forskjellen mellom;
- sannsynligheten for at et spesifikt individ skal få et resultat
- sannsynligheten for at et tilfeldig individ av mange skal få et resultat
jfr. forskjellen mellom den individuelle sannsynligheten for å vinne Lotto, og det faktum at en av alle spillerne som regel vinner
- sannsynligheten for at en gruppe får et resultat
Evnen til å høre forskjell på kabler kan være generell, eller mer individ spesifikk; noen kan det, andre ikke. Kanskje.
En må også ta hensyn til effekten av tid;
- der kan være en lære effekt, slik at en skårer bedre etter hvert
- eller skåre dårligere etter hvert som en blir trøtt og uoppmerksom og lei av hele testen
Hvorfor det....jo, fordi hvis man ikke gjør det - så kan man fristes til å bedrive såkalt "data-mining" i etterkant. noen man har forsøkt i den mye omtalte testen som Mike Lavigne gjorde. Når fasiten kom for dagen så viste det seg at Mike Lavigne ikke greide å skille kablene, derimot gjettet han riktig den første gangen og igjen første gangen etter en pause. Dette har man forsøkt å forklare ved at han da hadde friskest ører - og at de resultatene er viktigst. Dette hadde selvsagt kunne vært gyldig hvis man hadde avklart det før man vist fasiten. Jeg tror nok man hadde valgt en lignene informasjonen hvis det vist seg at han svarte mer riktig på slutten - og at man da hadde valgt en argumentasjon om at man trengte litt tid før forksjellene gjorde seg til kjenne....
Kort fortalt så er det viktig å avklare at alle forsøkene skal ha lik vekting på forhånd, og at man ikke i ettertid prøver å skape et positivt resultat ved å plukke ut gode data - data mining.
Mvh
OMF