5.1 Hvordan omvende en skeptiker
Enkelte audiofile mener at blindtester svikter som metode. Disse kan ikke henvise til noe vitenskaplig som underbygger det, men overbevisningen er sterk. Mange andre mener at blindtester er en grei metode, men at de testene som er kjørt så langt svikter. En siste gruppe har stor tiltro til blindtester, og mener at fraværet av blindtester er en indikasjon (men ikke bevis) på at et fenomen er uvesentlig. Dersom man irriterer seg over skeptikere som ikke deler din entusiasme over tweak/dippedutt X så er det en metode som fungerer...
En grunnleggende egenskap ved gode forsøk er at de tåler at kritiske sjeler leter med argus-øyne for å finne svakheter. Hvis man ikke tolerer at andre er kritisk til det man sier og skriver, så kan det å publisere en test gi mye frustrasjon.
Hvis man derimot tar saklig kritikk som noe positivt, muligheten til å gjøre ting så godt som mulig, så kan man også være sin egen største kritiker under planlegging og gjennomføring. Ved å stadig tenke igjennom hvilke saklige innvendinger som kan komme mot valgene du tar, så er det rimelig at du får et bedre slutt-resultat.
5.1.1 Første grunnregel er å dokumentere alt. Det kan aldri bli for nitidig dokumentasjon, men du bør selvsagt "sile" hva du presenterer i et gitt dokument/sammendrag. Ta bilder av oppsettet, mål fenomenene du skal teste, oppgi navn/modell etc. Ikke minst så må du oppgi hva personene under test har svart (gjerne anonymisert). Tenk på hva en ukjent person må vite for å kunne gjenta eksperimentet ditt bare ut fra dokumentasjonen, og fremdeles ha størst mulig sjanse for samme resutat.
5.1.2 Ha kontroll på statistikken. En av de vanligste feilene som vi vanlige dødelige gjør, er at vi bruker intuisjon som erstatning for statistikk. Ting som kan virke som "for usannsynlig til at det kan være flaks/uflaks" kan være mer sannsynlig enn man tror. Og motsatt.
5.1.3 Ha kontroll på grunnleggende premisser for blindtesting av lyd. Dersom nivået mellom to lydkilder avviker med mer enn 0.1dB så er det mulig at personene hører forskjell på lydnivå istedetfor lydkvalitet. At en CD-spiller spiller litt høyere enn en annen er normalt ikke så veldig interessant. Sørg for en positiv atmosfære der test-deltakerne føler seg avslappet og motivert til å høre forskjeller.
5.1.4 Rederlighet. Dersom formålet med en blindtest er å få "innblikk i virkeligheten" (og ikke å vinne en eller annen diskusjon), så bør du offentliggjøre resultatet uansett. Det aller beste er at du offentliggjør det at du skal gjøre en blindtest på forhånd, og så offentliggjør resultatet etterpå. Dersom du mener at resultatet er ugyldig så skriv en forklaring.
