Blindtesting av kabler.

mutz

Overivrig entusiast
Ble medlem
04.01.2005
Innlegg
1.057
Antall liker
85
Torget vurderinger
1
Dette er et tema som er debattert i utallige kabeltråder. Tiden er overmoden for å opprette en egen tråd. Om man klarer å holde en saklig tone og konstruktiv debatt vil tråden bli meningsfull på tvers av gamle uoverenstemmelser.

Samtidig slipper man at temaet blir drøftet i de tråder som har et annet utgangspunkt.

En god ide er å finne et realistisk gjennomførbart testoppsett. Ha i bakhodet at de fleste på dette forumet ikke er vitenskapsmenn, og kanskje ikke er vant med en vitenskapelig metode.

Loddet er kastet!
 

Vegardaase

Hi-Fi freak
Ble medlem
08.07.2005
Innlegg
1.963
Antall liker
2
mutz skrev:
Hå i bakhodet at de fleste på dette forumet ikke vitenskapsmenn, og kanskje ikke er vant med en vitenskapelig metode.
Dette er jo åpenbart utifra all meningsløs argumentasjon som fremkommer mot denne metoden. Det som er litt merkelig er at folk som virker ekstremt opptatt av denne problemstillingen, viser så total mangel på ønske/evne til å ta til seg relevant kunnskap innen området.

1) Deltagerene må i utgangspuntet mene å høre en forskjell (preferanser har ingen betydning)
2) Optimer mulighetene for at en evt forskjell skal kunne detekteres (god akkustikk, godt anlegg, gode lytteforhold, rolig atmosfære)
3) Rigg en måte å bytte "utstyr til test" uten at lyttepanelet skal kunne resonere seg frem til hva som ble byttet (feks ikke bytt kabler med skruterminaler og andre med plugger)
4) La lyttepanelet lytte til "testutstyret" der de vet hva som spiller
5) Gjennomføre ABX - lengde på switching kan gjerne bestemmes av lyttepanelet (ref pkt 2)
6) Gjør en statistisk beregning av svarene
7) Kontroller dette ift nullhypotesen (det vanligste er at man benytter 95% sannsynlighet for at resultatet ikke er tilfeldig)
8) Konkluder i forhold til utgangspunktet
 

Fush

Hi-Fi freak
Ble medlem
20.01.2006
Innlegg
1.868
Antall liker
1
mutz skrev:
En god ide er å finne et realistisk gjennomførbart testoppsett. Hå i bakhodet at de fleste på dette forumet ikke vitenskapsmenn, og kanskje ikke er vant med en vitenskapelig metode.
HydrogenAudio har en veldig god og lesbar introduksjon til det: What is a blind ABX test?
 

TAS

Hi-Fi freak
Ble medlem
09.12.2007
Innlegg
1.794
Antall liker
2.017
Sted
Norge
Torget vurderinger
9
Les også hva de sier vedrørende ''fallgruver'' ved ABX testing...

•Number of testers : Studies made with a small number of listeners are more sensitive to mistakes occuring in the test setup. Wrong stimulus presented, mistakes copying the results etc. For this reason, when the result depends on one or two people, conclusions must be cautious.

•Predictability level : there are more chances to have got a success after N tests have been performed, than performing only one test. For example, if we want to test something that has no effect, the result that we get will be decided by chance only. Imagine that 20 people run independant tests. According to chance, in average, one of them should get a "false positive" result, since a positive result is by definition something that occur no more than one time out of 20. The p calculation of each test does not take this into account.

•Multiple comparisons : if we select two groups in the population, using one criterion, there will be less than 1 chance out of 20 to get a "statistical difference" between the two. However, if we consider 20 independant criterions, the probability to get a significant difference according to one of them is much higher than 1/20.
For example, if people are asked to rate the "dynamics", "soundstage", and "coloration" of an encoder, the probability to get a false positive is about thrice as high as with one criterion only, since there are three possibilities for the event to occur. Once again, the p value associated with each comparison is inferior to the real probability to get a false positive.


Et annet interessant poeng som også må sees i betraktning ved ABX hifi utstyr... er det supermann og mp3 eksemplet viser til…

If we are testing the existence of Superman, and get a positive answer, that is "Superman really exists because the probability of the null hypothesis is less than 5%". Must we accept the existence of Superman ? Is it an infaillible, scientific proof of its existence ?
No, it's just chance. Getting an event whose probability is less than 5% is not uncommon.
However, when a listening test about MP3 at 96 kbps gives a similar significant result, we accept the opposite conclusion ! That it was not chance. Why ?

Why does the same scientific result should be interpreted in two opposite ways ? This is because we always keep the most probable hypothesis. The conclusion of an ABX test is not the p value alone, it is its comparison with the subjective p value of the tested hypothesis.




mvh,
tas
 

frans

Hi-Fi freak
Ble medlem
08.12.2003
Innlegg
1.457
Antall liker
2
Hvorfor er nå såkalt blindtesting (som kanskje egentlig ikke er blindtesting da man ser mesteparten av utstyret likevel) mer vitenskaplig enn andre testmetoder?

Dersom "blindtesting" gir mindre pålitelige resultater enn der man ser utstyret, er jo metoden mindre vitenskaplig enn andre metoder.

Hvorfor er det slik at når det kommer til kabler så skal de "blindtestes" mens man fraviker slik metode for testing av høyttalere eller andre komponenter? Er dette virkelig et fornuftig utgangspunkt?

Så artikkelen på hydrogen audio. De er skrevet av noen som ikke har peiling på hva vitenskap er, hvordan vitenskap fremskaffes og hvilke krav man må stille. Det er forlengst slått fast at "case-metoden" er like vitenskaplig som kvantitative (statistiske) metoder.
 

Solo

Overivrig entusiast
Ble medlem
27.01.2003
Innlegg
1.011
Antall liker
18
Torget vurderinger
2
frans skrev:
Hvorfor er nå såkalt blindtesting (som kanskje egentlig ikke er blindtesting da man ser mesteparten av utstyret likevel) mer vitenskaplig enn andre testmetoder?

Dersom "blindtesting" gir mindre pålitelige resultater enn der man ser utstyret, er jo metoden mindre vitenskaplig enn andre metoder.

Hvorfor er det slik at når det kommer til kabler så skal de "blindtestes" mens man fraviker slik metode for testing av høyttalere eller andre komponenter? Er dette virkelig et fornuftig utgangspunkt?
hmm, hva mener du egentlig???
blimdtest må selvsagt være blind, og det er jo best med blindtest uavhengig hva man tester av utstyr.
du mener at blindtest er mindre pålitelig, det er feil. Blindtest har derimot styrke til å påvise at lyttepreferansene er upålitelig, det er jo nettopp poenget:) de påvirkes av mer enn audio-stimulansen.
 

Fush

Hi-Fi freak
Ble medlem
20.01.2006
Innlegg
1.868
Antall liker
1
frans skrev:
Så artikkelen på hydrogen audio. De er skrevet av noen som ikke har peiling på hva vitenskap er, hvordan vitenskap fremskaffes og hvilke krav man må stille. Det er forlengst slått fast at "case-metoden" er like vitenskaplig som kvantitative (statistiske) metoder.
Kvalitativ metode er godt egnet til å frambringe nye hypoteser. Det vil jeg påstå at det audiofile miljøet har mer en nok av, om enn i variabel kvalitet (!). SKal man derimot få bekreftet en hypotese (gjennom å forsøke å avkrefte den!), bør man ty til skikkelig kvantitativ metode.

I sum vil jeg hevde at mye av det som fremsettes her av påstander om at ting låter sånn og slik, og disse kablene er annerledes enn andre, bare kan regnes som hypoteser. Det er på tide at noen tar steget ut og forsøker å bekrefte eller avkrefte noen av hypotesene.
 
Topp Bunn