Blindtester (igjen)

P

Parelius

Gjest
topline skrev:
Sånn, nå kan dere begynne å mobbe! :-\
Heder til topline (og Roysen)!

(Parelius, som har litt dårlig samvittighet for at han ikke er flinkere til å gjøre slikt selv - og poste resultatene.)
 

Rhesus

Hi-Fi freak
Ble medlem
23.11.2006
Innlegg
2.466
Antall liker
11
topline skrev:
Det var som sagt en skivebom midt inni der som ødela for konsekvensen, men 3/4 og feil vei overrasket meg selv noe... ::)
Du er på god vei mot selvinsikt og opplysning min venn.
Tøft gjort. Dere har guts.
 
N

nb

Gjest
tkr skrev:
Det er ingenting som ligger fjernere fra meg enn å mobbe. Synes det var usedvanlig tøfft gjort av deg.
Om jeg leser fasiten din riktig, og jeg forstår metodikken riktig, betyr det du skriver at du forvekslet A og C konsekvent. Det må i og for seg bety at du hørte forskjeller, men klarte ikke å identifisere kabelen.
Jeg lar gjerne Knutinh slippe til her, men betyr ikke det at du konsekvent hørte forskjell på kabler med relativt høy stat. signifikans?
Kan ikke regne ut dette her, skulket statistikk etter beste evne på høyskolen for 30 år siden, og har hatt vett nok til å ikke ense temaet siden.
mvh tkr
Tar ikke utregningen sånn helt på sparket, men det er nok for få forsøk til å si noe veldig bastant den ene eller andre veien, til tross for 3 av 3 "forvekslinger".
 

atonal

Hi-Fi freak
Ble medlem
14.09.2006
Innlegg
3.256
Antall liker
424
Sted
Friedrichstadt
Jeg har jo lenge vært nysgjerrig på de psykologiske aspektene ved en blindtest. Altså hvordan opplever man seansen, blir man stressa, mister fokus, forsvinner alle forskjeller osv..
@Topline:
Er veldig nysgjerrig på dette selv. Hvordan opplevde du disse tingene? Noen tips for videre tilpasning av testsituasjonen?
 

KJ

Æresmedlem
Ble medlem
10.10.2004
Innlegg
11.161
Antall liker
4.328
Torget vurderinger
1
topline skrev:
...
Sånn, nå kan dere begynne å mobbe! :-\
Du skal ha heder og ære for tiltaket! Håper det ga mer smak.

Jeg synes dog du gjør det unødvendig vanskelig for deg selv - to kabler hadde vært nok, gjerne de to kablene du fra før mener det er størst forskjell på. Før «blindebukkseansen» kan du godt bruke litt tid på å bevistgjøre deg selv ved å mest mulig presist beskrive (skrive ned) det du mener er de konkrete forskjellene i lydgjengivelse mellom alternativene. Poenget er å legge forholdene til rette for at evt. relle hørbare forskjeller mellom kablene faktisk blir avdekt.

mvh
KJ
 

Fush

Hi-Fi freak
Ble medlem
20.01.2006
Innlegg
1.868
Antall liker
1
Veldig tøft gjort å gjennomføre dette! 7 forsøk er nok som flere sier her litt lite til å kunne trekke noen sterke konklusjoner. Dette med at Topline forvekslet A og C konsekvent er vel en litt vag antagelse foreløpig. Slik jeg leser resultatene ble C tatt for å være A to ganger og A tatt for å være C en gang. Men samtidig ble A også tatt for å være B en gang, og B tatt for å være C. Dermed er nok ikke forvekslingen konsekvent, og de samme resultatene kunne like gjerne oppstått tilfeldig. Tror flere forsøk må til for å avklare dette.

Håper i allefall at dette gav mersmak, og at det ikke blir den siste testen dere kjører. Bra tiltak!
 
R

Roysen

Gjest
Fush skrev:
Veldig tøft gjort å gjennomføre dette! 7 forsøk er nok som flere sier her litt lite til å kunne trekke noen sterke konklusjoner. Dette med at Topline forvekslet A og C konsekvent er vel en litt vag antagelse foreløpig. Slik jeg leser resultatene ble C tatt for å være A to ganger og A tatt for å være C en gang. Men samtidig ble A også tatt for å være B en gang, og B tatt for å være C. Dermed er nok ikke forvekslingen konsekvent, og de samme resultatene kunne like gjerne oppstått tilfeldig. Tror flere forsøk må til for å avklare dette.

Håper i allefall at dette gav mersmak, og at det ikke blir den siste testen dere kjører. Bra tiltak!
Nå sier han vel at på den siste testen hadde han egentlig identifisert B (som var korrekt), men at selve blindtest "settingen" gjorde at han revurderte valget. Dersom man legger dette til resultatet vil du se at med ett unntak var A og C konsekvent byttet om og B ble identifisert 3/3 ganger. Selv om antall repetisjoner nok er for få til å gi noe konsist svar, vil jeg si at Topline er i nærheten av å vise at han faktisk har klart å høre forskjell. Han har i testen hørt forskjell ved 85% av tilfellene. Jeg synes en gratulasjon for guts og gode lytteegenskaper er på sin plass :)

Mvh
Roysen
 

Rhesus

Hi-Fi freak
Ble medlem
23.11.2006
Innlegg
2.466
Antall liker
11
Det hadde vært morro om en av våre eminente statistikere kunne brukt kalkisen på de resultatene.
 

topline

Hi-Fi freak
Ble medlem
30.11.2005
Innlegg
2.103
Antall liker
0
atonal skrev:
Jeg har jo lenge vært nysgjerrig på de psykologiske aspektene ved en blindtest. Altså hvordan opplever man seansen, blir man stressa, mister fokus, forsvinner alle forskjeller osv..
@Topline:
Er veldig nysgjerrig på dette selv. Hvordan opplevde du disse tingene? Noen tips for videre tilpasning av testsituasjonen?
Eneste tipset må være å prøve dette mer. Føler vel at man skal kjøre en del blindtester før man er komfortabel med settingen. Man går fra lytting som rekreasjon og over til lytting der man skal prestere noe, det føles ikke helt problemfritt.

Jeg ser ögså nå et poeng i korte lydspor (under 1 minutt?) da man gjerne bestemmer seg kjapt for hvem kabel man tror det er. Og at lengre tids lytting på samme spor kan få tankene til å svirre litt mye rundt andre ting enn det lydmessige noe som gir usikkerhet.
Samtidig som korte lydspor gir et visst tidsstress, ved at der man er usikker fra start må man bestemme seg fort uansett. Neimen ikke lett å vite hva som funker best...
Musikkvalget er vel også viktig, greit med et spor der det skjer litt i begynnelse av låta.

Ting må bare prøves ut for å få et svar. Litt moro dette også da. :)
 

roffe

Hi-Fi freak
Ble medlem
12.01.2005
Innlegg
3.677
Antall liker
6
Applaus! ;D Meget bra at dere har gjennomført og offentliggjort dette. Selv om dere har gjort det vanskeligere enn nødvendig ved å ikke testlytte til kablene først og atpåtil har brukt 3 ulike kabler istedenfor 2, så er det dere har gjort godt beskrevet, slik at man kan vurdere testmetodikken.

For fremtiden ville jeg nok:
* brukt kun 2 kabler, det vil bedre den statistiske signifikansen på samme antall forsøk (samples), og konsekvent ombytting vil være til mindre gjenstand for diskusjon.
* gjennomført AB-fasen uten at lytteren(e) vet hva som er A og B på forhånd (bokstavene angis på tilfeldig, slik at det skal være minst mulig forventninger til lydsignaturen til "bokstavene")
* ikke gå rett til X-fasen, det vil hjelpe til BÅDE med å finne godt testmateriale som evt. kan avsløre forskjellene godt, samt bidra til å fjerne noe av usikkerheten rundt konsekvent ombytting på kablene
* brukt noen flere samples, og gjerne flere lyttere
* klargjort på forhånd at det ikke nødvendigvis ville være like mange samples med hver kabel (men at det også kunne forekommet)

Jeg er sikker på en ting, og det er at hypotesen om at det er hørbar forskjell på kabler ikke bekreftes av dette resultatet. Tilfeldig tipping på tre alternativer burde gitt rundt 33% rett, og det er oppnådd 28% rett, noe som er svært nær det gjennomsnittlige resultatet av tilfeldig tipping, spesielt gitt det lave antallet samples.

Det kunne være moro å vite litt mer om hvor godt Topline kjente anlegget og kablene på forhånd. Det er jo naturlig å anta at det var temmelig godt, siden man valgte å gå rett på X-fasen. Med god kjennskap til oppsettet og kablene på forhånd synes jeg at "konsekvent ombytting" ikke kan tolkes som å "konsekvent høre forskjell".

Men uansett er det bra at dere gjennomfører dette.
 

Fush

Hi-Fi freak
Ble medlem
20.01.2006
Innlegg
1.868
Antall liker
1
topline skrev:
Jeg ser ögså nå et poeng i korte lydspor (under 1 minutt?) da man gjerne bestemmer seg kjapt for hvem kabel man tror det er. Og at lengre tids lytting på samme spor kan få tankene til å svirre litt mye rundt andre ting enn det lydmessige noe som gir usikkerhet.
Samtidig som korte lydspor gir et visst tidsstress, ved at der man er usikker fra start må man bestemme seg fort uansett. Neimen ikke lett å vite hva som funker best...
Det aller beste er om lytteren selv kan switche mellom kablene, slik at han kan lytte så kort/lenge som han selv vil. Mange forsøk har dessuten vist at jo kortere pauser det er mellom byttene, jo lettere er det å oppdage eventuelle forskjeller. Helst bør byttingen gå like fort som det går å bytte mellom ulike input-kilder på en forsterker, slik at lytteren kan switche fram og tilbake mange ganger. Men hvordan man i praksis gjør dette med kabler er jeg ikke helt sikker på. Mener det skal finnes noen tekniske innretninger som kan hjelpe med dette.
 

roffe

Hi-Fi freak
Ble medlem
12.01.2005
Innlegg
3.677
Antall liker
6
Siden forskjeller mellom kabler er svært små (ellers hadde det ikke vært så omdiskutert), så er jeg svært skeptisk til å innføre ekstra innretninger for å switche raskt. Det blir alltid diskusjon om disse påvirker lyden. Jeg mener faktisk at man skal være forsiktig også med ulike innganger på samme preamp (hvis man tester signalkabler), siden ingen kan utelukke at evt. hørbare forskjeller kommer fra de ulike inngangene istedenfor kablene. Mulig jeg er litt paranoid, men ved all testing er det en dyd å utelukke flest mulig usikkerhetsfaktorer.
 
R

Roysen

Gjest
Roffe,

Jeg må nesten spørre - dersom vi tillegger den siste testen som korrekt (på bekostning av blindtestens svakhet som tydelig ble beskrevet av Topline), ser du ingen relevans i at han da bortsett i fra et tilfelle konsekvent byttet om på A og C?

Mvh
Roysen
 

Fush

Hi-Fi freak
Ble medlem
20.01.2006
Innlegg
1.868
Antall liker
1
roffe skrev:
Siden forskjeller mellom kabler er svært små (ellers hadde det ikke vært så omdiskutert), så er jeg svært skeptisk til å innføre ekstra innretninger for å switche raskt. Det blir alltid diskusjon om disse påvirker lyden. Jeg mener faktisk at man skal være forsiktig også med ulike innganger på samme preamp (hvis man tester signalkabler), siden ingen kan utelukke at evt. hørbare forskjeller kommer fra de ulike inngangene istedenfor kablene. Mulig jeg er litt paranoid, men ved all testing er det en dyd å utelukke flest mulig usikkerhetsfaktorer.
Ja, ser poenget. Kan denne brukes allikevel? De hevder de eksplisitt at no electronics are involved in the audio path.
 

Fush

Hi-Fi freak
Ble medlem
20.01.2006
Innlegg
1.868
Antall liker
1
Roysen skrev:
Jeg må nesten spørre - dersom vi tillegger den siste testen som korrekt (på bekostning av blindtestens svakhet som tydelig ble beskrevet av Topline), ser du ingen relevans i at han da bortsett i fra et tilfelle konsekvent byttet om på A og C?
Tror ikke at alle vil være enig i at feilvalget i siste forsøk bør tilskrives "blindtestens svakhet". Det kan like gjerne brukes som et eksempel på hvor usikker Topline faktisk var. Hadde han ikke vært i tvil hadde han jo selvsagt valgt riktig. Det kan tyde på at svaret var basert minst like mye på gjetting som på vurderingen av lytteinntrykket.

Det kan det forøvrig være interessant å spørre Topline selv om: Hvor usikker var du under testen på hvilke svar du skulle gi? Hvor vanskelig opplevde du at det var å skulle kjenne igjen en kabel bare ved å bruke ørene?
 

roffe

Hi-Fi freak
Ble medlem
12.01.2005
Innlegg
3.677
Antall liker
6
Fush skrev:
Ja, ser poenget. Kan denne brukes allikevel? De hevder de eksplisitt at no electronics are involved in the audio path.
Jeg synes absolutt Rod Elliott har mye bra for seg, og det virker som en enkelt og god løsning. Likevel er den en usikkerhetsfaktor. Jeg vil vel si det slik: Forskjellene mellom utstyret som testes bør være beviselig større enn forskjellene som kan representeres av slikt ekstrautstyr. Jeg for min del er fortsatt skeptisk når det gjelder kabeltester, men for testing av ulike signalkilder, forsterkere eller høyttalere ser jeg vel liten grunn til at man ikke kan benytte slikt utstyr. Bruker man slikt utstyr, så synes jeg imidlertid at man skal forhåndsvurdere ved lytting om det kan introduseres en forskjell ved å benytte slikt utstyr. Og for all del: Her er det enda viktigere å kjøre AB-fase, slik at man gjør seg kjent med lydsignaturen inkludert testutstyret.
 
R

Roysen

Gjest
Fush skrev:
Roysen skrev:
Jeg må nesten spørre - dersom vi tillegger den siste testen som korrekt (på bekostning av blindtestens svakhet som tydelig ble beskrevet av Topline), ser du ingen relevans i at han da bortsett i fra et tilfelle konsekvent byttet om på A og C?
Tror ikke at alle vil være enig i at feilvalget i siste forsøk bør tilskrives "blindtestens svakhet". Det kan like gjerne brukes som et eksempel på hvor usikker Topline faktisk var. Hadde han ikke vært i tvil hadde han jo selvsagt valgt riktig. Det kan tyde på at svaret var basert minst like mye på gjetting som på vurderingen av lytteinntrykket.
Dette har du vel temmelig liten forutsetning for å uttale deg om. Han har hevdet i det som faktisk står skrevet at han opprinnelig hadde valgt B, men at han ombestemte seg fordi han ikke trodde jeg kunne ha byttet B inn i oppsett så mange ganger. Hadde dette ikke vært en blindtest situasjon ville han vel ikke hatt noen grunn til å ombestemme seg og dermed stått ved sitt valg som var korrekt. Dersom dette ikke kan tilskrives blindtestens svakhet vet ikke jeg. Det kommer helt tydelig frem at det er situasjonen som gjør at han ombestemmer seg.

Mvh
Roysen
 

roffe

Hi-Fi freak
Ble medlem
12.01.2005
Innlegg
3.677
Antall liker
6
Roysen skrev:
Roffe,

Jeg må nesten spørre - dersom vi tillegger den siste testen som korrekt (på bekostning av blindtestens svakhet som tydelig ble beskrevet av Topline), ser du ingen relevans i at han da bortsett i fra et tilfelle konsekvent byttet om på A og C?

Mvh
Roysen
Nei. Hovedgrunnen er rett og slett for få testsamples.
Eksempel: kabel A ble lyttet til to ganger, den ble de to gangene identifisert som henholdsvis B og C, altså 100% feil, og ingen indikasjon på konsekvens med denne kabelen i anlegget.
Det er viktig å huske at testresultatet er testresultatet, og det er helt greie statistiske prinsipper som skal legges til grunn for å avgjøre om testen er gir et positivt resultat. Å spekulere om "hva hvis" i etterkant er litt fånyttes, da får man ta svakhetene ved testgjennomføringen til etterretning og gjennomføre ny test der man eliminerer usikkerhetsfaktorene (se over for mine forslag til dette).

Jeg synes testen er nyttig fordi den belyser hvordan man i absolutt i god tro kan gjennomføre noe som har såpass stor usikkerhet at man med fri synsing uten å skjele til statistisk analyse kan tolke den begge veier. Legger man synsingen til side og benytter anerkjent, statistisk analyse, så er det imidlertid ingen tvil om at dette resultatet er temmelig nær det tilfeldige utfallet, og ikke sier noe om det er hørbare forskjeller på disse kablene.

Jeg overlater til de over gjennomsnittet statistikkyndige å fortelle hvor mange som burde være rett for å si noe om hva som hadde vært å betrakte som et positivt resultat med denne testen.
 
R

Roysen

Gjest
roffe skrev:
Roysen skrev:
Roffe,

Jeg må nesten spørre - dersom vi tillegger den siste testen som korrekt (på bekostning av blindtestens svakhet som tydelig ble beskrevet av Topline), ser du ingen relevans i at han da bortsett i fra et tilfelle konsekvent byttet om på A og C?

Mvh
Roysen
Nei. Hovedgrunnen er rett og slett for få testsamples.
Eksempel: kabel A ble lyttet til to ganger, den ble de to gangene identifisert som henholdsvis B og C, altså 100% feil, og ingen indikasjon på konsekvens med denne kabelen i anlegget.
Det er viktig å huske at testresultatet er testresultatet, og det er helt greie statistiske prinsipper som skal legges til grunn for å avgjøre om testen er gir et positivt resultat. Å spekulere om "hva hvis" i etterkant er litt fånyttes.
Jeg synes testen er nyttig fordi den belyser hvordan man i absolutt i god tro kan gjennomføre noe som har såpass stor usikkerhet at man uten å skjele til statistisk analyse kan tolke den begge veier. Legger man synsingen til side og benytter anerkjent, statistisk analyse, så er det imidlertid ingen tvil om at dette resultatet er temmelig nær det tilfeldige utfallet, og ikke sier noe om det er hørbare forskjeller på disse kablene.
OK, jeg skjønner poenget ditt dersom foremålet med testen skal være å forsøke og identifisere hvilen kabel som spiller. Det var jo forsåvidt testen foremål. Dersom man snur på dette og sier at testens foremål var å finne ut om man kunne høre forskjell på kabler vil jeg vel hevde at en slik konsekvent ombytting har relevans. Antallet testsamples er for lav til å gi noe konsist svar. Det er jeg enig i, men at denne nærmest konsekvente ombytting må bety noe er for meg innlysende.

Mvh
Roysen
 

Fush

Hi-Fi freak
Ble medlem
20.01.2006
Innlegg
1.868
Antall liker
1
Roysen skrev:
Dette har du vel temmelig liten forutsetning for å uttale deg om. Han har hevdet i det som faktisk står skrevet at han opprinnelig hadde valgt B, men at han ombestemte seg fordi han ikke trodde jeg kunne ha byttet B inn i oppsett så mange ganger. Hadde dette ikke vært en blindtest situasjon ville han vel ikke hatt noen grunn til å ombestemme seg og dermed stått ved sitt valg som var korrekt. Dersom dette ikke kan tilskrives blindtestens svakhet vet ikke jeg. Det kommer helt tydelig frem at det er situasjonen som gjør at han ombestemmer seg.
Jeg hører hva du sier, men som sagt: Hadde han ikke vært usikker hadde han aldri valgt noe annet enn B, uansett hvor mange ganger han hadde valgt det før.
 
R

Roysen

Gjest
Fush skrev:
Roysen skrev:
Dette har du vel temmelig liten forutsetning for å uttale deg om. Han har hevdet i det som faktisk står skrevet at han opprinnelig hadde valgt B, men at han ombestemte seg fordi han ikke trodde jeg kunne ha byttet B inn i oppsett så mange ganger. Hadde dette ikke vært en blindtest situasjon ville han vel ikke hatt noen grunn til å ombestemme seg og dermed stått ved sitt valg som var korrekt. Dersom dette ikke kan tilskrives blindtestens svakhet vet ikke jeg. Det kommer helt tydelig frem at det er situasjonen som gjør at han ombestemmer seg.
Jeg hører hva du sier, men som sagt: Hadde han ikke vært usikker hadde han aldri valgt noe annet enn B, uansett hvor mange ganger han hadde valgt det før.
Vær så vennlig og ikke være så bastant på det utsagnet. Det har du ingen forutseting for å si noe om. Topline har tvert i mot sagt akkurat det motsatte. Hvor sikker eller usikker han var spiller i og for seg svært liten rolle. Poenget er at han hadde valgt noe annet dersom det ikke var en blindtest i følge ham selv.

Mvh
Roysen
 

roffe

Hi-Fi freak
Ble medlem
12.01.2005
Innlegg
3.677
Antall liker
6
Roysen: Selv om jeg legger ALL velvilje til, så vil jeg si dette:

Dersom vi betrakter kablene A og C samlet (utgjør 4 oppkoblinger i anlegget), så er de konsekvent byttet i 75% av tilfellene. Dette er 1 unna det tilfeldige utfallet på 50%, og utgjør en helt naturlig usikkerhet i forhold til det tilfeldige utfallet. Dette er dessverre et utslag av for mange kabelalternativer og for få samples.

Dersom vi betrakter B, OG antar at siste sample hadde vært tippet til B (!), så er det likevel slik at av alle ganger B var tippet, så var det 75% av gangene korrekt (igjen 3 av 4), altså kun 1 unna det tilfeldige utfallet på 50%.

Ser man alt under ett og antar at siste sample ble tippet til B, så er det likevel bare 3 av 7, eller 42%, noe som bare er en sample mer enn 2 rette (28%). Dette med at hver sample utgjør drøyt 14% viser med all tydelighet hvor store utslag små tilfeldigheter vil få.

Bruk 2 kabler og gjennomfør 10 samples, så kan vi se på saken igjen. 3 kabler, 7 samples for X og bare en lytter er dessverre alt for lite.
 

Fush

Hi-Fi freak
Ble medlem
20.01.2006
Innlegg
1.868
Antall liker
1
Roysen skrev:
Poenget er at han hadde valgt noe annet dersom det ikke var en blindtest i følge ham selv.
Joda, det er vi ikke uenige om. Det interessante er allikevel årsaken. Kan det faktum at han ikke visste hvilken kabel det var ha gjort ham usikker, noe som igjen la grunnlag for et bytte? Eller skal man tilskrive det i sin helhet til det vage begrepet "blindtestens svakhet"?
 
R

Roysen

Gjest
roffe skrev:
Roysen: Selv om jeg legger ALL velvilje til, så vil jeg si dette:

Dersom vi betrakter kablene A og C samlet (utgjør 4 oppkoblinger i anlegget), så er de konsekvent byttet i 75% av tilfellene. Dette er 1 unna det tilfeldige utfallet på 50%, og utgjør en helt naturlig usikkerhet i forhold til det tilfeldige utfallet. Dette er dessverre et utslag av for mange kabelalternativer og for få samples.

Dersom vi betrakter B, OG antar at siste sample hadde vært tippet til B (!), så er det likevel slik at av alle ganger B var tippet, så var det 75% av gangene korrekt (igjen 3 av 4), altså kun 1 unna det tilfeldige utfallet på 50%.

Ser man alt under ett og antar at siste sample ble tippet til B, så er det likevel bare 3 av 7, eller 42%, noe som bare er en sample mer enn 2 rette (28%). Dette med at hver sample utgjør drøyt 14% viser med all tydelighet hvor store utslag små tilfeldigheter vil få.

Bruk 2 kabler og gjennomfør 10 samples, så kan vi se på saken igjen. 3 kabler, 7 samples for X og bare en lytter er dessverre alt for lite.
Alt dette er helt greit, men det var egentlig ikke det jeg spurte om. La meg snu litt på spørsmålsstillingen. Dersom vi hadde testet 10 ganger med to kabler og alle resultatene var konsekvent byttet om. Hva sier det? Ville teoretikerne kun sett på dette som et nullresultat fordi han ikke klarte å identifisere korrekt kabel eller ville det vært relevant at han da opplagt hadde hørt noe fordi det var et mønster i resultatene?

Dersom man skal benytte blindtester som en indikasjon på at det ikke er forskjell på kabler, må man vel være i stand til å se litt større på det enn at man ikke klart å identifisere den spesifikke kabelen? Dersom så ikke er tilfelle finner jeg dette som en særdeles stor svakhet ved blindtester.

Mvh
Roysen
 

Fush

Hi-Fi freak
Ble medlem
20.01.2006
Innlegg
1.868
Antall liker
1
Roysen skrev:
Dersom vi hadde testet 10 ganger med to kabler og alle resultatene var konsekvent byttet om. Hva sier det? Ville teoretikerne kun sett på dette som et nullresultat fordi han ikke klarte å identifisere korrekt kabel eller ville det vært relevant at han da opplagt hadde hørt noe fordi det var et mønster i resultatene?
Det hadde helt klart vært interessant!
 

Soundproof

Hi-Fi freak
Ble medlem
04.07.2007
Innlegg
1.639
Antall liker
0
Noen kommentarer.
Først gratulerer med opplevelsen. Godt gjort. Og flott at dere kunngjør resultatet.

Er litt usikker på selve testgjennomføringen. Jeg tror dere gjorde det vanskelige for dere selv ved å bruke tre kabler, med to ville dere rukket flere test-sekvenser, og dermed økt den statistiske signifikansen til sluttresultatet.

Og så er jeg usikker på hva dere mener med AB-fasen ("få den unnagjort") og så gå rett på X-fasen.

Dere gjennomførte en ABCX test. Om det er ABX, så skal en korrekt test bestå av at man lytter til en kabel, så til en annen kabel, og så til en av dem i fase X, som skal identifiseres som A eller B. Dette skal skje hurtig. Er usikker på om dere først har lyttet til og gjort dere kjent med ABC, for så å sette dere ned og lytte til en kabelsekvens der dere skulle si om det var A, B eller C dere lyttet til.

Ellers er et resultat et resultat. At man feilidentifiserer er en feil - interessant at man har byttet om på to kabler, men så lenge man ikke har flere test-sekvenser så ligger dette i feilmarginen.

Her er en "riktig" gjennomført kabeltest, av denne uformelle typen:

http://www.hometheaterhifi.com/volume_11_4/feature-article-blind-test-power-cords-12-2004.html

Og her er diskusjonen før og etter testen:

http://hometheaterhifi.com/forum/showthread.php?s=38ae3265a4b614cb976aaf0887e17dbb&t=1448
 
R

Roysen

Gjest
roffe skrev:
Dersom vi betrakter kablene A og C samlet (utgjør 4 oppkoblinger i anlegget), så er de konsekvent byttet i 75% av tilfellene. Dette er 1 unna det tilfeldige utfallet på 50%, og utgjør en helt naturlig usikkerhet i forhold til det tilfeldige utfallet. Dette er dessverre et utslag av for mange kabelalternativer og for få samples.
At det er for få samples er jeg helt enig i, men at det veier tyngre at han da var 1 unna det tilfeldig utfallet 50% enn at han var 1 unna det fullstendig konsekvente 100% skjønner jeg ikke.

roffe skrev:
Dersom vi betrakter B, OG antar at siste sample hadde vært tippet til B (!), så er det likevel slik at av alle ganger B var tippet, så var det 75% av gangene korrekt (igjen 3 av 4), altså kun 1 unna det tilfeldige utfallet på 50%.
Dette er korrekt, det er også korrekt at da hadde han faktisk identifisert B 100% av tilfellene B var koblet inn i anlegget.

roffe skrev:
Ser man alt under ett og antar at siste sample ble tippet til B, så er det likevel bare 3 av 7, eller 42%, noe som bare er en sample mer enn 2 rette (28%). Dette med at hver sample utgjør drøyt 14% viser med all tydelighet hvor store utslag små tilfeldigheter vil få.
Dette mener jeg i så fall er en helt åpenbar feiltolkning dersom man skal benytte blindtester som en sannsynliggjøring for at det ikke finnes ulikheter. Om man ikke kan identifisere en eller to spesifikke kabler har det ingenting med om man på generellt grunnlag kan si at det ikke ulikheter på kabler. At man i 75% prosent av tilfellene har byttet om på to kabler sier noe om at man faktisk har hørt noe om forskjeller men at man ikke har klart å identifisere hvor disse forskjellene hører hjemme.

La oss anta at det ble foretatt 100 gjennomlyttinger av tre kabler. Dersom et testobjekt hadde identifisert den ene kabelen ved 100% av tilfellene hvor den var koblet inn mens de to andre kablene var byttet om ved 75% av tilfellene de var koblet inn, ville ikke det da tilsi at vedkommede hadde hørt forskjeller men ikke klart å identifisere hvor forskjellene hører hjemme? Vil ikke det i så fall være en indikasjon på at det er ulikheter på kabler?

Mvh
Roysen
 
R

Roysen

Gjest
Soundproof skrev:
Noen kommentarer.
Først gratulerer med opplevelsen. Godt gjort. Og flott at dere kunngjør resultatet.

Er litt usikker på selve testgjennomføringen. Jeg tror dere gjorde det vanskelige for dere selv ved å bruke tre kabler, med to ville dere rukket flere test-sekvenser, og dermed økt den statistiske signifikansen til sluttresultatet.

Og så er jeg usikker på hva dere mener med AB-fasen ("få den unnagjort") og så gå rett på X-fasen.

Dere gjennomførte en ABCX test. Om det er ABX, så skal en korrekt test bestå av at man lytter til en kabel, så til en annen kabel, og så til en av dem i fase X, som skal identifiseres som A eller B. Dette skal skje hurtig. Er usikker på om dere først har lyttet til og gjort dere kjent med ABC, for så å sette dere ned og lytte til en kabelsekvens der dere skulle si om det var A, B eller C dere lyttet til.

Ellers er et resultat et resultat. At man feilidentifiserer er en feil - interessant at man har byttet om på to kabler, men så lenge man ikke har flere test-sekvenser så ligger dette i feilmarginen.

Her er en "riktig" gjennomført kabeltest, av denne uformelle typen:

http://www.hometheaterhifi.com/volume_11_4/feature-article-blind-test-power-cords-12-2004.html

Og her er diskusjonen før og etter testen:

http://hometheaterhifi.com/forum/showthread.php?s=38ae3265a4b614cb976aaf0887e17dbb&t=1448
Testen ble foretatt hjemme hos Topline i hans eget oppsett med tre signalkabler han kjente fra før. Jeg var bare til stede for å hjelpe ham i gjennomføringen. Topline mente ABC fasen ikke var nødvendig fordi han kjente kablene og vi gikk derfor rett på X fasen.

Dersom det er slik at et feil resultat kun skal tolkes som et feil resultat mener jeg at blindtester er helt ubrukelige for å kunne si på generellt grunnlag om det er ulikheter på kabler eller ikke. Det man har identifisert da er kun om det var mulig å identifisere de spesifikke kablene som var med i testen. Det kan finnes mønster i resultatene som tilsier at det ble oppfattet ulikheter men at man ikke klarer å plassere hvor disse hører hjemme. La oss si at man ikke husker så godt hvordan det hørtes ut fra AB delen og så plasserer man X konsekvent feil selv om man hører forskjell.

Mvh
Roysen
 

Soundproof

Hi-Fi freak
Ble medlem
04.07.2007
Innlegg
1.639
Antall liker
0
Poenget, Roysen, er at med de lave antall sekvenser dere hadde, så er det ikke grunnlag for å si noe sikkert om resultatet. For å kunne si noe sikkert om forbyttingen, burde dere forbyttet enda flere ganger. Det er faktisk mulig å kaste kron ganske mange ganger is trekk, før mynt-siden viser seg. Og det er dette som antallet repetisjoner søker å eliminere.
 
R

Roysen

Gjest
Soundproof skrev:
Poenget, Roysen, er at med de lave antall sekvenser dere hadde, så er det ikke grunnlag for å si noe sikkert om resultatet. For å kunne si noe sikkert om forbyttingen, burde dere forbyttet enda flere ganger. Det er faktisk mulig å kaste kron ganske mange ganger is trekk, før mynt-siden viser seg. Og det er dette som antallet repetisjoner søker å eliminere.
Det er jeg enig i.

Mvh
Roysen
 

roffe

Hi-Fi freak
Ble medlem
12.01.2005
Innlegg
3.677
Antall liker
6
Roysen skrev:
Alt dette er helt greit, men det var egentlig ikke det jeg spurte om. La meg snu litt på spørsmålsstillingen. Dersom vi hadde testet 10 ganger med to kabler og alle resultatene var konsekvent byttet om. Hva sier det? Ville teoretikerne kun sett på dette som et nullresultat fordi han ikke klarte å identifisere korrekt kabel eller ville det vært relevant at han da opplagt hadde hørt noe fordi det var et mønster i resultatene?

Dersom man skal benytte blindtester som en indikasjon på at det ikke er forskjell på kabler, må man vel være i stand til å se litt større på det enn at man ikke klart å identifisere den spesifikke kabelen? Dersom så ikke er tilfelle finner jeg dette som en særdeles stor svakhet ved blindtester.
Jeg vil si at det ville være interessant, ja. Men hvis man gjennomfører skikkelig, så skal man jo ha en AB-fase før X-fasen for en ABX-test (som er en type dobbel blindtest), og der skal man gjøre seg kjent med lydsignaturen til de to kablene. Gjør man det, og deretter gjennomfører 10 samples der man konsekvent byttet om, så er det en indikasjon på at man hører forskjell på kabler, men det er etter min mening likevel et dårligere resultat enn ved riktig identifisering etter en har gjort seg kjent med testkandidatene i AB-fasen. Bytter man om 100% konsekvent over 10 samples, så er vel det uansett en god indikasjon på forskjeller, men likevel er dette inkonsekvent i forhold til AB-fasen.

Et par andre tilfeller:
Hvis personen konsekvent hadde byttet om i 80% (8 av 10) av tilfellene, så hadde jeg nok syntes det hadde vært et usikkert resultat, gitt en innledende AB-fase, siden X-fasen ikke samsvarte med dette.
Hvis personen hadde svart riktig i 80% av tilfellene mener jeg det er en sterkere indikasjon på at det er hørbare forskjeller, siden X-fasen da er i tråd med AB-fasen.
 

roffe

Hi-Fi freak
Ble medlem
12.01.2005
Innlegg
3.677
Antall liker
6
Roysen skrev:
At det er for få samples er jeg helt enig i, men at det veier tyngre at han da var 1 unna det tilfeldig utfallet 50% enn at han var 1 unna det fullstendig konsekvente 100% skjønner jeg ikke.
En ABX-test krever et resultat med en viss statistisk signifikans for å bekrefte hypotesen man tester, nemlig at det er hørbare, identifiserbare forskjeller mellom A og B i et gitt oppsett.

Dette kommer av at vi må sammenligne med et tilfeldig sett av svar. Det er ikke slik at alt annet enn det gjennomsnittlige resultatet er tilfeldig. Et avvik på 1 sample fra det fullstendig tilfeldige (50%) er rett og slett for lite til å si noe statistisk om dette.
For å være litt djevelens advokat: Hvis du mener at det å bytte om konsekvent (0% riktig) er et godt resultat, alt riktig (100%) er et godt resultat, og 1 sample unna disse også er et godt resultat, så vil det si at du betrakter 0%, 25%, 75% og 100% som et positivt resultat for hypotesen om at man hører forskjell. Da er det bare eksakt 50%-resultatet som du betrakter som tilfeldig? Poenget mitt er at med 4 samples kan 75%-resultatet like gjerne kan være tilfeldig som ikke tilfeldig. Det er dermed ikke noen bekreftelse på hypotesen om hørbare forskjeller. Men det er heller ikke noe bevis på det motsatte (at A og B ikke kan gi hørbare forskjeller).

Roysen skrev:
roffe skrev:
Dersom vi betrakter B, OG antar at siste sample hadde vært tippet til B (!), så er det likevel slik at av alle ganger B var tippet, så var det 75% av gangene korrekt (igjen 3 av 4), altså kun 1 unna det tilfeldige utfallet på 50%.
Dette er korrekt, det er også korrekt at da hadde han faktisk identifisert B 100% av tilfellene B var koblet inn i anlegget.
Hvis man hadde 10 forsøk, 5 med A og 5 med B innkoblet, og så svarer man B i alle tilfellene, har man da en god identifisering av B? Nei, det har man ikke. Skal man se på i hvilken grad man skiller en kabel fra en annen, så må man BÅDE se på antallet ganger man identifiserte den korrekt, alle ganger man identifiserte den feil, og alle ganger man identifiserte en annen kabel som denne.
Men det må understrekes at dette er helt på siden av ABX-tester. Man kan ikke skrelle vekk samples, siden det vil gi prosentandeler som er tatt ut av sin sammenheng.

Jeg må i denne sammenhengen understreke at det kompliserte tolkningen av testresultatene unødig å bruke tre kabler, spesielt siden var så få samples.

Roysen skrev:
roffe skrev:
Ser man alt under ett og antar at siste sample ble tippet til B, så er det likevel bare 3 av 7, eller 42%, noe som bare er en sample mer enn 2 rette (28%). Dette med at hver sample utgjør drøyt 14% viser med all tydelighet hvor store utslag små tilfeldigheter vil få.
Dette mener jeg i så fall er en helt åpenbar feiltolkning dersom man skal benytte blindtester som en sannsynliggjøring for at det ikke finnes ulikheter. Om man ikke kan identifisere en eller to spesifikke kabler har det ingenting med om man på generellt grunnlag kan si at det ikke ulikheter på kabler. At man i 75% prosent av tilfellene har byttet om på to kabler sier noe om at man faktisk har hørt noe om forskjeller men at man ikke har klart å identifisere hvor disse forskjellene hører hjemme.

La oss anta at det ble foretatt 100 gjennomlyttinger av tre kabler. Dersom et testobjekt hadde identifisert den ene kabelen ved 100% av tilfellene hvor den var koblet inn mens de to andre kablene var byttet om ved 75% av tilfellene de var koblet inn, ville ikke det da tilsi at vedkommede hadde hørt forskjeller men ikke klart å identifisere hvor forskjellene hører hjemme? Vil ikke det i så fall være en indikasjon på at det er ulikheter på kabler?
Men det var ikke 100 gjennomlyttinger av kabler denne gangen. I ditt hypotetiske tilfelle ville jeg sagt at man klarte å identifisere den ene kabelen (B) fra de to andre (A og C), mens man ikke ut fra dette kan si at det var hørbar forskjell på A og C.

Det høres jo unektelig imponerende ut at man klarer 75%. Det er ikke like imponerende når man sier 3 av 4 ganger.
 

topline

Hi-Fi freak
Ble medlem
30.11.2005
Innlegg
2.103
Antall liker
0
Ser at dette engasjerer og det syns jeg er hyggelig. :)

Kan vel si meg enig i det meste av kommentarer som har kommet her. Ser helt klart svakhetene ved testen, men den ble nå som den ble....syns selv at resultatet var "interessant" for å si det på den måten.

Jeg kan jo også utdype testen noe mer.
Alle kablene er innom anlegget mitt med ujevne mellomrom. Kabel C ble brukt siste døgnet før testen, kabel B er det noe lenger tid siden var i bruk, mens kabel A er hyppig benyttet.

Når det gjelder dette med hvor sikker/usikker jeg var kanskje spes på siste forsøk, så vil jeg vel si at det er grenser for hvor sikker man kan føle seg under en blindtest på kabler. ;)
Altså - det skal ifølge fysikkens lover ikke være mulig å høre forskjell på dem, om det stemmer vet/visste jeg ikke, aldri gjort dette før. Men holder selvsagt døra åpen for at det faktisk er tilfelle. Så 100% sikkerhet vil jeg vel ikke påberope meg underveis. Man kan like gjerne innbille seg ting under en blindtest som under vanlige omstendigheter.

Men - mer konkret.
Første forsøk var jeg usikker på helt til jeg hørte kabel nr 2. Da følte jeg meg sikker på at den ikke var A, eller C. Jeg følte meg rimelig trygg på A-C valgene (noe jeg tydeligvis ikke hadde grunn til hehe..) Og når kabel B var koblet opp mente jeg at den skilte seg fra A-C.

Så var det forsøk 3 som ble mageplask, den husker jeg ikke konkret hva jeg vurderte. Men det var en følelse av at ting begynte å gå på skinner etter de to første forsøkene......stusser litt på den der..

Sånn i etterkant så ser jeg enkelte ting som jeg nå ville gjort annerledes. Blant annet bruk av annen musikk, og bare bruke en låt under testen. Jeg hadde 5 spor tilgjengelig på laptopen som jeg svitsjet mellom med museklikk, tror ikke det var helt ideelt. Da man kan bli lyttende til ulike ting underveis, noe som kan forvirre mer enn klarlegge.
I stedet tror jeg det er lurt å bruke en låt der man fokuserer på de områdene der man mener at det er forskjeller, framfor å lytte til " hele" lydbilde på flere spor. Men igjen er det bare antagelser etter å ha prøvd en komprimert blindtest til privat bruk.

:)
 

roffe

Hi-Fi freak
Ble medlem
12.01.2005
Innlegg
3.677
Antall liker
6
Flott innlegg, topline. En av grunnene til at man faktisk bør gjennomføre en AB-fase er i tillegg til å gjøre seg kjent med kandidatene at man også kan snevre inn utvalget av musikk til de kuttene der man mener at forskjellen er størst. Jeg antar jo også at du etter å ha sett resultatene må innrømme at en AB-fase er kjekt, selv om man mener å kjenne produktene fra før.
 

Vegardaase

Hi-Fi freak
Ble medlem
08.07.2005
Innlegg
1.963
Antall liker
2
Bra tiltak med blindtesten, men som allerede nevnt er det jo alt for få tester til å si noe som helst statistisk utifra dataene. Derer burde allikevel opprettet en egen tråd fordi denne så ut til å bli en kort og oppklarende tråd angående blindtesting.

Roysen:
Du har selvfølgelig rett angående at man kan påvise en forskjell selv om det konsekvent er byttet om på A og B. Men er jo allikevel litt "synd" om man tror Biltema er Nordost... ;)
 

roffe

Hi-Fi freak
Ble medlem
12.01.2005
Innlegg
3.677
Antall liker
6
Greven skrev:
Roysen:
Du har selvfølgelig rett angående at man kan påvise en forskjell selv om det konsekvent er byttet om på A og B. Men er jo allikevel litt synd om man tror Biltema er Nordost...
Det ville vel i så fall ikke vært negativt? Altså at man får lyden man forventer fra Nordost til Biltema-pris frigjør jo en hel del penger til andre forbedringer. ;)
 

topline

Hi-Fi freak
Ble medlem
30.11.2005
Innlegg
2.103
Antall liker
0
roffe skrev:
Greven skrev:
Roysen:
Du har selvfølgelig rett angående at man kan påvise en forskjell selv om det konsekvent er byttet om på A og B. Men er jo allikevel litt synd om man tror Biltema er Nordost...
Det ville vel i så fall ikke vært negativt? Altså at man får lyden man forventer fra Nordost til Biltema-pris frigjør jo en hel del penger til andre forbedringer. ;)
Nå tviler jeg på om blindtester er egnet til å finne ut hva som er bra eller dårlig når det gjelder lyd. Husker ikke hvem her på forumet som kjørte blindtest på cdspilleren sin vs dvdspilleren. Under blindtesten var det tilsynelatende ingen forskjell på dem, så cdspilleren ble pakket bort.
Bare for å bli pakket opp igjen etter en uke.....det viste seg å være en forskjell likevel.

Samme når det gjelder kabler.
Om en kabel har en glatt og finpolert gjengivelse så kan den låte "dårligere" i en blindtest, med et tammere lydbilde når den sammenlignes på samme volum med en dårligere kabel med større forvrengning. "biltema" kabelen kan gi et råere lydbilde som man fortrekker der og da, men som man ikke trives med i lengden.

Dette er hvertfall slik jeg opplever noe av det som jeg har vært gjennom av kabeltesting siste tiden. Blindtester bør slik jeg ser det kombineres med vanlig lytting, og så får man konkludere ut fra summen av disse to settingene.
 
R

Roysen

Gjest
For å snu litt på flisa her oppfordrer jeg noen fra målemafiaen til å foreta en blindtest mellom CD-spillere, forsterkere eller høytalere. Disse skulle det da være relativt lett å identifisere eller hva? Her blir dere også satt under press for å prestere noe dersom dere fortsatt skal hevde at blindtester er egnet.

Nivå bør i så fall være likt for begge testobjekter. For høytalere bør de ha omtrent samme frekvensrespons og for forsterkere bør de omtrent samme effekt.

Hva med deg Knutinh?

Mvh
Roysen
 

roffe

Hi-Fi freak
Ble medlem
12.01.2005
Innlegg
3.677
Antall liker
6
Roysen skrev:
For å snu litt på flisa her oppfordrer jeg noen fra målemafiaen til å foreta en blindtest mellom CD-spillere, forsterkere eller høytalere. Disse skulle det da være relativt lett å identifisere eller hva? Her blir dere også satt under press for å prestere noe dersom dere fortsatt skal hevde at blindtester er egnet.
For det første: Jeg motsetter meg betegnelsen målemafiaen. Ja, det hender jeg måler, men det er temmelig sjelden, gjerne kun når jeg hører at noe er galt i oppsettet, og jeg forsøker å finne ut hva som er galt. Som oftest er det jeg måler avstanden mellom høyttaleren og veggen bak, samt avstanden til lytteposisjon. ;)

Vel, det er faktisk slik at også komponenttypene som nevnes over kan låte ganske likt også. F.eks. kan to CD-spillere av ulik fabrikat benytte seg av samme DAC og utgangsbuffer. Samme gjelder forsterkere og høyttalere: Det er ikke alltid det er hørbare forskjeller her heller, men oftere enn mellom ulike kabler.

Men på generelt grunnlag vil jeg si at det som regel er:
* Ganske enkelt å høre forskjell på høyttalere som er konstruert forskjellig.
* Ikke fullt så enkelt å høre forskjell på forsterkere som er konstruert forskjellig.
* Enda vanskeligere å høre forskjell på CD-spillere som er konstruert forskjellig (utelukker her enkelte CD-spillere med rør i utgangsbufferen, her er man oppe på forsterkernivå).

Det er som du sier en del utfordringer med det ovenstående også, først og fremst med nivåmatching.

Jeg tror en av tingene man må frigjøre seg litt fra er at det er tanken om at man har noe å bevise. Jeg mener at det er helt legitimt å ikke høre forskjell i en blindtest. Jeg har flere ganger bemerket dette når jeg skriver om lytteerfaringer, at "jo, jeg mener å høre en forskjell sånn og sånn, men den er så subtil at jeg tviler på at jeg ville kunne avsløre den i en blindtest". Og det vil jeg gjerne si: Når man hevder at en forskjell er STOR, da bør den kunne gjenkjennes i en blindtest. Er den liten, så er det etter min mening helt greit å ikke gjenkjenne den i en blindtest, men da skal forskjellen ikke hevdes å være stor heller...
 
Topp Bunn