Fioliner og blindtesting

[Parelius]

Er det et tankekors at de som sverger til korte lydkutt ved testing, - også tilsynelatende er de som hevder at det ikke er nevneverdig forskjell på kabler, cdspillere, dac'er...

Mens de som mener at det er forskjeller er de som vurderer lyd ut fra lengre tids lytting?

Hvorfor skulle det være et tankekors? Det fins da ingenting som belegger den sammenhengen du her ymter om (såvidt jeg vet om). Kjenner du til slikt belegg?

 

[TAS]

Helheten er vel og bra. De momentene til vurdering/analyse du trekker fram har i stor grad med den musikalske biten å gjøre, de er ikke alltid relevant mht å vurdere/analysere lyd. Som nevnt mener jeg assosieringen av lyd til verbale beskrivelser ofte forkludrer sammenlikning av lyd. Jeg sier ikke at jeg hører bedre med korte lytinger, men jeg blir mer treffsikker mht. sammenlikning/identifisering av små/marginale forskjeller i lyd (A vs B). La meg for eksempel ta en forskjell i omkring 0,5 dB forskjell i EQ mellom to ellers like musikkspor; dersom jeg hører A den ene uken og B den neste uken, så vil jeg ikke være i stand til å si at de er forskjellige den tredje uken; dersom jeg derimot tar de «side om side» i en rask AB-veksling så har jeg i det minste en sjanse til å høre forskjell. Vurderingen av denne EQen ift musikalsk utbytte og nytelse er en annen skål - det er foresten ingen feiltolking, det er praktisk erfaring. Dilsvarende ift bit-reduksjon, forvregning, klang, kompresjon/ekspansjon etc. Prøv selv som det heter - det er enkelt og koster ikke annet enn tid, kanskje du til og med får et utbytte av det på ett eller annet vis.
EDIT det har foresten ikke vært min mening å gi en fyllestgjørende argumentasjon av «kjappe lyttetester», et er nok av anbefalinger og underlagsmateriale på at det ser ut til å funke, bla. Floyd Toole.

Dilemmaet med slike uttalleser er at det er klin umulig å vite om oppmerksomheten/bevistheten rundt slike «skjulte detaljer» framkalles av bedre utstyr, eller bare er et resulatet av variasjoner i «lyttefokus». Dersom ovennevnte skal tas som 100% «god fisk» og bokstavelig, så kan man lese seg fram til «god lyd» - det er kun et spørsmål om å etablere en oppmerksomhet/bevisthet på at det er slik på opptaket. Alternativ så kan man ta med seg sine favorittplater, søke om audiens til det innerste og helligste hos den lokale HiFi-pusheren, oppdage alle hittil uhørte detlajer på favorittplatene, og dra hjem med fornyet nyelse av sin egen blikkbokslofi ... det fungerer ikke alltid slik.

Floyd Tool og The Audio Critic er så vidt i livet, regnes mer som en kuriositet enn magnifikk. Richard Hardesty og Audio Perfectionist gjekk ut på dato allerede i 2002. Både Floyd og Hardesty er amatører i forhold til Nelson Pass og Bob Stuart som for øvrig kan vise til forskning, patenter, produkter og verdens anerkjennelse innen for Audio. Anbefaler deg å lese opp på Nelson og Stuart, da får du sannhetskunnskap my friend! Vedrørende hørsel minnet, raske AB svitsjer blir helt meningsløst på kabler og DA-konvertere, men ja..AB er generelt grei metode for å sammenligne produkter og enkelte parameter. Sånn generelt …styr unna ABX og bruk mer tid og begrens fokus på blind test så går det fint.

Raske AB(X) tester er ikke kjepphester fra min side, men metoder som fungerer til å påvise faktiske lydlige forskjeller. «Problemet» er når tradisjonelle AB(X)metoder ikke klarer å påvise lydlige forskjeller, og det likevel hevdes at de lydlige forskjellene eksisterer - hvordan skal «vi» da gå fram for å påvise dem med en rimelig grad av sikkerhet?

mvh
KJ

Vi vet i dag at kjappe AB(X) ikke er velegnet som metode innenfor kabel test og DA konvertere(Til det er forskjellene for små, krever tid, erfaring og kunnskap). Løsningen er å bruke langsiktig testing. *Mange blander snør med barter, AB(X), ypperlig til å teste medisiner eller smaks forskjeller på Coke og Pepsi, men ikke like bra på Audio!

Mvh,
tas

 

[vredensgnag]

Er det et tankekors at de som sverger til korte lydkutt ved testing, - også tilsynelatende er de som hevder at det ikke er nevneverdig forskjell på kabler, cdspillere, dac'er...

Mens de som mener at det er forskjeller er de som vurderer lyd ut fra lengre tids lytting?

Hvorfor skulle det være et tankekors? Det fins da ingenting som belegger den sammenhengen du her ymter om (såvidt jeg vet om). Kjenner du til slikt belegg?

Nei, det er ikke et tankekors. Det er en feilslutning.

Det er gjennomført mengder av tester der folk har kunnet beslutte lengden på lyttingen selv; det er også gjort tester med lange lytteintervaller; og tester med korte.

I noen tester har man hatt standardisert lyttelengde; i andre har den vært variabel. I en berømt test av forsterkere kunne man lytte så lenge man ville til hver enkelt forsterker i testutvalget, før man bestemte seg for hvilke to man skulle lytte til i blindtest. Deretter kunne man lytte så lenge man ville til disse to, for å bli kjent med lydsignaturen, før man startet blindtest-seansen. Og i denne bestemte man selv hvor lenge man lyttet til hver i ABX, som man selv styrte vha av en ABX-sjalter.

Det som er en gjennomgangserfaring, når det gjelder lyttelengde, er faktisk at i de tilfeller hvor man har hørt statistisk signifikant forskjell, så har lytteintervallene vært av det korte slaget. Ulempen med lange lytteintervaller er at man ikke klarer å skjelne, pga at man så hurtig tilvenner seg lydkarakteristika. Derfor er hurtige skift mellom test-utsnittene som regel bedre enn å skulle sitte og lytte lenge til hvert enkelt.

Så, nei, slett ikke noe tankekors.

 

[lofi]

Vi vet i dag at kjappe AB(X) ikke er velegnet som metode innenfor kabel test og DA konvertere(Til det er forskjellene for små, krever tid, erfaring og kunnskap). Løsningen er å bruke langsiktig testing. *Mange blander snør med barter, AB(X), ypperlig til å teste medisiner eller smaks forskjeller på Coke og Pepsi, men ikke like bra på Audio!

Mvh,
tas

Hvem er "vi"? Jeg føler meg ikke overbevist av disse anti-ABX teoriene. ABX kan vel også brukes i langsiktig testing? Hvor lang testing må egentlig til for å avsløre forskjeller mellom f eks 2 kabler i en seende test? I Hi-Fi pressen og i innleggene her på forumet blir det jo beskrevet som lett å høre forskjell på det aller meste. Hvorfor forsvinner disse forskjellene med en gang man går over til ABX?

 

[TAS]

Vi vet i dag at kjappe AB(X) ikke er velegnet som metode innenfor kabel test og DA konvertere(Til det er forskjellene for små, krever tid, erfaring og kunnskap). Løsningen er å bruke langsiktig testing. *Mange blander snør med barter, AB(X), ypperlig til å teste medisiner eller smaks forskjeller på Coke og Pepsi, men ikke like bra på Audio!

Mvh,
tas

Hvem er "vi"? Jeg føler meg ikke overbevist av disse anti-ABX teoriene. ABX kan vel også brukes i langsiktig testing? Hvor lang testing må egentlig til for å avsløre forskjeller mellom f eks 2 kabler i en seende test? I Hi-Fi pressen og i innleggene her på forumet blir det jo beskrevet som lett å høre forskjell på det aller meste. Hvorfor forsvinner disse forskjellene med en gang man går over til ABX?

Og hvem er du? ;D

 

[pedal]

...I en berømt test av forsterkere kunne man lytte så lenge man ville til hver enkelt forsterker i testutvalget, før man bestemte seg for hvilke to man skulle lytte til i blindtest. Deretter kunne man lytte så lenge man ville til disse to, for å bli kjent med lydsignaturen, før man startet blindtest-seansen. Og i denne bestemte man selv hvor lenge man lyttet til hver i ABX, som man selv styrte vha av en ABX-sjalter...

Har du noen link til denne testen?

 

[lofi]

Vi vet i dag at kjappe AB(X) ikke er velegnet som metode innenfor kabel test og DA konvertere(Til det er forskjellene for små, krever tid, erfaring og kunnskap). Løsningen er å bruke langsiktig testing. *Mange blander snør med barter, AB(X), ypperlig til å teste medisiner eller smaks forskjeller på Coke og Pepsi, men ikke like bra på Audio!

Mvh,
tas

Hvem er "vi"? Jeg føler meg ikke overbevist av disse anti-ABX teoriene. ABX kan vel også brukes i langsiktig testing? Hvor lang testing må egentlig til for å avsløre forskjeller mellom f eks 2 kabler i en seende test? I Hi-Fi pressen og i innleggene her på forumet blir det jo beskrevet som lett å høre forskjell på det aller meste. Hvorfor forsvinner disse forskjellene med en gang man går over til ABX?

Og hvem er du? ;D

Morra di ;D

 

[TAS]

Vi vet i dag at kjappe AB(X) ikke er velegnet som metode innenfor kabel test og DA konvertere(Til det er forskjellene for små, krever tid, erfaring og kunnskap). Løsningen er å bruke langsiktig testing. *Mange blander snør med barter, AB(X), ypperlig til å teste medisiner eller smaks forskjeller på Coke og Pepsi, men ikke like bra på Audio!

Mvh,
tas

Hvem er "vi"? Jeg føler meg ikke overbevist av disse anti-ABX teoriene. ABX kan vel også brukes i langsiktig testing? Hvor lang testing må egentlig til for å avsløre forskjeller mellom f eks 2 kabler i en seende test? I Hi-Fi pressen og i innleggene her på forumet blir det jo beskrevet som lett å høre forskjell på det aller meste. Hvorfor forsvinner disse forskjellene med en gang man går over til ABX?

Og hvem er du? ;D

Morra di ;D

Tenkte meg det, beklager...svarer aldri morra mi.

 

[vredensgnag]

...I en berømt test av forsterkere kunne man lytte så lenge man ville til hver enkelt forsterker i testutvalget, før man bestemte seg for hvilke to man skulle lytte til i blindtest. Deretter kunne man lytte så lenge man ville til disse to, for å bli kjent med lydsignaturen, før man startet blindtest-seansen. Og i denne bestemte man selv hvor lenge man lyttet til hver i ABX, som man selv styrte vha av en ABX-sjalter...

Har du noen link til denne testen?

Selvsagt har jeg det. Har forøvrig diskutert den her inne før.

Her har du en overblikkslink:
http://www.hometheaterfocus.com/receivers/amplifier-sound-quality.aspx

Testen ble gjennomført av Stereo Review Magazine, og ble ledet av David Clark fra DLC Designs (han er ekspert på double-blind tester, og var selv av den oppfatning at det var store forskjeller på forsterkere før han utsatte seg selv for testmodellen.)

Testen er meget velkjent, og John Atkinson har beskrevet denne i detalj. Atkinson var naturligvis ikke enig i konklusjonen, men måtte erkjenne at metodologien var god.
http://www.stereophile.com/features/113/

Men slike tester har vi mange eksempler på. F.eks. helt tilbake til 1980, da Dan Shanefield og High Fidelity Magazine gjorde noe tilsvarende.
http://www.aes.org/e-lib/browse.cfm?elib=5426

Merk at i sistnevnte og i Dan Clarks test var det meget kvalifiserte lyttere som utgjorde testpanelet, med vrien i Clarks tilfelle at de som arbeidet profesjonelt som audioutviklere var skeptiske til hvorvidt de ville høre betydelige forskjeller; mens de audiofile var dypt overbeviste om at det var store forskjeller.
De rapporterte også store forskjeller i seende lytting, men var ute av stand til å skjelne mellom forsterkerne i blindlytting.
Og dette til tross for at de hadde lyttet lenge til alle forsterkerne, i lytteposisjon. At de hadde valgt seg ut to som de mente hadde helt distinkte lyttesignaturer. Og at de så ikke evnet å skille mellom disse blindt.
Da panelmedlemmene skulle vurdere forsterkerne etter seende lytting, var det ikke måte på hvor store forskjeller det var; etter blind lytting, var det ikke måte på hvor stor forbauselsen var over at man ikke bedre skjelnet forskjell.

David Clark har også ved gjentatte anledninger oppsummert sine erfaringer over ti år med ABX-testing av audiokomponenter. Han er profesjonell konsulent for ledende utviklingsfirma.
http://www.aes.org/e-lib/browse.cfm?elib=5549

Experience from many years of double-blind listening tests of audio equipment is summarized. The results are generally consistent with threshold estimates from psychoacoustic literature, that is, listeners often fail to prove they can hear a difference after non-controlled listening suggested that there was one. However, the fantasy of audible differences continues despite the fact of audibility thresholds.

NYTimes fant David Clarks test meget interessant.
http://www.nytimes.com/1987/02/01/arts/sound-amplifiers-test-their-listeners.html

Her har du en pdf til selve artikkelen i Stereo Review.
http://www.bruce.coppola.name/audio/Amp_Sound.pdf

Bruce Coppola er en klok mann, og han har satt sammen en side med ulike interessante linker omkring denne problematikken.
Det diskvalifiserer ham selvsagt øyeblikkelig at han åpner siden med en referanse til at James Randi Institute har snakket pent om Bruce Coppola.
http://www.bruce.coppola.name/audio/wisdom.html

Folk som anmelder komponenter bør kjenne til David Clarks omfattende og velansette arbeid.

 

[vredensgnag]

Ellers er vel også dette relevant - her siteres også William Blake:

"They will ever believe a lie, who see with, not through, the eye."

The Art of Listening, fra 2002.
http://www.positive-feedback.com/pfbackissues/0604/davis.6n4.html

Jeg mener, som skribenten, at vi har å gjøre med to tilstander.
Den ene beskriver hva som faktisk er av forskjeller, gjennom komponentene; den andre hva vi tilfører, fordi vi er ulike, har ulike forventninger og forutsetninger, og lytter etter ulike ting.

Begge er like legitime. Hva man så velger å bruke energi og ressurser på, får være opp til den enkelte. Jeg har gjort mitt valg, og forventer at andre treffer sine. Det Tom Davis skriver er meget klokt.

Being true to the richness of an "original" is then not a matter of transparency to source, as if the point is to hold a sonic mirror up to a moment frozen in time. The re-creative point is to hear through to further possibilities. One horizon of musical possibility opens in live performance; another horizon opens in my living room. Listening at home I heard a difference that Dar had listened past, and she, surprised, immediately interpreted that difference in a way that re-opened "Nora" for both of us. The more resolute the system, the more obvious the differences, the more compelling the invitation to interpret what such differences mean in the ongoing life of the claim of music.

When I refer to the "claim" of music, I’m pointing to the way music takes on a life of its own. When something (or someone) claims you, you find yourself invited to respond in a way that can open an exchange. The tacit promise of such an exchange is that it will take on a life of its own; the tacit question is whether you’re ready to let it unfold where it will. Such "readiness" and "letting" involve the grace of an imagination seeking to realize the potential hidden in the original claim. The promise of new musical life in my living room unfolds through an art of listening attuned to the unique range of possibilities that creative reproduction can open. Or is such talk just another "subjectivist" self-indulgence that doesn’t do anything when it comes to engineering those shining new components manufacturers send me to "review" the differences they make?

Pedal vil finne denne tanken meget interessant, noe jeg også gjør selv.

To act as if an ABX test could tell you anything about the work of listening involved in following the claim of music is a sign of how confused audiophiles can become about the creative art of listening that, if anything, is the pathos that redeems the intrinsic pathologies of this "hobby." Which is not to say that ABX testing doesn’t have its place. I’ve tried to make clear that it does in the disciplining of desire-enslaved imagination. And which is also not to say that I am in any way opposed to the work of psychoacoustics in improving the design of different parts of the "reproductive chain." But conceptual confusions about the relevance and irrelevance of ABX testing for the kind of listening that the High End promises as an art is rooted in deeper, more pervasive confusion summed up in the objectivist/subjectivist dichotomy that plagues how the High End understands itself.

 

[KJ]

...
Floyd Tool og The Audio Critic er så vidt i livet, regnes mer som en kuriositet enn magnifikk. Richard Hardesty og Audio Perfectionist gjekk ut på dato allerede i 2002. Både Floyd og Hardesty er amatører i forhold til Nelson Pass og Bob Stuart som for øvrig kan vise til forskning, patenter, produkter og verdens anerkjennelse innen for Audio. Anbefaler deg å lese opp på Nelson og Stuart, da får du sannhetskunnskap my friend! Vedrørende hørsel minnet, raske AB svitsjer blir helt meningsløst på kabler og DA-konvertere, men ja..AB er generelt grei metode for å sammenligne produkter og enkelte parameter. Sånn generelt …styr unna ABX og bruk mer tid og begrens fokus på blind test så går det fint.
...

Jeg vet ikke hva dr. Floyd E. Toole har med Audiocritic å gjøre (kanskje med unntak av at de kanskje er meningsfeller på et par områder). Jeg tipper Floyd er en av audioverdens desidert mest meritterte lydtestere - han jobbet tildigere med bl.a. Mirage HT via det Canadiske forskningsrådet (1961 til 1991) og Harman Kardon (1991 til 2007) hvor han etablerte Harman Research and Development Group. Å kalle Floyd E. Toole for amatør er kanskje litt drøyt ...

Jeg er forøvrig ikke helt ukjent med hverken Nelson Pass eller Bob Stuart. Jeg her veldig stor respekt for begge to, men ingen av dem forvalter «den totale sannhet».

...
Vi vet i dag at kjappe AB(X) ikke er velegnet som metode innenfor kabel test og DA konvertere(Til det er forskjellene for små, krever tid, erfaring og kunnskap). Løsningen er å bruke langsiktig testing. *Mange blander snør med barter, AB(X), ypperlig til å teste medisiner eller smaks forskjeller på Coke og Pepsi, men ikke like bra på Audio!
...

Vi har ingen viten om at AB(X) er uengnet til å teste kabler eller DA-konvertere. Det er noen rabulister farer med slike hypoteser, men det er ingen viten. Blind langtidstesting vil gi ganske strenge krav til testprotokoll for å kunne gi resultater som er rimelig robuste.

mvh
KJ

 

[pedal]

...Vi har ingen viten om at AB(X) er uengnet til å teste kabler eller DA-konvertere. Det er noen rabulister farer med slike hypoteser, men det er ingen viten. Blind langtidstesting vil gi ganske strenge krav til testprotokoll for å kunne gi resultater som er rimelig robuste.

Hvem er disse rabulistene?

 

[pedal]

...Testen ble gjennomført av Stereo Review Magazine, og ble ledet av David Clark fra DLC Designs (han er ekspert på double-blind tester, og var selv av den oppfatning at det var store forskjeller på forsterkere før han utsatte seg selv for testmodellen.)...Da panelmedlemmene skulle vurdere forsterkerne etter seende lytting, var det ikke måte på hvor store forskjeller det var; etter blind lytting, var det ikke måte på hvor stor forbauselsen var over at man ikke bedre skjelnet forskjell.

Bob Stuart har forklart oss hvorfor typiske A-B tester generelt og ABX-tester spesielt, ikke hensyntar måten vi lytter på. Dette stemmer også godt med mine egne erfaringer. Når praktisk talt "alle" slike publiserte tester ender med at "alt låter likt", ja da er det en bekreftelse på at testformen er uegnet. Tygg litt på den. Tanken kommer kanskje litt brått på, men gi den tid til å synke.

-Forøvrig skal jeg lese de linkene. Men først er det Hi-Fi messe i Horten. Skjønt jeg kan vel spare meg turen? Alt låter jo likt bare man lukker øynene og underkaster seg ABX!

 

[Parelius]

...Vi har ingen viten om at AB(X) er uengnet til å teste kabler eller DA-konvertere. Det er noen rabulister farer med slike hypoteser, men det er ingen viten. Blind langtidstesting vil gi ganske strenge krav til testprotokoll for å kunne gi resultater som er rimelig robuste.

Hvem er disse rabulistene?

Leksikon sier at det er pratmakerne og skrikhalsene. Jeg har ingen lydopptak av slike, så jeg får ikke abx-et dem frem i lyset.

 

[Parelius]

...Testen ble gjennomført av Stereo Review Magazine, og ble ledet av David Clark fra DLC Designs (han er ekspert på double-blind tester, og var selv av den oppfatning at det var store forskjeller på forsterkere før han utsatte seg selv for testmodellen.)...Da panelmedlemmene skulle vurdere forsterkerne etter seende lytting, var det ikke måte på hvor store forskjeller det var; etter blind lytting, var det ikke måte på hvor stor forbauselsen var over at man ikke bedre skjelnet forskjell.

Bob Stuart har forklart oss hvorfor typiske A-B tester generelt og ABX-tester spesielt, ikke hensyntar måten vi lytter på.

En «forklaring» uten belegg. Vi kan alle komme opp med «forklaringer»…

Når praktisk talt "alle" slike publiserte tester ender med at "alt låter likt",

Er det sant? På Hydrogenaudio rapporteres det stadig vekk om positive resultat på abx-tester. Sjekk opp de sidene.

 

[TAS]

Jeg vet ikke hva dr. Floyd E. Toole har med Audiocritic å gjøre (kanskje med unntak av at de kanskje er meningsfeller på et par områder). Jeg tipper Floyd er en av audioverdens desidert mest meritterte lydtestere - han jobbet tildigere med bl.a. Mirage HT via det Canadiske forskningsrådet (1961 til 1991) og Harman Kardon (1991 til 2007) hvor han etablerte Harman Research and Development Group. Å kalle Floy E. Toole for amatør er kanskje litt drøyt ...

Ser man det.. blandet sammen en utgått artikkel om Floyd E. Toole i TAC, det var ikke hensikten. Du bommer du litt på Floyed og betydning av hans gjesteopptreden hos Mirage, for det var Ian Paisley (Vice President of Engineering) som stod for hovedforskning og prøving av nye Mirage høyttalere. Forøvrig enig mannen har god credo.

Jeg er forøvrig ikke helt ukjent med hverken Nelson Pass eller Bob Stuart. Jeg her veldig stor respekt for begge to, men ingen av dem forvalter «den totale sannhet».

Helt enige, men de er veldig nære! ;D

Vi har ingen viten om at AB(X) er uengnet til å teste kabler eller DA-konvertere. Det er noen rabulister farer med slike hypoteser, men det er ingen viten. Blind langtidstesting vil gi ganske strenge krav til testprotokoll for å kunne gi resultater som er rimelig robuste.

mvh
KJ

Det er nettopp det Bob Stuart påpeker gjennom 10 års nyere forskning innenfor psykoakustikk, og med flere nyskapende og anerkjente publikasjoner i Audio Engineering Society burde selv AB(X) fanatikerne se lærdom i det mannen sier..ikke sant?

mvh,
tas

 

[KJ]

...
Når praktisk talt "alle" slike publiserte tester ender med at "alt låter likt", ja da er det en bekreftelse på at testformen er uegnet. Tygg litt på den. Tanken kommer kanskje litt brått på, men gi den tid til å synke.
...

På samme måte som at den «audiofile pressen» er en «bekreftelse» på at det ikke finnes grenser for «den jevne aufiofile» sine vrangforestillinger om lyd og hørsel?

Det finnes et sted mellom «alt låter likt» og «alt er hørbart» som det kan være mer fruktbart å utforske; men det fordre en bedre forståelse av hørselens og lytterens muligheter og begrensninger enn det «vi» har for vane å gi uttrykk for her på HFS.

mvh
KJ

 

[KJ]

...
Det er nettopp det Bob Stuart påpeker gjennom 10 års nyere forskning innenfor psykoakustikk, og med flere nyskapende og anerkjente publikasjoner i Audio Engineering Society burde selv AB(X) fanatikerne se lærdom i det mannen sier..ikke sant?
...

Siden de færreste av oss er medlemmer av AES, kan du liste opp de relevante artiklene?

mvh
KJ

 

[TAS]

Er det sant? På Hydrogenaudio rapporteres det stadig vekk om positive resultat på abx-tester. Sjekk opp de sidene.

Hydrogen Audio nettforum er ingen sannhetsvitne og skriver selv om flere fallgruver med AB(X) metode. Go and read ----->

•Number of testers : Studies made with a small number of listeners are more sensitive to mistakes occuring in the test setup. Wrong stimulus presented, mistakes copying the results etc. For this reason, when the result depends on one or two people, conclusions must be cautious.

•Predictability level : there are more chances to have got a success after N tests have been performed, than performing only one test. For example, if we want to test something that has no effect, the result that we get will be decided by chance only. Imagine that 20 people run independant tests. According to chance, in average, one of them should get a "false positive" result, since a positive result is by definition something that occur no more than one time out of 20. The p calculation of each test does not take this into account.

•Multiple comparisons : if we select two groups in the population, using one criterion, there will be less than 1 chance out of 20 to get a "statistical difference" between the two. However, if we consider 20 independant criterions, the probability to get a significant difference according to one of them is much higher than 1/20.
For example, if people are asked to rate the "dynamics", "soundstage", and "coloration" of an encoder, the probability to get a false positive is about thrice as high as with one criterion only, since there are three possibilities for the event to occur. Once again, the p value associated with each comparison is inferior to the real probability to get a false positive.

Et annet interessant poeng som også må sees i betraktning ved ABX hifi utstyr... er det supermann og mp3 eksemplet viser til…

If we are testing the existence of Superman, and get a positive answer, that is "Superman really exists because the probability of the null hypothesis is less than 5%". Must we accept the existence of Superman ? Is it an infaillible, scientific proof of its existence ?
No, it's just chance. Getting an event whose probability is less than 5% is not uncommon.
However, when a listening test about MP3 at 96 kbps gives a similar significant result, we accept the opposite conclusion ! That it was not chance. Why ?

Why does the same scientific result should be interpreted in two opposite ways ? This is because we always keep the most probable hypothesis. The conclusion of an ABX test is not the p value alone, it is its comparison with the subjective p value of the tested hypothesis.

mvh,
tas

 

[Parelius]

Er det sant? På Hydrogenaudio rapporteres det stadig vekk om positive resultat på abx-tester. Sjekk opp de sidene.

Hydrogen Audio nettforum er ingen sannhetsvitne og skriver selv om flere fallgruver med AB(X) metode. Go and read ----->

•Number of testers : Studies made with a small number of listeners are more sensitive to mistakes occuring in the test setup. Wrong stimulus presented, mistakes copying the results etc. For this reason, when the result depends on one or two people, conclusions must be cautious.

•Predictability level : there are more chances to have got a success after N tests have been performed, than performing only one test. For example, if we want to test something that has no effect, the result that we get will be decided by chance only. Imagine that 20 people run independant tests. According to chance, in average, one of them should get a "false positive" result, since a positive result is by definition something that occur no more than one time out of 20. The p calculation of each test does not take this into account.

•Multiple comparisons : if we select two groups in the population, using one criterion, there will be less than 1 chance out of 20 to get a "statistical difference" between the two. However, if we consider 20 independant criterions, the probability to get a significant difference according to one of them is much higher than 1/20.
For example, if people are asked to rate the "dynamics", "soundstage", and "coloration" of an encoder, the probability to get a false positive is about thrice as high as with one criterion only, since there are three possibilities for the event to occur. Once again, the p value associated with each comparison is inferior to the real probability to get a false positive.

Et annet interessant poeng som også må sees i betraktning ved ABX hifi utstyr... er det supermann og mp3 eksemplet viser til…

If we are testing the existence of Superman, and get a positive answer, that is "Superman really exists because the probability of the null hypothesis is less than 5%". Must we accept the existence of Superman ? Is it an infaillible, scientific proof of its existence ?
No, it's just chance. Getting an event whose probability is less than 5% is not uncommon.
However, when a listening test about MP3 at 96 kbps gives a similar significant result, we accept the opposite conclusion ! That it was not chance. Why ?

Why does the same scientific result should be interpreted in two opposite ways ? This is because we always keep the most probable hypothesis. The conclusion of an ABX test is not the p value alone, it is its comparison with the subjective p value of the tested hypothesis.

mvh,
tas

Ikke lett å samtale med bevegelige mål!

1) Min referanse til Hydrogenaudio var for å vise til at de der ikke har problemer med å vise til positive resultater på abx-tester.

2) Ingen har påstått at blindtester og dens variant i abx er uten problemer. Poenget i denne sammenhengen, slik argumentasjonen fra motstanderne av abx nå engang er nedfelt i denne tråden, er at abx er uegnet til bruk for avsløring av små forskjeller i lyd. Det er feil som en global konklusjon.

3) Det at blindtester ikke er ufeilbarlige er ikke det samme som at "seende" lytting er perfekte, eller bedre enn blindtester med sine usikkerheter. Men det er måten det argumenteres på her. Usikkerheter ved blindtester fremstår som argument for at seende lytting er sikrere. Intet belegg er fremlagt for en slik konklusjon.

4) Det du sier er i en slik kontekst irrelevant.

 

[HåkonN]

En «forklaring» uten belegg. Vi kan alle komme opp med «forklaringer»…

Nå har vel Bob Stuart en liten smule mer tyngde i bagasjen enn de fleste innen bransjen, og er vel en av de få som klarer å balansere mellom high-end audio og seriøs forskning.

For de som har fulgt med en stund så er han kjent for å være en solid foredragsholder i elektronikkbransjen og han er en aktiv og respektert deltager i JAES der han har bidratt med en rekke interessante papir. Han har utdannelse innen psykoakustikk, har bidratt med utviklingen av nye standarder for lydformat via DVD Forum og ikke minst har over snart 30 år vært kjent for å være foran de fleste andre når det kommer til utvikling av digitalteknikk for audio. Han er nok nærmere skeptiker enn troende om man skulle puttet han opp i en av de 2 eskene her inne, da han til stadighet påpekter at han overhodet ikke har noe tro på snake-oil og samtidig er av den klare oppfatningen at alt som kan høres, kan naturligvis også måles & forklares.

Jeg har også lest hans skepsis mot ABX. Men han påpeker riktignok at det er et verktøy som kan i rette sammenheng benyttes, men at man må forstå at det er en det potensielle fallgruver fra et psykoakustisk standpunkt og at han derfor ikke velger å vektlegge ABX blindtester alt for mye. Stuart har også benyttet ABX i mange år, men mener altså at han har dannet en del interessante erfaringer rundt bruken av disse. Det er kanskje på sin plass å legge til at han heller ikke har noe å tjene på å "disse" ABX, da han aldri har hatt noen økonomiske interesser i produkter bedre omtalt som "snake-oil".

Så ja, alle kan komme med "forklaringer". Men noen er gjerne litt mer velbegrunnede og blir gjerne vektlagt litt mer enn andres. Hvis man ikke kan stole et dugg på respekterte foredragsholdere i JAES med en rekke solide publiseringer og utdannelse innen psykoakustikk, så blir det plutselig ganske vanskelig å ha slike diskusjoner som dette - i allefall om man forventer å få noe interessant ut av de.

 

[Kaare G. Opsahl]

En «forklaring» uten belegg. Vi kan alle komme opp med «forklaringer»…

Nå har vel Bob Stuart en liten smule mer tyngde i bagasjen enn de fleste innen bransjen, og er vel en av de få som klarer å balansere mellom high-end audio og seriøs forskning.

For de som har fulgt med en stund så er han kjent for å være en solid foredragsholder i elektronikkbransjen og han er en aktiv og respektert deltager i JAES der han har bidratt med en rekke interessante papir. Han har utdannelse innen psykoakustikk, har bidratt med utviklingen av nye standarder for lydformat via DVD Forum og ikke minst har over snart 30 år vært kjent for å være foran de fleste andre når det kommer til utvikling av digitalteknikk for audio. Han er nok nærmere skeptiker enn troende om man skulle puttet han opp i en av de 2 eskene her inne, da han til stadighet påpekter at han overhodet ikke har noe tro på snake-oil og samtidig er av den klare oppfatningen at alt som kan høres, kan naturligvis også måles & forklares.

Jeg har også lest hans skepsis mot ABX. Men han påpeker riktignok at det er et verktøy som kan i rette sammenheng benyttes, men at man må forstå at det er en det potensielle fallgruver fra et psykoakustisk standpunkt og at han derfor ikke velger å vektlegge ABX blindtester alt for mye. Stuart har også benyttet ABX i mange år, men mener altså at han har dannet en del interessante erfaringer rundt bruken av disse. Det er kanskje på sin plass å legge til at han heller ikke har noe å tjene på å "disse" ABX, da han aldri har hatt noen økonomiske interesser i produkter bedre omtalt som "snake-oil".

Så ja, alle kan komme med "forklaringer". Men noen er gjerne litt mer velbegrunnede og blir gjerne vektlagt litt mer enn andres. Hvis man ikke kan stole et dugg på respekterte foredragsholdere i JAES med en rekke solide publiseringer og utdannelse innen psykoakustikk, så blir det plutselig ganske vanskelig å ha slike diskusjoner som dette - i allefall om man forventer å få noe interessant ut av de.

Godt innlegg

 

[TAS]

...
Det er nettopp det Bob Stuart påpeker gjennom 10 års nyere forskning innenfor psykoakustikk, og med flere nyskapende og anerkjente publikasjoner i Audio Engineering Society burde selv AB(X) fanatikerne se lærdom i det mannen sier..ikke sant?
...

Siden de færreste av oss er medlemmer av AES, kan du liste opp de relevante artiklene?

mvh
KJ

Så klart, men ikke før i neste uke...nå er det snart full seilas utover fjorden på vei til Horten som står på agendaen!

 

[Parelius]

En «forklaring» uten belegg. Vi kan alle komme opp med «forklaringer»…

Nå har vel Bob Stuart en liten smule mer tyngde i bagasjen enn de fleste innen bransjen, og er vel en av de få som klarer å balansere mellom high-end audio og seriøs forskning.

For de som har fulgt med en stund så er han kjent for å være en solid foredragsholder i elektronikkbransjen og han er en aktiv og respektert deltager i JAES der han har bidratt med en rekke interessante papir. Han har utdannelse innen psykoakustikk, har bidratt med utviklingen av nye standarder for lydformat via DVD Forum og ikke minst har over snart 30 år vært kjent for å være foran de fleste andre når det kommer til utvikling av digitalteknikk for audio. Han er nok nærmere skeptiker enn troende om man skulle puttet han opp i en av de 2 eskene her inne, da han til stadighet påpekter at han overhodet ikke har noe tro på snake-oil og samtidig er av den klare oppfatningen at alt som kan høres, kan naturligvis også måles & forklares.

Jeg har også lest hans skepsis mot ABX. Men han påpeker riktignok at det er et verktøy som kan i rette sammenheng benyttes, men at man må forstå at det er en det potensielle fallgruver fra et psykoakustisk standpunkt og at han derfor ikke velger å vektlegge ABX blindtester alt for mye. Stuart har også benyttet ABX i mange år, men mener altså at han har dannet en del interessante erfaringer rundt bruken av disse. Det er kanskje på sin plass å legge til at han heller ikke har noe å tjene på å "disse" ABX, da han aldri har hatt noen økonomiske interesser i produkter bedre omtalt som "snake-oil".

Så ja, alle kan komme med "forklaringer". Men noen er gjerne litt mer velbegrunnede og blir gjerne vektlagt litt mer enn andres. Hvis man ikke kan stole et dugg på respekterte foredragsholdere i JAES med en rekke solide publiseringer og utdannelse innen psykoakustikk, så blir det plutselig ganske vanskelig å ha slike diskusjoner som dette - i allefall om man forventer å få noe interessant ut av de.

Først og fremst: Jeg stiller meg overhodet ikke tvilende til Bobs kompetanse. Han vet 1000 ganger mer enn meg om lyd!

Dernest: Jeg mener at visse personer har større autoritet enn andre. En slik autoritet grunner for min egen del i anerkjennelsen av deres (i denne sammenheng) vitenskapelige kompetanse.

Og deretter igjen: Enhver personlig autoritet i denne sammenheng (det fins andre grunner også) er til syvende og sist grunnet i deres vitenskapelighet. Denne er ikke personlig fundert, men altså i vitenskapen!

Og nok en ting: Vitenskapen er ikke ufeilbarlig i sine resultater, men deres metodiske tilnærming er det beste lys vi så langt har.

I den artikkelen jeg har lest (og som vel refereres til i denne tråden), så kommer altså Bob med uttalelser som i denne sammenhengen ikke blir gitt noen vitenskapelig belegg. Uttalelsene er høyligen kontroversielle. Dess mer kontroversiell en uttalelse er, og dess mindre vitenskapelig belegg den kan påberope seg, dess mindre grunn til å se på en persons kompetanse i tilhørende/beslektede områder som et kriterium på at det hele er riktig. Det var det hele jeg prøvde å si. Vi kan slå hverandre i hodet med navnet på kompetente personer alle sammen. Det er liksom ikke så vanskelig.

Før i tiden sa man: Aristoteles sa, Thomas sa etc; nå sier vi liksom litt mer nøytralt; vitenskapen sier.

 

[Parelius]

...
Det er nettopp det Bob Stuart påpeker gjennom 10 års nyere forskning innenfor psykoakustikk, og med flere nyskapende og anerkjente publikasjoner i Audio Engineering Society burde selv AB(X) fanatikerne se lærdom i det mannen sier..ikke sant?
...

Siden de færreste av oss er medlemmer av AES, kan du liste opp de relevante artiklene?

mvh
KJ

Så klart, men ikke før i neste uke...nå er det snart full seilas utover fjorden på vei til Horten som står på agendaen!

Skal du seile nedover? Og hvordan er havneforholdene i Horten (aldri lagt til kai der)?

 

[HåkonN]

I den artikkelen jeg har lest (og som vel refereres til i denne tråden), så kommer altså Bob med uttalelser som i denne sammenhengen ikke blir gitt noen vitenskapelig belegg.

La oss for morro skyld si at Stuart er på rett spor. Hvordan skal han bevise at blindtester ikke er så "perfekt" verktøy som enkelte skal ha det til?

Det er forøvrig ikke bare Stuart som har ytret at blindtester kan ha en del fallgruver, og at man må ta de for hva de er. Det er intet nytt eller *veldig* kontroversielt som enkelte vil ha det til.

Uttalelsene er høyligen kontroversielle.

Også innen psykoakustikk?

 

[KJ]

...
La oss for morro skyld si at Stuart er på rett spor. Hvordan skal han bevise at blindtester ikke er så "perfekt" verktøy som enkelte skal ha det til?
...

Det er «bare» å komme opp med et testregime som gir konsistente og etterprøvbare resultater med mindre forskjeler i signaler/stimuli enn det ABX og liknende gjør. Såre enkelt ... eller kanskje ikke?

Den største fordelen med ABX er kanskje at «vi» i stor grad kjenner svakhetene ved testregimet. Det vil ta noe tid før et nytt testregime kan kvalifiseres på same måte.

mvh
KJ

 

[Parelius]

I den artikkelen jeg har lest (og som vel refereres til i denne tråden), så kommer altså Bob med uttalelser som i denne sammenhengen ikke blir gitt noen vitenskapelig belegg.

La oss for morro skyld si at Stuart er på rett spor. Hvordan skal han bevise at blindtester ikke er så "perfekt" verktøy som enkelte skal ha det til?

Hvem har sagt at blindtester er perfekte verktøy? Er det det vi diskuterer?

Det er forøvrig ikke bare Stuart som har ytret at blindtester kan ha en del fallgruver, og at man må ta de for hva de er. Det er intet nytt eller *veldig* kontroversielt som enkelte vil ha det til.

Enhver påstand om at noe er riktig/feil når det ikke på noen måte hersker konsensus om at det motsatte er feil/riktig er i denne sammenheng kontroversiell. Muligens er kontroversiell ikke den beste betegnelse, men avskrivingen av blindtester (som Bob her blir tatt til inntekt for, og det er det eneste interessante i denne sammenheng) som metodisk tilnærming vs. den frie lytting for etablering av et intersubjektivt tilgjengelig faktum, det er vel litt kontroversielt også i ordets opprinnelige betydning (innenfor den vitenskapelige offentlighet)?

Uttalelsene er høyligen kontroversielle.

Også innen psykoakustikk?

Uttalelsene er kontroversielle i forbindelse med å avvise abx, og ta det til inntekt for at seende lytting er bedre mht. etterprøvbarhet.

Om det nå bare var mulig å se på dette som en diskusjon hvor problemer innen blindtesting ikke er det samme som å si at problemene forsvinner inne den frie assosiative seende lytting. Men desverre er det den argumentative strategi, kan det synes som.

 

[TAS]

Skal du seile nedover? Og hvordan er havneforholdene i Horten (aldri lagt til kai der)?

Hei Parelius..det kommer an på vær og vind, men Havna er ok…dog sterk undervannsstrøm..pr knop om jeg husker rett.

mvh,
tas

 

[HåkonN]

Hvem har sagt at blindtester er perfekte verktøy? Er det det vi diskuterer?

Åpenbart, siden Bob Stuart (slik jeg tolker han) ikke hevder at blindtester er ubrukelige, men at det er en del fallgruver der. For det blir han satt i tvil og beskrevet som kontroversiell.

Jeg kan ikke unngå å lure på om han virkelig er så kontroversiell om man spør andre eksperter på psykoakustikk. Og hvordan klarer et individ å opparbeide seg så mye respekt innen for eks. JAES om han virkelig sprer rundt seg med helt ubegrunnede påstander som strider fundamentalt med vitenskapelige aksepterte metoder for etterprøvbarhet? Tror det kunne vært interessant (og kanskje oppklarende?) å vært med på et av hans foredrag i JAES.

Enhver påstand om at noe er riktig/feil når det ikke på noen måte hersker konsensus om at det motsatte er feil/riktig er i denne sammenheng kontroversiell. Muligens er kontroversiell ikke den beste betegnelse, men avskrivingen av blindtester (som Bob her blir tatt til inntekt for, og det er det eneste interessante i denne sammenheng)

Han avskriver ikke blindtester fullstendig, det tror jeg er viktig å påpeke. Jeg vet ikke hvem artikkel/intervju/foredrag det refereres til i denne tråden, men sånn jeg har oppfattet han så har han selv benyttet seg av blindtester som virkemiddel i en årrekke, men at han over tid har dannet seg en del interessante erfaringer fra en psykoakustisk synspunkt som gjør at han velger å være litt forsiktig med å tolke alle resultater fra ABX blindtester som "skrevet i sten".

Han mener også at mange av de erfaringene han har dannet på dette området, samsvarer med den kunnskapen han har om psykoakustikk. Jeg kan desverre ingenting om psykoakustikk, men må innrømme at det er et interessant tema, altså måten vår hjerne evner til å tolke lyd under ulike situasjoner og forutsetninger.

Men det er selvfølgelig en noe skremmende tanke om det skulle vise seg at blindtester ikke lenger kan vektlegges så tungt innen lyd. Det betyr jo at det mer eller mindre grad er fritt frem for produsenter av snake-oil, og at det siste og beste argumentet fra skeptikerene er plutselig blitt kritiserbart.

 

[Bjørn.H]

Det er jo faktisk noe å tenke på.

 

[KJ]

...
Men det er selvfølgelig en noe skremmende tanke om det skulle vise seg at blindtester ikke lenger kan vektlegges så tungt innen lyd. Det betyr jo at det mer eller mindre grad er fritt frem for produsenter av snake-oil, og at det siste og beste argumentet fra skeptikerene er plutselig blitt kritiserbart.

Selvfølgelig er ABX og andre «objektive» tester kritiserbare, har fallgruver, mangler og andre skavanker etc. Det er ikke en svakhet, men en styrke - skavankene er rimelig kjente og tildels kontrollerbare slik at man kan ta hensyn til det ved gjennomføring, analysering og tolking av evt. resultater.

Det største «aberet» med argumentasjonslinjen som framføres mot ABX o.l. er egentlig at den undergraver en hver form for sammenliknende lyttetest - det er ikke en argumentasjon mot ABX ol. men mot lytting og subjektiv evaluering av lytting. Dersom vi skal ta denne argumentasjonen for god fisk så kan vi konkludere med at det er meningsløst å bruke ørene til gi generelle bedømminger av lyd - hver og en av oss kan trygt lalle videre på hver vår lille stein i full forvisning om at nirvana er oppnådd.

mvh
KJ

 

[Asbjørn]

Igjen, sånn som jeg leste den aktuelle artikkelen, så sa vel Stuart at det tar lengre tid for hjernen å prosessere ferdig enkelte egenskaper ved et komplekst lydbilde enn andre egenskaper. Frekvensrespons - fort gjort; finere detaljer i forvrengningsspektrum - hmmm, la meg lytte på denne i et par minutter før jeg bestemmer meg for hva jeg synes. Så langt jeg kan begripe, har dette ingen ting med noen diskusjon for/mot blindtester eller ABX-tester generelt å gjøre, men har veldig mye å gjøre med hvordan man setter opp en fungerende test for hva det nå enn er man forsøker å finne ut mer om.

Jeg mener (fortsatt, og ganske bestemt) at det er et totalt blindspor å diskutere hva som er "riktig" og "feil" måte å teste audio på, ettersom det kommer helt an på hva det er med lyden som man forsøker å teste.

For eksempel: Hvis man forsøker å finne ut hvorvidt svartlakkert elektronikk oppleves som "mørkere i lyden" enn aluminiumsfarget, for eksempel for å vurdere om man bør kompensere for dette i elektronikken sånn at apparater med ulik farge oppleves å låte likt, så er det åpenbart riktig å bruke seende lytting med korte intervaller, satt opp som en A/B-sammenligning (ikke ABX). I en sånn forsøksserie ville jeg satt apparatene ved siden av hverandre, utstyrt lytteren med en tydelig merket høyre/venstre vippebryter for å koble mellom apparatene, og forklart ham/henne at dette gjenspeilte plasseringen av apparatene. A til venstre, B til høyre. Kanskje jeg også ville rigget opp en liten lysdiode over hvert apparat som fulgte posisjonen av bryteren. Venstre diode i posisjon A, høyre diode i posisjon B. Og så ville jeg sørget for at en annen person koblet opp signalet fra apparatene, noen ganger som nevnt, noen ganger stikk motsatt av hva bryterposisjonen skulle tilsi - uten at den som forklarer forsøket for lytteren vet om det er koblet "riktig" eller "feil". Poenget med det ville være å sikre at eventuelle tilfeldige komponentforskjeller mellom de to apparatene ikke farger utfallet, siden dette er en støykilde i denne sammenhengen. Lytteren kunne fått tre svaralternativer i hvert forsøk, "A mørkere enn B", "B mørkere enn A", "A lik B". Dessuten ville jeg brukt et antall forskjellige lyttere og vekslet mellom hvilket apparat som sto til høyre og venstre på hylla i hvert forsøk. Til slutt ville jeg regnet gjennom statistikken og funnet ut om fargen på apparatet gjorde noen signifikant forskjell for hvilket apparat som ble opplevd å låte "mørkest".

Hvis jeg derimot skulle teste hørbarhetsgrensen for en eller annen høyereordens forvrengningsform, kunne derimot en blind ABX med ganske lange klipp vært en bedre mulighet. Da kunne lytteren fått en tre-posisjonsvelger merket A, B og X. "X" ville vært identisk med enten A eller B, forskjellig fra gang til gang, og eneste forskjell mellom A og B ville være tilførsel av et bestemt nivå av det forvrengningsfenomenet man var interessert i å finne hørbarhetsterskelen for. Jeg ville latt lytteren velge selv hvor lenge han/hun ville høre på hver kilde og kunne veksle frem og tilbake etter ønske. Samme lydspor i alle tre velgerposisjoner, selvsagt, og den som instruerer forsøkspersonen skal ikke vite om forvrengningen ligger i A eller B, men kan si at det er en forskjell mellom A og B, og råde lytteren til å ta seg god tid på å avgjøre om X=A eller X=B. Igjen må en annen person koble kildene, og variere om A eller B er sporet med forvrengning fra gang til gang. Så ville jeg prøvd med et antall forskjellige lyttere på samme lydspor, kanskje latt hver person få flere forsøk, og kanskje også prøvd ulike lydspor med de samme lytterne. Det ville derimot ikke tilføre forsøket noe som helst å la lytteren se ett eller flere apparater. Til slutt ville jeg regnet gjennom statistikken og sett om det var en signifikant andel "riktige" svar, eller om dette like gjerne kunne være tilfeldig gjetting.

I andre spørsmål, eksempelvis om mer sammensatte konsumentpreferanser, ville riktig prosedyre vært noe helt annet igjen.

"Riktig" forsøksoppsett kommer helt an på hva vi forsøker å finne ut og på hva vi allerede vet om hvordan det fenomenet oppleves. Hvis vi fortsetter å diskutere som om det fantes et generelt "korrekt" oppsett for alle forsøk som har med lyd å gjøre, kan jeg garantere at vi fortsatt ikke kommer lenger enn de evindelige sirkeldiskusjonene vi etterhvert kjenner ganske godt.

 

[HåkonN]

Selvfølgelig er ABX og andre «objektive» tester kritiserbare, har fallgruver, mangler og andre skavanker etc. Det er ikke en svakhet, men en styrke - skavankene er rimelig kjente og tildels kontrollerbare slik at man kan ta hensyn til det ved gjennomføring, analysering og tolking av evt. resultater.

Slik jeg tolker deg, så hevder du at dette området er så godt dokumentert at vi i ganske sikker grad vet hvordan hjernen oppfører seg når den blir utsatt for en slik prøve vs. det å lytte under helt andre omgivelser, og at man derfor elegant kan omgå alle fallgruver.

Slike påstander er det sikkert flere referanser som støtter opp. Siden du kan en del om ABX blindtester og området psykoakustikk, så har du kanskje noen referanser/spennede lesestoff som støtter disse påstandene? Det hadde definitivt vært et godt bidrag til debatten.

 

[Parelius]

Hvem har sagt at blindtester er perfekte verktøy? Er det det vi diskuterer?

Åpenbart, siden Bob Stuart (slik jeg tolker han) ikke hevder at blindtester er ubrukelige, men at det er en del fallgruver der. For det blir han satt i tvil og beskrevet som kontroversiell.

Hvor har du dette fra? Jeg reagerte på at Bob ble brukt som sannhetsvitne av folk som argumentere for at blindtester ikke strekker til. Han kan ikke brukes som et slikt sannhetsvitne fordi det han sier - når han trekkes inn som et slikt sannhetsvitne - enten a) ikke er etablert som noen sannhet (kontroversielt), b) uklart om han uttrykker en hypotese eller resultat av vitenskapelige undersøkelser eller c) slett ikke sier det noen vil ha ham til å si (en mulighet jeg viste til tidligere i tråden). Det er alltid lurt å se på hvilket plan argumentasjonen beveger seg.

Jeg kan ikke unngå å lure på om han virkelig er så kontroversiell om man spør andre eksperter på psykoakustikk. Og hvordan klarer et individ å opparbeide seg så mye respekt innen for eks. JAES om han virkelig sprer rundt seg med helt ubegrunnede påstander som strider fundamentalt med vitenskapelige aksepterte metoder for etterprøvbarhet? Tror det kunne vært interessant (og kanskje oppklarende?) å vært med på et av hans foredrag i JAES.

Det kan godt være riktig det han sier (men noe belegg er altså ikke kjent) om hva som skjer ved raske skifter, og vitenskapen kan sikkert si noe om det. Dermed er det ikke sagt at en slik innsikt er relevant for kritikken av blindtester. Selv ikke abx-tester krever raske skifter. Dette har jeg også poengtert tidligere. Problemet er at en i argumentasjonen tar utgangspunkt i en helt bestemt forestilling om abx (korte kutt, raske bytter), og så bruker de denne som en plassholder for blindtester generelt. Mener du f.eks. at de mulige innsikter som Bob uttrykker ikke like så godt gjelder seende lytting?

Hva angår hva Bob sier og ikke sier, så tror jeg vi er ganske så enige.

 

[Parelius]

Igjen, sånn som jeg leste den aktuelle artikkelen, så sa vel Stuart at det tar lengre tid for hjernen å prosessere ferdig enkelte egenskaper ved et komplekst lydbilde enn andre egenskaper. Frekvensrespons - fort gjort; finere detaljer i forvrengningsspektrum - hmmm, la meg lytte på denne i et par minutter før jeg bestemmer meg for hva jeg synes. Så langt jeg kan begripe, har dette ingen ting med noen diskusjon for/mot blindtester eller ABX-tester generelt å gjøre, men har veldig mye å gjøre med hvordan man setter opp en fungerende test for hva det nå enn er man forsøker å finne ut mer om.

Jeg mener (fortsatt, og ganske bestemt) at det er et totalt blindspor å diskutere hva som er "riktig" og "feil" måte å teste audio på, ettersom det kommer helt an på hva det er med lyden som man forsøker å teste.

For eksempel: Hvis man forsøker å finne ut hvorvidt svartlakkert elektronikk oppleves som "mørkere i lyden" enn aluminiumsfarget, for eksempel for å vurdere om man bør kompensere for dette i elektronikken sånn at apparater med ulik farge oppleves å låte likt, så er det åpenbart riktig å bruke seende lytting med korte intervaller, satt opp som en A/B-sammenligning (ikke ABX). I en sånn forsøksserie ville jeg satt apparatene ved siden av hverandre, utstyrt lytteren med en tydelig merket høyre/venstre vippebryter for å koble mellom apparatene, og forklart ham/henne at dette gjenspeilte plasseringen av apparatene. A til venstre, B til høyre. Kanskje jeg også ville rigget opp en liten lysdiode over hvert apparat som fulgte posisjonen av bryteren. Venstre diode i posisjon A, høyre diode i posisjon B. Og så ville jeg sørget for at en annen person koblet opp signalet fra apparatene, noen ganger som nevnt, noen ganger stikk motsatt av hva bryterposisjonen skulle tilsi - uten at den som forklarer forsøket for lytteren vet om det er koblet "riktig" eller "feil". Poenget med det ville være å sikre at eventuelle tilfeldige komponentforskjeller mellom de to apparatene ikke farger utfallet, siden dette er en støykilde i denne sammenhengen. Lytteren kunne fått tre svaralternativer i hvert forsøk, "A mørkere enn B", "B mørkere enn A", "A lik B". Dessuten ville jeg brukt et antall forskjellige lyttere og vekslet mellom hvilket apparat som sto til høyre og venstre på hylla i hvert forsøk. Til slutt ville jeg regnet gjennom statistikken og funnet ut om fargen på apparatet gjorde noen signifikant forskjell for hvilket apparat som ble opplevd å låte "mørkest".

Hvis jeg derimot skulle teste hørbarhetsgrensen for en eller annen høyereordens forvrengningsform, kunne derimot en blind ABX med ganske lange klipp vært en bedre mulighet. Da kunne lytteren fått en tre-posisjonsvelger merket A, B og X. "X" ville vært identisk med enten A eller B, forskjellig fra gang til gang, og eneste forskjell mellom A og B ville være tilførsel av et bestemt nivå av det forvrengningsfenomenet man var interessert i å finne hørbarhetsterskelen for. Jeg ville latt lytteren velge selv hvor lenge han/hun ville høre på hver kilde og kunne veksle frem og tilbake etter ønske. Samme lydspor i alle tre velgerposisjoner, selvsagt, og den som instruerer forsøkspersonen skal ikke vite om forvrengningen ligger i A eller B, men kan si at det er en forskjell mellom A og B, og råde lytteren til å ta seg god tid på å avgjøre om X=A eller X=B. Igjen må en annen person koble kildene, og variere om A eller B er sporet med forvrengning fra gang til gang. Så ville jeg prøvd med et antall forskjellige lyttere på samme lydspor, kanskje latt hver person få flere forsøk, og kanskje også prøvd ulike lydspor med de samme lytterne. Det ville derimot ikke tilføre forsøket noe som helst å la lytteren se ett eller flere apparater. Til slutt ville jeg regnet gjennom statistikken og sett om det var en signifikant andel "riktige" svar, eller om dette like gjerne kunne være tilfeldig gjetting.

I andre spørsmål, eksempelvis om mer sammensatte konsumentpreferanser, ville riktig prosedyre vært noe helt annet igjen.

"Riktig" forsøksoppsett kommer helt an på hva vi forsøker å finne ut og på hva vi allerede vet om hvordan det fenomenet oppleves. Hvis vi fortsetter å diskutere som om det fantes et generelt "korrekt" oppsett for alle forsøk som har med lyd å gjøre, kan jeg garantere at vi fortsatt ikke kommer lenger enn de evindelige sirkeldiskusjonene vi etterhvert kjenner ganske godt.

Dette er jeg helt enig i. Kanskje kan vi si oss enige i dette alle sammen?

 

[KJ]

...
Slik jeg tolker deg, så hevder du at dette området er så godt dokumentert at vi i ganske sikker grad vet hvordan hjernen oppfører seg når den blir utsatt for en slik prøve vs. det å lytte under helt andre omgivelser, og at man derfor elegant kan omgå alle fallgruver.

Slike påstander er det sikkert flere referanser som støtter opp. Siden du kan en del om ABX blindtester og området psykoakustikk, så har du kanskje noen referanser/spennede lesestoff som støtter disse påstandene? Det hadde definitivt vært et godt bidrag til debatten.

To klassikere til glede og forargelse ... begge av dr Flod E. Toole:
JAES Volume 30 Issue 6 pp. 431-445; June 1982, Listening Tests-Turning Opinion into Fact
AES Paper 3894; AES Convention 97; November 1994, Hearing is Believing vs. Believing is Hearing: Blind vs. Sighted Listening Tests, and Other Interesting Things

De kan lastes ned fra http://www.aes.org/e-lib/ mot USD 20 pr stk.

mvh
KJ

 

[Asbjørn]

USD 5 pr stk for oss som er medlemmer i AES...

 

[KJ]

...
Det er nettopp det Bob Stuart påpeker gjennom 10 års nyere forskning innenfor psykoakustikk, og med flere nyskapende og anerkjente publikasjoner i Audio Engineering Society burde selv AB(X) fanatikerne se lærdom i det mannen sier..ikke sant?
...

Siden de færreste av oss er medlemmer av AES, kan du liste opp de relevante artiklene?
...

Så klart, men ikke før i neste uke...nå er det snart full seilas utover fjorden på vei til Horten som står på agendaen!

bump ...

mvh
KJ

 

[TAS]

...
Det er nettopp det Bob Stuart påpeker gjennom 10 års nyere forskning innenfor psykoakustikk, og med flere nyskapende og anerkjente publikasjoner i Audio Engineering Society burde selv AB(X) fanatikerne se lærdom i det mannen sier..ikke sant?
...

Siden de færreste av oss er medlemmer av AES, kan du liste opp de relevante artiklene?
...

Så klart, men ikke før i neste uke...nå er det snart full seilas utover fjorden på vei til Horten som står på agendaen!

bump ...

mvh
KJ

Som medlem av AES ønsker jeg litt tid til å lese meg opp...uka er ikke omme unge mann. ;D