Viktigheten av ABX
- Trådstarter pedal
- Startdato
- Ble medlem
- 16.02.2008
- Innlegg
- 1.377
- Antall liker
- 105
Ferdig innspilt = moden for oppgradering?
;D
;D
- Ble medlem
- 12.01.2005
- Innlegg
- 3.677
- Antall liker
- 6
ABX er nyttig når det gjelder å bevise at det er en forskjell som ikke skyldes forventningseffekter til produktene som testes.
ABX er mindre nyttig når det gjelder å finne ut hva som er best, gitt at det er en forskjell.
Enkelte ting er det vanskelig å ABX-teste fordi det er vanskelig å fullt ut duplisere forholdene selv fra forsøk til forsøk. pedal påpeker at raske A-B skift gjør det vanskeligere og vanskeligere å høre forskjellene. Årsaken kan blant andre ting være lyttetretthet. Det er dessverre slik at lytteren i en ABX-test som skal bevise hørbare forskjeller er av kjøtt og blod og endrer seg gjennom seansen. Samtidig må man gjennomføre mange nok repetisjoner til å få et statistisk signifikant resultat til å bevise forskjellene. Vanskelig, dette.
Jeg har mange ganger påpekt at det er vanskelig å gjennomføre en god ABX-test, nettopp fordi det er så mange faktorer som må være under kontroll gjennom hele forsøket. Man leker ikke vitenskapelige tester heller.
En siste ting. En enkeltstående ABX-test kan ikke motbevise at det er hørbare forskjeller på f.eks. kabler. Den kan kun bevise at det er det, eller la verden bestå i uvisshet og kabelkrangler.
ABX er mindre nyttig når det gjelder å finne ut hva som er best, gitt at det er en forskjell.
Enkelte ting er det vanskelig å ABX-teste fordi det er vanskelig å fullt ut duplisere forholdene selv fra forsøk til forsøk. pedal påpeker at raske A-B skift gjør det vanskeligere og vanskeligere å høre forskjellene. Årsaken kan blant andre ting være lyttetretthet. Det er dessverre slik at lytteren i en ABX-test som skal bevise hørbare forskjeller er av kjøtt og blod og endrer seg gjennom seansen. Samtidig må man gjennomføre mange nok repetisjoner til å få et statistisk signifikant resultat til å bevise forskjellene. Vanskelig, dette.
Jeg har mange ganger påpekt at det er vanskelig å gjennomføre en god ABX-test, nettopp fordi det er så mange faktorer som må være under kontroll gjennom hele forsøket. Man leker ikke vitenskapelige tester heller.
En siste ting. En enkeltstående ABX-test kan ikke motbevise at det er hørbare forskjeller på f.eks. kabler. Den kan kun bevise at det er det, eller la verden bestå i uvisshet og kabelkrangler.
- Ble medlem
- 28.05.2009
- Innlegg
- 2.036
- Antall liker
- 160
Betyr det at man tester mulige koneemner med lyset av?BT skrev:
I så fall ingen dum sammenligning mot detektering av lydforskjeller. Det er nemlig en kjent sak at når det gjelder sex, så er menn ganske visuelt vinklet. Menn kobler m.a.o. det visuelle sterkere til det å "tenne", enn kvinner sies å gjøre. Kanskje er det slik med lyd også..? Betyr det samtidig at audiofile kvinner er mer til stole på ved seende testmetoder enn det menn er? :
Hi-Fi messen i Horten var en tankevekker. Hundrevis av entusiaster som satt og nidlyttet på kabler, DACer og forsterkere. Innbilte seg at de hørte forskjell. De vet jo ikke at hadde de underlagt utstyret en ABX test så hadde det spilt likt. Med dette i bakhodet så virket hele messen nesten surrealistisk, à la The Truman HiFi-Show. Lettlurte forbrukere i hendene på de manipulerende forhandlerene. Sukk og sukk. Hadde flere tatt innover seg dette med ABX, så hadde verden sett annerledes ut.
Jeg savner også konstruksjoner med digitale/svitsjende forsterkere og digital romkorreksjon. Hvorfor er det ingen som representerer slikt på en messe? Det måtte vært genialt på den notorisk vanskelige messelyden.
- Ble medlem
- 12.01.2005
- Innlegg
- 3.677
- Antall liker
- 6
Dette er feil.Rhesus skrev:
ABX-tester og andre doble blindtester er vitenskapelige verktøy, og etterprøvbare både logisk (teoretisk) og i praksis. En ABX-test kan ikke si noe om sannsynligheten for at det ikke er forskjeller.
Mange ABX-tester danner et erfaringsgrunnlag, men det vil aldri kunne motbevise påstanden: Det finnes ett eller flere tilfeller der det er hørbare forskjeller på kabler. (eller en lignende "Det finnes ett eller flere tilfeller"-påstand)
En enkelt ABX-test med et tilstrekkelig antall forsøk til å danne et statistisk grunnlag til å kunne se bort fra utslag av tilfeldigheter vil imidlertid en gang for alle kunne bevise påstanden.
- Ble medlem
- 28.05.2009
- Innlegg
- 2.036
- Antall liker
- 160
Hvorfor?Trondmeg skrev:
Er det en naturlig sammenheng mellom forsterkertyper og romkorreksjon??
- Ble medlem
- 12.01.2005
- Innlegg
- 3.677
- Antall liker
- 6
Nei, vi sier ikke stort sett det samme. En ABX-test gjennomført på riktig måte kan med stor sikkerhet bevise at det er forskjell på to ting. Den kan ikke motbevise forskjellen på to ting.Trondmeg skrev:
La meg ta et eksempel:
1. Man gjennomfører en ABX-test mellom to kabler, og det påvises ikke noen hørbar forskjell (resultatene peker i alle retninger). Likevel kan man spørre seg: Ville kablenes forskjeller komme bedre fram for et annet lyttepanel? Med et annet musikkutvalg? Med annen elektronikk? I praksis må man gjennomføre et stort antall tenkelige varianter før man kan snakke om sannsynligheten av å motbevise påstanden om forskjell. Vi snakker da om mange ABX-tester, ikke bare en.
2. Man gjennomfører en ABX-test mellom to DACer, og et lyttepanel på 10 gjennomfører en ABX-test der man gjør en serie på 10 forsøk på å gjenkjenne hvilken DAC som spiller. Resultatet er at alle gjennomfører med maksimalt 2 feil, i snitt 1 feil. Det vil si at lyttepanelet traff i 90% av tilfellene. Da har man et ganske godt resultat, og man kan med stor trygghet hevde at det er reelle hørbare forskjeller mellom DACene, men at forskjellene er såpass små at man av og til kan ta feil. En enkelt ABX-test gir da et positivt bevis på at forskjellen eksisterer.
Rhesus indikerte at en ABX-test kan fortelle like mye om at det er en forskjell som at det ikke er en forskjell, men det er altså feil. ABX får problemer med å bevise at det ikke er noen forskjell.
Jeg er ikke enig. Du snakker om statistikk. Hva er statistikk om ikke det er beregning av sannsynlighet? Om du får 49% rette i en ABX test, så sier det også noe. Hvor mange ganger du gjorde testen vil gi deg ytterligere informasjon. Om du gjør en ABX test med 100 repitisjoner, og du får 50% treff, hva sier det deg?roffe skrev:
Han tenkte kanskje på TacT eller noe. Lyric Hi-Fi fikk "messas beste lyd" i 2007 med sitt Avantgarde/Accuphase oppsett i "tårnsuiten" i 3. etg. Et rom med veldig vanskelig akustikk. (fjorårets utstiller fikk det ikke til med HT på omtrent samme sted). Poenget er at Lyric brukte digital romkorreksjon...Karma skrev:
Etter mitt skjønn er håpløs hotellromakustikk nettopp et sted hvor man burde brukte DEQX og Audiolense i demo sammenheng. Så hadde man sluppet å velte hotellmadrassene på høykant osv.
ABX fortjener ikke betegnelsen "vitenskap". Det er bare en "metode", en enkel øvelse i matematikk/statistikk. Når det gjelder å lytte til forskjeller så heter vitenskapen PSYKOAKUSTIKK. Desverre virker en typisk ABX-test på tvers av psykoakustikken.Rhesus skrev:
- Ble medlem
- 12.01.2005
- Innlegg
- 3.677
- Antall liker
- 6
49% eller 50% tilsvarer et tilfeldig utvalg. Det forteller at man i denne testen ikke kunne bevise påstanden om at det var forskjell på de to alternativene som ble sammenlignet.Rhesus skrev:
Bevis er logikk. Det er fundamentalt forskjellig fra statistikk. Statistikk er sannsynlighet.
Man kan ikke bevise med en viss grad av sannsynlighet. Det kalles å sannsynliggjøre, ikke bevise. Bevis er absolutt 100% sikkert.
Det er alltid en sjanse for at du prikker inn de riktige X-ene ved ren tilfeldighet. Noen vinner også i Vikinglotto. Ikke så mange, men noen.
Man kan ikke bevise med en viss grad av sannsynlighet. Det kalles å sannsynliggjøre, ikke bevise. Bevis er absolutt 100% sikkert.
Det er alltid en sjanse for at du prikker inn de riktige X-ene ved ren tilfeldighet. Noen vinner også i Vikinglotto. Ikke så mange, men noen.
Fordi dette er løsninger som blir hypet stort her på sentralen.Karma skrev:
Fordi man med korreksjon i det digitale domene lettere kan integrere løsninger uten å AD/DA-konvertere unødvendig.
Fordi det er energisparende teknikk.
Fordi det er en rimelig løsning.
Ja, det er vel derfor en ganske naturlig sammenheng om enn ikke i bokstavelig forstand. Er det ikke denne løsningen du selv benytter en variant av med frekvensdeling i det digitale domene?
Jeg er fremdeles ikke enig i din påståtte uenighet medllom deg og Rhesus. Jeg ser heller ikke noe behov for å diskutere akkurat det videre. Og jeg forstår godt poenget ditt, men synes ikke du avviker nevneverdig likevel.roffe skrev:
V
vredensgnag
Gjest
Pedal, nå våser du rundt i et oppkok som hverken smaker fugl eller fisk.pedal skrev:
Psykoakustikk er læren om hvordan mennesker hører subjektivt, den omfatter en rekke disipliner.
ABX er vel blant de vanligste metoder innen vitenskapen psykoakustikk.
http://en.wikipedia.org/wiki/Psychoacoustics
Her kan du se hvordan det ser ut når det ikke beskrives i en graut av misforståelser rundt "bevis," "statistikk," "vitenskap" - osv.
http://www.hopkins-research.com/abx.htm
Underlig å se at det er hifi-pressen, verden over, som kjemper slaget mot blindtester.
Det er få psykoakustiske studier som ikke bruker metoder som tilsvarer blindtest - fra kontroll/subjekt studier, og hele veien til ABX direktestudier.
Denne burde være interessant, handler tom om HiFi:
http://www.decware.com/cheever_thesis.pdf
Med dette utsagnet begår du en tungføtt øvelse i vås. Psykoakustikken handler om den subjektive oppfattelsen av lyd - hvordan kan en metode som perfekt isolerer subjektive lydopplevelser virke "på tvers" av psykoakustikken?
Det at enkelte hifi-paragoner ivrer etter å unngå dokumentasjon av sine villeste fantasiopplevelser betyr ikke at det er noe galt med testmetoden.
- Ble medlem
- 12.01.2005
- Innlegg
- 3.677
- Antall liker
- 6
Dette er nettopp det jeg påpeker som en av avviksfaktorene som gjør at ABX ikke kan motbevise påstanden om en forskjell. Men graden av kompetanse blir irrelevant om panelet får rett 100 av 100 ganger. Da regnes påstanden som bevist.R.Solhaug skrev:
- Ble medlem
- 23.03.2006
- Innlegg
- 2.934
- Antall liker
- 587
Du får svaret i det øyeblikk en etter faget korrekt utført ABX-test viser en statistisk signifikant forskjell. Om den viser ikke statistisk signifikant forskjell kan du likevel håpe på at neste panel hører bedre.Fush skrev:
Så langt har det ikke vært noen tilfeller i den første kategorien.
Og det er nettopp det som gjør tenkende til skeptikere, troende til dogmatikere.
N
nb
Gjest
Kanskje man burde etablere fagfeltene "merkevareakustikk" og "prislappakustikk". Da hadde man nok kunne påvise et lass med statistisk holdbare sammenhenger.
- Ble medlem
- 12.01.2005
- Innlegg
- 3.677
- Antall liker
- 6
Sannsynlighetsregning og statistikk er beslektede emner. Men sannsynlighetsregning handler mer om forventning, mens statistikk handler om hvordan man måler noe, inkludert sikkerheten av disse målingene. Enkelte spørsmål i verden kan man svare ja eller nei på med 100% sikkerhet. Andre spørsmål kan man i noen situasjoner svare ja på med 100% sikkerhet, mens man i andre situasjoner får stilt samme spørsmål og kan gi et svar med lav grad av sikkerhet.pedal skrev:
Statistikken i ABX handler om forholdet mellom sannsynligheten for at et resultat er oppstått på grunn av tilfeldig gjetning sett i forhold til sjansen for at det faktisk dreier seg om en reell forskjell. Et tilfeldig valg av A/B vil i gjennomsnitt gi 50% rett, og for hver treffprosent er det en tilhørende sannsynlighet for at dette er et utslag av ren tilfeldighet. Om man får 100 av 100 rett, så er det 2^100 = 1267650600228229401496703205376 mulige svaralternativer, hvorav bare ett er rett. Det regnes for et sikkert bevis i vitenskapelig sammenheng, men noen vil sikkert påstå at det er rom for usikkerhet her også. Med en serie på 10 forsøk får man 2^10 = 1024 mulige svaralternativer. Også her er alle rett et meget godt resultat, og i min bok godt nok som bevis, gitt at HELE undersøkelsen er publisert. For om det er 1024 lyttere og kun en av dem får alle rett, så er det faktisk overveiende sannsylig at en person ville få alle rett. Med 3 repetisjoner, som jeg ser mange velger å gi seg etter, for "nå klarte vi det, ingen vits i å fortsette", så er det totalt 8 mulige svar. Det vil si at man 1 av 8 ganger vil få rett uansett. Og om man i tillegg bruker hodet litt, så kan man i praksis velge vekk alternativene der alle er A eller alle er B, siden mange lekmannstester gjerne sørger for å ha minst ett reelt skift i løpet av de tre første forsøkene på gjenkjenning. Da er det snakk om at tilfeldighetene ville gjette rett 1 av 6 ganger. Dette er ikke et statistisk godt nok grunnlag.
I tillegg har man alle forsøkene der noen har en treffprosent som er bedre enn 50%, men ikke alle rett. Da forteller den statistiske analysen av resultatene om signifikansen av resultatet, altså hvor stor sikkerhet svaret representerer.
Med respekt å melde, det er ikke snakk om å være enig eller ikke. ABX-metodikken og resultatene den produserer har et fullstendig vitenskapelig grunnlag, både i teori og praksis, og anvendes til testing av medisiner, slankemidler, vinsmaking etc. Egentlig i de fleste sammenhenger der noes påvirkning på mennesker er en del av testscenariet. Hvis du mener at ABX ikke fortjener å betegnes som en "vitenskapelig metode", så påstår jeg at du ikke fortjener retten til å uttale deg om vitenskap. Ja, det er sterke ord, og jeg har enorm respekt for din erfaring med hifi og systematisk utforsking av akustiske tiltak i ulike former, men jeg kan bare ikke la en så hårreisende påstand få stå uimotsagt. Å sette spørsmålstegn ved at svaret følges av en statistisk analyse med en viss sannsynlighet for at svaret er korrekt er helt i tråd med vitenskapelig metode. I vitenskapen er det som regel bare i matematisk og logisk teori at man får eksakte svar. Empiriske forsøk er gjerne fulgt av statistiske analyser hvor sikkerhetsgehalten og avviksintervaller inngår som en del av svaret. Like fullt er dette beviser gode nok til å produsere medisiner med påviselig virkning mot sykdommer. Feil her får betydelig større konsekvenser enn et kabelbytte. Jeg mener bestemt at dersom det er godt nok bevis for å produsere medisiner, så er det godt nok bevis for hifi-kabler eller andre emner innen hifi.
Psykoakustikk er et fagfelt som beskriver lydens forskjellige virkninger på mennesker. Denne skiller seg fra fysisk akustikk, som er underlagt klare fysiske lover og regler. ABX-testing i audio-sammenheng benytter menneskelige lyttere for å måle forskjellene, og resultatene fra en slik ABX-test ligger helt klart under fagfeltet psykoakustikk, altså i hvilken grad eventuelle forskjeller er av en slik art at mennesker kan detektere dem.
Uttalelsen "Dessverre virker en typisk ABX-test på tvers av psykoakustikken." gir ikke mening, med mindre du forklarer bedre hva du mener med "på tvers av".
- Ble medlem
- 23.03.2006
- Innlegg
- 2.934
- Antall liker
- 587
Trenger ikke 100%. Gå for statistisk signifikans, velg selv konfidensintervall.R.Solhaug skrev:
- Ble medlem
- 12.01.2005
- Innlegg
- 3.677
- Antall liker
- 6
Jo, en av 2^(antall repetisjoner i ABX-testen) ganger vil det til og med statistisk sett skje tilfeldig. Det er altså en sjanse også da for at resultatet er et utslag av tilfeldighet. Slik sett er det forskjell mellom empiriske bevis og teoretiske bevis. Empiri vil alltid være beheftet med en grad av usikkerhet. "Alltid" og "Aldri" er stere ord som bare svært sjelden har sin berettigelse.R.Solhaug skrev:
V
vredensgnag
Gjest
Dersom HiFi-bransjens high-end løsninger avhenger av "lyttepanelets kompetanse," så løselig definert som denne er av samme bransje, så er slaget tapt.roffe skrev:
- Ble medlem
- 12.01.2005
- Innlegg
- 3.677
- Antall liker
- 6
Ja, men i en annen tråd. ABX-testing og lignende testmetodikk dreier seg jo tross alt mest om praktiske tester.R.Solhaug skrev:
N
nb
Gjest
Hvordan finner man forresten ut om man tilhører "de kompetente" ?vredensgnag skrev:
V
vredensgnag
Gjest
Det virker som om man er kompetent så lenge man hører forskjeller man ikke klarer å dokumentere med annet enn påstander.nb skrev:
- Ble medlem
- 12.01.2005
- Innlegg
- 3.677
- Antall liker
- 6
Men tilbake til tittelen på tråden, altså "viktigheten av ABX". Jeg synes ikke ABX i seg selv er så viktig. Det jeg synes ER viktig er hvorvidt påståtte ytelser i markedsføringen av virkelig dyre produkter til en viss grad rettferdiggjør prisforskjellen til betydelig rimeligere produkter i samme kategori. Her kan doble blindtester ala ABX være nyttige verktøy for å bevise dette med sikkerhet som er god nok til å holde i en rettsak, for å si det slik. Folk dømmes for forbrytelser på adskillig tynnere beviser enn bevisene som er resultat av godt gjennomførte blindtester.
Er ABX viktig? Nei, ikke viktigere enn spørsmålet de benyttes for å gi svar på. Er man uinteressert i å ekskludere forventningseffektene som oppstår ved å vite hva man lytter til, så er blindtesting selvfølgelig uinteressant.
Er ABX viktig? Nei, ikke viktigere enn spørsmålet de benyttes for å gi svar på. Er man uinteressert i å ekskludere forventningseffektene som oppstår ved å vite hva man lytter til, så er blindtesting selvfølgelig uinteressant.
Et godt utgangspunkt kan være at man f.eks. er musiker eller har lytteerfaring fra musikk ellers gjennom f.eks. hifiinteresse. Det er dårlig med sertifiseringsordninger for kompetente lyttere. Det vil uansett alltid finnes gråsoner. En prinsippiell holdning om at det ikke finnes lydmessige forskjeller mellom komponenter er selvfølgelig ikke hensiktsmessig og vil også kunne torpedere ABX-tester. Like fordømt som holdningen at ABX-tester ikke er egnet testmetode.nb skrev:
V
vredensgnag
Gjest
Si det, Trondmeg. Evne til ekvilibristisk kamera- og adjektivbruk i anmeldelser? Å kunne sitte og sammenligne en ny komponent de lytter til mot et to år gammelt lytteinntrykk fra en HiFi-messe?
Det du er inne på, om musikkbakgrunn og lyttetrening er viktig. Men kanskje verdt å påpeke at svært mange musikere har hørselsskader?
Hvem er verdens beste HiFi-anmelder, utfra lyttekompetanse?
For å svare delvis seriøst:
God hørsel, og gjerne eksepsjonell. Det finnes mange med mer sensitiv hørsel enn flertallet.
Meget godt lytteminne.
Ha gjennomført lyttetrening der man metodisk har satt seg inn i det å skjelne variasjoner.
Paradoksalt nok, gitt motstanden mot ikke-seende lytting, så viser det seg at slik lytting er bedre treningsgrunnlag for å kunne oppfatte reelle forskjeller enn seende lytting ... Så man kunne begynt med å akseptere dette som en grunntese.
Jeg svarte ellers kun på Solhaugs innspill om at "kompetansen" til lytterne er viktig. Selvsagt, om man kunne vært enige om hva denne kompetansen skal gå ut på. ;D
Jeg på gjerne påstå at jeg er en fenomenalt kompetent pianospiller, men i det øyeblikk jeg setter meg ved pianoet er jeg avslørt.
Det du er inne på, om musikkbakgrunn og lyttetrening er viktig. Men kanskje verdt å påpeke at svært mange musikere har hørselsskader?
Hvem er verdens beste HiFi-anmelder, utfra lyttekompetanse?
For å svare delvis seriøst:
God hørsel, og gjerne eksepsjonell. Det finnes mange med mer sensitiv hørsel enn flertallet.
Meget godt lytteminne.
Ha gjennomført lyttetrening der man metodisk har satt seg inn i det å skjelne variasjoner.
Paradoksalt nok, gitt motstanden mot ikke-seende lytting, så viser det seg at slik lytting er bedre treningsgrunnlag for å kunne oppfatte reelle forskjeller enn seende lytting ... Så man kunne begynt med å akseptere dette som en grunntese.
Jeg svarte ellers kun på Solhaugs innspill om at "kompetansen" til lytterne er viktig. Selvsagt, om man kunne vært enige om hva denne kompetansen skal gå ut på. ;D
Jeg på gjerne påstå at jeg er en fenomenalt kompetent pianospiller, men i det øyeblikk jeg setter meg ved pianoet er jeg avslørt.