Diverse Anmeldelse av Amir (Audio Science Review)

Diskusjonstråd Se tråd i gallerivisning

  • Handsoer

    Hi-Fi freak
    Ble medlem
    14.03.2007
    Innlegg
    3.314
    Antall liker
    1.423
    Sted
    Sortland
    Så mannen liker lyden av en høyttaler, men er ikke så begeistret for lyden av en annen - selv om de kommer like godt ut på målingene?
    Og det skal være diskvalifiserende?
     

    hestepare

    Overivrig entusiast
    Ble medlem
    18.05.2020
    Innlegg
    737
    Antall liker
    567
    Sted
    Oslo
    Hele poenget med en preferanseskår slik Toole og Olive snakker om, er at algoritmen skal være i stand til å spå en lytters preferanse basert på Klippel-input.
    Jeg vet ikke hva Toole og Olive hevder algoritmen deres skal gjøre, men det er ikke rimelig at en sånn algoritme skal "spå en lytters preferanse". Det jeg mistenker at ligger under her er at T&O sin algoritme skal predikere lytteres preferanse på gruppenivå. I det perspektivet er det bra sammenheng mellom det du i post 1 – både fig. 1 og 2 – kaller "objektiv" og "subjektiv" karakter her, fordi de beveger seg sånn omtrent parallelt.

    Sånn jeg tolker grafene dine er dette uproblematisk. Det ser ut som det er et reliabilitetsproblem her og ikke et validitetsproblem, og det undergraver ikke Amirs ører.
     

    Dr Dong

    Æresmedlem
    Ble medlem
    23.01.2011
    Innlegg
    10.970
    Antall liker
    8.202
    Sted
    oslo
    Nei, som alle andre må jeg støtte meg på det han skriver. Hvorfor lurer du?
    bare generell forvirring:

    det fremstår vel som ren subjektivitet; smak og behag?

    ser du noe noen korrelasjon mellom måling og subjektivt inntrykk?

    har han gjort forsøk på å tenke subjektive inntrykk i relasjon til hva lytteobjektivistene sier?

    tillegg:

    amirs ører er vel her totalt uinteressante; om det ikke var for at han vil ha en type objektivitet i sine synsinger. og det vil han vel? og i mangel av lyttemetodikk, så står vi igjen med å påberope seg …
     
    Sist redigert:

    svart-hvitt

    Hi-Fi freak
    Ble medlem
    21.01.2015
    Innlegg
    3.864
    Antall liker
    2.496
    Ingen av scenarioene gir mening. Det som gir mening er å snakke om at siden han ikke måler en lang rekke relevante parametere så kan du ikke sammenlikne hans "performance" med målingene. Så lenge ingen av disse 119 har utvidede målinger vil det heller ikke hjelpe om han tester ytterligere 119.
    Jeg hadde ventet meg noe sånt som dette av Amir:
    99A8C9A3-DFAA-4B50-B5F1-E83D14A23E2E.png

    Lenke:https://www.audiosciencereview.com/...s/are-our-preferences-different-in-audio.284/

    Amir skriver blant annet følgende (Amirs utheving):

    «The results were remarkable. Not only did he find a correlation but the match was nearly perfect in the same class as the speaker (…) Turns out we are remarkably alike in what we prefer subjectively. We seem to have an internal compass that points to good sound and that when we only use that compass, we are able to determine what is proper and what is not (…) So no, we do not have different preferences as a rule. You may be the exception but the odds are well against you being so».
     

    Snickers-is

    Bransjeaktør
    Ble medlem
    05.02.2004
    Innlegg
    14.065
    Antall liker
    7.043
    Har du regnet ut hvor mange lyttere som danner grunnlag for den kurven der? Du burde da forstå at statistikk fra én person gir en viss spredning?
     

    svart-hvitt

    Hi-Fi freak
    Ble medlem
    21.01.2015
    Innlegg
    3.864
    Antall liker
    2.496
    Har du regnet ut hvor mange lyttere som danner grunnlag for den kurven der? Du burde da forstå at statistikk fra én person gir en viss spredning?
    Amir har svaret på poenget ditt:

    «You may be the exception but the odds are well against you being so».

    Jeg kjenner naturligvis forskjellen på individ og gruppe i statistikk.
     

    svart-hvitt

    Hi-Fi freak
    Ble medlem
    21.01.2015
    Innlegg
    3.864
    Antall liker
    2.496
    Ingen av scenarioene gir mening. Det som gir mening er å snakke om at siden han ikke måler en lang rekke relevante parametere så kan du ikke sammenlikne hans "performance" med målingene. Så lenge ingen av disse 119 har utvidede målinger vil det heller ikke hjelpe om han tester ytterligere 119.
    Fascinerende at du ikke klarer å bruke 119 datapunkter til noe som helst.

    Til sammenlikning bruker folk på ASR og ellers gjerne denne figuren fra Toole med bare 11 datapunkter. Kurven brukes til å skru romkurven i de tusen audiofile hjem…

    63F92141-78FF-44C0-A200-184C3DBEB8F8.png

    Egentlig ikke noe kritikk av deg som synes 119 datapunkter er litt lite. Fint å være konservativ i bruken av statistikk, noe en del andre ikke er. Personlig synes jeg 119 datapunkter gir grunnlag for seriøse undersøkelser.
     

    Snickers-is

    Bransjeaktør
    Ble medlem
    05.02.2004
    Innlegg
    14.065
    Antall liker
    7.043
    Fascinerende at du ikke klarer å bruke 119 datapunkter til noe som helst.

    Til sammenlikning bruker folk på ASR og ellers gjerne denne figuren fra Toole med bare 11 datapunkter. Kurven brukes til å skru romkurven i de tusen audiofile hjem…

    Vis vedlegget 721371
    Egentlig ikke noe kritikk av deg som synes 119 datapunkter er litt lite. Fint å være konservativ i bruken av statistikk, noe en del andre ikke er. Personlig synes jeg 119 datapunkter gir grunnlag for seriøse undersøkelser.
    119 datapunkter er ikke noe tema, noe jeg forsøkte å understreke ved å skrive at det ikke gjør noen forskjell om man legger til ytterligere 119. Men siden vi vet såpass lite om de aktuelle høyttalerne utover litt grunnleggende hvordan de sprer, og deres harmoniske forvrengning har vi begrenset mulighet for å sortere dataene.

    Allikevel harmonerer dette godt med korrelasjonskurvene til Toole.

    Men hvor i all verden får du 11 datapunkter fra? Tror du den ene undersøkelsen er alt hans forskning er basert på?
     

    hestepare

    Overivrig entusiast
    Ble medlem
    18.05.2020
    Innlegg
    737
    Antall liker
    567
    Sted
    Oslo
    Sånn jeg ser det er det akkurat det du har fått.

    Jeg tror det du ser er et lett tilfelle av inter-rater reliability-problematikk – at en "rater" (en som gir skåre) ikke gir helt samme skåre som en annen ville gitt, selv om de i prinsippet er enige om hva som skal måles og hvordan.

    Legg merke til at objektiv og subjektiv beveger seg omtrent parallelt. Du har jo til og med markert det med en linje mellom midtpunktene:
    Skjermbilde 2021-05-11 kl. 23.28.53.png

    Her er Amir og T&O helt enige om hva som er best og hva som er verst, men de er ikke helt enige om hvilken karakter som skal gis.

    Denne grafen må jeg innrømme at jeg ikke forstår hva skal vise, men også her er det parallellitet:
    Skjermbilde 2021-05-11 kl. 23.30.52.png


    Hvis jeg forstår analysen din riktig reagerer du ikke på at Amirs skårer er uventet ut fra prediksjonen, altså at han gir høy karakter der han ifølge prediksjonen skulle gitt lav. Det du reagerer på er at han gir konsekvent lavere skår enn det algoritmen predikerer, uavhengig av om det går opp der det forventes at det skal gå opp og ned der det skal gå ned. Det er egentlig ikke en innvendig mot prediksjonen eller Amirs ører.
     

    svart-hvitt

    Hi-Fi freak
    Ble medlem
    21.01.2015
    Innlegg
    3.864
    Antall liker
    2.496
    119 datapunkter er ikke noe tema, noe jeg forsøkte å understreke ved å skrive at det ikke gjør noen forskjell om man legger til ytterligere 119. Men siden vi vet såpass lite om de aktuelle høyttalerne utover litt grunnleggende hvordan de sprer, og deres harmoniske forvrengning har vi begrenset mulighet for å sortere dataene.

    Allikevel harmonerer dette godt med korrelasjonskurvene til Toole.

    Men hvor i all verden får du 11 datapunkter fra? Tror du den ene undersøkelsen er alt hans forskning er basert på?
    En ting en del glemmer her, er at Amir ikke lytter blindt og i tillegg har tilgang til målingene (men ikke preferanseskåren). I og med at han neppe vil se helt ut som en gjøk, er det å forvente at hans «preferanser» i snitt korrelerer med de objektive målingene når hab skuler på målt frekvensrespons mv. Det er til tross for at Amir har all denne informasjonen at det er oppsiktsvekkende at hans 1-ere og 4-ere overlapper objektivt (algoritmekarakter) sett i halvparten av tilfellene.

    En annen smått utrolig observasjon er at Amirs karakterer har fordelt seg slik fra 1 til 4:

    1: 22
    2: 38
    3: 41
    4: 18

    Det er en nærmest perfekt fordeling inspirert av klokkekurven, med et standardavvik på 1,0…

    Så han oppfører seg som en maskin i fordelingen av karakterer fra 1 til 4, uten at vi vet om han virkelig har testet høyttalere som er normalfordelt eller skjevfordelt mht. reell kvalitet.
     

    Snickers-is

    Bransjeaktør
    Ble medlem
    05.02.2004
    Innlegg
    14.065
    Antall liker
    7.043
    @svart-hvitt Antydningene dine blir bare fullstendig idiotiske. Jeg forstår at du bærer nag etter å ha blitt kastet ut, men hvis du skal diskutere det så diskuter det, i stedet for å pakke det inn i alt mulig annet tull.
     

    svart-hvitt

    Hi-Fi freak
    Ble medlem
    21.01.2015
    Innlegg
    3.864
    Antall liker
    2.496
    Sånn jeg ser det er det akkurat det du har fått.

    Jeg tror det du ser er et lett tilfelle av inter-rater reliability-problematikk – at en "rater" (en som gir skåre) ikke gir helt samme skåre som en annen ville gitt, selv om de i prinsippet er enige om hva som skal måles og hvordan.

    Legg merke til at objektiv og subjektiv beveger seg omtrent parallelt. Du har jo til og med markert det med en linje mellom midtpunktene:
    Vis vedlegget 721370
    Her er Amir og T&O helt enige om hva som er best og hva som er verst, men de er ikke helt enige om hvilken karakter som skal gis.

    Denne grafen må jeg innrømme at jeg ikke forstår hva skal vise, men også her er det parallellitet:
    Vis vedlegget 721372

    Hvis jeg forstår analysen din riktig reagerer du ikke på at Amirs skårer er uventet ut fra prediksjonen, altså at han gir høy karakter der han ifølge prediksjonen skulle gitt lav. Det du reagerer på er at han gir konsekvent lavere skår enn det algoritmen predikerer, uavhengig av om det går opp der det forventes at det skal gå opp og ned der det skal gå ned. Det er egentlig ikke en innvendig mot prediksjonen eller Amirs ører.
    Jeg må ha ordlagt meg dårlig i åpningsinnlegget🤦🏻‍♂️

    Glem figur 2 nå. I figur 1 ser vi at Amirs 1-ere objektivt sett ikke er betydelig annerledes enn Amirs 4-ere. Det er hovedpoenget.

    Merk at det er minst 2 standardavvik (i snitt sannsynligvis 2,5 standardavvik fra subjektiv 1 til 4, mens høy og lav i figuren representerer ett standardavvik.

    Figur 2 er utdypende informasjon om fordelingen av objektive skår i gruppe 1 og 4.
     

    hestepare

    Overivrig entusiast
    Ble medlem
    18.05.2020
    Innlegg
    737
    Antall liker
    567
    Sted
    Oslo
    I figur 1 ser vi at Amirs 1-ere objektivt sett ikke er betydelig annerledes enn Amirs 4-ere.
    Mener du dette?
    Skjermbilde 2021-05-11 kl. 23.57.05.png


    Det er jo i så fall ikke poenget – hvis T&O sin prediksjon stemmer så er det viktigste at det er samsvar her, og det er det jo:

    Skjermbilde 2021-05-11 kl. 23.58.37.png


    Om han konsekvent bommer med et par poeng er ikke egentlig relevant, for da kan du jo bare sette x+2 og få regresjonen spot on.
     

    Audiophile-Arve

    Æresmedlem
    Ble medlem
    28.11.2002
    Innlegg
    19.136
    Antall liker
    6.230
    Sted
    Kysten, Nordvestlandet, argaste nynorskdistriktet
    Torget vurderinger
    0
    Så mannen liker lyden av en høyttaler, men er ikke så begeistret for lyden av en annen - selv om de kommer like godt ut på målingene?
    Og det skal være diskvalifiserende?
    Det er klart, ut frå tesen om at når to produkt målar likt, er dei like. Her vil eg tru at utfordringa er at målingane ikkje er fullstendige. Eg har ikkje oversyn på korleis høgtalarar skal målast for at alle sider/parametrar av lyden skal ivaretakast, men det må dei vel?
     

    Handsoer

    Hi-Fi freak
    Ble medlem
    14.03.2007
    Innlegg
    3.314
    Antall liker
    1.423
    Sted
    Sortland
    Ikke "måler likt" men "Kommer likt ut til slutt", betyr ikke helt det samme når man har flere enn 2 kriterier som skal summeres.
     

    coolio

    Hi-Fi freak
    Ble medlem
    19.09.2015
    Innlegg
    4.234
    Antall liker
    3.785
    Sted
    Bergen
    Torget vurderinger
    2
    Er ikke rart jeg ikke forstår meg på statistikk 🥴
    Her er et par faktorer som jeg synes er verdt å ta hensyn til når man kikker på Amirs målinger kontra hans subjektive vurderinger;

    - Bass står for ca 30 % av vår subjektive oppfattelse av lydkvalitet.

    - Amir liker å spille høyt og bruker bare én høyttaler - ergo blir bassytelse/kapasitet en stor faktor.

    - Han straffer kompresjon/ulyder og/eller manglende renhet på høyt volum i overkant strengt. Feks nevnte Genelec 8341 lød veldig mye bedre enn feks JBL lsr306, men klarte ikke å spille like høyt som han forventet. Derfor gikk den ned en Rosa Panter.

    - Amir tester stort sett stativhøyttalere med svak kapasitet og de individuelle forskjellene på det området vil bety relativt mye mer enn for større høyttalere.

    - En god del av høyttalerne målt ble målt på vinterhalvåret i en kald garasje (Seattle) før Neumann tipset om at bassmålingene ville vise feil pga kulden. Derfor er det ganske mange av høyttalerne som "underpresterer" på målingene under 200 hz og likevel scorer subjektivt godt hos Amir fordi han lytter på de i stuen, ikke i den kalde garasjen. (I tillegg har det blitt gjort justeringer i softwaren den senere tid som fikser målefeil i bassen - høyttalerne viser nå langt mer bass enn tidligere.)

    Her er et bilde av samme høyttaler målt ved forskjellig temperatur;

    1594430395865.png


    Så selv om jeg synes det er interessant å studere korrelasjon mellom Amirs målinger og subjektive vurderinger, så erkjenner jeg også at det er nok usikre variabler til at man skal dra betydningen altfor langt.

    En kjapp sammensausing av høyttalere som har fått veldig god subjektiv kritikk av Amir, lyttevindu-snittet;

    Loudspeaker Explorer chart (1).png


    Tja, ser ut som målingene er relativt like på de han liker?
     

    duc999

    Hi-Fi freak
    Ble medlem
    28.12.2007
    Innlegg
    1.318
    Antall liker
    2.341
    Sted
    Haugesund
    Torget vurderinger
    3
    Har vel gått litt langt i målefeberen når måling av høyttalere er tema fremfor lytting. Høyttalere er jo en veldig smak og behag ting, og ikke minst så påvirker jo rommet så mye av hvordan en høyttaler ender opp med å låte, at dette er å dra målestrikken litt vel langt
     

    coolio

    Hi-Fi freak
    Ble medlem
    19.09.2015
    Innlegg
    4.234
    Antall liker
    3.785
    Sted
    Bergen
    Torget vurderinger
    2
    Har vel gått litt langt i målefeberen når måling av høyttalere er tema fremfor lytting. Høyttalere er jo en veldig smak og behag ting, og ikke minst så påvirker jo rommet så mye av hvordan en høyttaler ender opp med å låte, at dette er å dra målestrikken litt vel langt
    God morgen, mr Brombrom! Kaffe? :coffee: :D
     

    svart-hvitt

    Hi-Fi freak
    Ble medlem
    21.01.2015
    Innlegg
    3.864
    Antall liker
    2.496
    Er ikke rart jeg ikke forstår meg på statistikk 🥴
    Her er et par faktorer som jeg synes er verdt å ta hensyn til når man kikker på Amirs målinger kontra hans subjektive vurderinger;

    - Bass står for ca 30 % av vår subjektive oppfattelse av lydkvalitet.

    - Amir liker å spille høyt og bruker bare én høyttaler - ergo blir bassytelse/kapasitet en stor faktor.

    - Han straffer kompresjon/ulyder og/eller manglende renhet på høyt volum i overkant strengt. Feks nevnte Genelec 8341 lød veldig mye bedre enn feks JBL lsr306, men klarte ikke å spille like høyt som han forventet. Derfor gikk den ned en Rosa Panter.

    - Amir tester stort sett stativhøyttalere med svak kapasitet og de individuelle forskjellene på det området vil bety relativt mye mer enn for større høyttalere.

    - En god del av høyttalerne målt ble målt på vinterhalvåret i en kald garasje (Seattle) før Neumann tipset om at bassmålingene ville vise feil pga kulden. Derfor er det ganske mange av høyttalerne som "underpresterer" på målingene under 200 hz og likevel scorer subjektivt godt hos Amir fordi han lytter på de i stuen, ikke i den kalde garasjen. (I tillegg har det blitt gjort justeringer i softwaren den senere tid som fikser målefeil i bassen - høyttalerne viser nå langt mer bass enn tidligere.)

    Her er et bilde av samme høyttaler målt ved forskjellig temperatur;

    Vis vedlegget 721395

    Så selv om jeg synes det er interessant å studere korrelasjon mellom Amirs målinger og subjektive vurderinger, så erkjenner jeg også at det er nok usikre variabler til at man skal dra betydningen altfor langt.

    En kjapp sammensausing av høyttalere som har fått veldig god subjektiv kritikk av Amir, lyttevindu-snittet;

    Vis vedlegget 721397

    Tja, ser ut som målingene er relativt like på de han liker?
    Mye av det du tar opp, har med Amirs kompetanse som trent lytter og kompetanse i testsituasjonen å gjøre. Jeg har holdt Amirs kompetanse mht. testmetode utenfor - og implisittt antatt at han er kompetent i oppsett av test - men det kan naturligvis være mange grunner til at det er mye støy i datasettet.

    Å fjerne kilder til støy er jo noe forskere bruker mye tid på🤦🏻‍♂️
     

    coolio

    Hi-Fi freak
    Ble medlem
    19.09.2015
    Innlegg
    4.234
    Antall liker
    3.785
    Sted
    Bergen
    Torget vurderinger
    2
    Mye av det du tar opp, har med Amirs kompetanse som trent lytter og kompetanse i testsituasjonen å gjøre. Jeg har holdt Amirs kompetanse mht. testmetode utenfor - og implisittt antatt at han er kompetent i oppsett av test - men det kan naturligvis være mange grunner til at det er mye støy i datasettet.

    Å fjerne kilder til støy er jo noe forskere bruker mye tid på🤦🏻‍♂️
    Skjønner ikke helt hvor du vil med denne tankerekken?
     

    coolio

    Hi-Fi freak
    Ble medlem
    19.09.2015
    Innlegg
    4.234
    Antall liker
    3.785
    Sted
    Bergen
    Torget vurderinger
    2
    Det er veldig lett å tenke akkurat det når det blir et slikt ensidig fokus på feilbarligheten til Amir. Who cares, det er målingene vi er ute etter.
    Nå er Amir i ferd med å gjøre seg selv irrelevant ved å fremstå vanskelig og humørsyk samt ved å stadig begrense omfanget av målinger på høyttalerne samtidig som Erin's Audio Corner har skaffet seg en Klippel-maskin.

    Sistnevnte er mer omgjengelig/lettere til sinns, har utfyllende målinger og lyttesesjoner (før måling) og fremstår langt mer sympatisk og spiselig for både forbrukere og produsenter.

     

    HC

    Hi-Fi freak
    Ble medlem
    02.05.2002
    Innlegg
    3.039
    Antall liker
    1.024
    Torget vurderinger
    14
    Det er veldig lett å tenke akkurat det når det blir et slikt ensidig fokus på feilbarligheten til Amir. Who cares, det er målingene vi er ute etter.
    Nå er Amir i ferd med å gjøre seg selv irrelevant ved å fremstå vanskelig og humørsyk samt ved å stadig begrense omfanget av målinger på høyttalerne samtidig som Erin's Audio Corner har skaffet seg en Klippel-maskin.

    Sistnevnte er mer omgjengelig/lettere til sinns, har utfyllende målinger og lyttesesjoner (før måling) og fremstår langt mer sympatisk og spiselig for både forbrukere og produsenter.

    Yes, denne tråden kunne vært om målingene fra ASR og om hvorvidt de er omfattende nok, om de viktigste tingene måles osv. I steden er det en uendelig kværning på ting som jeg personlig finner nærmest uninteressant. Jeg bryr meg null om Amir som person og nær null om hans subjektive vurderinger.
     

    HC

    Hi-Fi freak
    Ble medlem
    02.05.2002
    Innlegg
    3.039
    Antall liker
    1.024
    Torget vurderinger
    14
    Men HC, litt på siden av topic.
    Har du for vane å ikke betale parkeringsavgifter?

    ;)
    Hehe, jeg betaler enten avgift eller gebyr. Den gang da jeg bodde i parkeringshelvete (Oslo) så bidro jeg titt og ofte til felleskassa i form av gebyr.
     
    Sist redigert:

    Voff

    Hi-Fi freak
    Ble medlem
    03.11.2006
    Innlegg
    8.124
    Antall liker
    3.217
    Torget vurderinger
    1
    - Amir liker å spille høyt og bruker bare én høyttaler - ergo blir bassytelse/kapasitet en stor faktor.
    Mao svært subjektivt. Hva med de som ikke spiller høyt, ikke er bassnarkomane og som er opptatt av dybde og pin-pointing?
    Tror mange vil foretrekke perspektivegenskaper og dybde foran frekvensavvik som kanskje er ubetydelige når høytalerne spiller i et gitt rom.....
     

    erk

    Hi-Fi entusiast
    Ble medlem
    16.01.2015
    Innlegg
    429
    Antall liker
    548
    Sted
    Kolbotn
    Er ikke rart jeg ikke forstår meg på statistikk 🥴
    Her er et par faktorer som jeg synes er verdt å ta hensyn til når man kikker på Amirs målinger kontra hans subjektive vurderinger;

    - Bass står for ca 30 % av vår subjektive oppfattelse av lydkvalitet.

    - Amir liker å spille høyt og bruker bare én høyttaler - ergo blir bassytelse/kapasitet en stor faktor.

    - Han straffer kompresjon/ulyder og/eller manglende renhet på høyt volum i overkant strengt. Feks nevnte Genelec 8341 lød veldig mye bedre enn feks JBL lsr306, men klarte ikke å spille like høyt som han forventet. Derfor gikk den ned en Rosa Panter.
    :)
    Tror nok @hestepare har et meget godt poeng med hensyn til analysen av Figur 1.

    Men for øvrig, hvis man skal være pirkete (og det skal vi kanskje være her?) så er anvendelse av "Ratio skala" statistikk på en ordinalskala (som en subjektiv rating er) i beste fall upresist. "gjennomsnitt", "standardavvik" og parametrisk statistikk som antar ratio skalaer er rett og slett ikke korrekt her. Skalaen til Amir er ordinalskala. Den "objektive" Harman skalaen er i beste fall intervallskala men egentlig ikke hvis den er ment å predikere "opplevd kvalitet", med mindre man kan si at forskjellen mellom 1-3 er like stor som forskjellen mellom 2-4...Så jeg tipper de fleste vil si at den også er på en ordinalskala selv om verdiene fra prediksjonsmodellen kan gi inntrykk av noe annet.... (litt det samme som en klassifikasjonsmodell mellom 0-1 som egentlig skal svare "true" eller "false").
    Egentlig burde vel Harman brukt ordinal scale regression for modellen sin men men...

    Boxplot rundt median med øvre og nedre percentiler gir derfor et mye mer korrekt bilde av sammenhengen. Jeg vil anta at den ikke-parametriske Spearman Rank Correlation test kan brukes for å teste hypotesen om sammenheng (og om graden av sammenheng er statistisk signifikant) mellom Amir's score og den "objektive" scoren. Før øvrig bør slike ratingskalaer nesten alltid ha et midtpunkt (så 1-5 hvor 3 er "midt på treet"/"hverken ja eller nei" framfor 1-4) men det er det jo litt sent å gjøre noe med...

    Men nok om det. Du illustrerer et annet kjernepoeng her synes jeg. For MEG er bassytelse, dynamikk og kapasitet svært viktig og i hvert fall MYE viktigere enn om det er +/-2dB eller +/-5dB i frekvensrespons i rommet (innenfor der spiller det tydeligvis svært liten rolle for min del). Hvis Amir vektlegger bass og kapasitet høyere enn den "objektive" scoren gjør, hva betyr det i så fall? I så fall representerer han(og jeg) kanskje en "outlier" i forhold til de personene som er brukt for å lage en regresjonsbasert prediksjonsmodell (den "objektive" scoren). Men det sier samtidig mye om hvor vanskelig er det er å lage EN god indikator på "kvalitet", uansett om det er SINAD eller Harman preference score... Man burde bare innse at det er mange variable som tilsammen sier noe om opplevd kvalitet, uten at man på noen enkel måte kan summere variablene til en enkeltscore uten at feilmargine blir for store. Det hele dreier seg om "construct validity"...
    Ta for eksempel SINAD for en forsterker: Er en forsterker som har SINAD på 100dB bedre enn en som har SINAD på 90dB ved 5W (vanlig måling)? Hva om den første bryter fullstendig sammen og har 10% THD ved 6W, mens den andre har mindre enn 0,01% THD (som ikke er hørbart) opp til 1000W og med stålkontroll og store strømresever for bassen? Hvem er "best"??? Jeg vet hva jeg ville foretrukket men i prinsippet kommer det jo an på en rekke "confounding factors" som man like godt glemmer i sin iver etter å lage slike indikatorer. Som for eksempel, hvor lettdrevne er høyttalerne, hvor stort rom skal forsterkeren drive høyttalerne i, hvor høyt er støygulvet i rommet? Osv ;-)
     
    Sist redigert:

    hestepare

    Overivrig entusiast
    Ble medlem
    18.05.2020
    Innlegg
    737
    Antall liker
    567
    Sted
    Oslo
    NÅ kan vi trekke inn de gamle grekerne! Hva "kvalitet", "substans", "essens" og så videre betyr, er et av de aller mest fundamentale spørsmålene i filosofihistorien, og å redusere det til SINAD+Amirs Ører™ hjelper oss lite. Å utvikle god begrepsvaliditet er vanskelig, og derfor veldig lett å hoppe over…
     
    • Liker
    Reaksjoner: erk

    coolio

    Hi-Fi freak
    Ble medlem
    19.09.2015
    Innlegg
    4.234
    Antall liker
    3.785
    Sted
    Bergen
    Torget vurderinger
    2
    Mao svært subjektivt. Hva med de som ikke spiller høyt, ikke er bassnarkomane og som er opptatt av dybde og pin-pointing?
    Tror mange vil foretrekke perspektivegenskaper og dybde foran frekvensavvik som kanskje er ubetydelige når høytalerne spiller i et gitt rom.....
    Klart, de som ikke spiller høyt eller liker mye bass vil score en høyttaler helt annerledes bare på den faktoren alene. Dybde, pinpointing og andre spatiale kvaliteter er faktorer som mer eller mindre forsvinner når man kun lytter i mono - som Amir gjør.

    Mono er egnet for å lytte etter tonale avvik, resonanser og slikt, men uegnet til å vurdere spatiale effekter sammenlignet med stereo. Et av problemene med mono-lytting er også at man har en tendens til å foretrekke høyttalere som har bred spredning fordi man får mer inntrykk av spatiale effekter enn høyttalere med smal spredning. Disse store forskjellene forsvinner straks man involverer stereo.

    WFnHT8y.png
     

    erk

    Hi-Fi entusiast
    Ble medlem
    16.01.2015
    Innlegg
    429
    Antall liker
    548
    Sted
    Kolbotn
    NÅ kan vi trekke inn de gamle grekerne! Hva "kvalitet", "substans", "essens" og så videre betyr, er et av de aller mest fundamentale spørsmålene i filosofihistorien, og å redusere det til SINAD+Amirs Ører™ hjelper oss lite. Å utvikle god begrepsvaliditet er vanskelig, og derfor veldig lett å hoppe over…
    Ah, begrepsvaliditet heter det ja! Har ikke skrevet så mye om slikt på norsk merker jeg ;-)
     

    Balle Clorin

    Hi-Fi freak
    Ble medlem
    19.06.2012
    Innlegg
    5.324
    Antall liker
    3.164
    Torget vurderinger
    2
    Det er veldig lett å tenke akkurat det når det blir et slikt ensidig fokus på feilbarligheten til Amir. Who cares, det er målingene vi er ute etter.
    Nå er Amir i ferd med å gjøre seg selv irrelevant ved å fremstå vanskelig og humørsyk samt ved å stadig begrense omfanget av målinger på høyttalerne samtidig som Erin's Audio Corner har skaffet seg en Klippel-maskin.

    Sistnevnte er mer omgjengelig/lettere til sinns, har utfyllende målinger og lyttesesjoner (før måling) og fremstår langt mer sympatisk og spiselig for både forbrukere og produsenter.

    Setter stor pris på ASR målinger, men Amir virker som er en ganske arrogant fyr , han har kanskje grunn til å være en besservisser men trenger ikke oppføre seg som en for det..

    I en av trådene hans handler det om MQA og high rez, . Jeg spurte om han støtter MQA og sa det var skuffende og la ved linker til bevis postet på Archimagio sin blog og innlegg på «ComputerAudio eller noe» som beviser utover min tvil om at MQA ikke holder det det lover og tydelig er er markedstriks og ingen highrezforbedring. Innlegget ble raskt slettet med påstand om Trolling.

    Andre gang på 20 år at jeg har blitt irettesatt for et innlegg.
     

    svart-hvitt

    Hi-Fi freak
    Ble medlem
    21.01.2015
    Innlegg
    3.864
    Antall liker
    2.496
    Skjønner ikke helt hvor du vil med denne tankerekken?
    Hvis det er ting i Amirs testoppsett som varierer - du bruker ordene "usikre variabler" - vil det bli tilført støy i lyttetestene.

    Om nettopp dette poenget har Amir kommentert slik:

    "2. We don't listen to graphs, we listen to sound. Why look at graphs?
    Agreed. We value listening tests even more than others. But per #1, the listening tests must be controlled and devoid of bias before it is accepted. Once there, I would be the first to put them ahead of graphs and measurements.

    Sorry, but subjectivists, uncontrolled testing is of no value so please don't keep saying "your ears" say different. It is your ear+brain that is saying something different. You have to exclude all the other factors your brain takes into account beside sound before we look at your feedback.
    "
    Lenke: https://www.audiosciencereview.com/forum/index.php?threads/understanding-audio-measurements.2351/

    Synes du det virker som om Amir bedriver "uncontrolled testing"?
     
    Sist redigert:

    svart-hvitt

    Hi-Fi freak
    Ble medlem
    21.01.2015
    Innlegg
    3.864
    Antall liker
    2.496
    :)
    Tror nok @hestepare har et meget godt poeng med hensyn til analysen av Figur 1.

    Men for øvrig, hvis man skal være pirkete (og det skal vi kanskje være her?) så er anvendelse av "Ratio skala" statistikk på en ordinalskala (som en subjektiv rating er) i beste fall upresist. "gjennomsnitt", "standardavvik" og parametrisk statistikk som antar ratio skalaer er rett og slett ikke korrekt her. Skalaen til Amir er ordinalskala. Den "objektive" Harman skalaen er i beste fall intervallskala men egentlig ikke hvis den er ment å predikere "opplevd kvalitet", med mindre man kan si at forskjellen mellom 1-3 er like stor som forskjellen mellom 2-4...Så jeg tipper de fleste vil si at den også er på en ordinalskala selv om verdiene fra prediksjonsmodellen kan gi inntrykk av noe annet.... (litt det samme som en klassifikasjonsmodell mellom 0-1 som egentlig skal svare "true" eller "false").
    Egentlig burde vel Harman brukt ordinal scale regression for modellen sin men men...

    Boxplot rundt median med øvre og nedre percentiler gir derfor et mye mer korrekt bilde av sammenhengen. Jeg vil anta at den ikke-parametriske Spearman Rank Correlation test kan brukes for å teste hypotesen om sammenheng (og om graden av sammenheng er statistisk signifikant) mellom Amir's score og den "objektive" scoren. Før øvrig bør slike ratingskalaer nesten alltid ha et midtpunkt (så 1-5 hvor 3 er "midt på treet"/"hverken ja eller nei" framfor 1-4) men det er det jo litt sent å gjøre noe med...

    Men nok om det. Du illustrerer et annet kjernepoeng her synes jeg. For MEG er bassytelse, dynamikk og kapasitet svært viktig og i hvert fall MYE viktigere enn om det er +/-2dB eller +/-5dB i frekvensrespons i rommet (innenfor der spiller det tydeligvis svært liten rolle for min del). Hvis Amir vektlegger bass og kapasitet høyere enn den "objektive" scoren gjør, hva betyr det i så fall? I så fall representerer han(og jeg) kanskje en "outlier" i forhold til de personene som er brukt for å lage en regresjonsbasert prediksjonsmodell (den "objektive" scoren). Men det sier samtidig mye om hvor vanskelig er det er å lage EN god indikator på "kvalitet", uansett om det er SINAD eller Harman preference score... Man burde bare innse at det er mange variable som tilsammen sier noe om opplevd kvalitet, uten at man på noen enkel måte kan summere variablene til en enkeltscore uten at feilmargine blir for store. Det hele dreier seg om "construct validity"...
    Ta for eksempel SINAD for en forsterker: Er en forsterker som har SINAD på 100dB bedre enn en som har SINAD på 90dB ved 5W (vanlig måling)? Hva om den første bryter fullstendig sammen og har 10% THD ved 6W, mens den andre har mindre enn 0,01% THD (som ikke er hørbart) opp til 1000W og med stålkontroll og store strømresever for bassen? Hvem er "best"??? Jeg vet hva jeg ville foretrukket men i prinsippet kommer det jo an på en rekke "confounding factors" som man like godt glemmer i sin iver etter å lage slike indikatorer. Som for eksempel, hvor lettdrevne er høyttalerne, hvor stort rom skal forsterkeren drive høyttalerne i, hvor høyt er støygulvet i rommet? Osv ;-)
    Jeg tror jeg ser poenget ditt med å putte data som har med preferanser å gjøre inn i en kalkulator som inneholder data fra målinger. Men er det ikke dette Toole er så kjent for? Han bruker tallfester preferansedata i en søken mot sannhet og sammenlikner disse preferansedataene med objektive målinger av høyttaleren.

    Det vi ser i Amirs karaktergivning, er at det er en positiv korrelasjon i snitt mellom objektiv kvalitet og subjektiv kvalitet. Men når man graver litt dypere i dataene, viser tallene at halvparten av høyttalerne i gruppe 1 (lavest subjektiv rating) har omtrent samme (4,0) objektive skår som halvparten av høyttalerne i gruppe 4 (4,5). Standardavviket i de objektive skårene er 1,6 og gjennomsnittet i hele utvalget er 4,1.

    Fordi Amir gjør lyttetestene "sighted" etter at han har målt høyttalerne, er det å forvente at vi ser en positiv korrelasjon mellom det objektive og det subjektive. Bias alene gjør at vi forventer å se en slik positiv korrelasjon som et ekko av målingene. Derfor er det overraskende at når vi graver i kurv 1 og 4, så ser vi at halvparten av høyttalerne i kurv 1 i snitt måler omtrent likt som halvparten av høyttalerne i kurv 4.

    Det betyr at en høyttalerprodusent - som følger boka og vet at høyttaleren han lager måler ok - bør tenke seg om før han sender den inn til Amir. Hvis han sender inn høyttaleren for testing til ASR, kan en høyttaler med ok målinger få bunnkarakter av Amir. For en del små produsenter kan det være kroken på døra.

    For forbrukerne kan de subjektive ratingene være forvirrende. Hvis en forbruker kjøper en høyttaler som får topprating av Amir, kan det tenkes at den måler omtrent likt som en høyttaler som får bunnkarakter av Amir. Hvis forbrukeren lytter til de to høyttalerne - som fikk vidt forskjellig rating av Amir - vil han sannsynligvis lure på hvorfor forskjellen i opplevd lyd ikke er større. Da har Amir blitt en kilde til forvirring og ikke opplysning.
     
    Sist redigert:

    erk

    Hi-Fi entusiast
    Ble medlem
    16.01.2015
    Innlegg
    429
    Antall liker
    548
    Sted
    Kolbotn
    Jeg tror jeg ser poenget ditt med å putte data som har med preferanser å gjøre inn i en kalkulator som inneholder data fra målinger. Men er det ikke dette Toole er så kjent for? Han bruker tallfester preferansedata i en søken mot sannhet og sammenlikner disse preferansedataene med objektive målinger av høyttaleren.
    Jo det er kanskje det... men det jeg har lest så setter jeg mest pris på all teorien og forklaringsmodeller relatert til psykoakustikken. Men en lineær regresjonsmodell som prediksjon på noe så komplekst som opplevd kvalitet har jeg som du skjønner litt skepsis til, etter å ha jobbet med tilsvarende problemstilling i en årrekke. Riktig nok var mitt mål å lage modeller av systemutvikleres evner til å lage programvare med god kvalitet men det er ganske overførbart. Jeg målte bråtevis med objektive egenskaper ved programvaren, ca 40-50 forskjellige egenskaper relatert til struktur, størrelse, koblinger, bugs osv. Og der er vi igjen. Hvordan måler vi "evne" og hvordan måler vi "kvalitet". Noe av dette endte opp i en poppis CW-artikkel hvor journalisten hadde fått med seg omtrent EN setning av alt det jeg forsøkte å forklare. Og den setningen var at "1 års ekstra utdanning tilsvarer 7 års ekstra arbeidserfaring", basert på en litt tvilsom logistisk modell jeg hadde utviklet hvor både antall års utdanning og antall års relevant arbeidserfaring var potensielle forklaringsvariable på sannsynligheten for å introdusere bugs når de ble bedt om å endre programvare. Fikk endel sure kommentarer på det oppslaget ja... så da forstod jeg bedre hvordan samfunnsvitere og medisinere har det!
    Men det var vanskelig å forklare at journalisten hadde tatt et bruddstykke ut av en modell, og uten å nevne de flere sider med trusler til validitet av studien ;-)
     
    Sist redigert:

    Balle Clorin

    Hi-Fi freak
    Ble medlem
    19.06.2012
    Innlegg
    5.324
    Antall liker
    3.164
    Torget vurderinger
    2
    svart-hvitt, hvor kommer de grafene fu viser med Amirs karakterer fra. Han gir jo ikke karakterverdier, er det Rosa Panter figuren noen har omsatt til en karakter ? Eller hva?

    Edit : fant panter
     
    Sist redigert:

    coolio

    Hi-Fi freak
    Ble medlem
    19.09.2015
    Innlegg
    4.234
    Antall liker
    3.785
    Sted
    Bergen
    Torget vurderinger
    2
    Synes du det virker som om Amir bedriver "uncontrolled testing"?
    Det er helt ukontrollert lytting med bøttevis av bias involvert, men ikke helt unyttig. Det forteller feks om det er klare hørbare problemer, som feks portstøy, resonanser, klirrelyder eller kompresjon.

    Det er ikke lett for meg å se på en graf om portresonans er hørbar eller ei, om bassdriver lager ulyder på normale nivåer eller om det er andre snodige lyder som stikker seg ut.
    Det var feks et helvetes helvete å se på målinger i normale lyttenivåer hva som var gale når jeg hadde problemer med ene kompresjonsdriveren, men det var lett hørbart. Måtte alvorlig opp i nivå for å måle klare avvik i vreng selv om jeg hørte det tydelig på normalt tv volum.
    Slike ting gjør at jeg synes det er nyttig å lese om hvordan Amir opplever en høyttaler, men utover det er det ikke så interessant hva han måtte synes.

    Hvor mye tid skal du bruke på noe som er helt uvesentlig istedenfor å ha fokus på de tingene som er viktig?

    Edit pga tekst som kunne feiltolkes.
     
    Sist redigert:
  • Laster inn…

Diskusjonstråd Se tråd i gallerivisning

  • Laster inn…
Topp Bunn