Blindtest av flac vs. wav

V

vredensgnag

Gjest
pedal skrev:
nb skrev:
Lavigne-testen er interssant og metodisk temmelig korrekt gjennomført.
Ikke mer metodisk enn at det ikke ble ført protokoll. Resultatene ble gjengitt etter hukommelsen. Testleder trodde det var gjort 8 forsøk, men han var ikke sikker.

Hvis 8/10 positiv score ikke er pålitelig nok (for Anonym, som jeg rettet spørsmålet til), så kan vel ikke 3/8 resultatet til Lavigne være det heller. Dette basert på at 50% score er statistisk gjennomsnitt.


Om du prøvde å score et billig poeng ved å demonstrere at du ikke skjønner statistikk særlig bra, så lyktes du i alle fall med det.
Så, så. Du får ta det som en mann.
Her var det mye tull. Merkelig hvor glade folk er i å omskrive det som ikke passer.
Merker meg at intellektuell uredelighet er blitt det nye halmstrået, demonstrert flere ganger i denne tråden.

Det ble ført protokoll.
Selve testmetoden ble klarlagt grundig, og diskutert mye innen testen ble gjennomført.
Da de møttes til gjennomføring kastet de mynt 20 ganger for å avgjøre svitsjeorden.
Men testen ble avsluttet etter åtte fordi Lavigne da hadde så mange feil at resultatet ikke ville bli signifikant.

Når Wiggles her nevner antallet gjennomganger han mener de kom gjennom skyldes ikke dette mangel på protokoll, men at han skriver dette hjemmefra.
Målet var å banke kabelforskjell i hodet på en tvilende skare, og de ønsket at alt det formelle skulle være i orden, for en double blind abx.

http://www.avsforum.com/avs-vb/showthread.php?s=7fb82a8c6cb73de4ef635804dc0cda10&t=941184
 
N

nb

Gjest
pedal skrev:
@nb: Hvis du ser innlegget mitt nederst på side 1, så ser du at spørsmålene var stilet til Anonym. Jeg tok utgangspunkt i at Anonym underkjente Orsos test fordi det kun var gjennomført 10 forsøk og fordi det var gjort i privat regi. Anonym utdypet dette etterpå ved å hevde at først ved anslagsvis 50 forsøk (8/10 * 5), helst ved en institusjon à la NRK, så ville han ha tiltro til resultatet.

Anonym la altså lista høyt for at en blindtest skal kunne dokumentere lydlige forskjeller. Hvorpå jeg poengterte at i så fall bør de samme strenge krav gjelde "begge veier".

Den korte og uformelle blindtesten av høyttalerkabler hjemme hos Mike Lavigne har jo blitt brukt for alt den er verdt av Kabelfornekterne, med deg i spissen. Jeg skjønner at du blir ilsk når denne blir desevaluert av Anonym sine formalkrav. ;D
Nå underkjente han den vel ikke, bare at det er begrenset hvor mye vekt man skal legge på en test utført i privat regi uansett utfall - det er jo lett å si at man har testet den ene eller det andre med et eller annet resultat hjemme i egen stue uten andre til stede eller å si at en kompis var der osv. Det vil alltid være en del feilkilder i tester som utføres og man skal ha ganske bra koll på parameterene for å være sikker på at man faktisk har testet det man tror man har testet. Ref f.eks den lange saken på Computeraudiophile.com hvor en eller annen skrøyt ultra-HiRez opp i skyene uten å vite at datamaskinen hans var satt opp til å resample alt til 44.1 / 16.

Gjør man bare en test og med "kun" 10 forsøk så er det vanskeligere å utelukke "flaks" som forklaringsmodell. På samme måte sier det ikke så veldig mye om f.eks 1 av 20 personer klarer noe, sannsynligheten for flaks øker jo flere som tar en test - det er tross alt som regel en eller annen som vinner i Lotto hver helg,hvor usannsynling det enn er å få 7 rette. Dette er simpel statistikk.

Jeg skjønner hva Lavinges test viser og ikke viser. Basert på hva du har sagt om den testen her og tidligere tviler jeg strekt på at du gjør det.
 
N

nb

Gjest
Anonym skrev:
Får en 8 av 10 riktige 5 ganger på rad derimot er iallfall ikke resultatet en tilfeldighet.
Om jeg har regnet riktig i farten er sannsynligheten for at det er en tilfeldighet 0.00005%
 

pedal

Hi-Fi freak
Ble medlem
08.02.2007
Innlegg
5.475
Antall liker
3.292
Torget vurderinger
1
vredensgnag skrev:
Her var det mye tull. Merkelig hvor glade folk er i å omskrive det som ikke passer.
Merker meg at intellektuell uredelighet er blitt det nye halmstrået, demonstrert flere ganger i denne tråden.

Det ble ført protokoll.
Selve testmetoden ble klarlagt grundig, og diskutert mye innen testen ble gjennomført.
Da de møttes til gjennomføring kastet de mynt 20 ganger for å avgjøre svitsjeorden.
Men testen ble avsluttet etter åtte fordi Lavigne da hadde så mange feil at resultatet ikke ville bli signifikant.

Når Wiggles her nevner antallet gjennomganger han mener de kom gjennom skyldes ikke dette mangel på protokoll, men at han skriver dette hjemmefra.
Målet var å banke kabelforskjell i hodet på en tvilende skare, og de ønsket at alt det formelle skulle være i orden, for en double blind abx.

http://www.avsforum.com/avs-vb/showthread.php?s=7fb82a8c6cb73de4ef635804dc0cda10&t=941184
Ai, ai, ai. Her fyres det av så kruttslammet skvetter helt over i Kabelforumet. Polemikkens mester entrer arenaen. Mye står på spill. Denne testhistorien til Lavigne har vært suttekluten til vredensgnag i snart 3 år. Kødder du med den så vanker det spott og spe. :eek:

I innlegget du linket til skriver Wiggles: I got back a little late last night and didn't do a writeup then… I think we got through 8 A/Bs before we gave up… Men leser du post #37 så bekrefter Mike Lavigne at runde 6 ble forkastet. Altså består testen av kun 7 runder.

-Men dette med antall runder og protokoll er for så vidt bare en detalj. Det som gjør at man ikke kan feste lit til denne korte blindtesten, er at selve metodikken var feil i den forstand at de ikke tok hensyn til det såkalte Gullfisksyndromet (jfr Bob Stuart). Stuart har i ettertid påpekt hvordan hyppige repetisjoner av samme korte musikkstykke gjør at lytterens minne overskrives. Den lille forskjellen man hører med A smitter over på B. Det blir som å teste 2 viner uten å rense munnen mellom hver prøve. Smaken av vin A smitter over på vin B. Til slutt smaker de likt.

Dette fremkommer av Mike Lavignes egen forklaring i post #37, her gjengitt i kronologisk rekkefølge:
My methodology was to…switch quickly from one cut to another; listening to a cut from a few seconds to maybe 30 seconds.....coming back to the same cut a few times.

1-Opus first.....I chose Opus first.
2-Monster first....I chose Opus first
3-Monster first....I chose Opus first.

<After the first 3 tests I was getting a bit tired and the ear protection started causing a slight headache. At no time did I feel that was affecting my listening>.

4-Opus first....I chose Monster first
5-Opus first....I chose Opus first

<After 5 tests I requested a break, and we went upstairs to play a bit of pool.>

As we started the 6th test I could tell I was struggling to hear differences. So I asked that I change CD's and re-do a 'sighted' test. I did not take my covered glasses off but they did tell me which cable was playing.

6-thrown out

Then we did two more tests.

7-Opus first....I chose Opus first
8-Opus first....I chose Monster first.


--------------------

Som man ser så hørte Mike riktig på #1. Da var hørselen fersk. Han hørte også riktig på #7 som var første forsøk etter billiardpausen.

Det hører med til historien at han som ledet testen, Wiggles, også hørte forskjell på Monster og Transparent. Både før og etter blindtesten til Mike. De to hadde ikke på forhand utvekslet HVA de hørte som forskjell. Forbauselsen ble stor da de etterpå, når det hele var over, hver for seg bekreftet at ”I thought the Monster cable was a bit harsher, with a little bit less separation between instruments.”

SUMSUMARIUM
Jeg tror de fleste skjønner at ovennevnte 7 testrunder ikke kan tillegges noen prinsipiell betydning, utover at kjappe A-B lyttesnutter er uegnet til å kartlegge små lydforskjeller.

Eller for å si det med testlederens egne ord som langt på vei er identisk med min konklusjon:
Objectivists must also be honest about what our test results tell us: that with this methodology, and with this methodology ONLY, we could not reliably discern any differences in the cables. This does not prove that there are no differences with the cable, only that there were no differences discerned with this method.

In my personaly opinion, doing a long line of tests like this is generally unpleasant to do, you get tired of listening to the same stuff over and over, and after a little while it all starts to sound the same. Also, Mike only went back to a known A/B once during the test. I still would be interested in a similar test but spread out in time, doing maybe only one or two A/Bs at a time. This keeps fatigue down, and things don't all start to sound the same…
 
V

vredensgnag

Gjest
Det jeg kommenterer er at du skriver det ikke var protokoll. Ellers er vel denne testgjennomføringen like velkjent som folks håndbak, skulle jeg håpe, siden den ble meget godt beskrevet.

EDIT: Hele poenget med Lavignes test var å vise til betydelige forskjeller, og derfor la man opp en testprotokoll i samarbeid med statistikere; man tracket hver avspilling; man hadde innkjøringsperiode; man kjørte A-B sammenligninger før lytterunde, osv.

Det hele ble registrert nitidig, og meningen var å kunne fremlegge en helt upåklagelig gjennomført double-blind ABX. Derfor blir det litt dumt å si at "Lavigne ikke var like grundig som orso til å føre protokoll."

EDIT 2: For å være helt tydelig ... poenget var å gjennomføre 20 gjennomlyttinger, men alt etter syv godkjente gjennomkjøringer av i alt åtte som ble gjennomført, så hadde Lavigne så mange feil at resultatet ikke ville vært statistisk interessant.

Du glemmer forøvrig å nevne at Lavigne selv var sikker på at han hadde innertier da testen ble avbrutt.
 

Asbjørn

Rubinmedlem
Ble medlem
26.03.2006
Innlegg
36.521
Antall liker
35.420
Sted
Vingulmǫrk
Torget vurderinger
2
pedal skrev:
Eller for å si det med testlederens egne ord som langt på vei er identisk med min konklusjon:
Objectivists must also be honest about what our test results tell us: that with this methodology, and with this methodology ONLY, we could not reliably discern any differences in the cables. This does not prove that there are no differences with the cable, only that there were no differences discerned with this method.


Det er vel ikke så veldig forskjellig fra hva jeg skrev på forrige side, heller.

Forøvrig skulle jeg ønske at denne tråden kunne forbli on-topic, ettersom dette er en interessant observasjon. Jeg vil mye heller høre noe halvveis fornuftig om hvorfor det eventuelt blir forskjeller og om andre avspillere (f eks min SqueezeServer som serverer flac-filer til en Transporter) kan tenkes å være utsatt for det samme, enn endeløse omkamper om et tema som var utdebattert for flere år siden. :-\
 
V

vredensgnag

Gjest
Enig med Asbjørn. Min kommentar om "intellektuell uredelighet" gjelder lettbente konklusjoner og påstander, som er dårlig grunngitt eller omskrivninger av kjente fakta.

For å gjenta meg selv fra gjentatte innlegg her inne - intet ville glede meg mer enn om man faktisk påviste signifikant hørbare forskjeller på kabler.
Tilsvarende er jeg helt åpen for at det skal være betydelige forskjeller på signalprotokoller og signalkjeder innen digital avspilling. Målet er å oppnå best mulig avspilling, innenfor de rammene man har å operere med.
Men jeg ønsker repetérbarhet, og at man har en viss metodikk i gjennomføring og presentasjon av resultatene, utover at "det hørte jeg, altså."
Dersom resultatet ikke kan gjentas, så blir det ubrukelig som erfaringsgrunnlag man selv kan bygge videre på. Men om konklusjonen kan gjentas, og kan brukes for å tune eget anlegg enda bedre, så er det full hallelujah hos meg.

At det mangler avklaring på disse spørsmålene tar jeg som tegn på at det fortsatt er meget stor forvirring omkring dette, og at man ikke på tilfredsstillende vis har klart å påvise forskjeller.

Det er tilsvarende intellektuelt uredelig når entusiaster forlanger at skeptikere skal bevise at de hører forskjell, før de selv vil underkaste seg en lyttetest.
Men som jeg også har vist til ved gjentatte anledninger kan det synes som om det å vite hva man lytter til, i den grad det er i tråd med ens forventninger til lytteopplevelsen, er en viktig faktor for å engasjere sentra i hjernen som bidrar til en økt lytteopplevelse. Disse økningene i aktivitet/stimulus uteblir når man ikke vet om det man lytter til er i henhold til forventningene, usikkerheten deaktiverer hjernen.
Derfor er subjektiv lyttero kanskje avgjørende for enkeltlytterens oppfatning - men også med stor sannsynlighet ikke generelt overførbart som bidrag til en bedre opplevelse. Det er konsensusavhengig hvorvidt variabelen utløser ønsket effekt.

Slikt er interessant.
 

Bjørn ("Orso")

Bransjeaktør
Ble medlem
03.11.2008
Innlegg
11.296
Antall liker
2.903
Sted
Bergen
Torget vurderinger
2
Hei, hei!

Spor: Dine Øine med ho Kari Bremnes
Avspillingsverktøy: J.River Media Center
Resultat: 9/14 riktige
 
N

nb

Gjest
orso skrev:
Hei, hei!

Spor: Dine Øine med ho Kari Bremnes
Avspillingsverktøy: J.River Media Center
Resultat: 9/14 riktige
g
ca 21% sannsynlighet for å få 9 eller flere av 14 riktig ved tipping.

Har du forresten prøvd å laste begge filene inn i en lydeditor (f.eks Audacity), faseinvertere den ene og sjekke at du får stillhet når du da spiller av begge sporene samtidig?
 

Bjørn ("Orso")

Bransjeaktør
Ble medlem
03.11.2008
Innlegg
11.296
Antall liker
2.903
Sted
Bergen
Torget vurderinger
2
nb skrev:
orso skrev:
Hei, hei!

Spor: Dine Øine med ho Kari Bremnes
Avspillingsverktøy: J.River Media Center
Resultat: 9/14 riktige
g
ca 21% sannsynlighet for å få 9 eller flere av 14 riktig ved tipping.

Har du forresten prøvd å laste begge filene inn i en lydeditor (f.eks Audacity), faseinvertere den ene og sjekke at du får stillhet når du da spiller av begge sporene samtidig?
Nei. Vet ikke hva jeg trykker på for å faseinvertere og hvordan jeg skal spille av samtidig.

En annen ting jeg skulle gjerne ha lært meg er å redigere låter slik jeg får lyttet til ønsket del. Å begynne på begynnelsen av en låt tror jeg ikke er det beste her.

Ellers kan jeg rapportere at det går i korte lytteseanser her. Sjelden mer enn 10 sekunder. Blir jeg sliten, legger jeg inn en liten pause.
 

Vedlegg

.Marcus

Hi-Fi freak
Ble medlem
11.07.2007
Innlegg
1.268
Antall liker
126
44.1 kHz sample rate? Hvordan kan du høre forskjeller når det ikke er superduperultraoppløstehøykvalitetsformater?!


Fra spøk til Halvor er det et interessant eksperiment, dog er det lite statistisk holdbart i tråd med matematikken til nb.

Faseinvert i Audacity gjøres ved å highlighte låten og velge Effect>Invert.
 

pedal

Hi-Fi freak
Ble medlem
08.02.2007
Innlegg
5.475
Antall liker
3.292
Torget vurderinger
1
vredensgnag skrev:
Men jeg ønsker repetérbarhet, og at man har en viss metodikk i gjennomføring og presentasjon av resultatene, utover at "det hørte jeg, altså."
Det er ingenting i veien med blindtesting og ABX, såfremt man legger inn nok tid (dager). Sammenligning av kabler og PC-programmer er hva jeg definerer som finsmaking. Ofte er det ikke forskjell i det hele tatt. Andre ganger er forskjellene så små at det koker ned til en "fornemmelse". Å sortere ut slike småting krever tid, ro og konsentrasjon. Det er noe de fleste rutinerte entusiaster har erfart. En ting er å høre en forskjell, viktigere er å forstå hva denne forskjellen består i.

EN SANN HISTORIE: Da Dynamic Precision skulle lansere en ny versjon av DA konverteren, hadde Leif Ernstsen valget mellom 2 opamper. De sitter i en adapter på hovedkortet og kan kjapt byttes om uten verktøy. Han hørte litt forskjell men var usikker. Han tok derfor med seg DAC og chipene på besøk til et par erfarne entusiaster/kunder. Etter diverse blindtesting falt valget på den opampen som det var konsensus om at låt best.

Så gikk det et par år, og det ble plutselig på moten blant de mange innehavere av DP-DAC (datidens mest solgte highend DAC i Norge) å oppgradere til en ny type opamp som låt mørkere, fyldigere og mer organisk/analogt. Den nye opampen var selvfølgelig den samme modellen som var blitt vraket opprinnelig...

Denne historien er ikke noen kritikk av blindtesting, men den illustrerer behovet for å ta seg god tid når man finsmaker lyd.

---------------

Forøvrig er jeg uenig med Vredensgnag, nb, kj, Anonym og diverse andre "skeptikere". Jeg synes IKKE det skal være noe krav til repeterbar metodikk når vi glade amatører tester utstyret vårt. Hvert forummedlem må få lov til å dyrke denne hobbyen på et overkommelig plan, og dele denne med øvrige forummedlemmer, uten å bli trakasert* hverken for pengebruk eller hva man hører. Hifisentralen er et hobbyforum for glade amatører.

Dette evindelige kravet om dokumentasjon i "vitenskapens navn" er langt på vei fordekt smålighet og mangel på folkeskikk. Noen burde ta seg en titt i speilet.


*Trakaseringen er ofte subtil à la "man skal være bra dum for å kjøpe dyre kabler", eller "det du hører er bare innbildning (placebo)".
 

Espen R

Æresmedlem
Ble medlem
25.03.2002
Innlegg
10.130
Antall liker
2.652
Helt riktig som pedal sier her tidligere ang at hyppige A/B skift i en blindtest er fånyttes, fordi hjernen lagrer informasjon og du blir bare forvirret. Samt at (IMO) ved konsentrert lytting i en testsammenheng bruker du mer av din hjernehalvdel som styrer analyse og logikk enn den hjernehalvdelen som styrer sansning og følelser (musikk er følelser). Dette er en ulempe.

Ved en A/B evaluering, hvor målet er å klare å skille produkt A fra produkt B søker de fleste å lytte under forhold hvor lydkvaliteten er max; godt oppvarmede komponenter, lytte om natten hvor det er minimal støy osv.
Jeg gjør ofte det motsatte; prøver å skape en situasjon hvor lyden i utgangspunktet er såpass dårlig at hjernen finner informasjonen lite stimulerende. Da er det lettere å detektere f.eks ulike bitrater og samplefrekvenser.
 

.Marcus

Hi-Fi freak
Ble medlem
11.07.2007
Innlegg
1.268
Antall liker
126
pedal skrev:
Hvert forummedlem må få lov til å dyrke denne hobbyen på et overkommelig plan, og dele denne med øvrige forummedlemmer
Selvsagt.

Det jeg tipper mange reagerer på er hvor ofte vi får trødd nedover hodene på oss at de akkurat riktige kablene er alfa-omega i et oppsett, og at det er klare lydmessige forskjeller ute og går - selv om det aldri til min kjennskap har blitt framlagt en statistisk holdbar blindtest (i den forstand at man ikke vet hvilken kabel som spiller) som beviser påstanden.

De færreste bryr seg om hva andre bruker til å koble sammen dingsene sine med, irritasjonsmomentet kommer når det skal være så fordømt religiøst til enhver tid. Har du nytte av å bytte kabler skal du absolutt få lov til å fortsette med det, og dele dine erfaringer, men personlig begynner jeg å bli lei av "dette funker for meg, derfor er det sånn"-argumenter, og det er nok derfor man får disse sirkelargumentasjonsrundene mellom de som har utbytte av å skifte kabler, og de som ikke har.

Dette skrevet i beste mening, ikke noe surmuleri herfra :)
 

nma

Hi-Fi freak
Ble medlem
07.12.2003
Innlegg
4.703
Antall liker
522
Torget vurderinger
1
nb skrev:
orso skrev:
Hei, hei!

Spor: Dine Øine med ho Kari Bremnes
Avspillingsverktøy: J.River Media Center
Resultat: 9/14 riktige
g
ca 21% sannsynlighet for å få 9 eller flere av 14 riktig ved tipping.

Har du forresten prøvd å laste begge filene inn i en lydeditor (f.eks Audacity), faseinvertere den ene og sjekke at du får stillhet når du da spiller av begge sporene samtidig?
Flac vil pakkes ut inni Audacity. Selfølgelig vil det bli stillhet når innholdet blir likt. Det er ikke denne påstanden som diskuteres, men påstanden om realtime dekoding av Flac vs wav i en avspiller har noe å si lydmessig. Ikke om man får stillhet i Audacity, da eneste måten man ikke får stillhet er om dataene er annerledes, og siden FLAC beviselig er bitperfekt kan vi forkaste denne metoden.
 
P

Parelius

Gjest
Man skrev:
nb skrev:
orso skrev:
Hei, hei!

Spor: Dine Øine med ho Kari Bremnes
Avspillingsverktøy: J.River Media Center
Resultat: 9/14 riktige
g
ca 21% sannsynlighet for å få 9 eller flere av 14 riktig ved tipping.

Har du forresten prøvd å laste begge filene inn i en lydeditor (f.eks Audacity), faseinvertere den ene og sjekke at du får stillhet når du da spiller av begge sporene samtidig?
Flac vil pakkes ut inni Audacity. Selfølgelig vil det bli stillhet når innholdet blir likt. Det er ikke denne påstanden som diskuteres, men påstanden om realtime dekoding av Flac vs wav i en avspiller har noe å si lydmessig. Ikke om man får stillhet i Audacity, da eneste måten man ikke får stillhet er om dataene er annerledes, og siden FLAC beviselig er bitperfekt kan vi forkaste denne metoden.
Går ikke all real time decoding inn i en buffer før det går videre? Betyr det at sendingen fra buffer til DAC er påvirket av dekodingen?
 

nma

Hi-Fi freak
Ble medlem
07.12.2003
Innlegg
4.703
Antall liker
522
Torget vurderinger
1
Jeg påstår ingenting, men det det er uansett 2 litt forskjellige forskjellige prosesser som foregår ved flac vs wav.
Ved å laste begge deler inn i en waveeditor og invertere den ene, vil det matematisk gi stillhet. Det er ikke selve matematikken vi diskuterer. Men om jitter og/eller annet kan gi en hørbar forskjell ved abx.
 
P

Parelius

Gjest
orso skrev:
Hei, hei!

Spor: Dine Øine med ho Kari Bremnes
Avspillingsverktøy: J.River Media Center
Resultat: 9/14 riktige
Spennende dette, orso. Kunne du si noe om hva (og eventuelt hvor) det er du merker deg i kuttene og som du bruker til å skille dem fra hverandre.
 

pedal

Hi-Fi freak
Ble medlem
08.02.2007
Innlegg
5.475
Antall liker
3.292
Torget vurderinger
1
Beklager OT. Skal ikke poste mer herom i denne tråden. Videre debatt kan tas i ny tråd. Eventuelt annen tråd. (Jeg tror dette har vært oppe før).

---------

Hvordan sansynlighetsberegner man resultater fra flere testrunder? Dersom de utføres sammenhengende, og alle testrunder tas med i rapporten, så bør de vel summeres?

8/10 ene dagen og 9/14 andre dagen, blir da 17/24. Eller?
 
N

nb

Gjest
Man skrev:
Flac vil pakkes ut inni Audacity. Selfølgelig vil det bli stillhet når innholdet blir likt. Det er ikke denne påstanden som diskuteres, men påstanden om realtime dekoding av Flac vs wav i en avspiller har noe å si lydmessig. Ikke om man får stillhet i Audacity, da eneste måten man ikke får stillhet er om dataene er annerledes, og siden FLAC beviselig er bitperfekt kan vi forkaste denne metoden.
Fullt klar over det, var kun for å utelukke muligheten at konverteringen har blitt gjort med noen form for volumnormalisering e.l. som vel er et alternativ om man konverterer til FLAC i noen konverteringsprogrammer. Skal vel litt til siden man aktivt må velge slikt (om det i det hele er en valgmulighet).

Som jeg linket til i Wikien fra JRiver litt tidligere i tråden så er faktisk ikke dekodingen fra flac til wav så velig "realtime", den har skjedd flere sekunder før noe spilles av.
 
N

nb

Gjest
pedal skrev:
Hvordan sansynlighetsberegner man resultater fra flere testrunder? Dersom de utføres sammenhengende, og alle testrunder tas med i rapporten, så bør de vel summeres?

8/10 ene dagen og 9/14 andre dagen, blir da 17/24. Eller?
Det kan man godt si, forutsetningen for å kunne gjøre den summeringen er at det er såkallte "uavhengige hendelser", en forutsetning man nok kan si er oppfyllt her. Greit nok at det er benyttet to ulike spor i de to rundene, men det bør ikke ha noe å si for hvor vidt man kan betrakte de som uavhengige hendelser eller ikke. For å si det på en annen måte, om du f.eks skal gjøre 24 tester, så er det ingen ting som hindrer deg fra å gjøre 10 den ene dagen og 14 den neste om testforutsetningene holdes konstant.

17/24 er for øvrig signifikant med et konfidensintervall på ca 3%. 16/24 er det med et konfidensintervall på 7.5% og 18/24 med et konfidensintervall på 1.1%

En annen måte å angripe problemstillingen på er f.eks å gjøre 5 forsøk a 10 tester, sannsynligheten for å få 8 eller flere riktige av 10 med ren tipping er som nenvt ca 5.5%. Da kan man se på sannsynligheten for å klare 5 av 5 "batcher" som et forsøk med 5 tester hvor sannsynligheten for "suksess" er 5.5%. Vet ikke helt om dette siste var forklarende eller forvirrende;)

(disclaimer: satistikken min er ganske rusten, men jeg tror jeg regner riktig...)
 

marsboer

Hi-Fi freak
Ble medlem
04.04.2010
Innlegg
4.356
Antall liker
1.701
Sted
Phobos
Det jeg synes er festlig er at det automatisk antas at WAV har best lyd om avspillerløsningen i noen tilfeller skulle la seg påvirke av eventuell forskjellig dekoding. Begge deler er jo beviselig bitperfect. Forskjellen er at FLAC stiller mindre krav til lagringsløsning og løpet frem til og med dekoding. Mens WAV sannsynligvis krever noe mindre CPU-ressurser ved dekoding.

Hvis vi f.eks tenker oss at det er elektromagneten i en jobbende roterende harddisk som påvirker lydkretsene i PCen (ikke utenkelig, alle har vel hørt harddisken jobbe i dårlige lydkort) vil det f.eks være naturlig å anta at FLAC låter best siden denne genererer minst diskaktivitet.

Jeg vil faktisk tro en jobbende harddisk har langt større potensiale for å innføre jitter, støy osv enn en CPU som jobber på 2% kontra 1% ved dekoding.
 
N

nb

Gjest
marsboer skrev:
Mens WAV sannsynligvis krever noe mindre CPU-ressurser ved dekoding.
At WAV krever null CPU er muligens en vanlig misforståelse også. Har jo sett eksempler på at noen tror at gangen nermest er "en bit fra harddisk -> en bit til lydkortet" men det er jo ikke helt slikt en dator funker...
 
V

vredensgnag

Gjest
Her har vi vel å å gjøre med en hifi-dogme, det at "mest er best, alltid." Og at enhver reduksjon av "mest" er identisk med "mindre" forstått som "kvalitet". Derfor må man ha mest mulig av alt før lytteroen inntreffer.

Til tross for at man kan pakke, wrappe, pakke opp og konvertere disse filene innbyrdes, og så teste dem mot hverandre slik at man kan stadfeste at ikke så mye som en bit er blitt borte eller feilplassert på veien, så kjenner mange en uro over filer som ikke er i full størrelse.

Som marsboer påpeker kan det godt være prosesseringen av den større filen som har medført en endring i lydsum; snarere enn utpakkingen av den komprimerte. Men det er ikke i tråd med "mest er best."

Ellers må jeg stusse over hvordan det at prosessor arbeider på et par prosent mer eller mindre har fått så mye å si, når man uansett protokoll har headroom på godt over 95% i CPU på en dedikert musikkspillende Mac mini, for eksempel.
 
N

nb

Gjest
vredensgnag skrev:
Ellers må jeg stusse over hvordan det at prosessor arbeider på et par prosent mer eller mindre har fått så mye å si, når man uansett protokoll har headroom på godt over 95% i CPU på en dedikert musikkspillende Mac mini, for eksempel.
Jar har spillt av musikk med CPU-load på "100%" på alle cores samtidig uten problemer.
 
V

vredensgnag

Gjest
nb skrev:
vredensgnag skrev:
Ellers må jeg stusse over hvordan det at prosessor arbeider på et par prosent mer eller mindre har fått så mye å si, når man uansett protokoll har headroom på godt over 95% i CPU på en dedikert musikkspillende Mac mini, for eksempel.
Jar har spillt av musikk med CPU-load på "100%" på alle cores samtidig uten problemer.
Hvilken avspillingskjede bruker du? Selv når jeg bruker filtersettinger i PM så kommer jeg aldri over fire prosent av CPU, og som regel ligger jeg på 1,97%. (ReadyNAS>Mac mini)
 
N

nb

Gjest
vredensgnag skrev:
Hvilken avspillingskjede bruker du? Selv når jeg bruker filtersettinger i PM så kommer jeg aldri over fire prosent av CPU, og som regel ligger jeg på 1,97%. (ReadyNAS>Mac mini)
Det var en kunstig test kun for å se hva som skjedde.

Jeg brukte foobar, men kjørte samtidig prime95 torture test på alle fire kjernene samt at jeg kopierte en fil på et par GB mellom to av diskene mine (derav den ene var den samme jeg spillte av fra). Dette med buffer sizen i foobar satt til minimum som jeg tror er 0.1 sekund.

Ved normal avspilling alene er selvsagt CPU-loaden latterlig lav.

Dette burde i tilfelle være et tankekors for folk som bruker Audiolense eller lignende, da kan CPU-loaden sikkert komme opp i en del under avspilling.
 
V

vredensgnag

Gjest
nb skrev:
vredensgnag skrev:
Hvilken avspillingskjede bruker du? Selv når jeg bruker filtersettinger i PM så kommer jeg aldri over fire prosent av CPU, og som regel ligger jeg på 1,97%. (ReadyNAS>Mac mini)
Det var en kunstig test kun for å se hva som skjedde.

Jeg brukte foobar, men kjørte samtidig prime95 torture test på alle fire kjernene samt at jeg kopierte en fil på et par GB mellom to av diskene mine (derav den ene var den samme jeg spillte av fra). Dette med buffer sizen i foobar satt til minimum som jeg tror er 0.1 sekund.

Ved normal avspilling alene er selvsagt CPU-loaden latterlig lav.

Dette burde i tilfelle være et tankekors for folk som bruker Audiolense eller lignende, da kan CPU-loaden sikkert komme opp i en del under avspilling.
Ah, jeg forstår. Ellers ville det jo stått røyk av din CPU etter en symfoni eller to. Jeg har gjort noe tilsvarende - kjørte sjakkanalyse av en komplisert posisjon samtidig med at jeg lyttet til musikk og sendte en film til en annen enhet via WiFi. Da hadde jeg CPU-kick over 100%, og kunne lytte til musikk uten noe drop-out eller problemer.
 

pedal

Hi-Fi freak
Ble medlem
08.02.2007
Innlegg
5.475
Antall liker
3.292
Torget vurderinger
1
Orso skriver at han hører forskjell. Men har han sagt hva forskjellene består i, og hvilken versjon han eventuelt foretrekker?

Som jeg har nevnte noen ganger før i bl.a. kabeldebatten, så er det en ting å høre forskjell. Men en annen ting å vurdere om denne forskjellen er av betydning (signifikant)?
 

CDWMcInSpots

Hi-Fi freak
Ble medlem
30.09.2010
Innlegg
7.551
Antall liker
564
Sted
Bergensregionen
Espen R skrev:
[...]
Samt at (IMO) ved konsentrert lytting i en testsammenheng bruker du mer av din hjernehalvdel som styrer analyse og logikk enn den hjernehalvdelen som styrer sansning og følelser (musikk er følelser). Dette er en ulempe.
[...]
Dette er noe jeg også har lagt merke til og som volder meg bryderi.

Når man driver grundig evalueringslytting, f.eks. for å vurdere om man skal kjøpe en komponent, er det "rimelig greit" å få tak på objektive kriterier som f.eks. symbalutklinging og instrumentklang.

Det er derimot meget vanskelig å få tak på gåsehudfaktoren, enn si "måle" det emosjonelle utslaget. Hvis man sammenligner 2 komponenter, må det jo dessuten være repeterbart når man bytter til den andre komponenten, og tilbake igjen. Dette gjelder selv om resultatet bare skal benyttes av en selv.

Jeg har tenkt en del på dette og identifisert noen årsaker:
  • Når man hører et spor flere ganger rett etter hverandre, blir man gjerne gradvis immunisert overfor dets emosjonelle virkning. Mao. gåsehudfaktoren avtar omvendt proporsjonalt med et økende antall repetisjoner
  • Ens egen emosjonelle perseptibilitet varierer over tid, og svingningene kan være store selv innenfor en kort tidsperiode
  • På noen dager/tidspunkter er man rett og slett lite disponert for gåsehud

Hvordan kan vi så løse eller omgå dette problemet? En mulig løsning er å lage en spilleliste/CD med et betydelig antall spor som man vet (normalt) gir en gåsehud/emosjonelt utslag. Denne spiller man i (etter beste evne) normalt lyttemodus, dvs. nyte istedenfor teste/evaluere. Man kan forsøke å ha et skrivebrett og en penn i fanget eller (enda bedre) et (mekanisk) telleverk med trykknapp. Jeg formoder at iPhone el.l. også enkelt kan benyttes som telleverk. Telleverket benytter man til å registrere tilfeller av gåsehud el.l., men selv det kan dessverre ødelegge noe av ens emosjonelle perseptibilitet. Dessuten "måler" det bare forekomst (altså antall) og ikke intensitet og varighet. Man kan forsøke å beskrive de to siste etter hver lytterunde, men det blir på langt nær like pålitelig. Etterpå forsøker man å sammenligne "gåsehudrapporten" for de ulike komponentene med hverandre.

Har noen andre av dere tanker om dette problemet eller forslag til (del)løsninger?

Dette er kanskje et tema som fortjener en egen tråd?
 

Anonym

Æresmedlem
Ble medlem
08.08.2008
Innlegg
11.403
Antall liker
1.137
Torget vurderinger
4
nb skrev:
vredensgnag skrev:
Hvilken avspillingskjede bruker du? Selv når jeg bruker filtersettinger i PM så kommer jeg aldri over fire prosent av CPU, og som regel ligger jeg på 1,97%. (ReadyNAS>Mac mini)
Dette burde i tilfelle være et tankekors for folk som bruker Audiolense eller lignende, da kan CPU-loaden sikkert komme opp i en del under avspilling.
Jeg tror aldri jeg har passert 10% cpu load med J. River og Audiolense selv med en 3 år gammel maskin.
 
N

nb

Gjest
Anonym skrev:
Jeg tror aldri jeg har passert 10% cpu load med J. River og Audiolense selv med en 3 år gammel maskin.
Nei, men det er uansett MYE mer enn hva som kreves for å dekode flac eller annen lossless komprimering.
 

CDWMcInSpots

Hi-Fi freak
Ble medlem
30.09.2010
Innlegg
7.551
Antall liker
564
Sted
Bergensregionen
Jeg vil også takke Orso for initiativet.

Hvis jeg husker rett, er dessuten Orso en av dem som ikke hører syner ved høylys dag, og har et nogenlunde realistisk forhold til at 1 cm er nettopp 1 cm, og ikke f.eks. 1 meter.

Hvis jeg har forstått Orso rett, har han planer om en serie slike lyttetester. Da vil vi vel etterhvert få en såpass lang serie at normal flaks faller ut av ligningen(?)

Hvordan gjennomfører Orso lyttetestene? Er rekkefølgen datamaskingenerert med datamaskinlogg? Hvor lange er musikkuttene osv.?

Hvis jeg har forstått rett, kan en del avspillingsprogramvare gjøre jobben med å generere og avspille en tilfeldig rekkefølge og logge hva den har gjort, og kanskje også hva lytteren trodde han hørte. Da unngår man vel en del metodeproblemer og forenkler samtidig den praktiske gjennomføringen?

pedal skrev:
Orso skriver at han hører forskjell. Men har han sagt hva forskjellene består i, og hvilken versjon han eventuelt foretrekker?

Som jeg har nevnte noen ganger før i bl.a. kabeldebatten, så er det en ting å høre forskjell. Men en annen ting å vurdere om denne forskjellen er av betydning (signifikant)?
Disse poengene er interessante.
 

marsboer

Hi-Fi freak
Ble medlem
04.04.2010
Innlegg
4.356
Antall liker
1.701
Sted
Phobos
CDWMcInSpots skrev:
marsboer skrev:
[...]
([...] alle har vel hørt harddisken jobbe i dårlige lydkort)
[...]
Hva mente du med akkurat dette? Det forstod jeg (visst) ikke.

NB: Resten av innlegget var helt fint.
Har du aldri hørt "støy" forbundet direkte med diskaktivitet på høyt volum på typisk integrerte lydkort? Det samme gjelder også USB. Det vil si at du hører en "knitredure" lyd som dukker opp når du beveger på en USB-mus? Nesten alle maskiner jeg har hatt med integrert lydkort har fremvist slik type støy om volumet skrus opp litt. De siste HD-lyd chipsetene har imidlertid blitt kvitt de verste problemene her. På noen av de eldre maskinene var dette plagsomt selv på normale volum på PC-høytalere.
 

tkr

Æresmedlem
Ble medlem
27.03.2007
Innlegg
20.581
Antall liker
27.715
Sted
Nede i fjæresteinene
Torget vurderinger
2
pedal skrev:
Orso skriver at han hører forskjell. Men har han sagt hva forskjellene består i, og hvilken versjon han eventuelt foretrekker?

Som jeg har nevnte noen ganger før i bl.a. kabeldebatten, så er det en ting å høre forskjell. Men en annen ting å vurdere om denne forskjellen er av betydning (signifikant)?
Jeg vet ikke helt om jeg er enig i det.

Det viktige her, og all ære til Orso for det, er å finne ut om det i det hele tatt er forskjell. Signifikans her går vel på statistisk signifikans.

Hva som låter best er IMO en helt annen skål.

mvh
 

CDWMcInSpots

Hi-Fi freak
Ble medlem
30.09.2010
Innlegg
7.551
Antall liker
564
Sted
Bergensregionen
marsboer skrev:
CDWMcInSpots skrev:
marsboer skrev:
[...]
([...] alle har vel hørt harddisken jobbe i dårlige lydkort)
[...]
Hva mente du med akkurat dette? Det forstod jeg (visst) ikke.

NB: Resten av innlegget var helt fint.
Har du aldri hørt "støy" forbundet direkte med diskaktivitet på høyt volum på typisk integrerte lydkort? Det samme gjelder også USB. Det vil si at du hører en "knitredure" lyd som dukker opp når du beveger på en USB-mus? Nesten alle maskiner jeg har hatt med integrert lydkort har fremvist slik type støy om volumet skrus opp litt. De siste HD-lyd chipsetene har imidlertid blitt kvitt de verste problemene her. På noen av de eldre maskinene var dette plagsomt selv på normale volum på PC-høytalere.
Jeg hadde problemer med å forstå utsagnet "alle har vel hørt harddisken jobbe i dårlige lydkort)" fordi jeg ikke kan huske å ha hørt om lydkort med innebygd harddisk. Hvis slike lydkort tross alt finnes, er de vel neppe så utbredt at "alle" har hørt dem(?)
 

marsboer

Hi-Fi freak
Ble medlem
04.04.2010
Innlegg
4.356
Antall liker
1.701
Sted
Phobos
hørt harddisken jobbe gjennom lydkortet...

Dårlig formulert av meg.
 
V

vredensgnag

Gjest
orso skrev:
Kommer i løpet av tiden fremover til å blindteste flac vs. wav og rapporterer resultatene her. Konverterer filer i flac til wav med dBpoweramp.

Det kan ta en del tid mellom hver gang jeg tester. Strengt tatt har jeg behov for et kraftigere effektrinn (dagens er en liten flaskehals) enn hva jeg har i dag og regner med jeg får det om noen uker.

En blindtest utført i dag.
Spor: Little On Up med Nils Lofgren
Avspillingsverktøy: J.River Media Center
Resultat: 8 av 10 korrekte

More to come.
Forklar gjerne metoden.

Jeg er, f.eks., kritisk til den store testen som ble gjennomført og presentert på AES der man "downsamplet" SACD til CD, og så sammenlignet de to mot hverandre. (PDF: http://www.audioxpress.com/magsdirx/ax/addenda/media/galo2941.pdf )

Jeg syns man skulle sammenlignet samme musikkfremføring, men som originalutgivelser i de to formatene, og forstår ikke helt hvorfor man måtte downsample til CD. Heller da velge musikk som er tilgjengelig i begge formater - det er dette folk flest har å forholde seg til. Pga. måten de satte opp testen, kan man lett kritisere den, og det var helt unødvendig. (Spesielt når man tenker på hvor mye innsats de la i testingen.)

Her virker det som om du konverterer FLAC til WAV, og så sammenligner to WAV-filer, der den ene er blitt til vha dBpoweramp? Men oppklar gjerne ev. misforståelse. Slik sett kan det godt være at du har en setting i dBpoweramp som står for ev. forskjeller, og det bør du sikre, og eventuelt kommunisere hva du har gjort for å sikre dette.

Tilsvarende er det fint å få vite hvordan du har sammenlignet blindt, og hvordan dette kontrolleres. Er det du som står for hele gjennomføringen? Det finnes måter å gjøre det random på, men det bør også beskrives hva du har gjort.
 

I_L

Hi-Fi freak
Ble medlem
27.03.2003
Innlegg
3.244
Antall liker
5.205
pedal skrev:
Asbjørn skrev:
Dessverre, Asbjørn, så er ikke Hi-Fi skeptikerne her inne på Sentralen like opplyste som forskerne var hos BBC i 1974. (...) En annen sak er at nyere forsøk har påvist at terskelen for hørbar jitter er enda lavere enn de verdiene som BBC anfører.
Flere tusen ganger lavere?? Bare slik at vi kommer ned på nivåer tilsvarende de man finner i vanlige budsjettavspillere anno 2011 mener jeg...
 
Topp Bunn