NAS løsning for større lagringsbehov

Hei


Tenkte jeg skulle bidra med en plukkliste for et høykvalitets nas oppsett for de av dere som er ute etter dette, men er usikker på hva de skal velge.

Jeg linker til min "handlekurv" på hardware.no sitt prissøk. Den inneholder deler til en nas løsning til ca 10k som gir redundant lagring. Det betyr at hvis en av harddiskene ryker er det bare å stappe inn en ny og du har ikke mistet noen ting. Den har plass til og er satt opp med 4 x 1 Terrabyte harddisker. 1 av diskene brukes til paritet, og dermed har du 3 TB med redundant lagring tilbudt over gigabit lan. Jeg har også inkludert en minnebrikke for å erstatte standarden på 256 mb med 1Gb. Dette er en fordel når du skal kjøre Slimserver eller lignende på nas boxen.

Alle delene er plukket ut fra compatibility listen til Netgear, så du slipper å være usikker på om ting vil fungere sammen.

NASet er selvsagt basert på Netgear sitt populære og prisvinnende Readynas NV+

Her er handlevognen:
http://prisguide.hardware.no/vis_handlevogn.php?waggon_id=75284

Jeg har brukt en HP Proliant ML150, 4GB RAM samt 6stk 1TB disker fra Western Digital's laveffekt serie.
Koster omtrent det samme samt at du har en meget skalérbar løsning med god ytelse!
Alt sammen satt opp i RAID6.

Advarer kraftig mot disse "Alt i ett" løsningene. Dersom du har full redundant lagring for 3TB trenger du nok noe mer enn 1TB, for eksempel 3 TB.

Det den løsningen trådstarter skisserer gjør er å sikre noe mot datafeil i en disk. Totalhavari - disken brenner opp, motorer går etc. kan nok desverre ikke fikses på denne måten. Feilen er å kalle det redundant. Redundant betyr identiske kopier av samme datamengede et annet sted, og da må selvfølgelig 3TB backes på 3TB.

Forøvrig er slike løsninger også tvilsomme mhp. hardware feil i kontrolleren. Hva skjer om tre år når produsenten ikke lenger støtter produktet og kontrolleren havarerer? Nye standarder?

Jeg kjører en enkel kopi rutine regelmessig til flere stand alone disker i eksterne kabinetter. En betydelig bedre løsning, men noe mer tungvint.....

BjornE skrev:

Advarer kraftig mot disse "Alt i ett" løsningene. Dersom du har full redundant lagring for 3TB trenger du nok noe mer enn 1TB, for eksempel 3 TB.

Det den løsningen trådstarter skisserer gjør er å sikre noe mot datafeil i en disk. Totalhavari - disken brenner opp, motorer går etc. kan nok desverre ikke fikses på denne måten. Feilen er å kalle det redundant. Redundant betyr identiske kopier av samme datamengede et annet sted, og da må selvfølgelig 3TB backes på 3TB.

Forøvrig er slike løsninger også tvilsomme mhp. hardware feil i kontrolleren. Hva skjer om tre år når produsenten ikke lenger støtter produktet og kontrolleren havarerer? Nye standarder?

Jeg kjører en enkel kopi rutine regelmessig til flere stand alone disker i eksterne kabinetter. En betydelig bedre løsning, men noe mer tungvint.....

Klikk for å utvide...

Her snakker vi ikke om backup av filene men om lagring med sikkerhet, slik at hvis en av de 4 diskene ryker så kan den erstattes her en ny og dataene gjenopprettes. Dette gjelder hele disken og ikke bare om det oppstår datafeil på en av dem. Så hvis motoren ryker på en disk kan man bare bytte den ut med en ny. Dette er den mest sannsynlige feilen som kan ramme et slikt system. Hvis huset brenner ned er det grei å ha backup en annen plass i tillegg, men det er jo ikke dette som er problemstillingen her.

Men potensielle problemer med med kontrollere kan være et problem.

BjornE skrev:

Forøvrig er slike løsninger også tvilsomme mhp. hardware feil i kontrolleren. Hva skjer om tre år når produsenten ikke lenger støtter produktet og kontrolleren havarerer? Nye standarder?

Klikk for å utvide...

Det er derfor man har software raid Da er det lett å få på plass dataene om maskinen skulle ta kvelden også...
Helt greit at ytelsen ikke er helt på høyde med de råeste hw-kontrollerne, men så lenge man skal ha den som en lagringsplas
og ikke drifte databaser med sinnsykt mye spørringer så funker det ok.

Min mening da...

Mulig at jeg er treg, men dersom du har tre TB data + en fri TB, hvordan vil da en full diskcrash på en hvilkensomhelst av de tre TB kunne gjennoprettes fra den ene TB "paritets disken"?

Tror stadig vi snakker om et system som kan reparere mindre lese/skrive feil i enkelt filer etc. men dersom du har full diskcrash på en disk har du tapt.

Viktig å skille mellom utvidet sikkerhet mot enkelt feil eller et system som kan håndtere et antall feil og en reell backup løsning.

Det er også viktig å skille mellom lure systemer som sprer data utover for å øke sikkerheten og rene disker som kan fiskes ut av et kabinett, settes inn i et annet og kjøre videre. Svært mange av de systemene du nevner bruker diskplassen på en slik måte at data ikke kan finnes igjen på enkelt diskene dersom harwdware systemet, power, diskcontrollere etc, kollapser.

Den ultimate sikkerheten er definitivt manuell kopiering til standalone disker. Noe mer tidkrevende men beskytter mot det meste.......

BjornE skrev:

Mulig at jeg er treg, men dersom du har tre TB data + en fri TB, hvordan vil da en full diskcrash på en hvilkensomhelst av de tre TB kunne gjennoprettes fra den ene TB "paritets disken"?

Klikk for å utvide...

Man bruker paritetsdata for å få til dette. Prinisppet går ut på at det lagres data som er en sammenligning av dataene på alle diskene i raidet (eller filene i et sett). SVÆRT forenklet kan man illustrere prisippet på denne måten. La oss si du har 4 harddisker, da vil maskinen lagre data fordelt på alle 4 diskene, men vi kan også lagre data om hva som er lagret på de andre, en flags fellesinformasjon. Hvis vi går helt ned på minste nivå på diskene kan vi tenke oss at vi har data på 4 disker:

a - 3
b - 7
c - 4
d - 1

I tillegg lagrer vi følgende data: summen av a+b+c+d er 15

Hvis da av de 4 diskene ryker, samme hvilken, så kan man vite hva som lå lagret der ved å ta 15 - data på de 3 gode diskene = data på den som røk. F.eks.

(Ny oppsummering gir 12) - 7 - 4 - 1 - x = 15
(Ny oppsummering gir 11) - 3 - 7 - 1 - x = 15

Slik kan man gå igjennom harddisken sektor for sektor og rekonstruere dataene der. Så i praksis er det tilstrekkelig med 25% eller mindre plass satt av til slike data, og all slik data er samtidig fordelt på alle diskene slik at man får den praktiske effekten at hvilken som helst av dem kan fjernes og erstattes med en blank disk hvor innholdet fra den gamle vil bli identisk når systemet får gjenopprettet dataene.

Dette er svært overforenklet og det er helt andre algoritmer som brukes enn addisjon og subtraksjon, men det illustrerer vel prinsippet om ikke annet.

Du kan jo lese mer om RAID5 her hvis du vil.

Man bruker samme metder til å sikre data ved overføring av store filmengder, f.eks. Quickpar

http://parchive.sourceforge.net/

Men man skal ikke glemme heller at raid5 eller paritetsfiler ikke er noen erstatning for backup. Hvis hele systemet ryker er jo dataene tapt hvis man ikke har lagret dem en annen plass i tillegg. Men som sikkerhet mot at en harddisk kan ryke, er det svært nyttig.

Dette ser bedre ut - men det du nå har oppnådd en relativt stor reduksjon i tilgjengelig plass pr. disk og et relativt omfattende system for spredning av data.

Jeg kjenner godt til disse løsningene i profesjonelle systemer, men er litt i tvil om hvorvidt en løsning som dette har nødvendig kvalitet for så billige produkter og at de følgelig gir en falsk trygghet.

BjornE skrev:

Mulig at jeg er treg, men dersom du har tre TB data + en fri TB, hvordan vil da en full diskcrash på en hvilkensomhelst av de tre TB kunne gjennoprettes fra den ene TB "paritets disken"?

Tror stadig vi snakker om et system som kan reparere mindre lese/skrive feil i enkelt filer etc. men dersom du har full diskcrash på en disk har du tapt.

Klikk for å utvide...

Det er ikke riktig. I RAID-5 med la oss si fem disker får du lagringsplassen til fire av diskene, og hvilkensomhelst av de fem diskene kan ryke uten at du mister data. Ryker to disker mister du alt. Dataene lagres på en slik måte at en vilkårlig disk kan rekonstrueres basert på de resterende.

Men dette er ikke noen erstatning for backup, det er viktig å presisere. Det gir kun økt sikkerhet mot kræsj på enkeltdisker.

BjornE skrev:

Dette ser bedre ut - men det du nå har oppnådd en relativt stor reduksjon i tilgjengelig plass pr. disk og et relativt omfattende system for spredning av data.

Jeg kjenner godt til disse løsningene i profesjonelle systemer, men er litt i tvil om hvorvidt en løsning som dette har nødvendig kvalitet for så billige produkter og at de følgelig gir en falsk trygghet.

Klikk for å utvide...

Disker koster nesten ingen ting, så RAID-5 er en billig ekstrasikkerhet. Men du har rett i at man mister lagringsplassen til en disk. Man kan også sette opp et RAID-array slik at man har to eller flere "reservedisker" men man mister lagringsplassen til det antall disker som kan ryke samtidig.

Til hjemmebruk implementerer man dette i programvare, til profesjonell bruk bruker man dedikterte og svindyre kontrollere. Det tar nesten ikke noe regnekraft, og en hvilkensomhelst noenlunde moderne PC klarer dette uten at det går utover ytelsen i det hele. Min filserver med en slapp Core2Duo-prosessor har en load på ca 1%. I det hele krever det ekstremt lite datakraft å være filserver.

Jeg vet ikke hvordan støtten for RAID er i Windows, men hovedkort har det ofte innebygget og det finnes i alle fall god støtte for software-RAID i Linux. NAS-burker har det også som regel innebygget.

Og hvis kontrolleren ryker, så er man avhengig av å få ta i en 100% identisk en??

janghell skrev:

Og hvis kontrolleren ryker, så er man avhengig av å få ta i en 100% identisk en??

Klikk for å utvide...

Om man er uheldig, ja. Ergo mener jeg man bør bruke software-RAID.

nb skrev:

janghell skrev:

Og hvis kontrolleren ryker, så er man avhengig av å få ta i en 100% identisk en??

Klikk for å utvide...

Om man er uheldig, ja. Ergo mener jeg man bør bruke software-RAID.

Klikk for å utvide...

Hardware RAID med speiling skal vel også fungere bra?

janghell skrev:

nb skrev:

janghell skrev:

Og hvis kontrolleren ryker, så er man avhengig av å få ta i en 100% identisk en??

Klikk for å utvide...

Om man er uheldig, ja. Ergo mener jeg man bør bruke software-RAID.

Klikk for å utvide...

Hardware RAID med speiling skal vel også fungere bra?

Klikk for å utvide...

Joda, men speiling så får man bare halvparten av plassen. Det er sikrere og kan være raskere, men det blir veldig mye disker om man skal ha en del lagringsplass.

Software-RAID er uansett greiest til privatbruk synes jeg om man vil ha det.

BjornE skrev:

Dette ser bedre ut - men det du nå har oppnådd en relativt stor reduksjon i tilgjengelig plass pr. disk og et relativt omfattende system for spredning av data.

Jeg kjenner godt til disse løsningene i profesjonelle systemer, men er litt i tvil om hvorvidt en løsning som dette har nødvendig kvalitet for så billige produkter og at de følgelig gir en falsk trygghet.

Klikk for å utvide...

Vel, noen synes det er greit å betale for en ekstra terrabyte om det kan redde filene dine dersom en disk skulle ta kvelden. Men folk proiriterer vel kanskje forskjellig? RAID står forøvrig Redundant Array of Inexpensive Disks...

Forresten, hvilke billige produkter er det du sikter til?

nb skrev:

BjornE skrev:

Mulig at jeg er treg, men dersom du har tre TB data + en fri TB, hvordan vil da en full diskcrash på en hvilkensomhelst av de tre TB kunne gjennoprettes fra den ene TB "paritets disken"?

Tror stadig vi snakker om et system som kan reparere mindre lese/skrive feil i enkelt filer etc. men dersom du har full diskcrash på en disk har du tapt.

Klikk for å utvide...

Det er ikke riktig. I RAID-5 med la oss si fem disker får du lagringsplassen til fire av diskene, og hvilkensomhelst av de fem diskene kan ryke uten at du mister data. Ryker to disker mister du alt. Dataene lagres på en slik måte at en vilkårlig disk kan rekonstrueres basert på de resterende.

Men dette er ikke noen erstatning for backup, det er viktig å presisere. Det gir kun økt sikkerhet mot kræsj på enkeltdisker.

Klikk for å utvide...

Det er derfor man har RAID-6, da kan inntil to disker ta kvelden og du har fortsatt mulighet til å beholde data.
Når det gjelder dette med HW-RAID kontra SW-RAID så er det slik at HW-RAID har bedre ytelse, mens SW-RAID er mer
fleksibelt med tanke på hvilke kontrollere man bruker. Det er ingenting i veien for at man kan bruke både SATA og PATA
disker om hverandre om man bruker SW-RAID, selv om det ikke 'ser' bra ut...

Men som sagt av nb tidligere, RAID er ikke backup! Det er kun et middel for å unngå tap av data ved diskcrash.

Ingen tvil om at det finnes alternativer, men mitt oppsett var basert på et fornuftig og enkelt oppsett for folk som ikke kan all verdens om "data". Er du villig, og kompetent nok, til å sy sammen et SW basert raid oppsett kan du nok få mer ut av det på papiret, men det er ikke like enkelt. Min erfaring med SW raid er at det ikke akkurat er noe enklere å få til å spille når noe går galt. Dessuten får man mye bedre ytelse med hw-raid kontroller.

Når det gjelder backup så vil jeg påstå at en nas løsning som er beskyttet mot diskcrash med hjelp av paritet overgår de aller fleste av brukerne sine sikkerhetsløsninger. Hvor mange er det ikke som har liggende n-tusen bilder på pcen fra de gikk til inkjøp av digitalkamera for 4 år siden og som ikke egentlig ligger noe annet sted. Med en Readynas følger det med backup software for pc og mac som kan kjøre automatisk backup av de mappene/områdene du definerer(f.eks. "Mine Dokumenter").

Det er klart at ikke noe av dette redder deg hvis huset brenner ned, men jeg må inrømme at hvis så skjer er nok ikke den digitaliserte platesamlingen mitt første og største problem.

Godmode skrev:

Ingen tvil om at det finnes alternativer, men mitt oppsett var basert på et fornuftig og enkelt oppsett for folk som ikke kan all verdens om "data". Er du villig, og kompetent nok, til å sy sammen et SW basert raid oppsett kan du nok få mer ut av det på papiret, men det er ikke like enkelt. Min erfaring med SW raid er at det ikke akkurat er noe enklere å få til å spille når noe går galt. Dessuten får man mye bedre ytelse med hw-raid kontroller.

Når det gjelder backup så vil jeg påstå at en nas løsning som er beskyttet mot diskcrash med hjelp av paritet overgår de aller fleste av brukerne sine sikkerhetsløsninger. Hvor mange er det ikke som har liggende n-tusen bilder på pcen fra de gikk til inkjøp av digitalkamera for 4 år siden og som ikke egentlig ligger noe annet sted. Med en Readynas følger det med backup software for pc og mac som kan kjøre automatisk backup av de mappene/områdene du definerer(f.eks. "Mine Dokumenter").

Det er klart at ikke noe av dette redder deg hvis huset brenner ned, men jeg må inrømme at hvis så skjer er nok ikke den digitaliserte platesamlingen mitt første og største problem.

Klikk for å utvide...

Ikke uenig i det du sier, bortsett fra at Ytelsen blir "mye bedre" med Hardware-RAID. Til et slapt hjemmenettverk har det ingen verdens ting å si, du kunne kjørt SW-RAID på en mange år gammel PC uten problemer.

Backup er det reelle problemet med store digitale (musikk)samlinger. Det blir veldig dyrt å ha full backup av alt. Enkleste, billigste og tryggeste måte er å bytte samling med et par kompiser slik at man har backup av hverandre.

Jeg er heller ikke helt enig i at HW-RAID (ekte HW-RAID!) alltid er raskere enn SW-RAID. Mine erfaringer tilsier det motsatte. Tror det var mer tilfellet før, da ressursene til PC-ene var mer begrenset. Nå er det sjeldent at prosessoren er flaskehalsen, og derfor vil et SW-RAID kunne jobbe lettere.

Det med å "synkronisere" mediasamlinger med venner er ingen dum ting. Hadde et RAID som gikk i vasken i vår, og fikk nesten tilbake alt jeg hadde av serier via en venn av meg som hadde fått mesteparten av meg fra før