Bygge pc for hjemmeserver (hardware)

Antonsen

Hi-Fi freak
Ble medlem
09.04.2010
Innlegg
4.681
Antall liker
5.115
Sted
Hvittingfoss
Torget vurderinger
9
Hei

Jeg har lyst til å bygge meg en serverløsning. Har nå en netgear 4-bays nas som blir for liten, jeg vil primært lagre alle CDene mine og Blu-ray filmene på serveren, så den trenger litt plass. Filene skal streames til dune/mediastreamer og eventuelt en fremtidig htpc/musikkpc. Nedlastningsgreier og torrents etc er ikke aktuelt da makshastighet på Internett hvor jeg bor er 0,7/0,2...Løsningen jeg kikker på er på 24 disker, på 2TB. Starter med 3-4 disker slik at jeg får overført det jeg har på min gamle før jeg utvider etter hvert som behovet/økonomien tillater. Når det kommer til software har jeg tenkt til å kjøre Nas4free/linux. Har seagate barracuta 2tb disker fra før, så hadde tenkt til å fortsette å bruke det. Har forstått at os kan/bør innstaleres på usb minnebrikke. Tenkte å kjøre Raid5.

Men når det kommer til hardware trenger jeg litt hjelp, først og fremst for å få bekreftet at utstyret "passer sammen" og at det er bra nok.

Hardiskbay tenkte jeg å bestille fra England: 24 bay Hotswap rackmount chassis norco RPC-4224

PC fra MPX:

kabinett: MPX.no - Chieftec 19" 2U UNC-210HS-B-OP (jeg tror denne har en 400w PSU - er dette nok til å drive både pc og hardiskene?)
hovedkort MPX.no - ASUS F2A85-M LE, Socket-FM2
minne: MPX.no - Corsair Vengeance DDR3 1600MHz 8GB CL9
prossessor: MPX.no - AMD A-Series A6-5400K
cdspiller: MPX.no - Samsung DVD Writer, SN-208DB

Kontrollkort:

kontrollkort: Kontrollerkort
Denne er utelukkende valgt fordi jeg har sett noen andre har brukt den, billig & jeg tror den støtter mange disker - noe de andre "billige" jeg fant på mpx ikke gjorde. Men dette er kun antagelser, har ingen peiling på dette.



Er jeg helt på bærtur her, eller høres dette ut som en grei pakke? ALLE innspill mottas med stor takknemlighet :)
 

quade777

Hi-Fi interessert
Ble medlem
06.03.2009
Innlegg
72
Antall liker
15
Sted
Tromsø
Torget vurderinger
5
Du vet at det kabinettet du linker til fra england kan romme hovedkort etc i tillegg til alle hd? Det er en liten film som viser hele kabinet i linken doin...
 

marsboer

Hi-Fi freak
Ble medlem
04.04.2010
Innlegg
4.356
Antall liker
1.701
Sted
Phobos
Et par kjappe som jeg ser med en gang:

- RPC 4224 chassiset er et fullverdig serverchassis med tanke på å være tilpasset standard hovedkort. Det er altså ikke et DAS-kabinett som det virker som du legger opp til her.
Med andre ord trenger du ikke Chieftec-kabinettet. For å få PSU virker det greiest å bare legge til PSU fra rullegardinvalget hos Xcase.

- Jeg ville personlig følt meg tryggere med ECC-minne i en filserver (dvs serverhovedkort og Xeon CPU som en konsekvens av dette), men jeg ser at du har valgt økonomi-komponenter over hele fjøla så da antar jeg at det er poeng å holde prisen helt nede. Realtek-nettverkskort er vanligvis et fy-ord i serversammenheng og det er vanligvis Intel NICs som gjelder for maksimal pålitelighet og ytelse, spesielt under linux og BSD-baserte operativsystemer. Dette får du med på kjøpet med serverhovedkort. Men igjen, dette øker prisen betydelig og med 90% sannsynlighet vil det du kjøper nå fungere helt problemfritt til ditt formål.

- Kontrollerkortet ditt er glimrende for software RAID, men for å fungere optimalt med software RAID så bør det flashes om til LSI 2008's IT-firmware (ren passthrough optimalisert firmware). Det er dette som gjøres av andre som kjøper akkurat dette IBM-kortet på grunn av den lave prisen i forhold til LSI-originalen. Om dette vanligvis går bra eller dårlig er for meg litt uvisst. På nett virker det som denne operasjonen går fint, mens en på jobb som gjorde akkurat det samme endte opp med kun å få benyttet 1 av de 2 SAS-portene etter reflashing. Jeg turte ikke ta noen sjanser med kryssflashing, så jeg gikk for den originale LSI 9211-8i varianten i stedet for den rimeligere IBM-versjonen av samme kort.

- Kontrollerkortet ditt tar 8 disker dersom SAS-expander ikke benyttes. Noen chassis har dette innebygget, men kabinettet du har planer om å gå for har ikke det. Personlig har jeg erfaring med at S-ATA disker på SAS expandere er en uggen kombinasjon. Det fungerer helt fint helt til man setter systemet under tung belastning, hvor man så kan oppleve store problemer med å få aksess til RAIDet. Jeg er derfor fan av tilnærmingen du får i ditt chassis med 6 SAS-konnektorer beregnet for fire disker hver tilkoblet da 6 SAS-8087 kontrollerporter. Du trenger med andre ord enten en 24-porters kontroller (dvs 6 8087-konnektorer) eller f.eks 3 stk 8-porters varianter ala det kortet du har for å benytte alle 24 portene. Selv kjører jeg et 8-porters-kort plus et 16 porters kort i min 24-diskers filserver (dvs 6 SAS-konnektorer for backplane). Du må ta høyde for dette i form av at hovedkortet ditt må ha tilstrekkelig med PCI-express porter med bra nok hastigheter, alternativt gå for et dyrere kontrollerkort med flere konnektorer.

- RAID5 er for lav redundans på 2TB disker, og da spesielt desktopversjoner. Skal du ha bare 4 disker er det kurant, spesielt siden man i praksis kan kjøre RAID10 med bedre resultat ytelsesmessig om man går opp til f.eks RAID6 med så få disker, men fra 6 og oppover ville jeg lagt opp til RAID6 for 2TB, dvs dobbel redundans. Årsaken er ikke nødvendigvis at diskene tar kvelden samtidig, men at faren er overhengende for at du får en sektorfeil ved rebuild av RAIDet med så store disker og den ganske så høye bitfeilraten de er oppgitt med, noe som vil medføre korrupsjon av data siden du ikke har redundans igjen med RAID5 under rebuild.
Jeg har forøvrig brukt opp den fulle RAID6 redundansen 2! ganger med mine Seagate Barracuda 2TB disker i et 8 diskers RAID6 og sendte nettopp inn hele 4 stk som hadde begynt å feile på smart-tester etter litt over 2 års bruk. 24/7 og kontinerlig bruk passet ikke mine disker særlig bra, noe jeg egentlig visste da jeg kjøpte dem. Men billige var de :)
Som en artig greie så presterte netshop å gå konkurs to dager etter at jeg leverte RMA-pakken med de fire diskene på posten. Det skal bli spennende å se om jeg ser noen disker igjen :)
 
Sist redigert:

Antonsen

Hi-Fi freak
Ble medlem
09.04.2010
Innlegg
4.681
Antall liker
5.115
Sted
Hvittingfoss
Torget vurderinger
9
Her var det mye bra info!! Takk til begge to, skal lese meg opp på det dere sier her for så å presentere noen nye dumme spørsmål :)

- I starten vil jeg ha fire disker og når den gamle nas er tømt vil jeg kjøre med åtte disker - dette vil jo antagligvis være nok en god stund, vil jeg da kunne kjøre med ett kontrollerkort og så kjøpe en til når jeg utvider videre med flere hardisker? Eller må man gå til innkjøp av alt på engang?

- Kontrollerkort; prøvde å søke litt rundt angåend flashing, forstod ikke helt hva de innebærer - men er jeg på rett spor her?
:
LSI9211-IT = Straight pass through no RAID, best for ZFS file system etc
LSI9211-IR = Pass through as in IT mode, but you also have RAID options (RAID 0, RAID 1, RAID 1e and RAID 10), better for RAID 0 Windows boot SSDs etc, and possibly run Software RAID 5 on the other drives.
LSI9240 = default mode, only really useful feature this mode has is RAID1/ RAID 10, drives have to be set to JBOD (single) or RAID to be seen by OS, can be annoying when adding removing drives often.
http://www.servethehome.com/ibm-serveraid-m1015-part-4/

Er meget takknemlig for alt hjelp!
 
Sist redigert:

Antonsen

Hi-Fi freak
Ble medlem
09.04.2010
Innlegg
4.681
Antall liker
5.115
Sted
Hvittingfoss
Torget vurderinger
9
Kontrollkortene ser forøvrig billigere ut på ebay. IBM ServeRAID M1015 Adapter PCI E 2 0 x8 RAID Controller Card 46M0861 Low P | eBay

Når det gjelder RAID og disker har jeg egentlig ikke kikket så mye på dette enda - men hvis du anbefaler raid6 så går jeg nok for det :) Når det gjelder seagate diskene, så kan jeg jo kanskje "blande" slik at kun de gamle er barracuda mens alt nytt jeg handler inn har bedre ytelse.
 

marsboer

Hi-Fi freak
Ble medlem
04.04.2010
Innlegg
4.356
Antall liker
1.701
Sted
Phobos
Kontrollkortene ser forøvrig billigere ut på ebay. IBM ServeRAID M1015 Adapter PCI E 2 0 x8 RAID Controller Card 46M0861 Low P | eBay

Når det gjelder RAID og disker har jeg egentlig ikke kikket så mye på dette enda - men hvis du anbefaler raid6 så går jeg nok for det :) Når det gjelder seagate diskene, så kan jeg jo kanskje "blande" slik at kun de gamle er barracuda mens alt nytt jeg handler inn har bedre ytelse.
Ytelse er ikke noe problem. Det er bare verdt å ta med seg at ordinære disker ikke er laget for 24/7 bruk i RAID. RAID6 er derfor en klok investering langsiktig sett. Estatningsdiskene jeg har fått for de defekte, som er 2. generasjons 2TB disker fra Seagate, har jeg ikke hatt noen problemer med så min dårlige erfaring er på ingen måte noe som er allmenngyldig i alle tilfeller. Blanding av disker har både fordeler og ulemper. Ulempen er at et RAID liker seg best med identiske disker med identisk ytelse. Fordelen er at dersom det er en feil som gjelder en hel serie av disker, slik jeg har slitt med på mine, så begrenses skadeomfanget ved å ha ulike disker fra ulike leverandører. Som hjemmebruker uten spesielt hardcore nerdekrav ville jeg satt opp diskene med RAID6 og heller tatt byttene som de kommer dersom det er behov for dette. Ryker det en disk har du uansett igjen redundans tilsvarende RAID5 i RMA-perioden.

Angående IT/IR mode, så er det bare å belage seg på IT-firmware med en gang, men ikke for enhver pris. Dersom IBM-kortet ditt fungerer fint ut av boksen til ditt bruk i form av at de individuelle diskene dukker opp som individuelle disker uten behov for å gjøre dem om til "volum" i kontroller-firmwaren så ville jeg droppet kryssflashing som litt uerfaren med denne typen maskinvare. Dette er en operasjon som krever at man vet hva man gjør og utfallet er på ingen måte garantert positivt.

Angående antall på kontroller så ville jeg ha ventet med å fylle opp med kontrollere dersom du ikke ser for deg flere enn 8 nå i første omgang. Det verste som skjer er at du får nyere kontrollere når den tid kommer, og dersom diskstørrelsene skulle vokse så fort at du ikke trenger flere enn 8 så har du jo spart en del kroner.
 
N

nb

Gjest
Jeg har lest at at De Aller Mest Paraniode (dvs de som sannsynligvis er enda nøyere enn Marsboer...) sørger for å få disker fra ulike produksjonsserier for å minimere sannsynligheten for feil. Som et kuriosa i den sammenheng kan jeg nevne at jeg for mange år siden bestille 5 stk 500GB-disker fra Samsung(?) og av de var tre defekte on arrival. Alle fem diskene hadde nesten identiske serienumre, kun de siste 3 sifferene som var ulike om jeg ikke husker helt feil.
 

OlaR

Overivrig entusiast
Ble medlem
17.03.2005
Innlegg
879
Antall liker
415
Sted
Oslo
Torget vurderinger
25
Jeg har egentlig bare opplevt ett skikkelig diskcrash, og det var med en Samsungdisk...

I min 5-bay Qnap startet jeg med WD Green disker. Dette fungerte OK en god stund, men så fikk jeg et par omganger med at RAID'et gikk i "degraded mode", antakelig p.g.a. midlertidig lesefeil på en av diskene. Dette gikk på plass etter å ha scannet den aktuelle disken for feil. Jeg antar (uten å ha særlig peiling på dette) at dette er et symptom på problmet WD (og andre) sikter til med at en disk beregnet på desktop kan finne på å lese om igjen veldig mange ganger, noe som åpenbart passer dårlig i et RAID, og at dette er grunnen når de ikke anbefaler disse diskene for bruk i nas.

Jeg har senere gått over til WD RE4-disker. De har funket kniskefritt.
 

KJ

Æresmedlem
Ble medlem
10.10.2004
Innlegg
11.093
Antall liker
4.197
Torget vurderinger
1
Umiddelbart synes jeg 24 disker høres ekstremt mye ut til en hjemme server. Det er ikke det at det ikke er kjekt med mye plass og plass til ekspansjon, men tror du bør tenke godt igjennom «strategien» for oppgradering og ekspansjon. Hvor mye plass trenger du i dag og hvor mye plass trenger du om 2-3-4-5 år? Hva er det mest «fornuftig» å ta hensyn til å dag (f.eks. dagens plassbehov X2-X3-X4?). Til hjemmebruk er det kanskje sannsynlig at oppgraderingsbehovet ikke øker like raskt som harddiskprodusentenes iver på å lansere nye produkter. Det kan være en ikke ubetydelig fordel å ha et RAID-array med disker fra samme produktserie-serie (ikke produksjonsserie) og «generasjon» (f.eks WD-RED?), og da kan det bli en utfordring å skaffe «gamle» disker når du får behov for å ekspandere om f.eks. 3-5 år. Da står du fort i en situasjon hvor det mest hensiktsmessige er å skifte ut heleRAID-arrayet. Mht produkt- og teknologieutviklingen på datautstyr så mener jeg det er begrenset hvor lurt det er å ta hensyn til veldig lange (mer enn 3 til 5 år) tidshorisonter for utviklingen av eget behov.

For egen regning og til eget bruk ville jeg ha tatt høyde for maks 10 disker, med et sannysnlig maksimum i bruk på 5, 7 eller 9 disker, og lagt opp til en mer eller mindre komplett utskifting av HD-arrayet ca hvert femte år. Da antar jeg at utviklingen av HD-kapasitet i perioden går fortere enn mitt eget behov.

Mht. minne - dersom du skal bruke RAID-Z så kan det fort spise opp noen GB-ram så du bør kanskje vurdere 16GB?

Mht. Hovedkortet - har du bruk for e-sata? Dersom ikke kan du lete etter et kort med A85X brikkesett uten e-sata - da kan du bruke en SATA-port til støveldisk og 7 porter til RAID - jeg tipper at det kan dekke behovet i overskuelig framtid - og du behøver i første omgang ikke noe kontrollerkort til ekstra SATA-porter. Dersom du f.eks. velger 3TB utgaven av WD RED så koster den 350 kr pr TB på MPX vs 400 kr pr TB for 2TB utgaven - med 3 TB kan du nøye deg med 5 disker for en kapasitet på 15 GB vs 8x2GB for en kapasitet på 16 TB - færre disker reduserer også saynnsynligheten for at en disk i arrayet feiler (p.ga. feilmekanismer som ikke er felles for arrayet). Aktuelle HK med 8 interne SATA-porter :
MPX.no - Gigabyte GA-F2A85XM-D3H, Socket-FM2
MPX.no - MSI FM2-A85XA-G65, Socket-FM2

Mht holdbarhet og slikt - sjekk alle komponenter for evt spec for MTBF, antall av- og påsykluser, årlige feilrater og slikt. (HD har ofte mer utfyllende spec for dette enn andre komponenter), ta også hensyn til produsentenes egen oppgitte garantitid og evt rare forbehold om garanti, samt evt. lovnader om at produsenten bruker komponenter valgt ut fra ekstra holdbarehet o.l.

mvh
KJ

EDIT +/- 3 kommaplasser dvs GB vs TB
 
Sist redigert:

marsboer

Hi-Fi freak
Ble medlem
04.04.2010
Innlegg
4.356
Antall liker
1.701
Sted
Phobos
Jeg har lest at at De Aller Mest Paraniode (dvs de som sannsynligvis er enda nøyere enn Marsboer...) sørger for å få disker fra ulike produksjonsserier for å minimere sannsynligheten for feil. Som et kuriosa i den sammenheng kan jeg nevne at jeg for mange år siden bestille 5 stk 500GB-disker fra Samsung(?) og av de var tre defekte on arrival. Alle fem diskene hadde nesten identiske serienumre, kun de siste 3 sifferene som var ulike om jeg ikke husker helt feil.
Selv om det faglige rasjonalet er der rent teknisk sett, så mener jeg personlig at det ikke er verdt å holde på med dette når diskantallet blir høyt. Risikoen for uoptimal RAID-ytelse blir for stor. Dersom man skulle være så uheldig å miste så mange disker at ikke en gang RAID6 er nok så er det på tide å dra frem backupen. De Aller Mest Paranoide (eller strengt tatt normalt fornuftige) tar altså backup i tillegg til redundansen i RAIDet :)

For å sikre meg dersom filserveren hjemme skulle ta kvelden så har jeg en backupserver med 28TB disk stående i et nettverkssrom et annet sted i landet med nattlig backup av alt via internett. Backupløsningen jeg har laget meg tar checksum av alle filer ved backup og validerer denne en gang i uken slik at jeg er sikker på at ikke dataene bare råtner på rot.
 

Antonsen

Hi-Fi freak
Ble medlem
09.04.2010
Innlegg
4.681
Antall liker
5.115
Sted
Hvittingfoss
Torget vurderinger
9
Ytelse er ikke noe problem. Det er bare verdt å ta med seg at ordinære disker ikke er laget for 24/7 bruk i RAID. RAID6 er derfor en klok investering langsiktig sett. Estatningsdiskene jeg har fått for de defekte, som er 2. generasjons 2TB disker fra Seagate, har jeg ikke hatt noen problemer med så min dårlige erfaring er på ingen måte noe som er allmenngyldig i alle tilfeller. Blanding av disker har både fordeler og ulemper. Ulempen er at et RAID liker seg best med identiske disker med identisk ytelse. Fordelen er at dersom det er en feil som gjelder en hel serie av disker, slik jeg har slitt med på mine, så begrenses skadeomfanget ved å ha ulike disker fra ulike leverandører. Som hjemmebruker uten spesielt hardcore nerdekrav ville jeg satt opp diskene med RAID6 og heller tatt byttene som de kommer dersom det er behov for dette. Ryker det en disk har du uansett igjen redundans tilsvarende RAID5 i RMA-perioden.


Angående IT/IR mode, så er det bare å belage seg på IT-firmware med en gang, men ikke for enhver pris. Dersom IBM-kortet ditt fungerer fint ut av boksen til ditt bruk i form av at de individuelle diskene dukker opp som individuelle disker uten behov for å gjøre dem om til "volum" i kontroller-firmwaren så ville jeg droppet kryssflashing som litt uerfaren med denne typen maskinvare. Dette er en operasjon som krever at man vet hva man gjør og utfallet er på ingen måte garantert positivt.


Angående antall på kontroller så ville jeg ha ventet med å fylle opp med kontrollere dersom du ikke ser for deg flere enn 8 nå i første omgang. Det verste som skjer er at du får nyere kontrollere når den tid kommer, og dersom diskstørrelsene skulle vokse så fort at du ikke trenger flere enn 8 så har du jo spart en del kroner.



Takk for hjelpen sålangt. Da tror jeg faktisk at jeg forstår litt mer og har en ca plan :) Greit å vite hvordan jeg merker om jeg må flashe eller ikke. Har flere bekjente som jobber med IT så hvis behovet melder seg er ikke dette noe jeg prøver på alene eller uten en real ABC for dummies, hehe.


Har funnet mange gode how-to's og tutourials for software igangskjøringen, men når det kommer til hardware syns jeg det er vanskeligere å lese meg til løsninger på (primært) amerikanske sider.


Ser det som en stor fordel å ha muligheten til å utvide senere uten å måtte investere i alt på en gang. Eneste jeg må være oppmerksom på er om hovedkort har nok pci porter til eventuelt flere kontrollkort, men det ser jo ok ut.


Jeg har egentlig bare opplevt ett skikkelig diskcrash, og det var med en Samsungdisk...


I min 5-bay Qnap startet jeg med WD Green disker. Dette fungerte OK en god stund, men så fikk jeg et par omganger med at RAID'et gikk i "degraded mode", antakelig p.g.a. midlertidig lesefeil på en av diskene. Dette gikk på plass etter å ha scannet den aktuelle disken for feil. Jeg antar (uten å ha særlig peiling på dette) at dette er et symptom på problmet WD (og andre) sikter til med at en disk beregnet på desktop kan finne på å lese om igjen veldig mange ganger, noe som åpenbart passer dårlig i et RAID, og at dette er grunnen når de ikke anbefaler disse diskene for bruk i nas.


Jeg har senere gått over til WD RE4-disker. De har funket kniskefritt.

Før jeg kjøpte min nåværende netgear nas hadde jeg en ferdig HP boks med windows home server hvor jeg hadde alle CDene mine og bildenen lagret - på WD green disker, endte med en kjempekræsj med resultat at alt ble borte - heldigvis hadde jeg kjørt backup av bildene på en usb disk. Kjørte Raid 5 der.


Umiddelbart synes jeg 24 disker høres ekstremt mye ut til en hjemme server. Det er ikke det at det ikke er kjekt med mye plass og plass til ekspansjon, men tror du bør tenke godt igjennom «strategien» for oppgradering og ekspansjon. Hvor mye plass trenger du i dag og hvor mye plass trenger du om 2-3-4-5 år? Hva er det mest «fornuftig» å ta hensyn til å dag (f.eks. dagens plassbehov X2-X3-X4?). Til hjemmebruk er det kanskje sannsynlig at oppgraderingsbehovet ikke øker like raskt som harddiskprodusentenes iver på å lansere nye produkter. Det kan være en ikke ubetydelig fordel å ha et RAID-array med disker fra samme produktserie-serie (ikke produksjonsserie) og «generasjon» (f.eks WD-RED?), og da kan det bli en utfordring å skaffe «gamle» disker når du får behov for å ekspandere om f.eks. 3-5 år. Da står du fort i en situasjon hvor det mest hensiktsmessige er å skifte ut heleRAID-arrayet. Mht produkt- og teknologieutviklingen på datautstyr så mener jeg det er begrenset hvor lurt det er å ta hensyn til veldig lange (mer enn 3 til 5 år) tidshorisonter for utviklingen av eget behov.


For egen regning og til eget bruk ville jeg ha tatt høyde for maks 10 disker, med et sannysnlig maksimum i bruk på 5, 7 eller 9 disker, og lagt opp til en mer eller mindre komplett utskifting av HD-arrayet ca hvert femte år. Da antar jeg at utviklingen av HD-kapasitet i perioden går fortere enn mitt eget behov.


Mht. minne - dersom du skal bruke RAID-Z så kan det fort spise opp noen GB-ram så du bør kanskje vurdere 16GB?


Mht. Hovedkortet - har du bruk for e-sata? Dersom ikke kan du lete etter et kort med A85X brikkesett uten e-sata - da kan du bruke en SATA-port til støveldisk og 7 porter til RAID - jeg tipper at det kan dekke behovet i overskuelig framtid - og du behøver i første omgang ikke noe kontrollerkort til ekstra SATA-porter. Dersom du f.eks. velger 3TB utgaven av WD RED så koster den 350 kr pr TB på MPX vs 400 kr pr TB for 2TB utgaven - med 3 TB kan du nøye deg med 5 disker for en kapasitet på 15 GB vs 8x2GB for en kapasitet på 16 TB - færre disker reduserer også saynnsynligheten for at en disk i arrayet feiler (p.ga. feilmekanismer som ikke er felles for arrayet). Aktuelle HK med 8 interne SATA-porter :
MPX.no - Gigabyte GA-F2A85XM-D3H, Socket-FM2
MPX.no - MSI FM2-A85XA-G65, Socket-FM2


Mht holdbarhet og slikt - sjekk alle komponenter for evt spec for MTBF, antall av- og påsykluser, årlige feilrater og slikt. (HD har ofte mer utfyllende spec for dette enn andre komponenter), ta også hensyn til produsentenes egen oppgitte garantitid og evt rare forbehold om garanti, samt evt. lovnader om at produsenten bruker komponenter valgt ut fra ekstra holdbarehet o.l.


mvh
KJ


EDIT +/- 3 kommaplasser dvs GB vs TB

Ja, 24 disker håper jeg er ekstremt mye. Slik som jeg anser det er mitt behov nå ca 8 disker på 2tb. Har idag 4 disker og ca 80 prosent av den totale lagrinsplassen er i bruk og ca halvparten av mine blu-ray filmer er ikke rippet. Jeg ser absolutt poenget med at utviklingen er stor og at lagring bare blir billigere og billigere. Samtidig syns jeg det er en stor fordel å ha mulighet til å bare kunne kjøpe ett par hardisker når behovet melder seg kontra å måtte bytte ut hele lurven f.eks vært femte år.


Problemet med å finne "riktig" generasjon hardisker er også ett godt poeng som jeg ikke har tenkt så nøye over. Mtp at jeg tenkte å fortsette med seagate barracuda da jeg allerede har 4 2tb disker med dette fra før - de er vel allerede noen år gamle?


Minne, 8 vs 16 GB - muligens best å kjøpe 16 GB med engang - dette er jo egentlig en relativ liten post i budsjettet, sånn historisk sett ;) Husker fatter kjøpte minnekort på midten av 90 tallet, da var det snakk om MB og nesten ei månedslønn ;) Problemet mitt er at jeg ikke har drevet så mye med pc siden slutten av 90 tallet slik at jeg egentlig ikke har peiling på hva som er bra eller "gammeldags" lenger.


Nåår det gjelder porter på hovedkortet og generelt så ser det ut som for meg at jeg kun trenger x antall pci slots for kontrollkort, usb, nettverk og skjerm (i igangskjøringstiden). Det meste ellers blir ikke brukt, tror jeg.


Ellers så takker jeg for alle gode tips - og at det er mange veier til mål her, er det liten tvil om :D
 

KJ

Æresmedlem
Ble medlem
10.10.2004
Innlegg
11.093
Antall liker
4.197
Torget vurderinger
1
^ En annen vei til målet er å ha flere mindre NAS/serverløsninger til ulike formål.

^^ En tredje vei til målet er å samle flere mindre like NAS/Serverløsninger i et nettverksbasert RAID

Poenget mitt med å ta høyde for å skifte ut hele hurven etter ca fem år er 1) det er ikke kanskje lite sannsynlig at du om fem år ikke finner disker av samme produktgenerasjon og som passer inn uten redusert ytelse eller andre merkverdigheter, 2) ved å ta høyde for å skifte ut hele hurven etter ca fem år så starter du på «nytt» mht «forventet» levetid på arrayet, 3) med et stort array med disker med ulik alder og slitasje kan du forvente diskfeil oftere enn med et array som er mindre og mer homogent (det kan bli arbeidsomt å vedlikeholde) 4) du slipper å ta kostnaden «nå» på et behov som kanskje er unødvendig. Regnestykket er blir litt annerledes når du allerede har 4 disker å leke med, men generelt sett vil jeg heller foreslå færre og «store» disker enn mange og små disker. Du er evt oppmerksom på at Barracuda og Barracuda kan være forskjellige ting, produktnavnet har overlevd ganske mange produktgenerasjoner, jeg lurer på om Seagate har talt 12 eller 14 generasjoner?), og Seagate har nå i 14 eller 15 generasjon skrapet merkenavnet. Barracudadiskene er mindre egnet til 24/7 drift enn f.eks. Seagates egen SV35 serie og nevnte WD RES serie (bedre spec for MTBF, av-på sykluser, driftstimer og ikke gjenopprettelige feil mm).

mvh
KJ
 

Class

Hi-Fi freak
Ble medlem
11.03.2009
Innlegg
2.763
Antall liker
496
Sted
Vestfold
Torget vurderinger
7
Har ikke lest igjennom alt så dette er kanskje nevnt før.

PSU i Norco bråker en del. Disk-caddies de bruker er noe skrot, nesten like elendig som greiene fra Chieftec.
Jeg ville kjøpt kvalitet fra f.eks. Supermicro om jeg skulle bygget noe slikt.
 

marsboer

Hi-Fi freak
Ble medlem
04.04.2010
Innlegg
4.356
Antall liker
1.701
Sted
Phobos
^ En annen vei til målet er å ha flere mindre NAS/serverløsninger til ulike formål.

^^ En tredje vei til målet er å samle flere mindre like NAS/Serverløsninger i et nettverksbasert RAID

Poenget mitt med å ta høyde for å skifte ut hele hurven etter ca fem år er 1) det er ikke kanskje lite sannsynlig at du om fem år ikke finner disker av samme produktgenerasjon og som passer inn uten redusert ytelse eller andre merkverdigheter, 2) ved å ta høyde for å skifte ut hele hurven etter ca fem år så starter du på «nytt» mht «forventet» levetid på arrayet, 3) med et stort array med disker med ulik alder og slitasje kan du forvente diskfeil oftere enn med et array som er mindre og mer homogent (det kan bli arbeidsomt å vedlikeholde) 4) du slipper å ta kostnaden «nå» på et behov som kanskje er unødvendig. Regnestykket er blir litt annerledes når du allerede har 4 disker å leke med, men generelt sett vil jeg heller foreslå færre og «store» disker enn mange og små disker. Du er evt oppmerksom på at Barracuda og Barracuda kan være forskjellige ting, produktnavnet har overlevd ganske mange produktgenerasjoner, jeg lurer på om Seagate har talt 12 eller 14 generasjoner?), og Seagate har nå i 14 eller 15 generasjon skrapet merkenavnet. Barracudadiskene er mindre egnet til 24/7 drift enn f.eks. Seagates egen SV35 serie og nevnte WD RES serie (bedre spec for MTBF, av-på sykluser, driftstimer og ikke gjenopprettelige feil mm).

mvh
KJ
Det virker som du her legger opp til f.eks ett stort 24 diskers array. For hjemmebrukere er dette sjelden veien å gå siden det koster alt for mye å bytte ut 24 disker i en smell. En mer fornuftig tilnærming vil være f.eks 2 x 12 diskers RAID6 array. Dvs begynne på et nytt array i samme server med en ny generasjon disker når man har behov for å utvide til mer enn 12 disker, alternativt f.eks 3 x 8 diskers array. Dette gir fleksibilitet ved oppgradering og reduserer risiko ved pølsefingerfeil.

I en bedrift har dette mindre å si siden det er mindre vanlig å oppgradere underveis etter at løsningen er satt i drift. Der kjøper man vanligvis nytt når løsningen er "brukt opp".

Siden software RAID kan utvides går det helt fint å starte med f.eks 5 disker og utvide til 8 eller 12 etterhvert som behovet melder seg, og deretter begynne på et nytt array med nye disker. I et 24 diskers chassis har man denne fleksibiliteten gitt at man ser for seg å i hvertfall nærme seg f.eks 16 disker totalt (dvs mer enn man får trøkt inn mer tradisjonelle løsninger).

Det er forøvrig betydelige driftsmessige fordeler i å gå for f.eks 12 x 2TB disker fremfor f.eks 6 x 4TB i et array. Flere spindler gir bedre ytelse, mindre størrelser gir mindre sannynlighet for URE under recovery, og mindre størrelser gir raskere recovery ved diskfeil, dvs at perioden med redusert redundans er kortere.

Det finnes i grunn bare 3 grunner til å gå for et lite antall store disker fremfor mange mindre:
1. Redusere strømbehov/varmeutvikling (i så små systemer som dette har dette ikke noe å si, men i datasentre vil dette kunne gi betydelige besparelser)
2. Plassbegrensninger med tanke på tilgjengelige diskplasser
3. Det kan være rimeligere, litt avhengig av prismessig sweetspot.
 
Sist redigert:

marsboer

Hi-Fi freak
Ble medlem
04.04.2010
Innlegg
4.356
Antall liker
1.701
Sted
Phobos
Jeg valgte forøvrig tilnærmingen med 2 filservere for omlag 2.5 år siden, fordi dette var billigere enn et 24-porters Supermicro chassis og støy var en faktor. Jeg anbefaler ikke denne tilnærmingen så lenge den praktisk sett kan unngås uten å drastisk øke kostnadene. Det kompliserer driften av systemet og det er en utfordring å presentere dette på en enhetlig måte for brukerne med de teknologiene som er tilgjengelig for normale brukere uten spesiell kompetanse på lagringssystemer. Spesielt fordi filmer fort representerer 90% av de lagrede data i slike systemer så føles det ikke naturlig å splitte opp blu-ray mappa på ulike servere rent bruksmessig. Selv benyttet jeg DFS for å representere dette i et noenlunde felles namespace til klientene i nettverket mitt, men det blir ikke helt det samme og like naturlig integrert. Spesielt dersom man skal tilby de samme filområdene ikke bare via SMB i en eller annen form, men også via f.eks NFS, rsync og FTP.

Nettverksraid ville jeg holdt meg langt unna annet enn til helt spesifikke redundansformål i mindre skala for enkelttjenester. Ytelsen er horribel i forhold til hva diskssystemet egentlig kan levere og det innføres betydelig kompleksitet, spesielt dersom en host går offline på en lite clean måte. Den eneste måten å sikre integriteten på da er å rydde opp manuelt.
Du er også vanligvis nødt til å implementere en eller annen fencing-mekanisme for å unngå split-brain. (En mekanisme som garanterer at masteren er master, dvs unngå at begge tror de er master, f.eks ved å kutte strømmen til den andre maskinen med en dedikert ekstern mekanisme kontrollert av redundansløsningen)
 
Sist redigert:

Antonsen

Hi-Fi freak
Ble medlem
09.04.2010
Innlegg
4.681
Antall liker
5.115
Sted
Hvittingfoss
Torget vurderinger
9
Jeg kommer til å bestille den løsningen som ble skissert i første innlegg her nå i løpet av noen uker. Gleder meg til å teste :) Eneste endring er eventuelt litt mer ram. Støy er ikke så viktig, da den enten kommer til å stå i kjellerboden eller i utehuset når jeg først har fått satt den opp.

Takker for alle synspunkter sålangt - om jeg har valgt den "rette" løsningen vil tiden vise :)
 

Antonsen

Hi-Fi freak
Ble medlem
09.04.2010
Innlegg
4.681
Antall liker
5.115
Sted
Hvittingfoss
Torget vurderinger
9
Siden software RAID kan utvides går det helt fint å starte med f.eks 5 disker og utvide til 8 eller 12 etterhvert som behovet melder seg, og deretter begynne på et nytt array med nye disker. I et 24 diskers chassis har man denne fleksibiliteten gitt at man ser for seg å i hvertfall nærme seg f.eks 16 disker totalt (dvs mer enn man får trøkt inn mer tradisjonelle løsninger).

Akkuratt dette ser ut som er en utfordring i freee4nas - da det tilsynelatende støtter = "ZFS v28, Software RAID (0,1,5)" Har lest meg opp på at det er raidz2 som ligner mest på raid6 - men her kan man ikke uten videre legge til flere disker i samme pool. Ihvertfall slik som jeg har skjønt det.

Men jeg har jo f.eks muligheten til å kjøre med 4 x 6 diskers oppsett. Da vil jeg ha totalt 16 disponible disker og 8 back disker, slik som jeg har forstått det.

Er vel også mulighet å ha forksjellige raid på de forskjellige "pools" tror jeg, hvis man f.eks vil ha bedre backup av dokumenter/bilder og mindre sikring av filmer.
 

marsboer

Hi-Fi freak
Ble medlem
04.04.2010
Innlegg
4.356
Antall liker
1.701
Sted
Phobos
Det er dette som stort sett er det ene ankepunktet mot ZFS. Man kan ikke utvide et RAIDZ-volum uten å opprette et nytt. Ellers er det et kanon filsystem.

Selv benytter jeg linux mdadm med ext4 nå, og kommer ikke til å endre dette før btrfs er å anse som klart.
 

Class

Hi-Fi freak
Ble medlem
11.03.2009
Innlegg
2.763
Antall liker
496
Sted
Vestfold
Torget vurderinger
7
Akkuratt dette ser ut som er en utfordring i freee4nas - da det tilsynelatende støtter = "ZFS v28, Software RAID (0,1,5)" Har lest meg opp på at det er raidz2 som ligner mest på raid6 - men her kan man ikke uten videre legge til flere disker i samme pool. Ihvertfall slik som jeg har skjønt det.
Man kan legge til RAIDZ volum til eksisterende RAIDZ volum om jeg husker rett.
Nas4Free er knallbra men det er vel alltid lurt å prøve seg frem og teste.
 

marsboer

Hi-Fi freak
Ble medlem
04.04.2010
Innlegg
4.356
Antall liker
1.701
Sted
Phobos
Ja, det stemmer class. Om man legger til et nytt RAIDZ volum til et eksisterende så vil man få et helhetlig filsystem. Forskjellen er bare at filsystemet består av to volum og ikke ett. Dette gjør jo selvsagt at man ikke for fordelene av å bruke alle spindlene, men man får i det minste mer plass.
 

Class

Hi-Fi freak
Ble medlem
11.03.2009
Innlegg
2.763
Antall liker
496
Sted
Vestfold
Torget vurderinger
7
Ja men får ikke ytelsen ved å bruke alle spindler men i det minste grei fleksibilitet.
Jeg mener å huske at det er et slags sweet spot mtp optimalt antall spindler med ZFS. Tradisjonellt er jo dette jo flere jo bedre men jeg har et vagt minne om at ZFS er anerledes.
 

marsboer

Hi-Fi freak
Ble medlem
04.04.2010
Innlegg
4.356
Antall liker
1.701
Sted
Phobos
Ja, jeg mener også det er slik med ZFS at man får best ytelse med et antall disker som går opp i 2, dvs 2-4-8-16 etc. Men om dette er med eller uten redundansen iberegnet husker jeg ikke.
 

Antonsen

Hi-Fi freak
Ble medlem
09.04.2010
Innlegg
4.681
Antall liker
5.115
Sted
Hvittingfoss
Torget vurderinger
9
Jeg har lest dette ett sted:

RAIDZ 3, 5, or 9 drives
RAIDZ2 4, 6, or 10 drives
RAIDZ3 5, 7, 11 drives7

og dette ett annet sted:

[h=4]RAIDZ Configuration Requirements and Recommendations[/h]A RAIDZ configuration with N disks of size X with P parity disks can hold approximately (N-P)*X bytes and can withstand P device(s) failing before data integrity is compromised.

  • Start a single-parity RAIDZ (raidz) configuration at 3 disks (2+1)
  • Start a double-parity RAIDZ (raidz2) configuration at 6 disks (4+2)
  • Start a triple-parity RAIDZ (raidz3) configuration at 9 disks (6+3)
  • (N+P) with P = 1 (raidz), 2 (raidz2), or 3 (raidz3) and N equals 2, 4, or 6
  • The recommended number of disks per group is between 3 and 9. If you have more disks, use multiple groups.

Som anbefalte oppsett.
 

KJ

Æresmedlem
Ble medlem
10.10.2004
Innlegg
11.093
Antall liker
4.197
Torget vurderinger
1

Godmode

Hi-Fi entusiast
Ble medlem
07.01.2003
Innlegg
142
Antall liker
2
Torget vurderinger
1
Dette var spennende!

Jeg er ute etter å bygge noe likt, og kunne i likhet med deg tenke meg et kabinett med plass til "nok" disker for overskuelig behov. Har lett og lett, men synes det er vanskelig å finne et fornuftig rack kabinett som ikke koster skjorta (Supermicro). Norco sine produkter peker seg jo ut som veldig fristende, men de er det jo ingen som selger i Norge.

Har du bestilt fra X-Case enda? Hvor mye ble prisen til slutt for deg inkl frakt, moms og fortolling?

Selv har jeg ambisjon om å kjøpe et supermicro hovedkort X10SLM-F Supermicro X10SLM-F - Hovedkort - Finn laveste pris, omtaler og informasjon Det støtter ECC ram, har to Intel Nic, samt et ekstra nettverkskort for full fjernradministrasjon over nettverk (IPMI virker genialt : Super Micro Computer, Inc. - Supermicro Intelligent Management (IPMI) )
Kombinert med et nytt Xeon E3v3 (dvs "haswell" versjon) og 32 GB EEC ram har man en relativt rimelig, men mer pålitelig løsning for langsiktige lagrinsbehov.
 

Class

Hi-Fi freak
Ble medlem
11.03.2009
Innlegg
2.763
Antall liker
496
Sted
Vestfold
Torget vurderinger
7
Om du finner et kabinett med minst 3 åpne 5 1/4" brønner kan du iallfall bruke hotswap skuffene fra Supermicro. Det er bra kvalitet på disse.
Jeg har gått andre veien de siste årene og gått ned på antall disker etter som størrelsen har gått opp. Bruker nå en HP Proliant mikroserver og er veldig fornøyd med denne løsningen.
 

Godmode

Hi-Fi entusiast
Ble medlem
07.01.2003
Innlegg
142
Antall liker
2
Torget vurderinger
1
Klar over at man kan kjøpe hotswap skuffer med ulik kapasitet som passer inn i 5 1/4 tommers brønner. Supermicro sine er sikkert bedre enn chiefteck, Lian-Li og de andre produsentene jeg har sett, men generelt er jo heller ikke hotswap skuffer direkte rimelig om tiltenkt bruk er for private oppgaver. Koster jo fort 1K for en skuff med plass til 4 3,5 tommers disker og Supermicro sine koster vel omtrent 1600,- så vidt jeg kan se. Trenger jo ikke så mange slike før prisen på kabinettet blir endel. Er derfor jeg var interessert i å høre hva totalprisen på det Norco kabinettet ble. Hvis trådstarter har noe info her er det fint.
 

Antonsen

Hi-Fi freak
Ble medlem
09.04.2010
Innlegg
4.681
Antall liker
5.115
Sted
Hvittingfoss
Torget vurderinger
9
Jeg har ikke fått bestilt noe enda, men kommer tilbake med priser på x-case når jeg har bestilt og mottatt kabinettet :)
 

Godmode

Hi-Fi entusiast
Ble medlem
07.01.2003
Innlegg
142
Antall liker
2
Torget vurderinger
1
Flott, takk. Og jeg vil definitivt anbefale deg å myse på mine hardware anbefalinger også. ECC ram er noe som anbefales om du skal være litt "seriøs" mtp lagring og kostnaden er ikke veldig stor. AMD sine Opteron prosessorer er ganske billige, gir super ytelse og kan gjerne smekkes opp til 128 GB ram om du skulle få alvorlige griller i hodet. Det er jo et alternativ til intel og Xeon, om du er ute etter noe litt billigere som støtter ECC ram.

Jeg skal sette igang mitt eget prosjekt når jeg har gjort unna litt sommerferie, kan komme med en oppdatering når det skjer noe. Kanskje jeg lager en egen tråd for ikke å kapre din :)
 

Roberth

Hi-Fi freak
Ble medlem
05.01.2010
Innlegg
2.485
Antall liker
276
Torget vurderinger
19
Anbefaler gigabyte sine hovedkort, de har lang levetid og er veldig stabile etter min erfaring.
 
D

DL

Gjest
Har meget god erfaring med asus hovedkort i servere, har brukt dette lenge.
Selv kjører jeg max 12 disker i samme kabinett og bruker disse hotswap rammene => Komplett.no - Chieftec 3 x 5.25" bays for 4 SAS or
Disse er av bra kvalitet, men støyer noe.

Jeg har kjørt linux og hardware raid 5 på disse raidene i endel år nå, og har aldri hatt problemer.
Bruker konsekvent seagate disker, og disse har kjørt 24/7 med tidvis mye belastning uten noe problemer.
Raid 6 er selvfølgelig mye sikrere, men jeg har løst dette med å ha en ekstra disk liggende.

Bruker 3ware kontrollerkort og disse har vist seg å være meget bra.



DL
 

Godmode

Hi-Fi entusiast
Ble medlem
07.01.2003
Innlegg
142
Antall liker
2
Torget vurderinger
1
Gigabyte sine "Ultra Durable" hovedkort går for å være veldig bra, og selv har jeg utelukkende brukt Asus i maskiner jeg har bygget de siste årene. Alltid vært bra saker det. Når det er sagt så er vel disse produsentene fortsatt mest orientert mot desktop/consumer markedet? Jeg vil hevde at Supermicro stiller i en annen liga når det kommer til bruk i 24/7 drift og typisk server bruk. Ikke at Asus, Gigabyte osv ikke vil fungere utmerket, men Supermicro sine produkter er laget med stabilitet, pålitelighet og driftbarhet i tankene. Tviler på at disse har ting som fullverdig admin gui over dedikert nettverkskanal(du trenger altså aldri koble til display, mus eller tastatur selv for å oppdatere bios eller lignende), dobbelt sett med Intel nettverkskort ol.

Mener det er viktig å tenke på bruksområdet slik at man handler "riktig" produktype for det man skal lage.
 

Antonsen

Hi-Fi freak
Ble medlem
09.04.2010
Innlegg
4.681
Antall liker
5.115
Sted
Hvittingfoss
Torget vurderinger
9
Jeg har undersøkt pris på frakt nå og de skulle ha 50 pund. Tror total summen inkludert moms + eventuelt fortolllingsgebyr blir ca 4600. Vet ikke om dette da er beste/billigste alternativ eller om det lønner seg å kjøpe ett tomt rack kabinett f.eks chieftech og så kjøpe slike rammer som nevnt over her?
 
D

DL

Gjest
Gigabyte sine "Ultra Durable" hovedkort går for å være veldig bra, og selv har jeg utelukkende brukt Asus i maskiner jeg har bygget de siste årene. Alltid vært bra saker det. Når det er sagt så er vel disse produsentene fortsatt mest orientert mot desktop/consumer markedet? Jeg vil hevde at Supermicro stiller i en annen liga når det kommer til bruk i 24/7 drift og typisk server bruk. Ikke at Asus, Gigabyte osv ikke vil fungere utmerket, men Supermicro sine produkter er laget med stabilitet, pålitelighet og driftbarhet i tankene. Tviler på at disse har ting som fullverdig admin gui over dedikert nettverkskanal(du trenger altså aldri koble til display, mus eller tastatur selv for å oppdatere bios eller lignende), dobbelt sett med Intel nettverkskort ol.

Mener det er viktig å tenke på bruksområdet slik at man handler "riktig" produktype for det man skal lage.
Med unntak av raidkontroller så ser jeg liten grunn til å investere i industri hw for hjemmebruk.
Da er det billigere å skifte hele maskina oftere og bruke konsumerprodukter.

Har brukt denne filosofien for mine servere i mange år nå, og aldri opplevd noen problemer.
Man kan selvfølgelig være uheldig, noe som er surt.
IMO så er det iaf mye mer fornuftig å legge penger i en bra raidkontroller, enn server mobo´s og ecc ram.


DL
 

marsboer

Hi-Fi freak
Ble medlem
04.04.2010
Innlegg
4.356
Antall liker
1.701
Sted
Phobos
Med software RAID som forutsetning siden dette er hjemmebruk, så vil et serverhovedkort med Xeon CPU, doble Intel Server NICs, 8 porters SAS-kontroller + 6 S-ATA, IPMI-management og innebygget VGA koste rundt ca 4-5k. Da trenger du kun å bruke penger på ECC-minnet og CPUen, hvor ingen av delene koster skjorta, selv om det er snakk om noen få hundrelapper mer enn desktoputgaver.

Et noenlunde ordentlig desktophovedkort (vanligvis mATX fordi man ofte ikke får gode ATX-kort med VGA, alternativt eksternt skjermkort) med 1xIntel NIC tilleggskort og RAID-kontroller av tilsvarende kvalitet med ordinært minne og ordinær CPU, da uten out-of-band managementinterface, ECC eller 24/7 koster gjerne like mye eller mer og funksjonaliteten er totalt sett dårligere, med større potensiale for kompatibilitetsproblemer.

Hvis man uansett har aspirasjoner om å gjøre dette ordentlig for f.eks et 5-årsperspektiv vil man fort se at man heller kan gå for servermaskinvare økonomisk sett. Det eneste unntaket er om man virkelig går for en bånnskrapet løsning prismessig og velger konsekvent billigst i alle ledd.
Serverchassis og PSU er imidlertid uforholdsmessig dyrt, så dette er stedet å velge kvalitetsmaskinvare fra desktop-produsenter for å få en fin økonomisk balanse til hjemmebruk. Unntaket er kanskje dersom man er spesielt interessert med ekstraordinære behov slik som meg selv.

Uansett dreier ikke dette seg bare om frykt for ustabilitet, men også like mye om den økte kompatibiliteten man får med servermaskinvare når man har planer om å kjøre serverprogramvare på den. En ting er at noe sannsynlivis fungerer, en annen ting er om man VET det fungerer også under belastning (f.eks NIC-drivere). ESXi for hjemmebruk, en nokså vanlig greie blant entusiaster, er et godt eksempel på noe som fort kan lage kvalm med feil type kontroller eller nettverkskort i maskinen.
 
Sist redigert:
D

DL

Gjest
humm, nå må det ha skjedd store ting med serverhw priser, siden sist jeg sjekka.
Er ikke lenge siden slike serverhovedkort kostet 3-4k alene, pluss tilsvarende eller mer for prosessorer.

Men uansett, hw raidkontroller med cpu er å foretrekke.
Sier ikke sw raid er dårlig i *nix os, men ytelsemessig og sikkerhetsmessig så er hw kontroller å foretrekke.
Mine servere med store raid5 puster aldri tungt, og jeg bruker ikke mer enn 4 gig minne, og desktop cpu´er.

DL
 

marsboer

Hi-Fi freak
Ble medlem
04.04.2010
Innlegg
4.356
Antall liker
1.701
Sted
Phobos
humm, nå må det ha skjedd store ting med serverhw priser, siden sist jeg sjekka.
Er ikke lenge siden slike serverhovedkort kostet 3-4k alene, pluss tilsvarende eller mer for prosessorer.
Det er hovedkortet alene jeg snakket om, så det stemmer fremdeles. Minne og CPU er faktisk ikke spesielt mye dyrere enn desktopversjoner med minidre man skal kjøre flere fysiske CPUer og ha de råeste beistene.
 

marsboer

Hi-Fi freak
Ble medlem
04.04.2010
Innlegg
4.356
Antall liker
1.701
Sted
Phobos
Men uansett, hw raidkontroller med cpu er å foretrekke.
Sier ikke sw raid er dårlig i *nix os, men ytelsemessig og sikkerhetsmessig så er hw kontroller å foretrekke.
Mine servere med store raid5 puster aldri tungt, og jeg bruker ikke mer enn 4 gig minne, og desktop cpu´er.
DL
Her er vi nok ganske uenige. HW-RAID gir vanligvis mest mening der hvor man har bruk for skrivecachen og har batterbackupen i orden, det vil si applikasjoner som på grunn av integritetskrav benytter sync i stor grad. Dette gjelder typisk databaser og f.eks NFS-servere for virtuelle maskiner koblet opp mot ESXi. Til filserverbruk så er f.eks Samba som default async, dvs at minnet benyttes for caching så her får man lite eller ingenting ekstra HW-RAID.

Det er forøvrig ingenting i veien med å sette opp lagringslaget for både NFS og databaser til å jobbe async mot minnet og få rå skriveytelse også for sync-applikasjoner dersom man f.eks har UPS, men da lever man farlig.

Når det gjelder sikkerhetsmessig er jeg sterkt uenig. Software-RAID brukt riktig er både mer robust og helt hardware-uavhengig. Man kan stort sett slenge diskene inn i hva det skal være av maskinvare og få opp igjen RAIDet. Moderne filsystemer som btrfs og ZFS har også store potensielle fordeler ved å kombinere RAID-teknologier og filsystem og høste godene av å ha totalkunnskap om hele lagringssystemet, spesielt kombinert med end-to-end checksumming av data (ikke at btrfs er produksjonsklart enda..)

Ytelse er også bob-bob. Diskene er uansett flaskehalsen til syvende og sist. HW-RAID-kontrollere er begrensende dersom man kjører software RAID, her er det lavlatency HBAer som er det ultimate.

Mitt 11 diskers SW RAID6 har en ren throughput på over 1100 MB/s (når man har tatt høyde for minnnecachingen i testingen, hvis ikke blir tallet enda mye høyere) og skalerer fint videre når jeg legger til disker. IOPS er akkurat som forventet i forhold til antallet disker. Ingen flaskehalser å spore her, men CPU-bruken er selvsagt nokså høy ved skriving på grunn av dobbelparitet i disse hastighetene. Jeg har også sammenlignet RAID6 direkte med identiske disker i HW-RAID (Et dual IOP 1.2ghz kort fra Adaptec) og linux md RAID6 og Linux MD hadde faktisk ørlite grann bedre ytelse, sikkert på grunn av mindre kontrolleroverhead (disse var da koblet utenom Adaptec-kortet på en HBA fra LSI), bortsett fra i tilfeller hvor man brukte sync-operasjoner tungt (i mitt tilfelle NFS/ESXi). Begge systemer var begrenset primært av diskenes antall og hastighet.
 
D

DL

Gjest
Hos meg så sank iaf minnebruk og cpu bruk drastisk, den gangen jeg gikk over fra sw raid til hw raid.
Nå er nok dette noen år siden, og det var nok noe å hente på ett bedre oppsett mistenker jeg.
Hastigheter totalt sett er helt uintressant, da speed overgår internet hastighet uansett, dog oppdager jeg at jeg kan belaste servere med så stor belastning jeg bare vil, uten at dette dreper totalhastighet eller respons fra server.
Uten at jeg har gjort noen målinger på det, så satt jeg med ett inntrykk at systemet jobbet hardt med mye bruk, den gangen jeg kjørte med sw.
Ett annet fenomen er at speed på raidet holdes meget høy, selv om raid kjører med en gåen disk.

Fordel med sw er at det ikke er kontrollerspesifisert, det er riktig, var også mulighet for å få ut data av ett raid som faktisk hadde trynet.



DL
 

marsboer

Hi-Fi freak
Ble medlem
04.04.2010
Innlegg
4.356
Antall liker
1.701
Sted
Phobos
At man bruker mer CPU og minne med software RAID gjelder helt klart enda. Men forskjellen nå og for f.eks en 6-7 år siden er at man nå har kraftige flerkjerneprosessorer også i de billige maskinene. Diskenes hastigheter har ikke økt noe spesielt, så belastningen RAID5/6 utgjør i CPU i forhold de totale CPU-ressursene tilgjengelig er helt marginale i forhold til tidligere hvor f.eks 30% CPU-bruk på en single core CPU kunne være mer enn merkbart under belastning.

Selv 100% CPU-bruk (som sw-raid ikke har vært i nærheten av hos meg riktignok) på 1 av 4 kjerner vil ikke være merkbart på noe vis for hjemmebrukere. Dette vil typisk bare være et tema i systemer med kraftig belastning fra mange brukere eller svært tunge oppgaver, og dette er typisk scenarioer hvor man uansett ville gått for RAID10 og ikke paritets-RAID, og gjerne da med RAID-kontrollere med cache og BBU for å optimalisere sync-skriveoperasjoner.
 
Topp Bunn