Diverse Online Backup!

[OMF]

Hei!

Det begynner etterhvert å hope seg opp med en anselig mengde data på hjemmemaskinen. Mye av dette er bilder som det er kjekt å ikke miste.

Siden jeg har kjapp bredbåndslinje og ikke minst siden dat HW synes å ha en begrenset levetid - så vurderer jeg velge en online backup - slik at jeg kan ha alt samlet på et sted, og slippe å tenke mer på det.

Hvem har best pris og best løsning på dette...? Pr i dag trenger jeg vel 2-3 TB.

Mvh
OMF

 

[nb]

Crashplan

 

[mteinum]

Noen som har en formening om Jottacloud ?

God klient for mac, men er det stabilt?

 

[nb]

Om du får 10 megabit/s ut (husk på at du også er avhengig av hastigheten du får hos tilbyder av backuptjenesten) så tar det en måneds tid å overføre de datamengdene du snakker om dersom du makser den hastigheten 24/7.

 

[marsboer]

Hvis man er interessert og har kunnskapen er det ingenting som slår det å sette opp et eget opplegg med en server hos en venn, familie eller på jobb. Man kan da gjenopprette så raskt man vil bare ved å dra fysisk til lokasjonen og hente backupen, man kan selv velge grad av integritetssjekk (RAID, kalkulering og verifisering av checksums for filene) og du vet hvor dataene dine befinner seg, uten noen reell risiko for at disse havner på avveie. I tillegg er det heller ingen fare for at du står der med sjegget i postkassa den dagen backup-firmaet plutselig har bestemt seg for å dra inn årene.

Hvis man derimot ikke gidder å bruke tid på dette og kan leve med en følelse av mindre kontroll, samt det faktum at en full gjenoppretting faktisk kan ta både uker og måneder, så er min klare anbefaling CrashPlan. Ikke det at det ikke finnes mange alternativer som sikkert er like gode, men CrashPlan er "tried and true" og har en mengde nyttig funksjonalitet, som f.eks gratis backup til en venn eller annen lokasjon du selv kontrollerer slik at gjenoppretting går fortere. Dette er spesielt aktuelt ved store datamengder.

 

[marsboer]

Jeg sa forsåvidt aldri hva jeg selv benyttet meg av, men det er ikke overraskende (i all beskjedenhet selvsagt) en episk egenmekket variant raffinert til perfeksjon i forhold til hva jeg mener er den ultimate formen for backup.

Jeg satte også opp en filserver for mine foreldre som jeg "drifter" og tar backup av med samme løsning.

 

[xerxes]

Jeg bruker LiveDrive, og er for så vidt godt fornøyd siden jeg har fått e veldig rimelig avtale. Da kredittkortet jeg hadde betalt med gikk ut stengte de meg ute. For å kunne betale måtte jeg inn på adminsiden som var stengt... Jeg holder derfor på med en løsning som Marsboee beskriver.

 

[Ingeniøren]

Hei!

Det begynner etterhvert å hope seg opp med en anselig mengde data på hjemmemaskinen. Mye av dette er bilder som det er kjekt å ikke miste.

Siden jeg har kjapp bredbåndslinje og ikke minst siden dat HW synes å ha en begrenset levetid - så vurderer jeg velge en online backup - slik at jeg kan ha alt samlet på et sted, og slippe å tenke mer på det.

Hvem har best pris og best løsning på dette...? Pr i dag trenger jeg vel 2-3 TB.

Mvh
OMF

Det blir veldig dyrt og vil ta veeeldig lang tid første gang. Som noen skriver er det hastigheten til leverandøren som bestemmer hvor lang tid det tar - 2-3TB vil ta uker og så mye data må du ikke ta vare på - daglig. Skaff deg en stor harddisk og bruk Synctoy fra MS til backup - det beste jeg har testet til nå og gratis. Forutsetter dog at du er litt strykturert og kjører backup når du føler det trengs. Ta med disken på jobb og ha den der til ny backup osv.

Selv kjører jeg online backup fra SafeCopy på rundt 50-100 GB på det aller viktigste som koster en 2-300 kr i året. Jeg fikk det på tilbud til 60 kr men må vel betale full pris i år hvis ingen andre kommer med tilbud. Søk på nett, register deg og test - dermed har de deg i basen og sender deg kanskje et tilsvarende tilbud

 

[marsboer]

Jeg vil faktisk på det sterkeste fraråde bruk av SyncToy som en langsiktig backupløsning. SyncToy har en begrensning på bare 255 tegn totalt for både path og filnavn sammenlagt. Jeg smalt selv rett inn i denne veggen sist gang jeg satte opp en større jobb med SyncToy. 255 tegn er sjelden noe problem med dokumenter, bilder og tilsvarende, men når man starter på musikksamlingen kan det ofte bli svært lange filbaner og filnavn, spesielt i forbindelse med klassisk.

Hos meg endte jeg da opp med en rekke tomme mapper langt inni strukturen i disse tilfellene, noe jeg fant ut ved en tilfeldighet og som ble sporet tilbake til en kjent begrensning ved SyncToy. Dette var i 2008, da jeg eksperimenterte med løsninger før jeg havnet på den jeg kjører i dag.

SyncToy har utrolig nok ikke gjort noe med dette siden da, og det virker som om svært få er klar over denne begrensningen selv om man får opp haugevis med treff om man søker på synctoy 255 path limit på nett.

Det er selvsagt ingenting i veien for å bruke SyncToy ved enkle jobber, men som en permanent altetende løsning som nærmest drifter seg selv vil jeg gå så langt som å si at SyncToy er uegnet inntil de fikser begrensningen på kun 255 tegn.

Robocopy er det beste gratisalternativet til SyncToy om man faktisk vil ha et synkroniseringsverktøy som fungerer fra Microsoft.

 

[marsboer]

Avhengig av ambisjonsnivå vil jeg også legge til at en ren synkronisert kopi, som synkroniseres med jevne mellomrom, ikke er en fullverdig backupløsning på lang sikt. Jeg vil i hvertfall anbefale at man tilstreber å få versjonering på backupen, slik at man kan gjenopprette seg fra alt man ikke umiddelbart finner ut av.

Et par scenarioer hentet fra virkeligheten:
- Den klåfingrende 8-åringen, eller deg selv i ett uoppmerksomt øyeblikk for den saks skyld, presterer å slette noe man plutselig finner ut at er borte når man trenger det en måned senere
- Filer har blitt infisert eller gjort korrupt av ett eller annet
- Man ønsker å gå tilbake til en tidligere versjon av langsiktige prosjekter. F.eks en master-oppgave, eller skissene over huset du har jobbet med i lang tid.

Idet første synkronisering er kjørt, så er skaden permanent. Verktøy som Robocopy (eller SyncToy hvis behovet er veldig enkelt) møter fort sin begrensning om man ønsker et mer fullverdig backupopplegg og man har flere terabyte med data. Full dag til dag versjonering av 3TB data, blir fort veldig mye data for å si det slik om man ikke benytter smartere verktøy enn dette.

Uansett er det ikke sikkert at trådstarter ønsker å mekke noe eget, eller at ambisjonsnivået strekker seg utover det å faktisk bare ha en ekstra kopi av dataene sine, bare automatisert. Jeg vil si at det lureste for de aller fleste er å benytte en 3. parts leverandør, siden de færreste faktisk har erfaring og kompetanse nok til å ta innover seg alt som egentlig kreves for å ha en automatisert og skikkelig robust backup som leverer når det trengs. Problemet er imidlertid at datamengder på både 2 og 3TB som trådstarter forespeiler ikke akkurat er en typisk kandidat for en slik 3. parts tjeneste i skyen som gjerne befinner seg fysisk på et annet kontinent.

Selv har jeg ca 5TB det tas snapshot av over nettet hver natt med en retention på to år (fordi jeg kan, ikke fordi det er nødvendig), over en nokså sugen linje. Disse datamengdene er helt uhåndterlige å dytte til "skyen" et sted. En egen løsning er derfor påkrevd.

 

[OMF]

OK....jeg skrinlegger online versjonen....

Neste alternativ - er denne OK hvis man setter opp et skikkelig Raid...?
NETGEAR READYNAS NV+ 4-BAY - FINN Torget

Også kan man benytte en eller annen ekstern 3 TB disk som offline BAckup og lagre et annet sted...?

HVa slags disker kan man bruke i en slik NAS...? Kan man kjøpe rimelige disker ,eller må man benytte en spesiellt type...?

Mvh
OMF

 

[Ludo]

Om du skal ha disker i et NAS anbefaler jeg sterkt om å ligge unna såkalte Green-line disker - dette fordi disse har egne styringer onboard i forhold til energisparing som sjeldent er kompatible med RAID-softwaren som kjøres i forskjellige NAS.

 

[marsboer]

Western Digitals relativt nye Red serie er spesielt laget for 24/7-drift i RAID i NAS, men optimalisert for hjemmebruk ytelsesmessig slik at prisen holdes lavere enn diskene som typisk er laget for dette formålet i bedrifter (F.eks WD RE)

WD Red

Jeg anbefaler i hvertfall disse på generelt grunnlag til denne typen bruk.

 

[marsboer]

OK....jeg skrinlegger online versjonen....

Neste alternativ - er denne OK hvis man setter opp et skikkelig Raid...?
NETGEAR READYNAS NV+ 4-BAY - FINN Torget

En NAS med paritets-RAID er typisk et godt utgangspunkt ja. Jeg ville imidlertid prøvd å lande på en løsning før investering i hardware. Hvis du f.eks finner ut at du vil bruke CrashPlan med backup fra deg selv hjemme til denne NASen, så er det f.eks en fordel at den faktisk kan kjøre den nødvendige programvaren. Om du i stedet ønsker å sette opp noe helt eget, kommer du nok til å finne ut at rsync med deltasync og såkalt hardlinking (--link-dest parameteren) for versjonering er veien å gå, og da må du i det minste ha muligheten til å kjøre rsync i en eller annen form for Linux CLI på boksen.

En liten finurlighet som mange ikke er klar over er at akkurat for langtidslagring av filer så er paritetsraid (RAID5, RAID6) bedre enn RAID som baserer seg på speiling (RAID1 og RAID10). Diskene har typisk oppgitt en spec som sier noe om Non-recoverable read errors per bits read. For WD Red er dette tallet 1 til 10^14. Det vil si at det er beregnet en gjennomsnittlig bitfeilrate på ca 1 bit for hver 11 TB lest. Gode RAID-implementasjoner gjennomfører en såkalt "scrubbing" med jevne mellomrom, typisk en gang i uken eller månedlig. I denne prosessen leses all data fra RAIDet og man sjekker at enten pariteten eller speilingen faktisk stemmer. Om det da har oppstått en situasjon hvor et bit har endret seg, så vil dette vanligvis oppdages i denne prosessen. Forskjellen er imidlertid hvordan dette håndteres. For paritets-RAID kan man rett og slett benytte pariteten for å beregne den korrekte bitverdien for så å skrive denne verdien til en relokalisert sektor på disken og man vil fremdeles ha bevart integriteten. For de speilede variantene har man imidlertid ingen måte å vite hvilken versjon av den speilede kopien som er den korrekte. Her velges da rett og slett bare den ene delen og den andre speiles til å bli lik. Sett fra RAIDets ståsted vil RAIDet nå være i sync igjen, men filen din er ikke nødvendigvis like fornøyd.

Nå er ikke dette noe som skjer så ofte at det er noe man trenger å være spesielt nervøs for, og selv om et bit endres eller blir korrupt så trenger ikke dette nødvendigvis ha noe å si heller, men det er likevel en nyanseforskjell som det er verdt å ta med seg når man først setter opp et system utelukkende ment for å bevare integritet og arkivere data over tid.

For å ta en historie fra virkeligheten:
I juli 2012 fremkom det at CERN har samlet omlag 200 petabyte med data fra testene de har gjennomført for å finne det berømte "Higgs Boson". Med tanke på at 200 PB faktisk er 200 000TB så vil det si at med en feilrate på en uopprettelig bitfeil per 11TB så vil de ha over 18 000 bitfeil i datagrunnlaget sitt! Dette er selvsagt helt uakseptabelt, siden dette kan invalidere hele forskningsgrunnlaget. CERN måtte på bakgrunn av undersøkelser angående dette faktisk bytte til et filsystem som alltid arbeider med checksums på dataene både ved lesing og skriving slik at slike feil ikke lenger kan gå under radaren. Filsystemet som ble valgt dengang var ZFS, men jeg er usikker på om de benytter dette i forbindelse med Higgs Boson forskningen, eller om det faktisk håndteres på clusternivå (av Hadoop eller tilsvarende).

 

[Ingeniøren]

Jeg vil faktisk på det sterkeste fraråde bruk av SyncToy som en langsiktig backupløsning. SyncToy har en begrensning på bare 255 tegn totalt for både path og filnavn sammenlagt. Jeg smalt selv rett inn i denne veggen sist gang jeg satte opp en større jobb med SyncToy. 255 tegn er sjelden noe problem med dokumenter, bilder og tilsvarende, men når man starter på musikksamlingen kan det ofte bli svært lange filbaner og filnavn, spesielt i forbindelse med klassisk.

Hos meg endte jeg da opp med en rekke tomme mapper langt inni strukturen i disse tilfellene, noe jeg fant ut ved en tilfeldighet og som ble sporet tilbake til en kjent begrensning ved SyncToy. Dette var i 2008, da jeg eksperimenterte med løsninger før jeg havnet på den jeg kjører i dag.

SyncToy har utrolig nok ikke gjort noe med dette siden da, og det virker som om svært få er klar over denne begrensningen selv om man får opp haugevis med treff om man søker på synctoy 255 path limit på nett.

Det er selvsagt ingenting i veien for å bruke SyncToy ved enkle jobber, men som en permanent altetende løsning som nærmest drifter seg selv vil jeg gå så langt som å si at SyncToy er uegnet inntil de fikser begrensningen på kun 255 tegn.

Robocopy er det beste gratisalternativet til SyncToy om man faktisk vil ha et synkroniseringsverktøy som fungerer fra Microsoft.

Ser at Synctoy ikke er optimalt, men det er enkelt, og man må selvfølgelig bruke Echo eller Contribute og ikke Sync - det er farlig på en backup, jeg bruker Contribute som innebærer at endrede file blir kopier og ikke overskrevet de opprinnelige. Mitt poeng er at det er bedre enn ikke noe og så enkelt at hvermansen kan sette det opp. Det opplegget du skisserer skremmer jo vannet av de fleste og det var vel ikke meningen

På de viktigste tingene bruker man et bedre verktøy og det enkleste her er gjerne en online avtale som sagt.

 

[marsboer]

Jeg har faktisk ikke sagt noe om mitt opplegg utover datamengden som kopieres. Hvis du henviser til delen om RAID så er jo ikke dette spesielt avansert når man først snakker om å kjøpe en NAS.

Jeg har i utgangspunktet ikke tenkt å ta en gjennomgang av hva en fullverdig automatisk backup egentlig bør innebære her, eller si noe spesifikt om min egen løsning, nettopp fordi det sannsynligvis skremmer flere enn det motiverer

Bare for å oppklare en liten misforståelse:
Med sync mente jeg ikke Synchronize i SyncToy (som syncer begge parter mot hverandre). Sync i backupsammenheng er bare enveis, det vil si det samme som Echo i SyncToy. Contribute er jo ikke spesielt gunstig siden slettinger ikke synces. Hvis du da f.eks ommøblerer bildesamlingen din, flytter på mapper, sletter litt dårlige bilder her og renamer litt der så har du jo en salig røre som etter et års tid blir helt uhåndterbar og som knapt ligner på din nåværende struktur om du skulle måtte kjøre en fullstendig gjenoppretting en dag. Men hver sin smak.. Jeg vil si enten Echo, eller gå over til en skikkelig løsning med versjonering.

Uansett mener jeg SyncToy inntil videre er ut. Dersom man vil ha noe som er enkelt å sette opp på Windows-platform så mener jeg at en Robocopy one-liner i en .cmd-fil er et mye bedre utgangspunkt som en enkel backup med ambisjonsnivå "bedre enn ingen backup".