Ingen foreløbig siden jeg kun har to "smådisker" (500GB pr stk) i serveren - skal teste ut konseptet først før jeg gjør noe endelig, men planen er å bruke RAIDZ-1 eller hva det heter (tilsvarende RAID-5) med 4 eller 5 stk 4-TB-disker. Med zfs må man jo bestemme seg på forhånd siden det ikke kan legges til en enkelt disk senere som man kan med mdadm. Forløbig står de kun i RAID-0 slik at systemet ser en disk på 1GB med ingen redundans. Virker også som det er anbefalt å reservere litt av en rask disk (dvs en SSD) som cache for zfs pga måten zfs flusher til disk. Trenger også mye RAM for zfs, anbefalingen er vel noe slikt som 4GB + 1GB pr TB disk
Jeg trodde at du kan legge til disker senere i en eksisterende pool (dam? pytt? bassenget?), men jeg ser at du nok har rett. Det man kan heller ikke endre raid-z typen etter at poolen er laget. Når man bytter disker, kan man erstatte med nye større disker. Når alle diskene i en pool er byttet ut med større drev, kan man øke størrelsen på hele poolen.
Jeg har en NAS med vanlige commodity NAS-disker (WD RED) hvor jeg kjører raidz-2 og totalt 6 stk 3TB disker. Jeg endte opp med en redundans på 2 disker fordi jeg var på hengende håret nær på å miste alle datatene da en disk røyk og disk nr 2 hadde status kritisk feil. Jeg har kjørt dette arrayet siden 2012, og har mistet alle opprinnelige harddisker på alder og defekter, byttet ut feilende disker med nye og kjørt videre uten datatap. I denne prosessen har jeg økt diskstørrelsen fra 1TB til 3TB per drev og dermed 3-doblet poolstørrelsen. Jeg kjørte serveren med 8GB minne en lang stund, og det var ikke noe sjakktrekk. Nå har jeg oppgradert til 16GB, og det hjalp stort, men den makser fortsatt minnet. Så ja, planlegg MYE minne.
Vedrørende cache disk, så er dette ikke helt rett frem. Mye avhenger nok at hvor høyt du sikter performance-messig og hva slags bruksmønster det vil bli på lagringen (f.eks. synkron vs asynkron writes). Du kjenner kanskje til forskjellen mellom zil og l2arc?
The ZFS ZIL and SLOG Demystified - FreeNAS - Open Source Storage Operating System
https://www.ixsystems.com/blog/o-slog-not-slog-best-configure-zfs-intent-log/
Things you should consider when building a ZFS NAS
Merk at en cache SSD krever en SSD med høy kvalitet. Den blir utsatt for et svært høyt volum av skriveoperasjoner, og det er leit hvis dette blir single-point of failure for dataintegriteten på systemet. For det andre krever det minne å håndtere SSD-en. Jeg har ofte blitt rådet at for mindre applikasjoner det er bedre å investere med i fysisk minne, slik at den får mer plass til den vanlige filcachen.
Jeg har lenge vært på vippen for og mot SSD caching, men har egentlig slått det fra meg. Dels fordi jeg er allerede begrenset på minne (det krever mer minne å håndtere en SSD cache). Og dels fordi jeg "bare" har en liten SMB NAS, så det totale skrivevolumet er egentlig veldig lite.