NIC for linux

xerxes

Hi-Fi freak
Ble medlem
08.01.2005
Innlegg
9.630
Antall liker
5.276
Sted
Holmestrand
Skal sette opp en gammel PC som backupserver.

NIC på hovedkort er Intel 82562EZ 10/100.
Kjører debian, og samba går seint som bare fy.

Har googla litt rundt og fulgt mange gode forslag for å løse problemet, men kommer ikke særlig over 6-700 kb/s.

Kjøper inn nytt NIC for å få 1000. Regner ikke med at det er noe simsalabim, men skal den veien uansett.
Gode forslag til valg av kort eller konfigendringer?
 

Class

Hi-Fi freak
Ble medlem
11.03.2009
Innlegg
2.763
Antall liker
496
Sted
Vestfold
Torget vurderinger
7
Har du sjekket om det er NIC som faktisk er problemet? iPERF mm.
 

coolbiz

Hi-Fi freak
Ble medlem
31.03.2006
Innlegg
9.169
Antall liker
4.758
Sted
Sydvestlandet
Torget vurderinger
2
6-700 kilobit/sek. er mistenkelig lavt. Er du sikker på at det ikke er noe som er alvorlig feil et annet sted på nettverket eller klienten?
 

xerxes

Hi-Fi freak
Ble medlem
08.01.2005
Innlegg
9.630
Antall liker
5.276
Sted
Holmestrand
6-700 kilobit/sek. er mistenkelig lavt. Er du sikker på at det ikke er noe som er alvorlig feil et annet sted på nettverket eller klienten?
Det er jeg heller ikke. Videre testing vil bli utført med klient plugget direkte inn i server.
At det var SÅ lavt gjorde meg ganske sikker på at det var en dum innstilling, men den har jeg ikke klart å komme fram til ennå.
Har jobbet for lite med slike ting de siste åra så jeg er litt rusten for å si det mildt.
 
N

nb

Gjest
Bruk iPerf så får du testet reell hastighet på dataoverføringen - iPerf sender kun datapakker så resultatet blir ikke forkludret av diskaksess og andre faktorer.

installer iperf på serveren og en klient

skriv "sudo iperf -S" for å starte serveren

På klienten skriver du iperf -c <ip-adresse-til-serveren> -w512k -t20 -i3

Dette sender batcher av pakker på 512k i 20 sekunder (-t20)og rapporterer hastigheten hvert 3. sekund (i3)

Da vil du se den reelle båndbredden på linken. Om den i utgangspunktet skal være 1 Gigabit/s så vi du tyisk få rundt 940Mbit/s da det er litt overhead i utstyr, protokoller etc.

Jeg har funnet ut at dersom jeg setter -w for lavt så får jeg mye lavere rapportert hastighet (typisk 300 Mbit/s). Hvorfor aner jeg ikke - om marsboer leser denne tråden kan han helt sikkert forklare hvorfor...
 

xerxes

Hi-Fi freak
Ble medlem
08.01.2005
Innlegg
9.630
Antall liker
5.276
Sted
Holmestrand
Testet mot en server på jobb:
Windows på begge sider. Gammel, sløv server.
------------------------------------------------------------
Client connecting to 172.16.0.21, TCP port 5001
TCP window size: 512 KByte
------------------------------------------------------------
[ 3] local 172.16.0.202 port 60297 connected with 172.16.0.21 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0- 3.0 sec 34.4 MBytes 96.1 Mbits/sec
[ 3] 3.0- 6.0 sec 33.9 MBytes 94.7 Mbits/sec
[ 3] 6.0- 9.0 sec 33.8 MBytes 94.4 Mbits/sec
[ 3] 9.0-12.0 sec 33.9 MBytes 94.7 Mbits/sec
[ 3] 12.0-15.0 sec 33.0 MBytes 92.3 Mbits/sec
[ 3] 15.0-18.0 sec 33.9 MBytes 94.7 Mbits/sec
[ 3] 0.0-20.0 sec 225 MBytes 94.2 Mbits/sec
Det skulle tilsi 1 GB på ca 4,5 sekunder....

Testkopiering i Windows (1,17 GB) tok 260 sekunder og gir 4,5 MB s.
Forskjellen er 94,2/4,5= 21!!
Men det er jo mye bedre enn 6KB/s da. :)
Får sjekke hva som skjer med Linuxboksen når jeg kommer hjem.

Windows test ble gjort med ei mappe med filer av forskjellig størrelse, og er nok ikke helt sammenlignbar.
 
Sist redigert:

marsboer

Hi-Fi freak
Ble medlem
04.04.2010
Innlegg
4.356
Antall liker
1.701
Sted
Phobos
Jeg har funnet ut at dersom jeg setter -w for lavt så får jeg mye lavere rapportert hastighet (typisk 300 Mbit/s). Hvorfor aner jeg ikke - om marsboer leser denne tråden kan han helt sikkert forklare hvorfor...
Dette har med bandwith delay product å gjøre. BDP er i praksis båndbredde * latency. BDP sier noe om hvor mye data som til enhver tid må være i transit for å fylle linken. Høye BDP-verdier krever større window size. Høy BDP kan man få f.eks ved middels båndbredde og høy latency eller høy båndbredde og lav latency. TCP Window Size bestemmer hvor mye data som kan sendes før mottakeren må ACK'e korrekt mottak. Dersom windows size er lav må mottaker ACKe ofte. Selv om latencyen er lav i et gigabit LAN, så er båndbredden så høy at selv et millisekund stopp i datasendingen for å vente på ack ved korte intervaller vil utgjøre en relevant datamengde som igjen påvirker den gjennomsnittlig målte ytelsen i negativ retning.
 

marsboer

Hi-Fi freak
Ble medlem
04.04.2010
Innlegg
4.356
Antall liker
1.701
Sted
Phobos
Nja, er nok ikke helt enig i regnemetodene dine her.

Du måler 94.2 mbit/s med iperf. Dette er full utnyttelse av en 100 mbit/s link med TCP og nettverkskortet gjør intet galt her.
4.5MB er i praksis 4.5MB * 8 = 36 mbit/s, noe som vil si at ytelsesforholdet er 94.2/36 = 2,61, ikke 21. I motsetning til iperf så får du også overheaden med SMB protokollen på toppen ved filoverføring.

Hva slags Debian-release kjører du, hva slags disksystem har boksen (er disken i orden og ikke full) og har du mulighet til å lime inn smb.conf her?
 
Sist redigert:
N

nb

Gjest
File copy i Windows har jeg aldri skjønt meg på... jeg får typisk 4 ganger så høy hastighet mellom PCen min og serveren med ftp som jeg får mellom samme PC og samme server med file copy i Windows. Med robocopy mener jeg det går ca like fort som med ftp, men husker ikke helt. Alle operasjoner kjørt mot samme Samba-share på serveren.
 
Sist redigert:

xerxes

Hi-Fi freak
Ble medlem
08.01.2005
Innlegg
9.630
Antall liker
5.276
Sted
Holmestrand
Nja, er nok ikke helt enig i regnemetodene dine her.

Du måler 94.2 mbit/s med iperf. Dette er full utnyttelse av en 100 mbit/s link med TCP og nettverkskortet gjør intet galt her.
4.5MB er i praksis 4.5MB * 8 = 36 mbit/s, noe som vil si at ytelsesforholdet er 94.2/36 = 2,61, ikke 21. I motsetning til iperf så får du også overheaden med SMB protokollen på toppen ved filoverføring.

Hva slags Debian-release kjører du, hva slags disksystem har boksen (er disken i orden og ikke full) og har du mulighet til å lime inn smb.conf her?
Du trenger ikke være uenig i regnemetoden, det glapp i mellom bit og byte som du ganske korrekt påpeker, så det var rett og slett regnefeil..
Testen over var bare en tilfeldig server på kontoret (windows i begge ender).
Går hjem nå og kommer plutselig tilbake med nytt fra den besværlige sambasaken.
 

xerxes

Hi-Fi freak
Ble medlem
08.01.2005
Innlegg
9.630
Antall liker
5.276
Sted
Holmestrand
Litt info
For øyeblikket en signle disk, mase plass.
root@fileserver ~# lsb_release -a
No LSB modules are available.
Distributor ID: Debian
Description: Debian GNU/Linux 6.0.8 (squeeze)
Release: 6.0.8
Codename: squeeze

smb.conf:
[global]
max xmit = 65535


socket options = TCP_NODELAY IPTOS_LOWDELAY SO_SNDBUF=65535 SO_RCVBUF=65535


read raw = yes


write raw = yes


max connections = 65535


max open files = 65535
workgroup = WORKGROUP
netbios name = FILESERVER
server string = TurnKey FileServer


os level = 20
security = user
passdb backend = tdbsam
null passwords = yes


admin users = root
encrypt passwords = true
obey pam restrictions = yes
pam password change = yes
unix password sync = yes
passwd program = /usr/bin/passwd %u
passwd chat = *Enter\snew\s*\spassword:* %n\n *Retype\snew\s*\spassword:* %n\n *password\supdated\ssuccessfully* .


add user script = /usr/sbin/useradd -m '%u' -g users -G users
delete user script = /usr/sbin/userdel -r '%u'
add group script = /usr/sbin/groupadd '%g'
delete group script = /usr/sbin/groupdel '%g'
add user to group script = /usr/sbin/usermod -G '%g' '%u'


guest account = nobody


syslog = 0
log file = /var/log/samba/samba.log
max log size = 1000


wins support = yes
dns proxy = no


socket options = TCP_NODELAY
panic action = /usr/share/samba/panic-action %d


[homes]
comment = Home Directory
browseable = no
read only = no
valid users = %S


[cdrom]
comment = CD-ROM
read only = yes
locking = no
guest ok = yes
path = /media/cdrom
preexec = /bin/mount /media/cdrom
postexec = /bin/umount /media/cdrom


[storage]
comment = Public Share
path = /srv/storage
browseable = yes
read only = no
create mask = 0644
directory mask = 0755
 
Sist redigert:

marsboer

Hi-Fi freak
Ble medlem
04.04.2010
Innlegg
4.356
Antall liker
1.701
Sted
Phobos
Kjørte opp en Debian Squeeze 64 bit installasjon i vmware og limita nettverket til 100 mbit/s. Limte inn configen din og fikk ca 11MB/s mot Windows 7 klienten, altså full utnyttelse. Uten kunstig begrensning fikk jeg ca 58 MB/s men da i en vm uten vmware tools, kun en enkelt kjerne og 1GB RAM. Jeg har selv brukt samba på squeeze et par år før wheezy ble moden med full utnyttelse av gigabit 100MB+ ved sekvensiell overføring. Hvor fort går det med intern kopiering på serveren?
 

marsboer

Hi-Fi freak
Ble medlem
04.04.2010
Innlegg
4.356
Antall liker
1.701
Sted
Phobos
Jeg kaster bare frem noen forslag her:
- Montorere med verktøyet "top" for å se på ressursbruken og om det er noe der som ikke burde vært der
- Teste diskytelse med bonnie++ (bonnie++ -u root -d /srv/storage)
- Sjekke diskens hardware status med "smartctl -a /dev/xxx" og eventuelt kjøre en full selftest
- Monitorere med verktøyene "procinfo", "iostat" og "vmstat". Se om det er noen hardware IRQer som bruker mye ressurser eller om det er mye waiting for IO eller tilsvarende (eksempler på bruk: https://wiki.proikt.com/wiki/Linux_performance_troubleshooting)
- Sjekke syslog og dmesg for tegn på om noe kan være galt
- Benytte verktøyet "iotop" i ett vindu mens du foretar en intern kopiering på disken i et annet vindu. Hva slags overføringshastigheter ser du?
- Teste FTP mellom de samme maskinene
- Dersom serveren ser OK ut. Hva med kablingen? Er kabelen en ordentlig nettverkskabel eller er det en hjemmeterminert "100 mbit/s" kabel hvor bare 2 av 4 par er terminert?
- Dersom server og kabling virker OK. Hva med klienten. Gir den optimal ytelse mot andre maskiner? Har du brannmur, antivirus eller annet snacks i drift som kan tenkes å forstyrre?
- Må trafikken rutes på veien mellom maskinene eller er det strake veien på samme LAN. Er du koblet opp mot både kablet og trådløst samtidig slik at noe av trafikken faktisk går trådløst fra klienten?
- Er klienten en moderne Windows maskin? smbclient ytelsen er horribel på f.eks Linux.
- Kan det være at enten server eller klient har samme IP som en annen maskin på nettverket?
- Sjekk ifconfig <interface> for errors, dropped og overruns. I et sunt LAN skal disse verdiene være 0.
 
Sist redigert:

xerxes

Hi-Fi freak
Ble medlem
08.01.2005
Innlegg
9.630
Antall liker
5.276
Sted
Holmestrand
Takker for innspill min grønne venn, og til andre bidragsytere. Jeg ser på saken.
:)
 

xerxes

Hi-Fi freak
Ble medlem
08.01.2005
Innlegg
9.630
Antall liker
5.276
Sted
Holmestrand
Kjørte opp en Debian Squeeze 64 bit installasjon i vmware og limita nettverket til 100 mbit/s. Limte inn configen din og fikk ca 11MB/s mot Windows 7 klienten, altså full utnyttelse. Uten kunstig begrensning fikk jeg ca 58 MB/s men da i en vm uten vmware tools, kun en enkelt kjerne og 1GB RAM. Jeg har selv brukt samba på squeeze et par år før wheezy ble moden med full utnyttelse av gigabit 100MB+ ved sekvensiell overføring. Hvor fort går det med intern kopiering på serveren?
Intern kopiering av snaut 1,2 Gb gikk på mindre enn et minut.
Kjørte kopiering via SSH Secure Shell og gikk det på 2:40 fra min windows 7 laptop, i mot 25-30 min direkte via windows.

Da kan vi slutte at nettverkskort, svitsj og kabling bør være OK?

Litt senere:
Bare for ref kjørte jeg 2 kopieringer av samme via windows. De gikk nå på ca 2:10. Windows meldte jevnt over 10 MB/s, samme som secure shell opererte med.
Det er ikke gjort endringer på linux annet enn at jeg installerte ftpd, og ipref. Har også kjørt kopieringen via secure shell, men ingen endring av konfig.
....oki .....
 
Sist redigert:

marsboer

Hi-Fi freak
Ble medlem
04.04.2010
Innlegg
4.356
Antall liker
1.701
Sted
Phobos
Og du har slått av det trådløse nettverket fullstendig når du tester med laptopen? :)

At det går bedre 2. gang er ikke å overraskende siden filen ligger i minnet på begge sider dersom den ikke er for stor. Man må i praksis veksle mellom to store filer som er større en RAM på begge sider for å være sikker på at filene ikke er cachet i RAM når man sammenligner overføringshastigheter. Alternativt teste med en ny fil i hver eneste test.
 

xerxes

Hi-Fi freak
Ble medlem
08.01.2005
Innlegg
9.630
Antall liker
5.276
Sted
Holmestrand
Testing har foregått ved å kopiere ei mappe med 181 filer, totalt 1,2 GB.
Satte i gang kopiering av den lokale bilde mappa mi i går kveld. 255 GB. Den var ferdig da jeg sjekket i dag tidlig. Da hadde det gått 9 timer 20 min. Det burde være høyst akseptabelt. Problemet er hva har skjedd?

Enig i din betraktninger om RAM. Skal lage meg noen store filer i photoshop og prøve det. Kan jo ta en omstart i mellom tester for å tømme cache.
 

marsboer

Hi-Fi freak
Ble medlem
04.04.2010
Innlegg
4.356
Antall liker
1.701
Sted
Phobos
Det har ikke nødvendigvis skjedd noe rent teknisk. Kanskje var enten server eller klienten i gang med noen interne prosesser, f.eks defrag, oppdatering, AV-scan eller tilsvarende. Eller kanskje du f.eks traff en dårlig sektor på en av diskene.

Uansett vil du aldri oppnå full hastighet med 181 filer fordelt på 1.2GB, det blir bare småfiler. Prøv heller med f.eks en 10G fil for å få sekvensiell måling.
 
Sist redigert:

xerxes

Hi-Fi freak
Ble medlem
08.01.2005
Innlegg
9.630
Antall liker
5.276
Sted
Holmestrand
Etter litt fram og tilbake så kjører jeg nå med stabilt 8-10 mb/s, hvilket jeg er fornøyd med.
Sannsynligvis så er det oppsett i smb.conf som har vært problemet.

Etter at jeg fikk dette til å kjøre har jeg installert på nytt med Debian 7.20 (Wheezy), testing ble gjort med 6.08 (squeezy, lagde installasjonspinne med feil ISO-fil).

Videre har jeg installert 2 * 2TB i RAID1, og alt ser etter grundig testing ut til å fungere veldig bra.

Takker for innspill fra tålmodige og kunnige rådgivere.
 

Class

Hi-Fi freak
Ble medlem
11.03.2009
Innlegg
2.763
Antall liker
496
Sted
Vestfold
Torget vurderinger
7
8-10 milibit/s er ikke noe jeg ville slått meg til ro med, ei heller 8-10 MB/s. :)
 

xerxes

Hi-Fi freak
Ble medlem
08.01.2005
Innlegg
9.630
Antall liker
5.276
Sted
Holmestrand
Hva vil du forvente i beste fall på kablet 100Mb/s?

Noen tanker om dette:
"I have this issue too, and it's even worse over wireless. One MAJOR suggestion, especially if you have mapped drives, is to add your network shares to your antivirus exclusion list. I hate doing this, but there is no doubt about it--Windows 7 treats network shares like local drives."
 
N

nb

Gjest
Hva vil du forvente i beste fall på kablet 100Mb/s?
Ett eller annet sted på 90-tallet om du tester med iPerf. Da snakker jeg altså i Megabit/s. For filkopiering burde en 11-12 MegaBYTES / sekund være kurant.
 
Sist redigert:

xerxes

Hi-Fi freak
Ble medlem
08.01.2005
Innlegg
9.630
Antall liker
5.276
Sted
Holmestrand
Gidder ikke å mase med giga på private ting. Der jeg kunne trengt det har jeg tid til å vente. Går over natta eller noe slikt. :)
 
Topp Bunn