» »

NIC Teaming in Link Aggr

NIC Teaming in Link Aggr

harmony ::

Pozdrav.
Nov izziv, novi problemi.
V domacem gigabitnem omrezju zelim priti na 2Gbps...Vse lepo in prav. Team kaze 2Gbps, ampak ko testiram je rezultat, kot bi kopiral preko 1Gbps.
Disk ni problem, saj kopiram iz SSD na SSD. Torej mreza.
Moj config:

1.) Switch TP-Link TL-SG1016DE (2 porta v LAG) - klik klik in tu ni ni bilo neke bajne konfiguracije

2.) Hyper-V fizicni streznik (2x Intel mrezni povezani v team)
Name : DoubleEthernet
Members : {Ethernet, Ethernet 2}
TeamNics : DoubleEthernet
TeamingMode : Static / tudi ce dam tu SwitchIndependet enako, ce dam LACP je link potem down...torej LACP ne deluje
LoadBalancingAlgorithm : Dynamic
Status : Up

3.) Moj PC (2x Intel mrezni povezani v team)
Adapters: oba obkljukana, Priority: Not Set
Type: Static Link Aggregation

Ce dam IEEE 802.3ad Dynamic Link Aggregation namesto Static Link Aggregation gre en NIC v Standby ter hitrost ni konstantna, temvec pada do 30mb/s pa potem skoci itd...
Torej nekaj ne stima. Kaj tocno, nimam pojma. Mogoce ve kdo kaj vec?
Kartice v racunalniku so obe na full duplex, port je tudi na full duplex, edino na strezniku so na Auto...mogoce se to na Full?
  • spremenil: harmony ()

OmegaBlue ::

LAG/teaming ne deluje na 1 stream transfer, poženi 2 prenosa paralelno.
Never attribute to malice that which can be adequately explained by stupidity.

harmony ::

OmegaBlue je izjavil:

LAG/teaming ne deluje na 1 stream transfer, poženi 2 prenosa paralelno.

Probal. Hitrost se razpolovi.

XS!D3 ::

Hyper-V sicer zna delat load balancing odhodnega prometa tudi na podlagi naslovov IP in portov TCP/UDP čeprav gre za agregacijo na L2, vrjetno pa tvoj switch deli promet proti serverju samo na podlagi izvornega in ponornega naslova MAC. V tem primeru tudi več sej ne pomaga, dokler je izvorni in ciljni naslov MAC isti. Glede na to, da je govora o Hyper-Vju, bi pa moral bit promet različnih virtualk vseeno razdeljen med oba linka, ker imajo virtualke različne naslove MAC.

harmony ::

Ocitno mi niso razjasnjeni vsi pojmi okrog LAG-a.

Naredil sem se en test in sicer:

1.) Prenos 5Gb velike datoteke iz PC do Hyper-V =113Mb/s
2.) Istocasen prenos 5Gb velike datoteke iz Laptopa do Hyper-V = 113Mb/s (hitrost ni konstantna...pade tudi na 30-40Mb/s, ampak se hitro dvigne nazaj na maximum).

Enaka hitrost je tudi ko prenasam iz Hyper-V do klientov. Je to pravilno delovanje LAG-a?

Ni mi potem jasno kaj ce mi se ena kartica v stacionarnem PC-ju, ce tudi na laptopu deluje z 113Mb/s pa je notri samo en NIC. Zaradi fault tolerance? Jaz sem z drugo mrezno hotel pridobiti bolj na performance ravni.

XS!D3 ::

Torej lahko iz laptopa na Hyper-V kopiraš s 113MB/s (verjetno si mislil MB/s, ker 113Mb/s je tudi od giga precej daleč) in istočasno iz PCja na Hyper-V 113MB/s? V tem primeru LAG deluje. Bandwidth je podvojen, ker zaradi različnih L2 naslovov switch lepo razdeli promet od PCja na en link in od laptopa na drug link.

Če kopiraš samo iz PC ja (četudi ima dve mrežni in LAG), bo ves promet imel samo en par (source+destination) L2 naslovov in bo padel na isti link od switcha proti strežniku. Če bi switch prodpiral load balancing na podlagi drugih polj iz headerja npr. naslovov IP in portov TCP/UDP, bi lahko oba linka izkoristil tudi med dvema naprava z večimi povezavami (prenosi).

harmony ::

Uf sorry...seveda...mislil sem na MB/s

Ja tocno tako kot si napisal deluje. No vsaj nekaj. Glede taksne podpore si mislil teoreticno ali obstaja v praksi taksen switch? Predvidevam da kaksen Cisco SG-300 bi to znal? To bi bilo potem tisto kar si jaz dejansko zelim.

XS!D3 ::

Obstaja ampak vprašanje za kakšno ceno. Kolikor sem uspel na hitro pogledat, SG-300 podpira samo LB glede na MAC ali MAC+IP. Kar ti spet ne pomaga kaj dosti, ker bosta v tvojem primeru tudi IPja enaka. Pomaga edino za promet, ki gre recimo čez router na različne hoste in ima posledično enak MAC, so pa IPji različni. Enako je tudi na SG-500. Kaj dražjega se vrjetno ne splača gledat, je že boljše dobit kako poceni 10GbE opcijo, pa nimaš problemov z load balancingom.

harmony ::

Imas prav. 10GbE bo se najboljsa opcija. Hvala za pomoc in nasvete.

pegasus ::

Ugodna 10Gb opcija z ebaya. Če posiliš firmware, dobiš tudi polno L3 funkcionalnost.

Sicer pa ja, tudi 100Gb so štirje 25Gb streami in se moraš igrat posebne igrice, če hočeš stvar natweakat za single stream max throughput. Razni "standardni" protokoli, ki furajo single stream, postajajo ozko grlo. Za ideje, kako okrog tega, si lahko pogledaš aria2 ali gridftp. Za domače omrežje pa naštrikaš kaj lastnega po tem vzoru ;)

Bakunin ::

Problem je kako razporediti promet - po IP, mac, vlanu ali seji - Cisco ima npr. set port channel all distribution {ip | mac| session | ip-vlan-session} [source | destination | both]

Problem je tudi unicast vs. multicast...

verjetno je nabava 10G iface najboljša rešitev.

pegasus ::

Ja, linux zna še po ip:port, kar je nestandardna rešitev, a jo skoraj moraš uporabiti, da dosežeš željeno.

harmony ::

Hmm 400€...nov...jaz sem bolj fen novih stvari. S starimi sem do sedaj imel vedno slabe izkusnje...

Torej tega?
https://www.ebay.de/itm/New-Quanta-LB6M...

Kok pa je ta zadeva glasna? Se da ziveti v dnevni z njim?

XS!D3 ::

pegasus je izjavil:

Sicer pa ja, tudi 100Gb so štirje 25Gb streami in se moraš igrat posebne igrice, če hočeš stvar natweakat za single stream max throughput. Razni "standardni" protokoli, ki furajo single stream, postajajo ozko grlo. Za ideje, kako okrog tega, si lahko pogledaš aria2 ali gridftp. Za domače omrežje pa naštrikaš kaj lastnega po tem vzoru ;)

No ni čisto tako. 100GbE res uporablja 4 25Gb pasove ampak se promet deli na Phy nivoju, tako da se biti posameznega okvirja pošiljajo paralelno po vseh štirih pasovih. Seveda je treba potem kompenzirat različne zakasnitve itd., ampak je zadeva bolj učinkovita kot običajen LAG s 4imi 25GbE memberji, kjer si ne moreš privoščit, da bi isti paket ali pakete istega flowa pošiljal po različnih potek, zato izbira poti temelji na hashu določenih polj (na njegovem switchu samo glede na MAC naslove, v splošnem lahko tudi glede na IP in porte za večjo učinkovitost).

Poleg tega pa njemu tudi več flowov ne pomaga, ker mu bo switch vrgel ves promet, ki gre med istima MAC naslovoma na isti link.

pegasus je izjavil:

Ja, linux zna še po ip:port, kar je nestandardna rešitev, a jo skoraj moraš uporabiti, da dosežeš željeno.

Tudi njegova Windows kišta to zna (kot tudi dražji switchi), ampak mu to ne pomaga, ker tudi če host loadbalanca čez oba linka, ima vmes switch, ki tega ne zna in potem proti ciljnemu hostu vrže ves promet na isti link.

harmony je izjavil:

Hmm 400EUR...nov...jaz sem bolj fen novih stvari. S starimi sem do sedaj imel vedno slabe izkusnje...

Torej tega?
https://www.ebay.de/itm/New-Quanta-LB6M...

Kok pa je ta zadeva glasna? Se da ziveti v dnevni z njim?


Če ne rabiš toliko portov, lahko pogledaš tudi kake gigabit switche, ki imajo 2/4/6 10GbE uplinkov, ki jih ponucaš recimo za priklop PCja in serverja, ostalo imaš pa vrjetno tako ali tako na GbE. Recimo Mikrotika CRS326-24G-2S+RM dobiš v slo novega za dobrih 150EUR in ima 2 x 10Gbe, žal pa ne vem kako se v praksi obnese.

Zgodovina sprememb…

  • spremenil: XS!D3 ()

harmony ::

Ufff to pa izgleda ugodno. Pa se L3 je...torej TP-Link bi bil potem za nabirat prah...skoda da prej nisem o tem spraseval, bi tako prisparal 90€...

XS!D3 ::

Za L3 preveri kake teste prej, ampak ne računaj na line rate za L3 forwarding. Zna bit vseeno ok za kak inter VLAN routing.

pegasus ::

Lepo videti da se še kak networker tu najde :)

harmony ::

No sedaj se en poceni 10GbE moram najti. To pa kosta kot sam switch.

rokp ::

Pa kaj to delas, da ti je 1Gbps premalo? V dnevni sobi?

harmony ::

rokp je izjavil:

Pa kaj to delas, da ti je 1Gbps premalo? V dnevni sobi?

Ucenje, testiranje, zabava...spoznavanje novih stvari. Zivim v upanju, da bom enkrat razumel ves koncept in ne samo teorijo v knjigah. Vsaj tako moji mozgani delujejo. Ce stvari ne vidim, ne primem jih tudi ne razumem.

rokp ::

Hja, saj za koncepte imas ze 10 ali 100 Mbps dovolj, pa se potestiras lazje... Ampak ja, saj jaz si tudi kdaj privoscim kaj neracionalnega. ;)

darkolord ::

Kok pa je ta zadeva glasna? Se da ziveti v dnevni z njim?
Za bivalne prostore je zadeva zelo glasna.

XS!D3 ::

harmony je izjavil:

No sedaj se en poceni 10GbE moram najti. To pa kosta kot sam switch.

Mogoče kak Mellanox ConnectX-2 iz eBaya. Kolikor sem gledal po forumih so kar popularne za homelabe. Nekateri so dobili tudi po 2 za 30$. Včasih so tudi kake rabljene Intolove poceni. Pa za povezavo na krajše razdalje je najcene twinax ponucat, da ne rabiš SFP+ transciverjev in optike. Sicer pa tudi sam doma še nisem uspel spravit 10GbE skup, je v planu... ko bo čas :).

harmony ::

Sem sel brati se o drugih switchih in ocitno za denar kot je Mikrotik CRS326-24G-2S+RM se ne da nic boljsega v smeri 10GbE dobiti. No ja 2 SFP+ bosta za zacetek zadosotvala. 1x PC ter 1x NAS.

Server, kjer imam Hyper-V je pa zal samo Shuttle Mini PC, tu se bom moral zadovoljiti z 2Gbps.

Vem, da ne bom vsega tega izkoristil, ampak tema mi je zanimiva in zakaj pa ne.

darkolord ::

CSS326 je še cenejši

harmony ::

darkolord je izjavil:

CSS326 je še cenejši

Jaz hocem Layer 3 switch. Ze sedaj mi je zal, da nisem bolj podrobneje bral, pa bi takoj kupil taksno zadevo.

darkolord ::

Aha, pol pa ja. Ne moreš pa na njem računati na kakšne visoke performanse na L3 zadevah ...

Zgodovina sprememb…

  • spremenilo: darkolord ()

harmony ::

Bo ta Mellanox ConnectX-2 uspesno deloval na ASRock Z370 Pro4 plati?
NIC je x8, plata pa ima 2x PCIe 3.0 x16 (1x x16, 1x x4), kjer je na enem ze grafika...

Ah ce moram se plato kupovati, pol bom res moral zabremzat in prisparat se malo denarja...


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Razlika v UTP kablih (strani: 1 2 3 )

Oddelek: Omrežja in internet
14125241 (2464) bbbbbb2015
»

Router z več izhodi

Oddelek: Omrežja in internet
413413 (2442) SeMiNeSanja
»

>1 Gbps mrežna kartica

Oddelek: Strojna oprema
172074 (1666) SeMiNeSanja
»

Prvi integrirani Xeoni SoC

Oddelek: Novice / Procesorji
319149 (6231) Spock83
»

Cisco 1710 usmerjevalnik in internet hitrejši od 10Mbps?

Oddelek: Omrežja in internet
432641 (2018) Bakunin

Več podobnih tem