Forum » Omrežja in internet » link aggregation in bonding
link aggregation in bonding
pegasus ::
Imam nekako tako postavitev:
N clients (1gbit) - switch =(2x 10gbit)= switch - 20 servers (vsak na 2x 1gbit)
Torej klient mašine so pripete prek klasične gigabit povezave v switch, ki je z drugim switchem povezan z dvema 10gbit agregiranima povezavama, kar skupaj nanese 20gbit. Na drugem switchu je 20 serverjev, od katerih je vsak vpet z dvema gigabit linkoma, ki sta združena z linuxovim bondingom.
Prvi switch ima nastavljen link aggregation by source mac, drugi pa by source + destination mac. Bonding je nastavljen na mode=4, xmit_hash_policy=layer3+4.
Iperf opažanja, merjeno na serverju:
en klient na en server ~950mbit/s, ok
dva klienta na en server ~1900mbit/s, ok
3+ klienti na en server hitrost pade na pod 500mbit/s, kar NI ok ...
Pričakoval bi, da oba gigabit linka v bondingu ostaneta polno izkoriščena, a da vsak klient vidi številu aktivnih klientov ustrezno manjši bandwith do serverja.
Kaj je vzrok temu, kar opažam? Oz. kaj delam narobe, da ne dosežem željenega?
N clients (1gbit) - switch =(2x 10gbit)= switch - 20 servers (vsak na 2x 1gbit)
Torej klient mašine so pripete prek klasične gigabit povezave v switch, ki je z drugim switchem povezan z dvema 10gbit agregiranima povezavama, kar skupaj nanese 20gbit. Na drugem switchu je 20 serverjev, od katerih je vsak vpet z dvema gigabit linkoma, ki sta združena z linuxovim bondingom.
Prvi switch ima nastavljen link aggregation by source mac, drugi pa by source + destination mac. Bonding je nastavljen na mode=4, xmit_hash_policy=layer3+4.
Iperf opažanja, merjeno na serverju:
en klient na en server ~950mbit/s, ok
dva klienta na en server ~1900mbit/s, ok
3+ klienti na en server hitrost pade na pod 500mbit/s, kar NI ok ...
Pričakoval bi, da oba gigabit linka v bondingu ostaneta polno izkoriščena, a da vsak klient vidi številu aktivnih klientov ustrezno manjši bandwith do serverja.
Kaj je vzrok temu, kar opažam? Oz. kaj delam narobe, da ne dosežem željenega?
pegasus ::
3com 4500g
Zaenkrat sem problem zreduciral na
N clients - switch - 1 server
brez kakršnihkoli bondingov in opažam isto. 1:1 se izkoristi full bandwith, 2:1 pa samo še 1/5 bandwitha. Je to pričakovano obnašanje ali je nekaj tu zelo narobe?
Zaenkrat sem problem zreduciral na
N clients - switch - 1 server
brez kakršnihkoli bondingov in opažam isto. 1:1 se izkoristi full bandwith, 2:1 pa samo še 1/5 bandwitha. Je to pričakovano obnašanje ali je nekaj tu zelo narobe?
pegasus ::
Well, turns out to be buffer bloat issue. Linux defaults so čist neprimerni za tak scenarij ...
pegasus ::
Related question ...
Ta link aggregation je čist prevelika loterija za praktične namene. Vse prevečkrat vidim, da je eden od dveh linkov zabit, drugi pa prazen.
Obstaja kak način, da bi switch fural paketke prek tistega linka, ki je manj obremenjen? Verjetno bi LACP za to moral gledati še kaj več kot samo L2 info?
Ta link aggregation je čist prevelika loterija za praktične namene. Vse prevečkrat vidim, da je eden od dveh linkov zabit, drugi pa prazen.
Obstaja kak način, da bi switch fural paketke prek tistega linka, ki je manj obremenjen? Verjetno bi LACP za to moral gledati še kaj več kot samo L2 info?
x.sci ::
Na ciscotih imas port-channel load-balance, za 3com pa ne vem.
Samo nekako dvomim, da ti bo to pomagalo. Problem je, da mora isti flow vedno cez isti port, zato da frami ostanejo v pravem vrstenem redu. Ce imas malo clientov, od katerih ima vsak samo en connection, je cisto realno, da bo kdaj en link zabit, drugi pa ne. Stvar je misljena za vecje stevilo flowov, ki se lepo staticsticno porazdelijo.
Ce to to zelo boli, bos pac moral investirat v 10gbe.
Samo nekako dvomim, da ti bo to pomagalo. Problem je, da mora isti flow vedno cez isti port, zato da frami ostanejo v pravem vrstenem redu. Ce imas malo clientov, od katerih ima vsak samo en connection, je cisto realno, da bo kdaj en link zabit, drugi pa ne. Stvar je misljena za vecje stevilo flowov, ki se lepo staticsticno porazdelijo.
Ce to to zelo boli, bos pac moral investirat v 10gbe.
Vredno ogleda ...
Tema | Ogledi | Zadnje sporočilo | |
---|---|---|---|
Tema | Ogledi | Zadnje sporočilo | |
» | Internetna povezava pade na 100 mbit/s (strani: 1 2 )Oddelek: Strojna oprema | 6246 (2975) | napasi |
» | Kako prenasati > 1 Gbit/s podatkov preko routerjaOddelek: Omrežja in internet | 7090 (5134) | mojca |
» | Kateri kabel 60m? UTP,FTP?Oddelek: Pomoč in nasveti | 5790 (4738) | LuiIII |
» | Gigabitna mrežna povezavaOddelek: Omrežja in internet | 4157 (2574) | Spc |
» | Več mrežnih kartic in load balancingOddelek: Programska oprema | 1020 (921) | Djuro |