» »

link aggregation in bonding

link aggregation in bonding

pegasus ::

Imam nekako tako postavitev:

N clients (1gbit) - switch =(2x 10gbit)= switch - 20 servers (vsak na 2x 1gbit)

Torej klient mašine so pripete prek klasične gigabit povezave v switch, ki je z drugim switchem povezan z dvema 10gbit agregiranima povezavama, kar skupaj nanese 20gbit. Na drugem switchu je 20 serverjev, od katerih je vsak vpet z dvema gigabit linkoma, ki sta združena z linuxovim bondingom.

Prvi switch ima nastavljen link aggregation by source mac, drugi pa by source + destination mac. Bonding je nastavljen na mode=4, xmit_hash_policy=layer3+4.

Iperf opažanja, merjeno na serverju:

en klient na en server ~950mbit/s, ok
dva klienta na en server ~1900mbit/s, ok
3+ klienti na en server hitrost pade na pod 500mbit/s, kar NI ok ...

Pričakoval bi, da oba gigabit linka v bondingu ostaneta polno izkoriščena, a da vsak klient vidi številu aktivnih klientov ustrezno manjši bandwith do serverja.
Kaj je vzrok temu, kar opažam? Oz. kaj delam narobe, da ne dosežem željenega?

BlaY0 ::

Kaj pa imaš to zaene sviče?

pegasus ::

3com 4500g

Zaenkrat sem problem zreduciral na

N clients - switch - 1 server

brez kakršnihkoli bondingov in opažam isto. 1:1 se izkoristi full bandwith, 2:1 pa samo še 1/5 bandwitha. Je to pričakovano obnašanje ali je nekaj tu zelo narobe?

pegasus ::

Well, turns out to be buffer bloat issue. Linux defaults so čist neprimerni za tak scenarij ...

pegasus ::

Related question ...

Ta link aggregation je čist prevelika loterija za praktične namene. Vse prevečkrat vidim, da je eden od dveh linkov zabit, drugi pa prazen.
Obstaja kak način, da bi switch fural paketke prek tistega linka, ki je manj obremenjen? Verjetno bi LACP za to moral gledati še kaj več kot samo L2 info?

x.sci ::

Na ciscotih imas port-channel load-balance, za 3com pa ne vem.

Samo nekako dvomim, da ti bo to pomagalo. Problem je, da mora isti flow vedno cez isti port, zato da frami ostanejo v pravem vrstenem redu. Ce imas malo clientov, od katerih ima vsak samo en connection, je cisto realno, da bo kdaj en link zabit, drugi pa ne. Stvar je misljena za vecje stevilo flowov, ki se lepo staticsticno porazdelijo.

Ce to to zelo boli, bos pac moral investirat v 10gbe.


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Internetna povezava pade na 100 mbit/s (strani: 1 2 )

Oddelek: Strojna oprema
535349 (2078) napasi
»

Kako prenasati > 1 Gbit/s podatkov preko routerja

Oddelek: Omrežja in internet
426342 (4386) mojca
»

Kateri kabel 60m? UTP,FTP?

Oddelek: Pomoč in nasveti
205428 (4376) LuiIII
»

Gigabitna mrežna povezava

Oddelek: Omrežja in internet
484064 (2481) Spc
»

Več mrežnih kartic in load balancing

Oddelek: Programska oprema
9945 (846) Djuro

Več podobnih tem