» »

Kako prenasati > 1 Gbit/s podatkov preko routerja

Kako prenasati > 1 Gbit/s podatkov preko routerja

mojca ::

Imela bom:

  • tri racunalnike z linuxom z gigabitno mrezno kartico; iz vsakega izmed njih bi rada prenasala cca. 400 MBit podatkov na sekundo

  • 10 Gbit-ni router, ki skrbi za casovno sinhronizacijo po protokolu PTP

  • prenosnik (ali navadna kista) z okni, na katerega bi rada prenasala podatke iz ostalih treh


Zanime me, ce je mogoce doseci zadovoljivo hitrost prenosa podatkov z dvema mreznima kabloma na dveh gigabitnih mreznih karticah v prenosniku, ali enostavno potrebujem boljso mrezno kartico.

Fsegula62 ::

Kakšne diske imaš? Tudi meni preko HDD ne gre več kot 600-750Mbps?

mojca ::

Disk je sekundarnega pomena. Prvic ni nujno, da podatke sploh zapisujem na disk oz. jih lahko zapisem samo takrat, ko je v njih kaj zanimivega. Drugic verjetno lahko poskrbim, da bo na voljo dovolj hiter disk / vodilo, ce bo podatke potrebno zapisovati (sodobni diski / vodila bi morali dopuscati zelene hitrosti). Tretjic: s problemom pisanja na disk se bo ze ukvarjal kdo drug / kdaj drugic, jaz bi zaenkrat rada samo prisla do podatkov.

Nasla sem neke hitrejse mrezne kartice, me pa vseeno zanima, ce je povezava z dvema navadnima mozna.

Mesar ::

najboljše, da si daš wifi kartico v router
Your turn to burn!

Zgodovina sprememb…

  • predlagal izbris: Ales ()

Poldi112 ::

Če že imaš 10gb switch je verjetno najbolj smiselno vzeti še 10gb kartico.

Če imaš pa več 1gb kartic, pa tudi gre. Edino zavisi od tega, kaj potem delaš z njimi. Čez rabiš, da se obnašajo kot 1, rabiš samba3 multichannel ali lacp.
Where all think alike, no one thinks very much.
Walter Lippmann, leta 1922, o predpogoju za demokracijo.

Invictus ::

Rabiš switch, ne router, pa ni treba da je 10 Gbit. Najcenejši butast 1Gbit switch bo dovolj... 10Gbit routerji so svinjsko dragi, switchi pa tudi...

Tista škatla z okni pa mora biti priklopljena s kablom, da ti ne bi kdo predlagal Wifi. Ker na Wifiju ne boš dosegla praktičnih 400Mbit. Poleg tega pa take količine podatkov ne shranjuješ na nek laptop, ampak na nek drug server. Po možnosti v bazo...

Več mrežnih kartic na sprejemniku tudi malo podraži konfiguracijo, saj rabiš managed switch, ki je takoj 200 EUR plus...

Lahko pa na Linuxu pred pošiljanjem podatke še skompresiraš. Pa bo potrebna manjša pasovna širina.

Sicer pa, kaj prenašaš, da rabiš konstantnih 3x400Mbit prenosa ?!?!?! To je že kar nekaj podatkov...
"Life is hard; it's even harder when you're stupid."

http://goo.gl/2YuS2x

Zgodovina sprememb…

  • spremenil: Invictus ()

Poldi112 ::

za smb multichannel ne rabiš managed switcha. 5 portni managed Mikrotik switchi so pa od nekje €50 naprej.
Where all think alike, no one thinks very much.
Walter Lippmann, leta 1922, o predpogoju za demokracijo.

Invictus ::

Saj prenosnik oz. neka škatla tako ne bo zmogel zapisati 1200Mbit podatrkov na disk, ne glede na mrežo... Mreža je še najmanjši problem...
"Life is hard; it's even harder when you're stupid."

http://goo.gl/2YuS2x

pegasus ::

mojca je izjavil:

Zanime me, ce je mogoce doseci zadovoljivo hitrost prenosa podatkov z dvema mreznima kabloma na dveh gigabitnih mreznih karticah
Popolnoma odvisno od vrste prometa, ki ga pošiljaš po mreži.
Če imaš en sam tcp stream, se ne bo magično razlezel čez več povezav, torej boš omejena na eno povezavo, torej rabiš to eno povezavo boljšo (npr. 10Gbit).
Če imaš množico neodvisnih tcp povezav na različnih portih, jih bo ethernet link aggregation znal razporedit med različnimi povezavami v LAG in boš lahko dosegala več kot 1Gb/s prepustnosti.
Tako da povej še malo o tem, kaj počneš, kakšne aplikacije imaš in kako izgleda teh 3x 400Mbit/s, pa ti bomo lahko svetovali bolje.

rokp ::

>Če imaš množico neodvisnih tcp povezav na različnih portih, jih bo ethernet link aggregation znal razporedit med različnimi povezavami v LAG in boš lahko dosegala več kot 1Gb/s prepustnosti.

Pa še to ni nujno vedno res.

c3p0 ::

Dosti switchev ima kak 10GBit uplink, na katerega pač priklopiš ta notebook z zunanjim thunderbolt 10GBit adapterjem.

3p ::

Invictus je izjavil:

Saj prenosnik oz. neka škatla tako ne bo zmogel zapisati 1200Mbit podatrkov na disk, ne glede na mrežo... Mreža je še najmanjši problem...


1200Mbit == 150MB/s. To zmore soliden trdi disk.

NVM SSD ki zmore 1200MB/s pa tudi ni več ravno eksotika.

XS!D3 ::

Če hočeš budget varjanto za 10Gb/s, vzameš 8 portni SFP+ switch Mikrotik CRS309-1G-8S+IN za cca. 250€, refurbished Mellanox kartice iz eBaya za cca. 20€ po komadu in 3rd party SFP+ module in patch kable (ali pa kar twinax DAC za krajše razdalje) recimo iz fs.com. Za laptop je malo večji problem, opcija je recimo Thunderbolt 3 mrežna ala QNAP QNA-T310G1S.

Če res rabiš 10Gb/s samo za eno ali dve mašine, je opcija tudi Mikrotik CSS326-24G-2S+RM (24 giga portov + 2 10 giga SFP+).

Karkoli drugega za 10Gb/s bo vrjetno dražje. Alternativa je potem edino bonding večih giga portov.

mojca ::

WiFi odpade. Budget za router/switch je non-issue in ta hip se ne iscem nasvetov za nakup le-tega. Enega bomo kmalu dobili in niti ne vem, kakse morajo biti ostale karakteristike.

Zanima me izkljucno to, kaj potrebujem na svojem laptopu, da bi ta konfiguracija delala. Ce delata dve gigabitni povezavi, je problem resen v trenutku (en leptop dve kartici ze ima, za drugega pa imamo USB adapterje v predalu). Hvala za namig o SMB multichannel. Si bom prebrala vec o tem in se poigrala, ko dobim ostalo opremo. Nasvetov o tem, kaj teoreticno dela in kaj ne, bom najbolj vesela, da si ne bom zaman razbijala glave, zakaj nekaj ne gre.

Ce z dvema ethernet kabloma ne gre, pa bom hvalezna za namige za nakup adapterjev v stilu XS!D3-ovega linka.

Ostalo je off-topic, ampak odgovarjam spodaj.

Invictus je izjavil:

Saj prenosnik oz. neka škatla tako ne bo zmogel zapisati 1200Mbit podatrkov na disk, ne glede na mrežo... Mreža je še najmanjši problem...


Prvic: rekla sem ze, da ni nujno, da moram te podatke sploh zapisati na disk. Ampak ce jih ze pisem ... neka osnovna diagnostika na mojem prenosniku pravi naslednje:
winsat disk
> Disk  Sequential 64.0 Write   1543.68 MB/s

A ni to cca. 10x vec od potreb (prenasati moram 3 x 400 Mbit/s)?


Invictus je izjavil:

Rabiš switch, ne router, pa ni treba da je 10 Gbit. Najcenejši butast 1Gbit switch bo dovolj... 10Gbit routerji so svinjsko dragi, switchi pa tudi...


Se oproscam, ker mi razlike med router-jem in switch-em niso kristalno jasne (osnove ze, ampak hudic je v detajlih, pa ena naprava lahko dela eno ali drugo, ...), tako da ... bear with me.

Cena zanesljivega routerja/switcha ni problem, in enega bomo dobili v kratkem. Lahko ga morda kasneje menjamo za cenejsega, ampak ta hip nimam ne casa ne budgeta, da bi testirala in troubleshootala deset modelov ("nisem tako bogat, da bi poceni kupoval"), predvsem pa potrebujemo podporo za PTP s prekleto tocno in stabilno uro. Najcenejsi butast 1Gbit-ni model verjetno ne bo dovolj, sploh ce moram na eni strani prestreci vec kot gigabit podatkov. Nocem resitev, ki bodo po enem tednu uporabe crknile.

Poleg tega pa take količine podatkov ne shranjuješ na nek laptop, ampak na nek drug server. Po možnosti v bazo...

Kot ze povedano ... ne govorimo o shranjevanju podatkov. S tem se bomo oz. bodo ukvarjali drugi / drugic.

Lahko pa na Linuxu pred pošiljanjem podatke še skompresiraš. Pa bo potrebna manjša pasovna širina.


Podatki so v osnovi binarni. Stavim, da jih je mozno skompresirat, to vedno gre, ampak potem bom imela bottleneck na (lossless) kompresiji in dekompresiji namesto na mrezni kartici (plus ne predstavljam si, koliko casa bo slo v razvoj).

Sicer pa, kaj prenašaš, da rabiš konstantnih 3x400Mbit prenosa ?!?!?!


Podatke. (Ce mreza in procesorska moc ne bi bili bottleneck, bi verjetno zeleli prenasati se 7x vec iz ene masine, pa iz poljubno mnogo masin.)

Ce se zdijo cifre visoke, pomisli na to, koliko podatkov sproducira CERN vsako sekundo.

pegasus ::

Ja, samo cern etc so pametni glede svojih podatkov, da lahko maksimirajo znanost iz njih. Enako moraš biti tudi ti: implementirati kompresijo je trivialno, dobiš mnogo več kot vložiš. Lahko se afnate okrog izbire algoritma glede na vaše podatke, a verjetno bo navaden lz4 vrh glave dovolj za vaše potrebe. Nakar vsa nenavadna vprašanja glede hardvera odpadejo.

mojca ::

Pozabila sem omeniti, da se podatki verjetno prenasajo preko protokola OPC UA, ampak ne vem, ce je to kakorkoli relevantno.

XS!D3 ::

Če je budget non-issue, potem pač kupiš še neko preverjeno 10Gb/s mrežno za mašino, kamor se bodo podatki zbriali.

Če že kupujete oziroma ste že kupili nek proper 10Gb/s switch, je cena ene 10Gb/s mrežne praktično zanemarljiva in nima smisla komplicirat.

Invictus ::

3p je izjavil:

1200Mbit == 150MB/s. To zmore soliden trdi disk.

NVM SSD ki zmore 1200MB/s pa tudi ni več ravno eksotika.

Predvsem je odvisno od tipa podatkov. Če gre za male datoteke, in veliko le teh, iz večih virov, hitro počepne navaden disk. Še kak SSD. Eno je teoretična brzina, drugo praksa...

Dostikrat je pa tudi problematičen sam network kontroler, ker preprosto tega ne požre...
"Life is hard; it's even harder when you're stupid."

http://goo.gl/2YuS2x

pegasus ::

XS!D3 je izjavil:

Če je budget non-issue, potem pač kupiš še neko preverjeno 10Gb/s mrežno
Tako je. 10Gb oprema je sedaj že dirt cheap, datacentri to mečejo ven, deploya se 25Gb in 100Gb oprema, kmalu pride 400Gb.

Invictus ::

Sam res je ratalo vse poceni.

Bo treba premislit kaj za doma. Kak 4 portni 10gbit switch plus optika.
"Life is hard; it's even harder when you're stupid."

http://goo.gl/2YuS2x

mojca ::

Naredila sem par hitrih testov s tipicno datoteko. Nekaj casa je seveda treba odsteti za branje in pisanje datoteke, ampak odstotek kompresije se zdi (skladno s pricakovanji) povsem neuporaben.
> Measure-Command {lz4 --fast=1 test.bin test.lz4}
Compressed 3729245696 bytes into 3669923309 bytes ==> 98.41%
...
TotalSeconds      : 6.2323662
---
> Measure-Command {lz4 -2 test.bin test.lz4}
Compressed 3729245696 bytes into 3417672355 bytes ==> 91.65%
...
TotalSeconds      : 12.6096834
---
> Measure-Command {lz4 -9 test.bin test.lz4}
Compressed 3729245696 bytes into 2658809180 bytes ==> 71.30%
...
TotalSeconds      : 104.2179249

To je pri najmanjsi kompresiji 600 MB/s, ampak manj kot 2% prihranka.
Pri drugi najmanjsi kompresiji 300 MB/s in samo 8.3% prihranka.
Pri najvisji kompresiji prihranis samo 30% in je neuporabno pocasna.

sandmat ::

10Gb switch, 10Gb mrežna, kot je že več ljudi omenilo. To je to, ne bi smel bit rocket science. Kaj delaš s streami na drugi strani, je drug problem. Za "gledat" streame je dovolj 10Gb oprema, ki je v zadnjih letih ratala nesramno poceni.

mojca ::

Tegale Qnap QNA-T310G1T oz. S imajo kot kaze za dobrih 200 EUR v "vsaki drugi stacuni" na zalogi v Sloveniji, tako da hvala za nasvet (razen ce ima se kdo v mislih kaj boljsega). Uporabniki se sicer obcasno pritozujejo nad glasnostjo, ampak ... vsa ostala elektronika, ki bo priklopljena na mrezo, tudi ni najtisja.

S tem, kaj poceti s podatki, se ukvarjam ze dobro leto, pa bo pocasi cas za kaksen realen stress-test. Vsi se samo strinjamo, da bo se zabavno.

pegasus ::

Imaš tudi kake realnočasovne zahteve v smislu največje dovoljene zakasnitve?

mojca ::

pegasus je izjavil:

Imaš tudi kake realnočasovne zahteve v smislu največje dovoljene zakasnitve?


Ja in ne.

Najresnejsi problem se pojavi, ce iz enega racunalnika pridejo podatki znatno kasneje kot iz drugega (nekaj deset milisekund je manjsi problem, od 100, 200 ms gor pa resnejsi).

Da se razumemo: trenutno potrebujem izkljucno nekaj opreme za testiranje. Ce od povsod pridejo podatki s pol sekunde zakasnitve (ampak priblizno hkrati), me ta hip ne gane toliko, bo pa v prihodnosti nedvomno kdo zelel sistem uporabljati za kontrolo, tam pa vsaka milisekunda steje.

Vesoljc ::

mojca je izjavil:

Tegale Qnap QNA-T310G1T oz. S imajo kot kaze za dobrih 200 EUR v "vsaki drugi stacuni" na zalogi v Sloveniji, tako da hvala za nasvet (razen ce ima se kdo v mislih kaj boljsega). Uporabniki se sicer obcasno pritozujejo nad glasnostjo, ampak ... vsa ostala elektronika, ki bo priklopljena na mrezo, tudi ni najtisja.

S tem, kaj poceti s podatki, se ukvarjam ze dobro leto, pa bo pocasi cas za kaksen realen stress-test. Vsi se samo strinjamo, da bo se zabavno.


10g mrezna od asusa je 100e na amazon.de
Abnormal behavior of abnormal brain makes me normal...

Invictus ::

mojca je izjavil:


Da se razumemo: trenutno potrebujem izkljucno nekaj opreme za testiranje. Ce od povsod pridejo podatki s pol sekunde zakasnitve (ampak priblizno hkrati), me ta hip ne gane toliko, bo pa v prihodnosti nedvomno kdo zelel sistem uporabljati za kontrolo, tam pa vsaka milisekunda steje.

Bi morala malo več povedati za kako zadevo sploh gre.

Ampak če ne gre za neko ultra natančno in kritično zadevo, zahteve po milisekundni natančnosti padejo takoj, ko jim poveš koliko bo to stalo.

Ker rešitev, ki jo zdaj poskušaš implementirati, je milo rečeno blazno amaterska, in se teh problemov ne rešuje na ta način. Definitivno pa ne z množico podatkov, ki jih pošiljaš na nek laptop.

Vedno gre to na nek server, kjer se podatki zapišejo v bazo ter se podatki potem dostopajo preko neke konzole...

Kot prvo, se človek ne more odločiti v pol sekunde, kot drugo je pa treba kar nekaj procesiranja za obdelovo 1200 Mbit podatkov na sekundo, da postanejo uporabni.

Pa sem sam v takem poslu zbiranja podatkov že zadnjih 15 let... In to v velikih firmah po EU...
"Life is hard; it's even harder when you're stupid."

http://goo.gl/2YuS2x

Spock83 ::

Povej kakšen je budget. Bomo že nekaj sestavili. :)

pegasus ::

mojca je izjavil:

Najresnejsi problem se pojavi, ce iz enega racunalnika pridejo podatki znatno kasneje kot iz drugega (nekaj deset milisekund je manjsi problem, od 100, 200 ms gor pa resnejsi).
Potem ti odsvetujem kakršnokoli štrikanje z gigabit cheapshit robo in ethernet link aggregation. Ta tehnologija enostavno ni narejena za zadostit tvojim zahtevam in če se je odločiš uporabiti, bo samo razočaranje.
Če že hočeš vztrajati na ethernetu, išči "converged ethernet" rešitve ter razišči, kako so implementirani protokoli ala FCoE, NVMeoF, RoCE. Pa tudi brskanje bo DPDK bo prišlo prav.

Zgodovina sprememb…

  • spremenil: pegasus ()

XS!D3 ::

Vesoljc je izjavil:

mojca je izjavil:

Tegale Qnap QNA-T310G1T oz. S imajo kot kaze za dobrih 200 EUR v "vsaki drugi stacuni" na zalogi v Sloveniji, tako da hvala za nasvet (razen ce ima se kdo v mislih kaj boljsega). Uporabniki se sicer obcasno pritozujejo nad glasnostjo, ampak ... vsa ostala elektronika, ki bo priklopljena na mrezo, tudi ni najtisja.

S tem, kaj poceti s podatki, se ukvarjam ze dobro leto, pa bo pocasi cas za kaksen realen stress-test. Vsi se samo strinjamo, da bo se zabavno.


10g mrezna od asusa je 100e na amazon.de

Zunanja Thunderbolt 3 za laptop? Katera? Do tell, kupim takoj, ker ravno iščem nekaj takšnega za doma? Če misliš notranja za PCI-E, pa na žalost za laptop bolj malo pomaga, ker te zunanji TB3 enclosure pride več, kot cela mrežna na TB3.

Drugače je Sonnet Solo10G malenkost dražja ampak je bolj pohvalijo. Imaš pa tudi Base-T (RJ45) verzije teh kartic. Osebno sem namerno gledat SFP+, ker je manj težav z gretjem in switche načeloma dobiš ceneje.

Zdaj če res obstaja Asusova za 100€ je za preverit, ampak nekako dvomim, saj sem pregledal kar nekaj teh zunanjih. Od teh cenejših TB3 variant, imaš pretty much Sonnet, QNAP, CalDigit, OWC (rebrandan Sonnet) pa še par podobnih, za podobno ceno. Na žalost edino nisem našel za normalno ceno nobene, ki bi se jo dalo daisychainat (da bi lahko priklopil na obstoječ dock in chainal naprej na drugi monitor). Sonnetov Twin10G sicer ima tudi 2 TB3 porta, ampak košta 500+ €.

Dobi se tudi Akitio Thunder3 Dock Pro, ki ima že vgrajeno 10GbE mrežno, ampak je Base-T, kar je sicer ok če to rabiš, vendar se pri uporabi 10GbE precej greje, tako da moraš met vklopljen opcijski ventilator, da deluje stabilno. Poleg tega pa podpira polnenje samo s 60W, tako da tudi kot dock ni ravno idealen (spet če ti to zadostuje, je ok).

Vesoljc ::

XS!D3 je izjavil:

Vesoljc je izjavil:

mojca je izjavil:

Tegale Qnap QNA-T310G1T oz. S imajo kot kaze za dobrih 200 EUR v "vsaki drugi stacuni" na zalogi v Sloveniji, tako da hvala za nasvet (razen ce ima se kdo v mislih kaj boljsega). Uporabniki se sicer obcasno pritozujejo nad glasnostjo, ampak ... vsa ostala elektronika, ki bo priklopljena na mrezo, tudi ni najtisja.

S tem, kaj poceti s podatki, se ukvarjam ze dobro leto, pa bo pocasi cas za kaksen realen stress-test. Vsi se samo strinjamo, da bo se zabavno.


10g mrezna od asusa je 100e na amazon.de

Zunanja Thunderbolt 3 za laptop? Katera? Do tell, kupim takoj, ker ravno iščem nekaj takšnega za doma? Če misliš notranja za PCI-E, pa na žalost za laptop bolj malo pomaga, ker te zunanji TB3 enclosure pride več, kot cela mrežna na TB3.

Drugače je Sonnet Solo10G malenkost dražja ampak je bolj pohvalijo. Imaš pa tudi Base-T (RJ45) verzije teh kartic. Osebno sem namerno gledat SFP+, ker je manj težav z gretjem in switche načeloma dobiš ceneje.

Zdaj če res obstaja Asusova za 100€ je za preverit, ampak nekako dvomim, saj sem pregledal kar nekaj teh zunanjih. Od teh cenejših TB3 variant, imaš pretty much Sonnet, QNAP, CalDigit, OWC (rebrandan Sonnet) pa še par podobnih, za podobno ceno. Na žalost edino nisem našel za normalno ceno nobene, ki bi se jo dalo daisychainat (da bi lahko priklopil na obstoječ dock in chainal naprej na drugi monitor). Sonnetov Twin10G sicer ima tudi 2 TB3 porta, ampak košta 500+ €.

Dobi se tudi Akitio Thunder3 Dock Pro, ki ima že vgrajeno 10GbE mrežno, ampak je Base-T, kar je sicer ok če to rabiš, vendar se pri uporabi 10GbE precej greje, tako da moraš met vklopljen opcijski ventilator, da deluje stabilno. Poleg tega pa podpira polnenje samo s 60W, tako da tudi kot dock ni ravno idealen (spet če ti to zadostuje, je ok).



ne, govoril sem o navadni pcie kartici
Abnormal behavior of abnormal brain makes me normal...

Spock83 ::

Verjetno je bolje kupit en dodaten komp in mu vgraditi 10Gb kartico in se z laptopom povezat samo kot terminal oz remote.

XS!D3 ::

Spock83 je izjavil:

Verjetno je bolje kupit en dodaten komp in mu vgraditi 10Gb kartico in se z laptopom povezat samo kot terminal oz remote.

Se absolutno strinjam. Če gre za nekaj vsaj semi resnega, je verjetno najbol smiselno podatke zbirat na namenskem strežniku, kot je omenil že Invictus.
Samo iz prvega posta mi je delovalo, da gre bolj za neko ekspirimentiranje/igranje.

MrStein ::

- smb multichannel
To pomaga le, če prenašaš podatke preko SMB ("shared folders" po domače).

- če ima laptop 2 gigabitni mrežni, je to to
Na enega povežeš en vir podatkov (direktno), na drugega pa druga dva (preko switch-a, 1 gigabitnega).

Če finance niso problem, pa lahko tudi 10-giga kartico na laptop daš. To potem bolj enostavno za meneđirati (ker pri dveh karticah moraš voditi računa o tem, na katerem priključku je kateri vir).
Motiti se je človeško.
Motiti se pogosto je neumno.
Vztrajati pri zmoti je... oh, pozdravljen!

mojca ::

Prosila sem za enostaven nasvet, in ga dobila: da z dvema kabloma ne gre in naj kupim zunanjo kartico za 200 EUR - s priporocilom, katero. Hvala vsem, ki ste svetovali, in to je vse, kar sem potrebovala. Drugo je balast, a odgovarjam spodaj.

Invictus je izjavil:

Ker rešitev, ki jo zdaj poskušaš implementirati, je milo rečeno blazno amaterska, in se teh problemov ne rešuje na ta način. Definitivno pa ne z množico podatkov, ki jih pošiljaš na nek laptop.

Vedno gre to na nek server, kjer se podatki zapišejo v bazo ter se podatki potem dostopajo preko neke konzole...


Saj je kul, da gre ponavadi to na en server, ampak ce bi razvijala softver za samovozeco in hitro enacico Curiosity-ja, bi mi verjetno kdo svetoval, naj stream podatkov posiljam na Amazonov AWS, da se bo tam poracunalo, kam naj se vozilo obrne volan, da ne bo trescilo v skalo. Ali naj si postavim pisarno tik zraven, da bom lahko merila od blizu. (No, ne razvijam softvera za Curiosity, so me pa ze sprasevali, zakaj kupujem racunalnik, namesto da bi te podatke obdelovala na amazonu.)

Saj je kul, da gre ponavadi to v bazo, ampak ze s surovimi podatki je problemov dovolj. Tudi slucajno mi ni jasno, kaksno korist bi imela od baze, razen dodatnega bottlenecka pri zapisovanju, branju in takojsnjem brisanju podatkov. Pac ... podatki so razlicnih vrst, uporablja se jih na razlicne nacine. Ne obstaja svicarski nozek, ki bi zadovoljil potrebe vseh.

XS!D3 je izjavil:

Spock83 je izjavil:

Verjetno je bolje kupit en dodaten komp in mu vgraditi 10Gb kartico in se z laptopom povezat samo kot terminal oz remote.

Se absolutno strinjam. Če gre za nekaj vsaj semi resnega, je verjetno najbol smiselno podatke zbirat na namenskem strežniku, kot je omenil že Invictus.
Samo iz prvega posta mi je delovalo, da gre bolj za neko ekspirimentiranje/igranje.


Saj bo slo za resne stvari, ko bo projekt koncan. Ampak v neki fazi moras eksperimentirat, razvijat ... in zakaj bi si otezeval zivljenje s stvarmi, ki so ti v fazi igranja nepomembne?

Invictus je izjavil:

Kot prvo, se človek ne more odločiti v pol sekunde, kot drugo je pa treba kar nekaj procesiranja za obdelovo 1200 Mbit podatkov na sekundo, da postanejo uporabni.


Kdo pravi, da se mora odlocati clovek? Za to imamo ... hmmm ... racunalnik? Ja, vem, da je treba kar nekaj procesiranja. Na tem delam zadnje leto in v teoriji na "enem usivem prenosniku" lahko obdelam cca. 10 gigabitov podatkov na sekundo. Zdaj je pac napocil trenutek, ko bi bilo fajn stestirati razliko med teorijo in prakso. Tlacenje strezniske omare v moj "ficko", da bi lahko kdaj testirala tudi doma, na terenu ali to pri kom demonstrirala, nekako ni prakticno.

pegasus je izjavil:

Če že hočeš vztrajati na ethernetu, išči "converged ethernet" rešitve ter razišči, kako so implementirani protokoli ala FCoE, NVMeoF, RoCE. Pa tudi brskanje bo DPDK bo prišlo prav.


Ni moj cilj vztrajati pri ethernetu. Ethernet je samo zacasna resitev, vendar edina, ki je ta hip na voljo.

Invictus ::

Rabljeni serverji so danes tako poceni, da je redirekt streamov na laptop milo rečeno nepotreben.
"Life is hard; it's even harder when you're stupid."

http://goo.gl/2YuS2x

mojca ::

Kul. Za en odprtokoden projekt bi mi prisel zelo prav eno malo boljsi rabljen streznik po dostopni ceni (stari ze skriplje s premalo rama itd.), potencialno za build farmo z manjsim stevilom virtualk, sicer pa primarno za gitlab & web server, tako da bom za predloge, kaj gledati, hvalezna.

Za ta projekt pa zali bog rabljeni strezniki tudi slucajno ne pridejo v postev. Ne zaradi form faktorja ne zaradi tehnicnih karakteristik. Dva nova prenosnika in stacionarno kisto, ki razen hitrosti mrezne kartice (pa se ta v prihodnosti ne bo potrebna; in form faktorja pri stacionarcu) po performansah presegajo tehnicne zahteve, bi zamenjala za staro omaro, ki (razen morebiti hitrosti mrezne kartice, pa se tam 10 Gbit-a povecini ne dobis serijsko zraven) ne ustreza tehnicnim zahtevam oz. bi jo morala najprej opremiti z nekajkratnikom nakupne cene, da bi dosegla zahtevane tehnicne specifikacije (razen velikosti), kupiti baterije in najeti serpo z dvema mulama, da bi mi opremo prevazala po terenu, potem pa po enem letu, ko bo razvoj zakljucen, vse skupaj vreci v kanto? Ne razumem cisto, zakaj taka gonja proti prenosniku oz. kaj tocno je narobe s prenosnikom s spodobnimi performansami.

Ce so stari strezniki tako poceni: zakaj potem gejmerji mecejo denar stran za pregresno drage kiste, namesto da bi enostavno kupili dva ali tri stare streznike?

Res je, da nisem napisala vseh zahtevanih karakteristik, a so za odgovor, da dva kabla ne delata, povsem nepomembne.

Zgodovina sprememb…

  • spremenila: mojca ()

Gejspodar ::

mojca je izjavil:

Ce so stari strezniki tako poceni: zakaj potem gejmerji mecejo denar stran za pregresno drage kiste, namesto da bi enostavno kupili dva ali tri stare streznike?


"Če so rabljeni traktorji tako poceni, zakaj profesionalni vozniki kupujejo dirkalnike?"

pegasus ::

mojca je izjavil:

Ce so stari strezniki tako poceni: zakaj potem gejmerji mecejo denar stran za pregresno drage kiste, namesto da bi enostavno kupili dva ali tri stare streznike?
Zaradi drugačne narave dela, ki ga opravlja ena in druga vrsta hardvera.

mojca ::

Gejspodar je izjavil:

"Če so rabljeni traktorji tako poceni, zakaj profesionalni vozniki kupujejo dirkalnike?"


Cemu potem na vprasanje, kje kupiti kljuko in nosilec za 200-litrski zalogovnik goriva, ki bi ga za prvi test namontirala na obstojec dirkalni avto, da bi s sicer malo pocasnejso, a avtonomnejso voznjo zmagali na hitrostni dirki, vsi odgovarjajo, da je to amaterstvo, da so traktorji primernejsi za prenos tovora, in naj raje odstejem goro denarja za enega rabljenega, ki bo imel prikljucek za prikolico ze montiran?

SeMiNeSanja ::

mojca je izjavil:

Gejspodar je izjavil:

"Če so rabljeni traktorji tako poceni, zakaj profesionalni vozniki kupujejo dirkalnike?"


Cemu potem na vprasanje, kje kupiti kljuko in nosilec za 200-litrski zalogovnik goriva, ki bi ga za prvi test namontirala na obstojec dirkalni avto, da bi s sicer malo pocasnejso, a avtonomnejso voznjo zmagali na hitrostni dirki, vsi odgovarjajo, da je to amaterstvo, da so traktorji primernejsi za prenos tovora, in naj raje odstejem goro denarja za enega rabljenega, ki bo imel prikljucek za prikolico ze montiran?

Predvidevam da zaradi tega, ker si premalo (oz. praktično nič) povedala o konkretnem problemu, katerega rešuješ.

Posledično si vsakdo predstavlja popolnoma drugo zgodbo in logično potem tudi ponuja drugačne rešitve, ki ne pokrivajo tvojih potreb oz. tvojega scenarija.

Tisto prispodobo o 'krmiljenju avtomobila' na osnovi podatkov, ki se sproti stekajo iz senzorjev (in jih nimaš namena/koristi skladiščiti!) pa so najbrž tudi malo spregledali, malo jemali neresno, malo pa ne razumeli. Tako na koncu vse skupaj ni to, kar si pričakovala... in se na koncu pogovarjaš o traktorjih in dirkalnikih.

Kaj je to res tako zelo 'top secret' projekt?
Pričujoče sporočilo je (lahko) oglasno sporočilo
- četudi na prvi pogled ni prepoznavno kot tako.
(Zdaj me pa obtožite prikritega oglaševanja, če morete!)

Invictus ::

mojca je izjavil:

Kul. Za en odprtokoden projekt bi mi prisel zelo prav eno malo boljsi rabljen streznik po dostopni ceni (stari ze skriplje s premalo rama itd.), potencialno za build farmo z manjsim stevilom virtualk, sicer pa primarno za gitlab & web server, tako da bom za predloge, kaj gledati, hvalezna.

Meni se jih nekaj valja.

Pošlji ZS ;).

mojca je izjavil:


Ce so stari strezniki tako poceni: zakaj potem gejmerji mecejo denar stran za pregresno drage kiste, namesto da bi enostavno kupili dva ali tri stare streznike?

Zato, ker ne znajo...
"Life is hard; it's even harder when you're stupid."

http://goo.gl/2YuS2x

Zgodovina sprememb…

  • spremenil: Invictus ()

mojca ::

SeMiNeSanja je izjavil:

Kaj je to res tako zelo 'top secret' projekt?


Ni tako zelo top secret, ampak raje ne ugibam, cesa NDA ne krije.
Glede na to, koliko vprasanj je bilo glede tega, zakaj potrebujem resitev ... zdaj lahko vsaj nalimam en spodoben video:




Mrezni kabli niso vec relevantni, ker zdaj dela preko USB 3. Na RTX 2070 "na enem usivem prenosniku" se brez problema prenese in obdela 540 MB/s (4320 MBit/s, kar ustreza 18-im kanalom ADC-ja pri 15 MS/s). Bottleneck (beri: se neoptimizirana koda) je v porabi spomina, tako da ne bi imela cisto nic proti eni RTX 3090 s 24 GB rama :).

Ideje, kako serversko omaro, ki bo to racunala, spravit v eno elektricno pando (ali na elektricen motor), sicer se zbiram.
</SarcasmOff>

Ce ima pa kdo idejo, kje "na domacem terenu" sploh dobiti karkoli (idealno povezano z elektricno mocjo, ni pa nujno), kar je vredno meriti s 15 MS/s, bom pa za ideje hvalezna.


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Razlika v UTP kablih (strani: 1 2 3 )

Oddelek: Omrežja in internet
12712975 (391) tony1
»

10gb budget setup

Oddelek: Omrežja in internet
131012 (377) starfotr
»

Internetna povezava pade na 100 mbit/s

Oddelek: Strojna oprema
421973 (911) imagodei
»

Kateri kabel 60m? UTP,FTP?

Oddelek: Pomoč in nasveti
204217 (3165) LuiIII
»

Prvi integrirani Xeoni SoC

Oddelek: Novice / Procesorji
317382 (4464) Spock83

Več podobnih tem