Forum » Programiranje » Content delivery network - ampak s pogostim cachingom?
Content delivery network - ampak s pogostim cachingom?
c0dehunter ::
Rabim nasvet za podobno storitev kot je CloudFlare ali BunnyCDN, le da potrebujem caching datotek, ki se spreminjajo vsake 15s.
Na svojem serverju v Nemčiji imam okoli 10 JSON datotek, vsaka nekje do 50kB velikosti. Podatki v njih se spreminjajo na vsake 15s. Problem je, ker je latenca dostopa do teh datotek npr. v Aziji kar vidna, zaradi narave produkta pa bi rad latenco kar se da znižal. Zato gledam možne rešitve, vendar so standardni CDNji namenjeni bolj statičnim zadevam, kot so spletne strani (caching delajo max. nekajkrat urno).
Ve kdo za kakšno off the shelf storitev ali pa DIY mirroring zadevo, ki bi to rešila?
Na svojem serverju v Nemčiji imam okoli 10 JSON datotek, vsaka nekje do 50kB velikosti. Podatki v njih se spreminjajo na vsake 15s. Problem je, ker je latenca dostopa do teh datotek npr. v Aziji kar vidna, zaradi narave produkta pa bi rad latenco kar se da znižal. Zato gledam možne rešitve, vendar so standardni CDNji namenjeni bolj statičnim zadevam, kot so spletne strani (caching delajo max. nekajkrat urno).
Ve kdo za kakšno off the shelf storitev ali pa DIY mirroring zadevo, ki bi to rešila?
I do not agree with what you have to say,
but I'll defend to the death your right to say it.
but I'll defend to the death your right to say it.
c0dehunter ::
Ok, please bear with me. Malce sem si prebral ampak po moje najbolje da kar vprašam.
Torej če prav razumem, naročim ene 5 VPSjev, strateško razporejenih po največjih internetnih vozliščih (npr Singapur ali Tokyo za azijo), gor namestim Squid, skonfiguriram in le-ta lokalno kešira vse moje JSONe iz Nemčije. Ok. Kako pa sedaj vprogramirati logiko v npr. Android app, da se poveže na najbližji caching proxy, glede na fizično lokacijo uporabnika? Trenutno je hardcodana domena strežnika (mojserver.com/data/1.json).
Torej če prav razumem, naročim ene 5 VPSjev, strateško razporejenih po največjih internetnih vozliščih (npr Singapur ali Tokyo za azijo), gor namestim Squid, skonfiguriram in le-ta lokalno kešira vse moje JSONe iz Nemčije. Ok. Kako pa sedaj vprogramirati logiko v npr. Android app, da se poveže na najbližji caching proxy, glede na fizično lokacijo uporabnika? Trenutno je hardcodana domena strežnika (mojserver.com/data/1.json).
I do not agree with what you have to say,
but I'll defend to the death your right to say it.
but I'll defend to the death your right to say it.
pegasus ::
Ena od možnosti je tale magija, a ti bo verjetno lažje implementirati en geoip lookup in link na mojserver-celina.com/data/1.json oz. primeren ekvivalent.
c0dehunter ::
Tale druga opcija se sliši ok. Hvala!
I do not agree with what you have to say,
but I'll defend to the death your right to say it.
but I'll defend to the death your right to say it.
Spura ::
Ne razumem zakaj Cloudflare ne bi bil primeren za to. Cloudflare cache uposteva max-age itd, torej komot nastimas da je content veljaven 15 sec. Pa lahko imas workerje v typescriptu napisane ki refreshajo cache tut ce ni requestov.
A zdej bos pa serverje po celem svetu postavlju kaj si ti nor, namest da bi si bolj podrobno prebral ce se pac da nastavit kratek TTL na katerem od obstojecih CDN ponudnikov.
Kaki komplikatorji ste.
A zdej bos pa serverje po celem svetu postavlju kaj si ti nor, namest da bi si bolj podrobno prebral ce se pac da nastavit kratek TTL na katerem od obstojecih CDN ponudnikov.
Kaki komplikatorji ste.
techfreak :) ::
@Spura: Mislim da workerji delujejo samo ob dejanskih requestih, torej ne mores refreshati cacha, dokler nekdo ne requesta URLja.
MrStein ::
Saj je napisal, da bi skripta delala stalno requeste.
A kot "navaden človek" lahko imaš dostop do anycast (na IPv4)?
multicast je recimo znanstvena fantastika.
Ena od možnosti je tale magija,
A kot "navaden človek" lahko imaš dostop do anycast (na IPv4)?
multicast je recimo znanstvena fantastika.
Motiti se je človeško.
Motiti se pogosto je neumno.
Vztrajati pri zmoti je... oh, pozdravljen!
Motiti se pogosto je neumno.
Vztrajati pri zmoti je... oh, pozdravljen!
Zgodovina sprememb…
- spremenil: MrStein ()
rokp ::
A kot "navaden človek" lahko imaš dostop do anycast (na IPv4)?
V svojem omrezju to seveda lahko implementiras brez problema. ;)
Edit: Smajli pa zato, ker ti (kot "navadnemu cloveku" v lastnem omrezju) to itak verjetno kaj dosti ne koristi.
Zgodovina sprememb…
- spremenil: rokp ()
pegasus ::
Kaki komplikatorji ste.Jaz sem oldschool in mi je veliko bolj komplicirano uporabit storitev kot pa postaviti lastno rešitev. Ponujene storitve vedno zavijejo znana orodja v celofan abstrakcij, skozi katere se potem moraš prebijat in tuhtat, kaj so s tem hoteli doseči in kako se njihova abstrakcija prevede v ustrezne vrstice v config fajlu. Izredno frustrirajoče in popolnoma odvečno.
c3p0 ::
V AWS CloudFront imaš cache control nastavitve, lahko tudi ročno invalidiraš. S3 se ne uporablja direktno za te zadeve.
MrStein ::
A kot "navaden človek" lahko imaš dostop do anycast (na IPv4)?
V svojem omrezju to seveda lahko implementiras brez problema. ;)
Edit: Smajli pa zato, ker ti (kot "navadnemu cloveku" v lastnem omrezju) to itak verjetno kaj dosti ne koristi.
Govora je o postavitvi po celem svetu, ne v lastnem peskovniku.
Motiti se je človeško.
Motiti se pogosto je neumno.
Vztrajati pri zmoti je... oh, pozdravljen!
Motiti se pogosto je neumno.
Vztrajati pri zmoti je... oh, pozdravljen!
Spura ::
Kaki komplikatorji ste.Jaz sem oldschool in mi je veliko bolj komplicirano uporabit storitev kot pa postaviti lastno rešitev. Ponujene storitve vedno zavijejo znana orodja v celofan abstrakcij, skozi katere se potem moraš prebijat in tuhtat, kaj so s tem hoteli doseči in kako se njihova abstrakcija prevede v ustrezne vrstice v config fajlu. Izredno frustrirajoče in popolnoma odvečno.
Ne ves o cem govoris. Ni nobenih posebnih celofanov ali karkoli. Svoj webserver skonfiguriras da vraca prave headerje.
Ampak ne, to je "frustrirajoce in odvecno", raje bomo, da citiram "naročim ene 5 VPSjev, strateško razporejenih po največjih internetnih vozliščih (npr Singapur ali Tokyo za azijo), gor namestim Squid" in potem "vprogramirati logiko v npr. Android app, da se poveže na najbližji caching proxy, glede na fizično lokacijo uporabnika".
Kompleksno, home-cooked, drazje za poganjat (5 VPSjev), drazje za razvit (treba je modificirat client aplikacijo). Ampak je pa fulllll hardcore pa tr00. Pa ni ti treba vsake tolk mal pobrkljat dashboarda od cloudflarea, tega celofana, mas pa 5 boxov kamor se sshjas pa v konzoli kot pravi haxor in vzdrzujes squid pa si dajes alarme ce ti dol pade kak, pa naredis celo diplomo iz avtomatskih failoverjev za te svoje cache serverje.
Ales ::
Ne ves o cem govoris. Ni nobenih posebnih celofanov ali karkoli.
Točno ve o čem govori in to seveda so celofani nad sicer sleherniku dostopnimi servisi, ki laufajo v ozadju.
Je pa popolnoma res, da lahko uporabiš nekega takega ponudnika in ne greš ustvarjati svoje infrastrukture. Oboje je čisto legitimen pristop. Odvisno, kaj in kako bi rad dosegel...
Lahko pa se tudi razmisli malo o posledicah našega početja. O tem, v kaj se spreminja internet z nastopom takih globalnih storitev, kot je CloudFlare, ki dobesedno ubijajo svobodni itnernet.
Ni mi jasno, a je res folk postal totalno možgansko atrofiran.
Vredno ogleda ...
| Tema | Ogledi | Zadnje sporočilo | |
|---|---|---|---|
| Tema | Ogledi | Zadnje sporočilo | |
| » | Nemčija: najvarnejši brskalnik je Firefox (strani: 1 2 )Oddelek: Novice / Brskalniki | 19979 (2792) | primoz4p |
| » | Moja domaca mrezaOddelek: Omrežja in internet | 7449 (5297) | mahoni |
| » | Dve domeni z istim IPjemOddelek: Omrežja in internet | 2532 (1709) | c3p0 |
| » | Optimizacija API-jaOddelek: Programiranje | 1901 (1134) | AndrejS |
| » | Za kakšno stvar je uporaben kateri strežnik?Oddelek: Izdelava spletišč | 3317 (3007) | Ziga Dolhar |