Ideja kako manj plačat za prenos podatkov (android)

Ker bom zdele kupil smartphona in šel na BOB, sem prišel na neko idejo.

Mam en VPS in bi ga uporabil kot proxy za android. Delovalo bi tako, da bi telefon kompresiral in kriptiral podatke, server bi naredil obratno in komuniciral s svetom (proxy).

Zavedam se sicer, da bo to mali udarec na avtonomijo baterije.

1. A mi zna kdo bolj v detajle povedat glede inplementacije, kje naj začnem?

2. A bi se to sploh splačal - glede na to da večina spletnih strani tako ali tako gzipa vsebino?

Hja, same web strani nimajo kompresije ker http/html to ne omogoca samo po sebi.
Tudi vecino strani je zadnje case kar optimiziranih in ne terjajo toliko podatkov.
Najvec podatkov gre pomoje pri raznih video vsebinah, ki pa ze vsebujejo kompresije,
npr Youtube ima Flash Video (video/x-flv) zelo skompresiran.
Tak princip delovanja kot ga opisujes ima sicer Blackberry sistem, ki drasticno zmanjsa
pretok podatkov nekaterih storitev ala mail ipd.

Bi se pa splacalo za taksne pakete, ki nimajo zakupljene date in dejansko placujes po Kb

VPN = enkripcija => CPU
Kompresija => CPU

Učinkovito lahko komprimiraš text (ki ga je še najmanj na neki spletni strani), vse ostalo je že maksimalno komprimirano in samo trošiš CPU za poskus dodatnega komprimiranja.

Pri VPN, me prav zanima, kerega ponudnika/protokol imaš v mislih da komprimira PODATKE. Večinoma se komprimira headerje, rezultat pa ni ravno, da bi dolpadel. Če imaš slab CPU imaš na koncu prenos bistveno slabši, kot če bi direktno šel na net.

Kat se tiče (pre)pametnih telefonov, VPN povezave nikakor niso trivialne zadeve. Kar vprašaj malo IPSec in SSL VPN uporabnike, kako dolgo so čakali, da so se lahko začeli povezovati preko VPN v omrežje podjetja. Sem zadnjič gledal neki Android forum, kjer je bilo na tisoče prošenj, da se že končno implementira IPSec tako, kot se spodobi. Podpora je prišla dejansko šele v 4.0.
Pa tudi IPhone še nima prav dolgo spodobno IPSec podporo.

BOB, če sem prav razumel, kasira za vsako povezavo posebej. Če torej držiš povezavo stalno pokonci, bi na koncu teoretično plačal dejanski promet. Ker pa vsakdo špara baterijo in skuša preprečiti, da bi kakšno avtomatsko posodabljanje in druge reči nekontrolirano ustvarjale promet, logično prekine povezavo, ko jo ne potrebuje.

Moj nasvet bi bil, da raje pretuhtaj, kje se lahko na net priklopiš preko WiFi in kje/kdaj res potrebuješ UMTS/GPRS povezavo. Tako boš lahko bistveno več prihranil, pa še prenosi bodo preko WiFi bistveno hitrejši, kot preko UMTS.

Sicer pa ti nihče ne brani, da narediš praktični preizkus, pa en mesec probaš eno varianto, en mesec pa drugo. Potem pa seštej kilobyte, stroške, pa poročaj če si kaj pridobil, pa kako se ti obnašajo stvari.

kixs je 17. avg 2012 ob 18:08 izjavil:

Pod Helpom imas tudi statistiko kompresije. Pri meni je trenutno za celotno obdobje prihranek 81% (Original size = 1GB, Received size = 206MB).

Ta podatek se mi zdi kar malo hudo nerealen. Zip in Rar sta spodobna kompresijska algoritma, pa če grem komprimirati neko spletno stran, ne bom nikoli uspel za 80% stisniti zadeve.
Stisneš Word, Text, Excel, tam nekje okoli 90%, ne pa JPG, GIF in podobno.

Da bi pa en proxy kar tako on-the-fly ves promet stisnil za 81%, se mi pa zdi znanstvena fantastika.
Predvidevam, da si sam izračunal tisti 'original size'? 1GB = 1024MB => 1024MB*0,19= 194.56MB.
Tako torej že v osnovi nekaj ni čisto ok s tem preračunom.

Sem pa za test šel z RAR komprimirati celotno strukturo manjše spletne strani. Na disku (nekomprimirano) datoteke zasedajo 95MB. RAR jih je komprimiral z 'Ratio' okoli 85%. Rar datoteka je velika........ 81MB !!!

Torej - Ratio pri kompresiji ne pomeni, za koliko % smo stisnili, ampak koliko % nam je ostalo od prvotnega.

Če si ti imel izmerjenega prenosa 206MB, tako nisi prihranil dobrih 800MB, ampak zgolj 48MB (pri Ratio 81%). Koneckoncev tudi to ni zanemarljivo, ni pa nujno, da se pri kakšnemu ponudniku kot BOB, kjer ti vsake načete 64KB zaračunavajo, to na koncu tudi pozna na računu - odvisno pač od tvojih navad uporabe. Če pa imaš paket, kjer imaš 1 GB vključen, pa takointako nisi nič profitiral - razen počasnejšega nalaganja strani (če bolj počasi bereš - sicer je teško govoriti o profitiranju).

Če greš pogledati tipično spletno stran, so slike gor v povprečju nekje do max. 300kB, večinoma pa imamo opravka z malimi jpg in gif datotekami, velikimi od 100 byte-ov, pa do 20kB, če se ne gre glih za neko hudo grafično stran.

Tako da na koncu vsega, je 19% prihranek še kar realen. Morda bi bil večji, če bi si na veliko ogledoval spletno stran s samimi fotografijami.

Pri tem je potrebno v obzir vzeti še lastnost TCP protokola, ki vsebino tlači v paketke. Če imamo malo sliko (razne ikone ipd.), to še dodatno komprimiramo in potem potlačimo v paket, se nam lahko zgodi, da bo na koncu paket šel napol prazen na pot in smo dejansko izničili efekt 'kompresije'. Pri velikih slikah, se ta izguba manj pozna.

Hja, same web strani nimajo kompresije ker http/html to ne omogoca samo po sebi.

Sam po sebi ne, vsi spletni strežniki in spletni odjemalci pa jo omogočajo.

Dejansko Opera ne kompresira slik ampak jih streznik resize-a tako da so manjse. Tekst se pa odlicno kompresira.

Gzipan tekst se zelo slabo kompresira in to imajo omogočene vse malo večje spletne strani (nekaj glede manjše porabe pasovne širine in hitrejšega nalaganja).

Bistvo opere ni samo v kompresiji. Ce pogledas tipicen http request, ki odpre stran z 5 slikcami.
Skupaj bo torej pretok podatkov (http request/response za osnovno html stran ter se 5x http request/response za vsako slikco,
skupaj torej 6xhttp request/response (zanemarim Syn/Ack/Fin del, ki vseeno vplivajo na ceno prenosa podatkov).
Pri operi gre stran drugace. http request gre do proxy opera serverja, na serverju se potem zloada vse ostalo, se spremeni v obml, in se v enem
delu poslje nazaj. To ti noben kompresijski program ne bo pomagal, da bi bolje naredil.

Ja opera je to kr dobr pogruntala (bolj kot blackberry). Poleg vsega zgoraj napisanega dela seveda se rendering glede na
tip telefona ki ga poda (pomoje z user agentom v http headerjih, tok nism su studirat) in nazaj dobis res sam tok podatkov,
kukr jih je telefon sposoben prikazat. Bi blo pa smiselno (aplikacij ne poznam, verjetno funkcije tud ze obstajajo v obstojecih browserjih)
imeti browser pri katerem lahko izklapljas contente, npr si izklops vse slikce, in potem jih niti ne zahteva, s tem bi kar dosti prisparal,
ker na telefonu vsaj jaz vecinoma rabim samo podatke (brez slikic), za ostalo grem pa na pc.

Ja, poleg tega tudi izloči ves JavaScript tako da dobiš v bistvu samo statično stran.

1. Opera mini je ok za spletne strani, ne pa za kake spletne aplikacije, ki uporabljajo dost javascripta. Ima pogojno uporabnost.

2. Najbolj me zanima kompresija prometa raznih 3rd party appov (kaki chati, igre, facebook clienti), ne pa toliko internetnega prometa, kjer je tekst ponavadi itak gzipan, slik se pa ne splača.

3. Sicer pa sem premislil še enkrat - bolj kot kompresija mi je mikavna enkripcija (da mobilni operater ne shranjuje stvari) ter lasten IP. A ma android kak mehanizem, da bi lahko VES PROMET preusmeril na nek proxy?

NeMeTko je 17. avg 2012 ob 18:46 izjavil:

kixs je 17. avg 2012 ob 18:08 izjavil:

Pod Helpom imas tudi statistiko kompresije. Pri meni je trenutno za celotno obdobje prihranek 81% (Original size = 1GB, Received size = 206MB).

Ta podatek se mi zdi kar malo hudo nerealen. Zip in Rar sta spodobna kompresijska algoritma, pa če grem komprimirati neko spletno stran, ne bom nikoli uspel za 80% stisniti zadeve.
Stisneš Word, Text, Excel, tam nekje okoli 90%, ne pa JPG, GIF in podobno.

Da bi pa en proxy kar tako on-the-fly ves promet stisnil za 81%, se mi pa zdi znanstvena fantastika.
Predvidevam, da si sam izračunal tisti 'original size'? 1GB = 1024MB => 1024MB*0,19= 194.56MB.
Tako torej že v osnovi nekaj ni čisto ok s tem preračunom.

Sem pa za test šel z RAR komprimirati celotno strukturo manjše spletne strani. Na disku (nekomprimirano) datoteke zasedajo 95MB. RAR jih je komprimiral z 'Ratio' okoli 85%. Rar datoteka je velika........ 81MB !!!

Torej - Ratio pri kompresiji ne pomeni, za koliko % smo stisnili, ampak koliko % nam je ostalo od prvotnega.

Če si ti imel izmerjenega prenosa 206MB, tako nisi prihranil dobrih 800MB, ampak zgolj 48MB (pri Ratio 81%). Koneckoncev tudi to ni zanemarljivo, ni pa nujno, da se pri kakšnemu ponudniku kot BOB, kjer ti vsake načete 64KB zaračunavajo, to na koncu tudi pozna na računu - odvisno pač od tvojih navad uporabe. Če pa imaš paket, kjer imaš 1 GB vključen, pa takointako nisi nič profitiral - razen počasnejšega nalaganja strani (če bolj počasi bereš - sicer je teško govoriti o profitiranju).

Ti ocitno marsikaj predvidevas, namesto, da bi kaj prebral in potem sel pametovat, ce bi sploh se bil smisel.

So ti sicer ze drugi povedali, o sami kompresiji pa toliko, da gre pri Raru in podobnih za t.i. lossless kompresijo in ta ima seveda svoje meje. Opera pri slikah uporablja tudi cisto svoj format in precej visoko kompresijo.

To ima svoje prednosti kot slabosti. Meni zaradi prioritet po manjsem prenosu te prednosti odtehtajo slabosti.

Drzi pa, da so kaksne strani zaradi tega hendikepirane. Ampak vse strani, ki jih uporabljam delujejo vec kot dobro.

Avtorju teme pa samo toliko, da naj enostavno preizkusi svojo idejo.

PS:
Natipkano iz OpereMini...

lp

technolog je 17. avg 2012 ob 22:34 izjavil:

1. Opera mini je ok za spletne strani, ne pa za kake spletne aplikacije, ki uporabljajo dost javascripta. Ima pogojno uporabnost.

2. Najbolj me zanima kompresija prometa raznih 3rd party appov (kaki chati, igre, facebook clienti), ne pa toliko internetnega prometa, kjer je tekst ponavadi itak gzipan, slik se pa ne splača.

3. Sicer pa sem premislil še enkrat - bolj kot kompresija mi je mikavna enkripcija (da mobilni operater ne shranjuje stvari) ter lasten IP. A ma android kak mehanizem, da bi lahko VES PROMET preusmeril na nek proxy?

Okej prvo kot prvo - praktično vse aplikacije uporabljajo Gzip stisnjeno komunikacijo, tako da si s tem delaš samo brezvezno delo in zapravljaš čas za malenkosti. Pozabi na kompresijo, vzami Opero Mini če jo preneseš za ostalo ne boš naredil razlike.

Drugič, to o čemu govoriš in rabiš je VPN - pri sebi postaviš endpoint (torej boš rabil nek router/server čez katerega bo šla komunikacija), do endpointa pa vzpostaviš kriptirani VPN. Android 4.0 podpira out-of-the-box PPTP z MPPE-128 enkripcijo (kar podpira praktično vsak toaster), ter L2TP/IPsec variante. Če nakuhaš kak drug ROM na telefon lahko uporabljaš tudi OpenVPN.

Zavedaj se pa podpora ni popolna - še vedno prihaja do t.i. "connection-leakov" kjer ti aplikacije vzpostavijo povezavo preden se postavi VPN in preusmeri internet.

@mavrik, o kaki text gzip komunikaciji je kle govora ?