Strošek prisluha mobilnim telefonom celotne države

Čisto za hec me je zanimalo ali bi lahko nekdo prisluškoval vsem mobilnim pogovorom v državi. Predvsem ali je to cenovno sploh mogoče (pustimo ob strani vidik analize podatkov).

Za tako prestrezanje bi potrebovali:
- prestrezne naprave
- naprave za shranjevanje
- naprave za indeksiranje in iskanje

Glede stroškov naprav za shranjevanje (pomnilnikov), želimo izračun za:
- prometne podatke telefonije
- vsebino telefonskih pogovorov

Podatki o količini telefonskega prometa se nahajajo na spletni strani Statističnega urada pod "Obseg storitev".

Nekaj podatkov, predvsem o povprečnem številu klicev, iz katerega dobimo oceno količine prometnih podatkov, pa se nahaja v poročilu RIS-IKT 2005 - Mobilna telefonija (#71).

Prometni podatki mobilne telefonije

Iz raziskave RIS za leto 2005 izhaja, da je povprečno povprečno št. pogovorov na dan 7,8, št. uporabnikov mobilne telefonije v Sloveniji pa 1.450.000.

Iz tega sledi, da bi na dan v bazo morali zapisati 11.310.000 zapisov prometnih podatkov.

Vprašanje je, koliko je velik zapis v bazi.

Zdaj, če gledamo po Pravilniku za zakonito prestrezanje komunikacij, morajo operaterji beležiti naslednje podatke:
1. številka ali druga oznaka priključne točke - ocena: 12 znakov (telefonska številka z mednarodno kodo)
2. številka ali druga oznaka priključne točke s katero želi le-ta
vzpostaviti zvezo - ocena: 12 znakov
3. v primeru preusmeritve - ocena: 12 znakov
4. podatki o vrsti javne komunikacijske storitve: recimo 2 znaka (šifrant)
5. tehnični vzroki za prekinitev zveze: recimo 2 znaka (šifrant)
6. Lokacija v Gauss-Krügerjevem formatu: 6 znakov * 2
7. najmanj dva od naslednjih podatkov o časovnem poteku:
- datum in čas začetka komunikacije: 19 znakov
- datum in čas konca komunikacije: 19 znakov

Skupaj: 90 znakov. Pa recimo, da jih je 100, nekompresiranih.

Torej rečemo: 11.310.000 zapisov prometnih podatkov na dan * 100 znakov / 1024^3 = 1,05 GB na dan.

Na leto to znese cca. 385 GB. Nekompresirano. Stroškov tukaj sploh ne bom računal, ker imam jaz doma bistveno več diskovja. Seveda lahko upoštevamo RAID 0, ampak to stroškov ne spremeni bistveno.

Prisluhi mobilne telefonije

Tukaj vzamemo podatek iz Statističnega urada RS za leto 2006, ki pravijo, da je bilo prometa v lastnem mobilnem omrežju, iz mobilnega v drugo mobilno omrežje ter iz mobilnega v fiksno omrežje 2.506.422.000 minut. V celem letu.

Če to cifro delimo z 365, dobimo podatek, da je na dan mobilnih pogovorov za 6.866.909,59 minut (se pravi slabih 7 mio. minut).

Zdaj je treba izračunati koliko zasede ena minuta pogovora. Pri tem si pomagamo z bitnimi hitrostmi:
ISDN: 64 kbit/s
GSM half rate: 5,6 kbit/s
GSM full rate: 13 kbit/s
GSM enhanced full rate: 12,2 kbit/s
PSTN – standard: 9,6 kbit/s
PSTN – univerzalna storitev: 14,4 kbit/s
PSTN – minimum: 8 kbit/s

Vzeli bomo max. bitno hitrost za GSM, torej 13 kbit/s.

Izračun pravi, da ena minuta pogovora znese 2^10 / 8 * 13 kbits * 60 sekund = 99840 bajtov.

Oziroma, na dan: 0,62 TB. Nekompresirano v polni kvaliteti. Na leto: cca. 228 TB.

Sedaj pa stroški. Ker vemo, da je disk dražji kot DAT kasete predpostavimo, da bo "nekdo" pogovore snema za en mesec na disk, za ostalih 11 mesecev pa na kasetke.

Pa poglejmo strošek diska. Če malo pobrskamo po internetu pridemo do podatka okrog 180 EUR za 1 TB. Verjetno imajo veliki kupci kakšne poseben popuste (recimo do 20%, morda do 30%), ampak tega nisem upušteval pri izračunu.

Strošek za en mesec je torej: 3.367 EUR oz. za podvojeni sistem (RAID 0) 6.734 EUR.
Predpostavimo, da kupujemo 400 GB DAT kasetke. Teh bi na mesec potrebovali cca. 48 kom.
Ob predpostavki, da ena kaseta stane 30 EUR, bi torej na mesec za DAT kasete zapravili 1.440 EUR.

Na leto torej shranjevanje vseh pogovorov po mobilnih telefonih v polni kvaliteti (1 mesec na disk, 11 mesecev na DAT) stane 19.207 EUR. Če pa upoštevamo Da so podatki na disku podvojeni (iz varnostnih razlogov), pa je cena 22.574 EUR na leto.


Prisluhi vsej telefoniji

Sedaj pa za hec v izračun vrzimo podatek o številu vseh minut telefonskih pogovorov iz tabele Statističnega urada. To znese 4.686.079.000 minut v letu 2006 ali 1,17 TB/dan.

Cena pomnilnika za celotno leto torej znaša 35.995 EUR oz. 42.291 EUR za delno podvojeni sistem.

Strošek pomnilnika bi bil torej izredno nizek.

Vprašanje, ki si ga zastavljam pa je:
- kakšen software bi potreboval za indeksiranje in iskanje po prometnih podatkih (verjetno kakšen od Oracla), ter kolikšna je njegova cena;
- kakšen server bi rabil za poganjanje te baze podatkov;
- koliko bi stala "okoliška elektronika" za diskovje (se pravi kontrolerji, ki bi vse skupaj "držali skupaj", napajalnik, UPS, itd.);
- pisanje na DAT kasete ima določene hitrostne omejitve (v bistvu na disk tudi) - koliko vzporednih istemov zapisovanja bi rabil ter koliko stane avtomatski podajalnik kaset ter naprava, ki zna kasete vložiti v pravo mesto v arhiv?

in seveda najpomembnejše:
- vprašanje prestreznih naprav.

Slednje mi je največja uganka, predvsem zato, ker mi ni jasno ali bi te naprave sploh lahko zajele in preusmerile tolikšno količino podatkov (zaradi bandwitha) do naprave za shranjevanje.

No računarji, na plano!

Kot rečeno me sama analiza podatkov ne zanima. Tudi samodejna prepoznava govora po mojem mnenju ni ravno na uporabnem nivoju.

Zadeva bi bila potencialno zanimiva za analizo prometnih podatkov, potem pa bi lahko nekdo za nazaj šel gledat, kaj se ej pogovarjala "zanimiva oseba".

Ampak tukaj me zanima samo strošek opreme - da vidim realen izračun ali je zadeva sploh finančno izvedljiva. Kot zaenkrat kaže, ti stroški le niso tako veliki, kot se govori...

Že v osnovi bi to moral pisati v bazo.
Za to bi potreboval v štartu itanium strežnike. Backup bi pa delal na bazi.
Vsak dan se naredi nova particija na nivoju SQL strežnika v svojem data failu in začne pisati podatke za ta dan in zaključi za ta dan, razen izjem, ki kličejo čez 23:59 na 00:01.
Ralavantne podatke obdeluje drugi sklop strežnikov, ki vsebujejo dejansko kocko, reportingu dejansko samo osnovne podatke, ki jih greš iskati v bazo, po želen izpis.

Backup en dan en disk, ena particija SQL strežnika za prejšnji dan. Torej 365 diskov na leto.
Le te pa po potrebi backupiraš na dislocirano lokacijo.

Cena strežnikov, preraste vse ostalo. Dosti se da skriptai tako da ni problem. Problem je le kocka !

Cena elektrike za diske jabe. Disk je lahko 7200 obratov sata. Miror na remot lokaciji.
365x20W =poraba enega strežnika.

Lahko implementiram, če je želja…

PS: PRostori in linije taka podjetja že imajo, tako da je dodatni strošek tu odštet, razen dodatni operativni strošek, kot je elektrika za klimo, in strežnike...

Preračunaj, koliko je dejanskih vpisov na dan pomnoži to s številom dni, ki bi rad imel te podatke online, ostalo pa na drugem strežniku. Poleg tega je ?, koliko za nazaj potrebuješ,če razmišljaš da bi moral imeti to 5 let, pa reči no povej mi, koga je številka na dan pred tremi leti klicala, je to kar veliko podatkov.....
Načeloma bi moral imeti bazo, kjer bi imel samo vpisane vse številke, in datum, kdaj se je karkoli dogajalo, šele potem pa dejansko ostale podatke v bazi iskati itd…. Lahko bi sicer naredil query za samo to številko ter omejeni datum dogodka, samo rabiš imeti dva podatka, kaj pa če je kdo to številko klical, prav tako bi v samih podatkih bilo dobro beležiti lokacijo, kjer se je nahajal mobitel s to številko, ko je bil klican, ali kličoč, itd….
Dejansko moraš izračunati koliko bo en klic zavzel podatkov, in to pomnožiti z dnevnim številom klicev, ter izračunati, koliko je to podatkov dnevno, in še bolj pomembno koliko je to dejanskih transakcij na sekundo, in kakšno dejansko omaro rabiš za to ? Zato pozabi v kakšne ti. Free bazi, ker je nesmisel, na ceno stroškov strojne opreme…
Ostalo pa je bolj na štiri oči….

Matthai, to je tvoj izračun, predvidevam pa da poznaš zadeve, kako tečejo v sloveniji in bodo za tak sistem prišli na dan s ceno najmanj milion eurov na leto - (zunanji sodelavci, svetovalci in nabavni mojstri si morajo namreč zgraditi tudi vikende na morju).

> Če malo pobrskamo po internetu pridemo do podatka okrog 180 EUR za 1 TB

Če se greš resne zadeve, pol je to SCSI al pa SAS, cena na TB potem zlahka doseže kakih 2000 EUR

prometne podatke pa je lažje shranjevati in so statistično še precej več vredni, se po moje zdaj opušča snemanje pogovorov.

Ne bit preveč naiven.

kaj pa "mobiči"?

> SCSI/SAS - če rabiš hitrost

Al pa zanesljivost.

Če kupiš čunga-lunga zadeve, se da dokaj poceni sestavit vso stvar... V tem primeru se pa takih zadev skoraj sigurno ne bi uporabljalo (IMHO)

Analiza

Glede analize sem imel v mislih tole.

"Nadzornik" v računalnik vtipka določeno številko in za dano obdobje dobi izpis:
1) koga je ta številka klicala
2) kdo je klical to številko
3) socialno omrežje osebe za dano število nivojev*

1) in 2) sta razmeroma preprosti zadevi. Software mora seveda za vsak klic znati izpisati ustrezne prometne podatke, ter link do WAV/MP3/whatever datoteke. Podatke mora znati tudi izvoziti v kakšno Excell tabelico, kar omogoča analizo ob katerih urah oseba kliče/je klicana, itd. Lahko je pa to že vgrajeno v sam software, se da čisto lepo poskriptat, ker ni tako veliko podatkov.

Za primerjavo naj povem, da sem v SPSSu že delal analizo par milijonov slovenskih spletnih strani (okrog 100 spremenljivk) in celoten telefonski imenik (nekaj deset spremenljivk in cca. 600.000 zapisov) na čisto običajnem računalniku z 1 GB RAMa in zadeva deluje povsem spodobno.

3) je pa malo bolj zanimiva zadeva, čeprav iz programersko-analitičnega stališča razmeroma enostavna. Preiskovalec določi število nivojev za katero naj se izpiše socialno omrežje in da generirati izpis.

Če je izpis generiran za prvi nivo, bo software izpisal samo podatke o številkah ki so klicale ciljno osebo in številkah, ki jih je klicala cljna oseba (da se narediti tudi ločeno, lahko pa uporabimo celo usmerjene povezave).

Če je izpis za drugi nivo, bodo vključeni še podatki za številke iz drugega nivoja (kdo je klical/koga so klicali komunikacijski partnerji ciljne osebe).

Tukaj se seveda zastavi vprašanje kako globoko iti, saj z večanjem števila nivojev narašča velikost omrežja. Ampak kolega je delal analizo omrežja z 16.000 točkami in zadevo se da čisto lepo analitično izpeljati. Do nekaj tisoč točk, kolikor bi jih imelo takole omrežje je pa precej enostavno analizirati.

Dobil bi torej takole datoteko:
kdo_je_klical koga_je_klical kolikokrat_ga_je_klical (v danem obdobju)

Tukajle sem si izmislil nekaj podatkov za dva nivoja:
031123123 031332332 2
031123123 031445445 4
031123123 031343434 2
031123123 042244331 1
031123123 031111000 6
031332332 031123123 1
031332332 031343434 1
031332332 031445445 7
031332332 031112233 1
031332332 041987654 7
031445445 031332332 7
031445445 031343434 2
031445445 031123123 3
031445445 031112233 4
031445445 041123456 7
031445445 041234567 2
031445445 041456789 8
031343434 031123123 4
031343434 031112233 1
031343434 034563210 3
031343434 031843348 5
031343434 041667667 4
031343434 031332332 1
031111000 031123123 4
031111000 042244331 6
031111000 021233210 4

Zadevo vržemo v en software za analizo omrežij Pajek (izvoz v Pajek format bi se dalo lepo poskriptati) in ko zadevo izrišeš, dobiš tole:



Več klicev kot imata dve osebi, bolj blizu sta si. Malce sem že pozabil omrežno analizo, ampak zelo enostavno se da ugotoviti katere klike so povezane med sabo, odfiltrirati nepomembne partnerje, itd. Z nekaj truda bi lahko naredil tudi tako, da bi ob kliku na povezavo med dvema posameznikoma software izpisal podatke o vseh klicih med tema dvema osebama (vključno s časi in linki do zvočnih datotek).

Tole so čisto preproste analize, ki bi bile pa po mojem mnenju za kakšne preiskovalce hudo uporabne in zanimive. Seveda bi kakšen clustering, recimo k-means ali kaj podobnega prišel še bolj prav, ampak že tole je hudo zanimivo.

Pač, ko se zgodi nek "zločin", gre nekdo za nazaj gledat v bazo - koga je oseba klicala, ali kdo je na nekem območju ob nekem času klical. In potem tistih nekaj deset posnetkov preposlušajo iz arhiva...

Zamenjati bi moral številko. To pa ni tako trivialno, ker tega ne moreš sam - mora operater.

Dokumente MZZ v javnost posredoval veleposlanik?

"Izvršni odbor sindikata je v sporočilu za javnost izrazil oster protest, ker je minuli petek v pisarno veleposlanika vstopilo osem oseb, med njimi tudi generalni sekretar zunanjega ministrstva, in mu zaseglo njegov službeni računalnik. Pojasnili so mu, da so iz telefonskih pogovorov ugotovili, da je komuniciral s časnikom Dnevnik. Nato naj bi računalnik predali kriminalistom, piše v sporočilu."

Haha! No, saj mogoče so se zmotili in so hoteli napisati "prometnih podatkov", ampak sliši se pa dobro...

A je objavil kaj zaupnega?

Da se vrnemo nazaj na temo tele debate.

Pri prestrezanju nastopi vprašanje kako potekajo pogovori med dvema osebama. Vprašanje je, ali potekajo vedno preko ene, glavne centrale, ali pa je teh "glavnih central" več.

Če recimo vsi pogovori enega operaterja vedno potekajo preko glavne centrale tega operaterja, je zadeva preprosta - prisluškovalec se priključi na to centralo in tam prestreza ves promet tega operaterja. V tem primeru je prestreznih centrov samo toliko, kolikor je operaterjev.

Če pa je takih "glavnih" central več, pa je treba imeti več razpršenih prestreznih centrov. Tale druga možnost se mi zdi bolj verjetna.

Ta možnost pa pomeni, da je treba imeti bodisi več "varnih sobic", kjer se delajo arhivi, bodisi od vseh teh prestreznih centrov speljano optiko do enega centralnega (ali regijskega) prestreznega centra.

To je pa drago, saj je treba imeti posebno infrastrrukturo, ne?

Zanimovo je tole:

Zakon o obrambi - 102. člen

(informacijski in telekomunikacijski sistem)

(1) Za opravljanje upravnih in strokovnih zadev ministrstvo organizira enoten in avtonomen informacijski ter telekomunikacijski sistem, ki obsega tudi potrebe vojske.

Se pravi - vojska že ima LOČEN telekomunikacijski sistem. Po nekaterih mojih informacijah le-ta obsega lastno optiko.

A je bil dokument označen kot zaupen?

Bomo "potipali" tudi tiste, ki so izdajali Sovine dokumente?

Strinjam se, da je z zaupnimi dokumenti treba rvnati ustrezno. Dejstvo pa je, da niso novinarji tisti, ki morajo ravnati ustrezno.

Dejstvo tudi je, da zaenkrat vse kaže, da je edini greh tega veleposlanika to, da ga je klicala novinarka Dnevnika v zvezi s čisto tretjo zadevo.

Kar mene zanima je nekaj drugega: ali MZZ prisluškuje oziroma nezakonito beleži prometne podatke svojih zaposlenih?

Odgovor na to bomo dobili kmalu. Danes sem namreč na Informacijskega pooblaščenca podal prijavo v zvezi s sumom nezakonite obdelave prometnih podatkov na MZZ, prijavo so dobili in zvečer so na TV povedali, da so že uvedli inšpekcijski nadzor.

Pa da vidimo kaj se bo odkrilo.

Kaj pa tvoj komentar na mnenje bivsega sodnika, da je to cisto kul?

odločitev koristna za državo.

Država so posamezniki.