» »

Statistika in računalniki z Benfordovim zakonom kažejo na finančne malverzacije

Statistika in računalniki z Benfordovim zakonom kažejo na finančne malverzacije

The Economist - Statistika in računalniška moč nam omogočata, da analiziramo velike kupe podatkov ter v njih iščemo zakonitosti in vzorce, ki jih z ročnim delom ni bilo mogoče odkriti. Eno izmed najbolj zanimivih odkritij opisuje frekvenco pojavitve posameznih cifer v realnih podatkih. Izkaže se, da v realnih podatkih devet števk (1-9) ni enakomerno zastopanih, ampak njihova pogostnost pada od najpogostejše enice do najredkejše devetice. To opisuje Benfordov zakon, ki ga je leta 1881 odkril astronom Simon Newcomb.

Benfordov zakon pravi, da je prva cifra v realnih podatkih najpogosteje enica (30 odstotkov). Frekvenca ostalih števk nato monotono pada do devetice (4,6 odstotka). Matematični zapis za Befordovo verjetnost pojavitve števke n (1-9) na prvem mestu je:

\log_{10}\left(1+\frac{1}{n}\right) (napaka se odpravlja).

Zakon je mogoče razširiti tudi na neprva mesta v številih, saj tudi za te veljajo specifične, neuniformne porazdelitve. Zanimivo je, da se omenjena zakonitost pojavlja v praktično vseh realnih podatkih: višini gora, dolžini rek, površini držav in tudi celo v finančnih izkazih. Benfordov zakon drži ne glede na mersko enoto ali številski sestav.

Zato se razširjeni Benfordov zakon (na vse števke) rutinsko uporablja pri forenzični analizi finančnih izkazov in bilanc. Utemeljitev je enostavna: kdor prireja podatke, pogosto ne pozna ali pa zaradi zahtevnosti generiranja ustreznih števil ne more upoštevati Benfordove porazdelitve. Če mora na primer direktor predložiti račune za vse izdatke nad 20 evrov in jih zato zaokrožuje navzdol (18, 19 evrov), bo porazdelitev pokazala preveliko število enic, osmic in devetic. Profesionalci so seveda na tekočem s sto let staro statistiko, zato je recimo Bernard Madoff pri potvarjanju podatkov v svoji piramidi upošteval Benfordovo porazdelitev, a ti primeri so redki.

Jialan Wang je izvedel zelo zanimivo raziskavo, ko je preveril ujemanje računovodskih podatkov za ameriška podjetja v sistemu Compustat z Benfordovo porazdelitvijo. Šlo je za 20.000 podjetij. Popolnega ujemanja ni pričakovati, a na dolgi rok se odstopanja iznihajo. Primerjal je standardno deviacijo prijavljenih podatkov od Benfordove napovedi in odkril nekaj zelo zanimivega - odstopanja od leta 1960 večinoma rastejo. To seveda ni dokaz, da podatke potvarjajo, je pa močan indic, da se dogaja nekaj nenavadnega. Razčlenitev po industrijah je pokazala, da je finančna industrija največjo rast odstopanja beležila v letih 1980-1990 in po letu 2007 in res so se tedaj dogajali največji škandali. IT-sektor največjo rast odstopanja beleži med leti 1998-2002, ko se je napihoval in nato razpočil dot-com balonček.

24 komentarjev

Blazz ::

spet se ne vidijo formule s črnim templateom. Pa prav vsakič bom to napisal, dokler ne boste spedenal...

antonija ::

Formula v clanku je cist navadna slika brez ozadja... a nima slo-tech eno sorto TeXa za izrisovanje formul?
Statistically 3 out of 4 involved usually enjoy gang-bang experience.

enadvatri ::

Zdaj bodo kitajci začeli prodajati žepne kalkulatorje s funkcijo generatorja, ki bo nosila oznako: "Benford's Law Compliant". >:D

Iatromantis ::

Seveda je to eden izmed dokazov za metamorfoze te krize, ki se je pričela kot finančna kriza in se potem počasi spreminjala v krizo gospodarstva in zdaj v državne/politične krize. Menda pa ja ni nekaj tisoč obubožanih američanov s prevelikimi stanovanjskimi krediti potopilo toliko družbenih sistemov na globalnem nivoju v zadnjih treh letih, ampak bo resnica bližja inverzni trditvi, s katero so zagovarjali sistem ob polomu Enrona - there are just a few bad apples.

zaj_tam ::

Enakomerno porazdeljeni logaritmi številk iz poslovnih izkazov torej pomenijo da Ekonomija špila (in obratno)?

To se meni zdi dokaj bulšit.

antonija ::

Enakomerno porazdeljeni algoritmi cifer bi pomenili da se cifre v ekonomiji obnasajo podobno kot vse ostale cifre v naravi.

Ce zdraven pristejes se navedbe avtorjev da so se cifre v ekonomiji obnasale enako kot vse druge cifre na svetu do leta 1960 in da so se najbolj nenormalno obnasale v casu najvecjih financnih fiaskov, potem se zadeva ne zdi vec bullshit.

Je pa res da to ni dokaz za nepravilnosti, lahko da gre samo za nesposbnost oz. sposno zabitost (ekonoskih in financnih leaderjev sveta). Ubistvu je odvisno samo od tega, kako hocejo izpadet: nesposobni, glupi ali pa zlobni... or all of the above.
Statistically 3 out of 4 involved usually enjoy gang-bang experience.

Spura ::

lol deviacija .008 sigma

Spura ::

Iatromantis je izjavil:

Seveda je to eden izmed dokazov za metamorfoze te krize, ki se je pričela kot finančna kriza in se potem počasi spreminjala v krizo gospodarstva in zdaj v državne/politične krize. Menda pa ja ni nekaj tisoč obubožanih američanov s prevelikimi stanovanjskimi krediti potopilo toliko družbenih sistemov na globalnem nivoju v zadnjih treh letih, ampak bo resnica bližja inverzni trditvi, s katero so zagovarjali sistem ob polomu Enrona - there are just a few bad apples.

Ti stanovanjski krediti, ki jih je financni sektor okoli prodajal, so vedno imeli izvor v fizicni osebi. Tako da ni bilo nekaj tisoc ampak precej vec ljudi. Zato je pa smesno ko ljudske mnozice protestirajo, ker je polovica krivde na njihovih ramenih. Samo bo prej pekel pomrznil, kot bi ljudje prevzeli odgovornost za lastne napake. Podobno v grciji protestira cel kup ljudi, mnogi od katerih so leta in leta utajevali davke. Zdaj skandirajo, da oni ne bodo placevali za igrice politikov, kljub temu da sami niso placevali nicesar v preteklosti (in politiki so zadolzevali drzavo za vzdrzevanje benefitov, ker drugace bi spet bil kazin).

antonija ::

Caki, ljudje so krivi ker so jim banke dajale kredite za nepremicnine? A so z orozjem vdrli v banke in jih prisilili da jim dajejo kredite? Za grcijo nekak razumem da te motijo protesti ljudi, ki so mesali zrak v drzavnih sluzbah, prejemali pokojnine od mrtvih sorodnikov in niso placevali davkov, ampak tisti nepremicninski krediti so bile pa cisto legalne pogodbe med bankami in posamezniki, pri katerih je najvecjo besedo imela banka (posamezniki so ubistvu lahko samo sprejeli pogodbo ali pa zavrnili, to je pa tudi vse). Ce so take banke propadle zaradi slabih odlocitev in s tem povzrocile pok nepremicninskega baloncka (ki so ga vsa leta pridno napihovale v zelji po vecjem zasluzku), to IMO tud pod razno ne more bit krivda na strani posameznikov.

Ampam ce se vrnemo na novico: govora je o tem, da glede na poznano obnasanje cifer v naravi (tudi pri man-made sistemih), je obnasanje cifer v financnem sektorju zelo sumljivo in verjetno plod manipulacije.
Statistically 3 out of 4 involved usually enjoy gang-bang experience.

Spleter ::

@Spura

Vedeti moraš, da so banke te kredite prodajale pod pretvezo "varni" krediti (mislim da rating AAA), kar to niso bili - vse prej kot to. Torej je šlo pri dajanju teh kreditov v bistvu za en velik nateg.

Genetic ::

Cene artiklov verjetno odstopajo od tega zakona: 19,90; 199,95; 2995,00; ...

antonija ::

Matematični zapis za Befordovo verjetnost pojavitve števke n (1-9) na prvem mestu
Zdej pa poglej tisto formulo, poglej svoje cene, pa se enkrat preveri ce formula drzi.
Statistically 3 out of 4 involved usually enjoy gang-bang experience.

bf4ed ::

Blazz je izjavil:

spet se ne vidijo formule s črnim templateom. Pa prav vsakič bom to napisal, dokler ne boste spedenal...


pa ja, tak vam je težko to porihtat?

Genetic ::

antonija je izjavil:

Matematični zapis za Befordovo verjetnost pojavitve števke n (1-9) na prvem mestu
Zdej pa poglej tisto formulo, poglej svoje cene, pa se enkrat preveri ce formula drzi.


Obstaja tudi generalizacija za ne prvo mesto (formula), kjer pravi, med drugim: The distribution of the n-th digit, as n increases, rapidly approaches a uniform distribution with 10% for each of the ten digits.
Torej, za stirimestno (ali vec) ceno bi po bernfordovim zakonu pricakoval, da bo zadnja stevka enakomerno zastopana med 0 do 9.
Kolikokrat opazis ceno ...0, ...9, ...5? Sigurno bolj pogosto kot ...3 ali ...7

Zgodovina sprememb…

  • spremenil: Genetic ()

antonija ::

Iz zadnjega stavka
In practice, applications of Benford's law for fraud detection routinely use more than the first digit.
gre sklepati, da se sicer uporablja vec kot 1 cifra, ampak da vseeno ne pretiravajo s stevilom.

Pri zadnjih cifrah v cenah pa vecina ze na prvi pogled opazi da gre za malverzacijo (umetno siljenje cen na dolocene cifre; .99, .95, itd.), kar brez vecjih tezav potrdi tudi Benfordova ugotovitev.
Statistically 3 out of 4 involved usually enjoy gang-bang experience.

Genetic ::

No, jaz sem pa rekel, da pri cenah artiklov ne velja Benfordov zakon, saj bi morale biti zadnje cifre uniformno porazdeljene, pa zaradi marketinga oziroma psihologije nakupovanja niso (0, 5, 9 so bolj pogoste kot recimo 3,7).

V novici pise, da se ta zakonitost pojavlja v prakticno vseh realnih podatkih (kar pildki s cenami tudi so) in sem pac cene izpostavil kot izjemo, kjer zakonitost ne velja.

WarpedOne ::

Maš prav, happy now?

Cene so realni podatki, hkrati so pa obremenjene s človeško psiho zato zanje velja "adaptirani benfordov zakon" ki pravi, da je 9 precej pogostejša kot 7 ali 3.
Vse kar moraš moraš narest statistiko nad nekimi "realnimi cenami" in že maš vzorec za detekcijo sumljivih podatkov o cenah.

Pač porazdelitev je zaradi psihološkega momenta drugačna, osnovna poanta benforda pa še vedno drži.
Are you not tired of being wrong again and again?

antonija ::

Pač porazdelitev je zaradi psihološkega momenta drugačna, osnovna poanta benforda pa še vedno drži.
Ubistvu Benfordova ugotovitev prvo dejstvo potrjuje. Zadnje cifre cen se tako ne pojavljajo "naravno", ampak "nenaravno". Enako kot (vse?) cifre financnikov v zadnjih letih.
Statistically 3 out of 4 involved usually enjoy gang-bang experience.

Markoff ::

antonija je izjavil:

Caki, ljudje so krivi ker so jim banke dajale kredite za nepremicnine? A so z orozjem vdrli v banke in jih prisilili da jim dajejo kredite? Za grcijo nekak razumem da te motijo protesti ljudi, ki so mesali zrak v drzavnih sluzbah, prejemali pokojnine od mrtvih sorodnikov in niso placevali davkov, ampak tisti nepremicninski krediti so bile pa cisto legalne pogodbe med bankami in posamezniki, pri katerih je najvecjo besedo imela banka (posamezniki so ubistvu lahko samo sprejeli pogodbo ali pa zavrnili, to je pa tudi vse). Ce so take banke propadle zaradi slabih odlocitev in s tem povzrocile pok nepremicninskega baloncka (ki so ga vsa leta pridno napihovale v zelji po vecjem zasluzku), to IMO tud pod razno ne more bit krivda na strani posameznikov.

/offtopic to be continued

Em, da, temu se reče osebna odgovornost za lastne odločitve. Če razmišljaš o novi hiši, ki je nisi sposoben odplačevati in greš na banko, ta pa ima preveč denarja, ki je poceni, popolnoma pa odpovedo interni mehanizmi obvladovanja tveganj - kdo je tu kriv? Če greš po droge do lokalnega dealerja, ali je za tvojo odvisnost kriv dealer, ali ti sam ali morda dogodki iz tvoje preteklosti?

Banke so krive pretiranega risk apetita in neskladnosti z Basel II okvirjem obvladovanja tveganj. Niso in ne morejo pa biti krive tega, da si ti s praznim žepom šel na banko po denar, za katerega veš (ali bi moral vedeti), da si ga nezmožen odplačevati. Imaš primere, ko ljudje so sposobni, a se to na daljši rok spremeni. A v teh primerih so izjeme, ne pravilo in sistem kljub temu funkcionira. Ko daješ junk kredite junk najemnikom, imaš jedrsko bombo, ki odšteva čas. Ali poenostavljeno: banke so največji krivec za finančni pok zaradi kršenja pravil in razuma, za usodo posameznikov pa so ti v CELOTI krivi sami. Torej: pok - grde banke, zaseg hiše - grdi kreditojemalci.
Novorek idiokracije:
posebaj, skropucalo, inžinir, intiligenca/intelegenca, apsolutno, anEks.

antonija ::

Em, da, temu se reče osebna odgovornost za lastne odločitve. Če razmišljaš o novi hiši, ki je nisi sposoben odplačevati in greš na banko, ta pa ima preveč denarja, ki je poceni, popolnoma pa odpovedo interni mehanizmi obvladovanja tveganj - kdo je tu kriv?
Glede na to da so propadle banke... bi rekel da banke. Pa se lagale so o svojem pocetju ko so doticne kredite oznacevale kot varne.
Ljudje, ki so si zidali hise so bili pred zidabnjem brez dnarja, po zidanju pa tudi.

Če greš po droge do lokalnega dealerja, ali je za tvojo odvisnost kriv dealer, ali ti sam ali morda dogodki iz tvoje preteklosti?
Odvisno zakaj uporabis droge :) Ce jih zdilas naprej ni odvisnez, pa se profit imas :D

Niso in ne morejo pa biti krive tega, da si ti s praznim žepom šel na banko po denar, za katerega veš (ali bi moral vedeti), da si ga nezmožen odplačevati.
A ni skoraj edina naloga bank, ko stopi skozi vrata prosilec za kredit, da se prepricajo, da bojo dobile denar nazaj (da je kreditojemalec sposoben odplacati kredit)?

Ali poenostavljeno: banke so največji krivec za finančni pok zaradi kršenja pravil in razuma, za usodo posameznikov pa so ti v CELOTI krivi sami.
No vidis, tle se pa 100% strinjam. Ampak del kjer meni dvigne pokrovko ni se tukaj, ampak par mesecev kasneje ko drzava daje bankam davkoplacevalski (moj!) denar, zato ker so dajali debilne kredite. Ce so nesposobni nej propadejo (banke in posamezniki; izjeme so edino posamezniki ki sami ne morejo skrbeti zase, ampak tisti imajo pa itak zakonitega zastopnika (ki je sposoben skrbeti zase) in zanj velja enako pravilo).
Statistically 3 out of 4 involved usually enjoy gang-bang experience.

Iatromantis ::

Spura je izjavil:

Ti stanovanjski krediti, ki jih je financni sektor okoli prodajal, so vedno imeli izvor v fizicni osebi. Tako da ni bilo nekaj tisoc ampak precej vec ljudi. Zato je pa smesno ko ljudske mnozice protestirajo, ker je polovica krivde na njihovih ramenih. Samo bo prej pekel pomrznil, kot bi ljudje prevzeli odgovornost za lastne napake. Podobno v grciji protestira cel kup ljudi, mnogi od katerih so leta in leta utajevali davke. Zdaj skandirajo, da oni ne bodo placevali za igrice politikov, kljub temu da sami niso placevali nicesar v preteklosti (in politiki so zadolzevali drzavo za vzdrzevanje benefitov, ker drugace bi spet bil kazin).


A zdaj naj pa mi brez kreditov sprejmemo odgovornost, da imamo nižje plače in sivo prihodnost?

Že prav da vidiš prave ljudi, saj ljudje sestavljajo firme, a ne moreš me prepričati, da lahko revni ljudje potopijo globalni finančni sistem, to je neumnost, ki jo širi privilegirana kasta, kateri je zadnje 30 let dohodek rasel, medtem ko je srednjemu sloju stagniral ali padal ob sočasnem povečanju zadolžitev, zaradi odpuščanj, ko je treba delo še vedno opraviti, pa čeprav je manj ljudi.

Moja poanta je bila, da je na žalost za večino pravnih subjektov Enronov način financiranja edina pot in ta pot je zelo odgovorna za zdajšnji potop. Seveda pa so kot praviš, nekje tudi ljudje, in tudi na tem nivoju je goljufije ogromno - a večina je je zaradi nasilja sistema - če mi kuharca v menzi v joto da dodatna kosa mesa in gestikulira, naj tega ne pokažem na kasi, ker je njej mimo, da kosek mesa ali manjši kos kruha stane tako veliko, da raje 'goljufa' svojega delodajalca, potem se boš strinjal, da ljudje pač nismo roboti in ko nas prisilijo v takšno delovanje in potem najdemo svoje načine za upor. A ne bi bilo lažje, da se skušamo izogniti takšnim situacijam in namesto da bogati procent sili ostalih 99 v robotiko, uporabimo vso nakopičeno znanje in tehnologijo, da se izognemo odtujevanju proizvodnega procesa?

leiito ::

to pomeni, da tudi v Mercatorju mutijo, ker je ful cen z 9-kami

antonija ::

Ja. A ni to precej ocitno?
Statistically 3 out of 4 involved usually enjoy gang-bang experience.

Iatromantis ::

leiito je izjavil:

to pomeni, da tudi v Mercatorju mutijo, ker je ful cen z 9-kami


Zanimivo je tudi, da po eni izmed teorij označevanja cen z končnimi 9tkami, to izvira ravno iz poskusa zmanjševanja škode od kradljivih uslužbencev. Če so cene ne-cela števila, to poveča možnost odprtja blagajne zaradi vračila drobiža, kar pušča neko sled, medtem ko bi pri celih številih prodajalec lahko samo pospravil bankovec brez računa.

Pa še primer korupcije s strani vseh vpletenih za dobavo elektrike NY Cityu. Od 2006 do 2009 je edini ponudnik elektrike dobil konkurenčna ponudnika. Profiti bi gotovo padli, cena je bila takrat najvišja možna, saj je niso uspeli dobaviti dovolj. Za preprečitev tega scenarija so se obrnili na banko Morgan Stanley, ki ji je uspelo pripraviti nakano, v kateri so profitirali vsi, razen končnih odjemalcev, za katere je cena ostala nespremenjena, najvišja možna zakonsko določena.

Morgan recognized that it could profit from combining the
economic interests of KeySpan and Astoria. Morgan extracted revenues by
entering into the financial instruments and thereby stepping into the
middle of the two companies. With KeySpan deriving revenues from both
its own and Astoria's capacity, the Morgan/KeySpan Swap removed any
incentive for KeySpan to bid competitively, locking it into bidding its
cap. Capacity prices remained as high as if no entry had occurred.

Zgodovina sprememb…



Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Zaporedna praštevila nimajo rada enakih zadnjih števk

Oddelek: Novice / Znanost in tehnologija
314805 (2746) Jst
»

Prosto dostopne ocene indijske mature na spletu kažejo nepravilnosti

Oddelek: Novice / Varnost
246581 (3481) Afo
»

Statistika in računalniki z Benfordovim zakonom kažejo na finančne malverzacije

Oddelek: Novice / Znanost in tehnologija
245637 (4221) Iatromantis
»

Zanimivo - Test Benfordovega zakona

Oddelek: Znanost in tehnologija
221620 (1269) Thomas
»

New Pattern Found In Prime Numbers

Oddelek: Znanost in tehnologija
61149 (742) hamax

Več podobnih tem