Slo-Tech - Na deset tisoče računalnikov po vsem svetu se je danes pritožilo in prikazalo zloglasni modri zaslon smrti, namesto da bi normalno naložilo Windows. Težave so prizadele trgovine, letalske prevoznike in letališča, banke, drugo ključno infrastrukturo. Hitro se je izkazalo, da je skupni imenovalec programska oprema CrowdStrike Falcon, ki jo uporabljajo za zaščito pred hekerskimi napadi. Slaba posodobitev tega programa je na kolena spravila sistem Windows, kjer jre nameščen.
Težave so se začele širiti v Avstraliji in daljnem vzhodu, kjer so se prvi zbudili v nov dan. Sedaj se širijo proti zahodu, ko se delovni dan začenja v preostalih delih sveta. CrowdStrike je že priznal težavo in dejal, da njegovi inženirji že odpravljajo težavo. Medtem so težave prizadela ogromne kose internetne infrastrukture. Težave so tudi v velikih oblačnih storitvah, kot je Microsoft 365, v fizični svet pa pronicajo kot motnje pri oddajanju televizijskih kanalov, odpovedani leti na letališčih, nedelovanje trgovin itd. Težave imajo na londonski borzi, v ZDA je padla številka za klic v sili, v Veliki Britaniji zamujajo vlaki, v posametnih nemških bolnišnicah odpovedujejo napovedane nenujne posege itd.
Prva pomoč obstaja. Windows je treba zagnati v varni način (Safe Mode) ali WRE. V mapi C:\Windows\System32\drivers\CrowdStrike poiščemo datoteko C-00000291*.sys, jo pobrišemo in ponovno zaženemo. Sistem se bo postavil, CrowdStrike pa je posodobitev že umaknil. To sicer ni idealna rešitev, ker jo je treba ročno izvesti na vsakem računalniku, kar lahko v večjih sistemih traja ure. Oddaljena posodobitev ni možna, ker so računalniki ujeti v neskončni zanki ponovni zagonov. Domači uporabniki in mala podjetja pa lahko to storijo sorazmerno hitro.
Ljudje smo pogosto žrtve napačnega posploševanja. To je bila grda napaka, ampak na nek brezvezen način. Pri CrowdStrike je večina strokovnjakov svoje delo opravila, nekdo pač ne. Izkušnja jih bo verjetno izučila in bodo postali temeljitejši. Določene stranke bodo izkušnjo zamerile in iskale nove rešitve.
Ljudje smo pogosto žrtve napačnega posploševanja. To je bila grda napaka, ampak na nek brezvezen način. Pri CrowdStrike je večina strokovnjakov svoje delo opravila, nekdo pač ne. Izkušnja jih bo verjetno izučila in bodo postali temeljitejši. Določene stranke bodo izkušnjo zamerile in iskale nove rešitve.
Pa tak je že nekaj časa pri SWju končni uporabnik beta tester...
Meni gre CrowdStrike na živce (upočasnjuje in blokira) od kar so ga v firmi namestili povsod, tako da me prav veseli da se je to zgodilo. Upam da čim prej ponovijo ali naredijo še kaj hujšega. No, saj ne pravim da je konkurenca boljša. Na splošno ne zaupam tem zadevam in so samo nadloga.
Na HackerNews je mogoče najti zanimiv komentar, da si CrowdStrijka v resnici nihče ne želi, ampak da so ga namestili zato, da lahko naredijo kljukico v varnostni dokumetaciji oz. postanejo skladni z zahtevami zakonodaje in standardov ...
Nikoli še nisem slišal za omenjeni CrowdStrike (Falcon). Domači računalnik bi moral delovati brez težav, če nimaš to nameščeno, je tako?
Hrabri mišek (od 2015 nova serija!) -> http://tinyurl.com/na7r54l
18. november 2011 - Umrl je Mark Hall, "oče" Hrabrega miška
RTVSLO: http://tinyurl.com/74r9n7j
Si predstavljate, da ste nek nadebudni sistemc na novo zaposleni v neki veliki firmi, kjer je 15 let vse delalo, potem ste pa prepričali šefe, da res nujno rabimo še to kljukico, in po par tednih, kabum... Džabe vsi izgovori, najprej bi ti letel.
Misliš, da je Avstralija dejansko v prihodnosti? Ko bo asteroid zadel Zemljo, bomo lahko gledali posnetke iz Avstralije?
V tej novici piše dobesedno - Težave so se začele širiti v Avstraliji in daljnem vzhodu, kjer so se prvi zbudili v nov dan. Sedaj se širijo proti zahodu, ko se delovni dan začenja v preostalih delih sveta.
To je tako kot Novo leto. Če vidiš, da gre pri przanovanju prehoda v novo leto nekaj narobe v Avstraliji ti pač ne izvedeš veselice. Ali razmišljam narobe?
Je pa seveda tudi možno, da imaš to posodobitev že nekje nameščeno na računalniku in se samo aktivira na določen dan ob 00:00.
V velikih multinacionalkah so tako zakomplicirali vse procese, da je nemogoče kakorkoli hitro urigirat. Vedno je treba sledit specifičnim korakom, ker revizorji... In te procese še bolj zakomplicirajo vsake toliko časa. To je postalo vse tako nefleksibilno kot ena javna uprava.
Si predstavljate, da ste nek nadebudni sistemc na novo zaposleni v neki veliki firmi, kjer je 15 let vse delalo, potem ste pa prepričali šefe, da res nujno rabimo še to kljukico, in po par tednih, kabum... Džabe vsi izgovori, najprej bi ti letel.
V neki velki firmi ne bo sistemc odgovoren, ampak ciso, ker on zahteva to kljukico in on izbira providerja
V velikih multinacionalkah so tako zakomplicirali vse procese, da je nemogoče kakorkoli hitro urigirat. Vedno je treba sledit specifičnim korakom, ker revizorji... In te procese še bolj zakomplicirajo vsake toliko časa. To je postalo vse tako nefleksibilno kot ena javna uprava.
Ja, po moje je bolj v tem težava. Verjetno je procedura, da zaustaviš distribucijo neke posodobitve tako kompleksna, da traja to skoraj cel dan.
Najbrž tudi niso našli vzroka v par minutah, se ti ne zdi? Najprej mora nekaj ljudi sporočit težavo, ki jo MS itak najprej ignorira, ker nima razloga, da bi zarad par bluescreenov naredil strašno paniko. Ko so videli, da je bolj resno, so najbrž našli vzrok pri MS, in potem bolj natančno pri CrowdStrike. To se ne zgodi v pol ure. Ta čas se serverji updajtajo... In problem je morda bil šele pri rebootu, kar se na strežnikih ne dela kar tako vsak dan. Morda, če je bluescreen nastal šele pri rebootu, ne vem.
Najbrž tudi niso našli vzroka v par minutah, se ti ne zdi? Najprej mora nekaj ljudi sporočit težavo, ki jo MS itak najprej ignorira, ker nima razloga, da bi zarad par bluescreenov naredil strašno paniko. Ko so videli, da je bolj resno, so najbrž našli vzrok pri MS, in potem bolj natančno pri CrowdStrike. To se ne zgodi v pol ure. Ta čas se serverji updajtajo... In problem je morda bil šele pri rebootu, kar se na strežnikih ne dela kar tako vsak dan. Morda, če je bluescreen nastal šele pri rebootu, ne vem.
To drži, da verjetno je trajalo nekaj časa, da so odkrili vzrok za težave. Strežnike pa ne rebootaš parkrat na dan.
Si predstavljate, da ste nek nadebudni sistemc na novo zaposleni v neki veliki firmi, kjer je 15 let vse delalo, potem ste pa prepričali šefe, da res nujno rabimo še to kljukico, in po par tednih, kabum... Džabe vsi izgovori, najprej bi ti letel.
To se ne implementira zaradi nadobudnega sistemca. To se implementira ker jih jahajo zunanji avditorji ;)
Ja ja...misliš, da ima vsaka proizvodnja neke cisote, zunanje preglede in ne vem kaj. Kam bi pa prišli.
Tam kjer jih nimajo tudi ne nameščajo CrowdStrike-a. V 95% primerov se nahaja v nekih močno reguliranih organizacijah, ki so tudi podvržene zunanjim auditom.
Prva pomoč...včasih si imel F8, pa celo Windows je sam zagnal Rescue Environment če se ni 3x bootal, danes rabiš doktorat da sploh prideš v Safe Mode.
Potem je pa Cloud...na Windows 365 dobim samo Starting your PC in potem Unknown Error. Še dobro da tam nisem jaz sistemc, kako bojo to rešili ne vem. Najbrž bom dobil nov image in potem zaračunal 50 ur da si okolje postavim na novo...
...in potem je tukaj še Bitlocker, zato da ne moreš niti z drugega sistema prit do diska.
Še en komentar iz Reddita:
While we were working on detaching ec2 volumes, mounting elsewhere, etc. one of the greybeards here just started using "DEL /F /Q \\servername\c$\Windows\System32\Drivers\Crowdstrike\C-00000291*.sys" from a server that was working.
Open a cmd window and do a "ping -t servername". You get 5-6 pings during a reboot cycle. If you are quick you can execute the other command before the bugcheck happens.
Recimo, da je CrowdStrike res kriv. Kako naprej? Verjetno lahko firma pričakujejo tožbe s strani prizadetkih strank za povračilo izpada dohodka. To lahko gre v milijarde dolarjev. Kakšna je šansa, da firma propade po hitrem postopku? Obstajajo kakšna zavarovanja za take primere?
V neki vecji SLO firmi, so delavce po pisarnah poslali danes domov, ker jim IT sistem ni deloval. Res pa ne vem ali je zgolj slucaj s tem primerom, pa jim je res vse dol padlo.
Recimo, da je CrowdStrike res kriv. Kako naprej? Verjetno lahko firma pričakujejo tožbe s strani prizadetkih strank za povračilo izpada dohodka. To lahko gre v milijarde dolarjev. Kakšna je šansa, da firma propade po hitrem postopku? Obstajajo kakšna zavarovanja za take primere?
Verjetno se ne bo zgodilo nič posebnega. Kmalu bo pozabljeno in naslednjič bodo vsi zopet presenečeni.
Če imaš veliko število računalnikov za zrihtat, se pozna, @Hudobec82..
Tudi nekatera naša podjetja se niso ognila težavam.
Svetovni izpad informacijskih sistemov je prizadel tudi nekatera podjetja v Sloveniji, je potrdil direktor vladnega urada za informacijsko varnost Uroš Svete, vendar njihovih imen ni želel razkriti. Težave sta javno potrdila Krka in brniško letališče.
Saj po eni strani sploh ne bi bilo slabo, da bi ostali v kameni dobi za kak dan. Tolk smo vezani na te računalnike in telefone, da boli glava. Dejansko smo odvisni od njih, pol folka se kar trese, če telefona nima v žepu.
Če so ostali za par ur brez računalnikov, jaz vidim težavo samo pri klicu v sili in v bolnišnicah, ostalo pa ni tako nujno, ljudje velikokrat divjamo za brezveze. Če ni ogroženo življenje, ni nujno :)
Verjetno se ne bo zgodilo nič posebnega. Kmalu bo pozabljeno in naslednjič bodo vsi zopet presenečeni.
Kmalu bo pozabljeno predvsem zato, ker se dandanes takšne reči dogajajo precej redno. Kot rečeno, še vedno bolje kot pa da te LockBit-ajo, ker nimaš nobene zaščite saj je tako baje vse veliko veliko bolj enostavno.
Očitno ne poznajo t.i. canary releasov, ki bi tak problem precej omejili (če je nekako že prišlo preko internega testinga). Ogromna firma še ne pomeni zdrave pameti, morda gre spet za sindrom managerskih odločitev, kot pri Boeingu. Pri nas smo na srečo win free.
Tip, ki je to naredil je bolj malo kriv. Ker je to sploh lahko naredil. Cel proces jim očitno šepa.
Škodo ki jo je povzročil CrowdStrike, bo šla v milijarde po celem svetu. Težka bo da bodo preživeli. V Sloveniji stoji cela tovarna Krka, vse delavce so poslali domov. Še v menzi se ni dalo nič dobiti, tako so odvisni od računalnikov.
