» »

CrowdStrike se je oglasil s prehodnim poročilom

CrowdStrike se je oglasil s prehodnim poročilom

Slo-Tech - Slab teden po okvarjeni posodobitvi za CrowdStrikov Falcon, ki je onesposobil 8,5 milijona računalnikov z Windows, ki so imeli nameščeno to orodje, imamo prve proizvajalčeve informacije o incidentu. CrowdStrike jo opisal postopek posodabljanja.

Pojasnili so, kakšne vrste posodobitev za CrowdStrike Falcon se je v petek nameščala. Šlo je za manjšo posodobitev, tako imenovani Rapid Response Content, ki vsebuje nove definicije za grožnje, pred katerimi varuje Falcon. Vse posodobitve pred izdajo testirajo, a jim jo je to pot zagodlo okolje za testiranje Content Validator, ki ni ujelo napake. To je bil tudi razlog, da se je izmuznila in se dobro uro nameščala na računalnike po svetu.

Da se to ne bo več ponovilo, bodo uvedli nekaj sprememb. Poleg sprememb v Content Validatorju bodo uvedli tudi postopno nameščanje posodobitev. To je standardna taktika, ki jo je Microsoft že absolviral. Namesto vseh računalnikov hkrati bo vsak popravek najprej srečal manjšo podmožnico sistemov, nato pa ga bodo namestili še na ostale. V primeru napake, je tako prizadetih precej manj sistemov. Še ena sprememba pa bo več nadzora, ki ga bodo uporabniki dobili nad časovnico nameščanja posodobitev. To se ne bo več dogajalo kadarkoli, na primer sredi noči po lokalnem času, temveč po želji.

CrowdStrike bo v prihodnjih tednih izdal še končno poročilo, v katerem bodo natančno opisali zaporedje dogodkov, ki so svet skoraj ustavili.

35 komentarjev

JanBrezov ::

CrowdStrike offers a $10 apology gift card to say sorry for outage
https://techcrunch.com/2024/07/24/crowd...

Ampak:
On Wednesday, some of the people who posted about the gift card said that when they went to redeem the offer, they got an error message saying the voucher had been canceled. When TechCrunch checked the voucher, the Uber Eats page provided an error message that said the gift card “has been canceled by the issuing party and is no longer valid.”

Zgodovina sprememb…

mrTwelveTrees ::

Kaj pa izplačilo strankam ki so imeli zaradi tega škodo? O tem pa nič ?

Edit: sem prebral zdaj zgornji post... 10$ je šala ?

Zgodovina sprememb…

Gregor P ::

Smo v sredini leta 2024 v 21. stoletju in tako pomembno IT varnostno podjetje bo šele sedaj upeljalo v novici zapisane korake 8-O

Brez besed ...
The main failure in computers is usually located between keyboard and chair.
You read what you believe and you believe what you read ...
Nisam čit'o, ali osudjujem (nisem bral, a obsojam).

dronyx ::

Namesto vseh računalnikov hkrati bo vsak popravek najprej srečal manjšo podmožnico sistemov, nato pa ga bodo namestili še na ostale. V primeru napake, je tako prizadetih precej manj sistemov.


To je nekako logično, samo potem pa nimaš več "Rapid Response", če ostali dobijo popravek/definicijo čez dlje časa. Recimo da enkrat pride nek virus, ki se zelo hitro širi po svetu. Ti, ki bi prvi dobili novo definicijo za virus bi bili zaščiteni, ostali se okužijo. Potem bi pa spet modrovali kakšen beden sistem je to, da ni vseh zaščitil takoj. vedno gre lahko nekaj narobe. :D

Zgodovina sprememb…

  • spremenil: dronyx ()

DamijanD ::

Samo nekaj bi rad preveril. Vsaka mašina s tem je crknila, a ne? Zanimivo mi je, da za tako resno stvar nimajo na koncu niti enega real testa (V stilu imamo prod release ready, dajmo updatat vsajo eno target mašino, a zgleda vsaj približno ok)?

Invictus ::

DamijanD je izjavil:

Samo nekaj bi rad preveril. Vsaka mašina s tem je crknila, a ne? Zanimivo mi je, da za tako resno stvar nimajo na koncu niti enega real testa (V stilu imamo prod release ready, dajmo updatat vsajo eno target mašino, a zgleda vsaj približno ok)?

Saj o tem smo že govorili.

Ampak danes mularija dela na Agile način, kar pomeni, instinktivno, brez načrta, brez dokumentacije, in testiranje v produkciji :D.

In računa, da jih bo Cloud rešil, če bodo problemi... Pa je cel kup primerov, da Cloud ni rešitev za vse HA, backlupe, archive, resilience, itn... Sam to so pojmi, ki so šli v pozabo z uvedbo clouda in AI...
"Life is hard; it's even harder when you're stupid."

http://goo.gl/2YuS2x

LightBit ::

DamijanD je izjavil:

Vsaka mašina s tem je crknila, a ne?

Ne, ni. Meni dve mašini ki so bile v tem času prižgane nista crknile. Morda se posodobitev ni še naložila.

Zgodovina sprememb…

  • spremenil: LightBit ()

mtosev ::

Dobro, da bodo spremenili postopek.
Core i9 10900X, ASUS Prime X299 Edition 30, 32GB 4x8 3600Mhz G.skill, CM H500M,
ASUS ROG Strix RTX 2080 Super, Samsung 970 PRO, UltraSharp UP3017, Win 11 Pro,
Enermax Platimax 1700W | moj oče darko 1960-2016, moj labradorec max 2002-2013

Invictus ::

Kdo ga bo spremenil? Stranke CrowStrika?

Malo morgen...

V teh multinacionalkah rečeš, da rabiš 5 testnih serverjev, pa vsi v luft kako je to drago. In to na VmWaru...

Kak server dobiti je mission impossible, pa še zakomplicirajo s postopki. Pol pa IT folk reče, fuck off, pač ne...
"Life is hard; it's even harder when you're stupid."

http://goo.gl/2YuS2x

PunkDude ::

CrowdStrike... Saj piše.

misek ::

Firma ima menda nekaj 1.000 zaposlenih. A sami ne uporabljajo tega produkta, da bi najprej namestili posodobitev v firmi, nato pa worldwide?

Invictus ::

Seveda ne, saj niso butasti :)).

Tako kot IBM ne uporablja večine svojih produktov pri sebi :D.
"Life is hard; it's even harder when you're stupid."

http://goo.gl/2YuS2x

jlpktnst ::

V članku mogoče manjka, da zrela cloud podjetja že leta delajo postopne rolloute updatov.

Definitivno jim manjkajo varovalke in boljši testi, čeprav verjetno imajo kup varovalk. Nimajo pa nekaterih ki bi jih pričakoval od tako high-impact sistema.

1. slišim da nimajo checksuma na update, če je to res, potem je tudi možno da je crknil upload v CDN. Če je to res... je to katastrofalno slabo
2. gradual rollout s klicem domov in health checki. Naj razložim, naloži se nadgradanja na 0,1% strank (naključno ali izbrano) nato se postopoma količina stopnjuje. Ti sistemi potem sporočijo domov svoje stanje. V tem primeru bi se kaj hitro pokazalo da je call home rate nizek.
3. Nepopolno testno okolje, potencialno slabi podatki v testu. Definitivno pa nimajo postavitve ki bi testirala na pravih podatkih in živem okolju, ker bi tam to zaznali. Očitno je pri vseh testih nek mock/testni podatki ki so v tem primeru očitno bili drugačni in je zadeva delovala. Načeloma je lahko to prvi korak gradual rollouta iz točke 2., ki najprej namesti nadgradnje na sisteme v hiši.
4. Razsutje programa, ki je tekel z najvišjimi privilegiji brez kakršnega koli fallback sistema.

Pa še kaj je tu kriv Microsoft? Je delno. Windows sistem je katastrofalen glede recovery opcij. Manjka preprost način za rollback ali pa za delno nalaganje sistema če crkne en gonilnik. Uglavnem nekaj takega čakamo že 20 let in še kar ni. Z Visto so dodali nekaj... ampak to kar so dodali takrat nikoli ni pravilno in uporabno delovalo. Aja to mogoče celo ne bi pomagalo v tem primeru, ker se je datoteka pod vprašanjem naložila dinamično.

Aja nihče ni omenil, da je postavit gonilnik ki vsebuje interpreter v najožji kernel ring malo samomorilsko?

Definitivno potrebujemo več podatkov

DamijanD ::

Ja tukaj dejansko ni prišlo do menjave gonilnika (da bi Winsi lahko delali kakšen rollback) ampak je "ista" različica gonilnika nehala delovati. Bi bilo pa fino, če bi potem po rebootu avtomatsko onemogočil problematični gonilnik.
Ampak recimo, da ti v nekem špilu vse skupaj crkne zaradi GPU driverja in če bi uporabil zgornji recept, bi potem prvi reboot bil brez GPU gonilnikov...

LightBit ::

jlpktnst je izjavil:

1. slišim da nimajo checksuma na update, če je to res, potem je tudi možno da je crknil upload v CDN. Če je to res... je to katastrofalno slabo

Varnostno podjetje pa tako. To bi moralo biti podpisano, drugače lahko kdo tudi prestreže in namerno podtakne škodljivo posodobitev.

twom ::

LightBit je izjavil:

DamijanD je izjavil:

Vsaka mašina s tem je crknila, a ne?

Ne, ni. Meni dve mašini ki so bile v tem času prižgane nista crknile. Morda se posodobitev ni še naložila.
Posodobitve niso prišle do Evrope (časovnega pasu), so jih prej ustavili. Začeli so na drugi strani planeta, kjer poteka datumska črta.

LightBit ::

twom je izjavil:

LightBit je izjavil:

DamijanD je izjavil:

Vsaka mašina s tem je crknila, a ne?

Ne, ni. Meni dve mašini ki so bile v tem času prižgane nista crknile. Morda se posodobitev ni še naložila.
Posodobitve niso prišle do Evrope (časovnega pasu), so jih prej ustavili. Začeli so na drugi strani planeta, kjer poteka datumska črta.

Seveda so prišle. Veliko sodelavcev je imelo problem.

Jure14 ::

Kaj pa puščajo računalnike čez noč prižgane. :D
Ekologija pa to.

LightBit ::

Jure14 je izjavil:

Kaj pa puščajo računalnike čez noč prižgane. :D
Ekologija pa to.

Eni so bili dovolj zgodni. Mnogi se tudi remotajo v pisarno in zato mora biti prižgan.

Invictus ::

Remote na desktop v pisarni?

Kaj je IT iz leta 1993?
"Life is hard; it's even harder when you're stupid."

http://goo.gl/2YuS2x

LightBit ::

Invictus je izjavil:

Kaj je IT iz leta 1993?

Na žalost ne, sicer ne bi bilo vse cloud. So pa mnogi sodelavci iz pred leta 1993.
Prenosnike smo začeli dobivati šele nekje 2 leti po začetku Korone, zato so mnogi navajeni delati tako. Res je tudi da prenosnikom hitro zmanjka RAM-a.

DamijanD ::

Kaj pa je narobe, če se RDCjaš na WorkStation?

Invictus ::

To, da je firma nesposobna kupiti dovolj močne laptope...

Zdaj, ali je to finnačni problem, ali pa mentaliteta IT, ali celo direktorja, ne bom ugibal...

Desktop škatle danes rabi samo par res specifičnih profilov, pa še tem lahko zadeve spraviš v nek server rack
"Life is hard; it's even harder when you're stupid."

http://goo.gl/2YuS2x

c23po ::

Invictus je izjavil:

To, da je firma nesposobna kupiti dovolj močne laptope...

Zdaj, ali je to finnačni problem, ali pa mentaliteta IT, ali celo direktorja, ne bom ugibal...

Desktop škatle danes rabi samo par res specifičnih profilov, pa še tem lahko zadeve spraviš v nek server rack

Kako je pri tem
- z licencami za programsko opremo
- z administriranjem dodadnih prenosnikov
- z delovnimi postajami, ki komaj delujejo na fizičnem hardverju, virtualizacija je praktično mission impossible
- ...
Računalniki nimajo spominov.

Invictus ::

c23po je izjavil:


Kako je pri tem
- z licencami za programsko opremo
- z administriranjem dodadnih prenosnikov
- z delovnimi postajami, ki komaj delujejo na fizičnem hardverju, virtualizacija je praktično mission impossible
- ...

Zelo specifični problemi...

Da se danes tega ne da narediti, to niti stotinka promila primerov ni...
"Life is hard; it's even harder when you're stupid."

http://goo.gl/2YuS2x

c23po ::

V Sloveniji se letno vpiše 5 do 6 tisoč študentov tehničnih strok. Če konča le vsak drugi, imamo 3.000 zaposlenih krat 40 generacij kar nanese 15 tisoč krat več od stotinke promila.
Solatkova statistika ali kaj?

Če misliš, da ti "specifični" problemi tarejo samo "specifično" populacijo, potem tvoje izkušnje obsegajo samo specifično računalniško populacijo.
Računalniki nimajo spominov.

Invictus ::

In vsi ti diplomanti tehničnih faksov rabijo en usran predpotopen workstation, ker lastnik špara na opremi, in ga zmaže skoraj vsak 1k - 1,5k vreden nov laptop.

Ta obsedenost z workstationi in starimi grafikami samo kaže na zahojenost večine uporabnikov le teh... Dvomim, da res nek software rabi neko specifično kartico, da lahko dela...

Kdo ima v Sloveniji workstation za 30k - 50k, kjer gor laufa software za 300k? Legalen software seveda, ne neka kopija, škatla pa ne na mreži...

In če je na workstation priklopljen en velik monitor (ali več njih), kako lahko dela uporabnik potem od doma na nekem malem laptopu? Pač ne pije vode...

Prav rad bi videl primer, kjer je software tako specifičen, da se ga danes ne more virtualizirati, ker rabi nek res specifičen hardver... Pa pustmo kontrolo nekih mašin, vemo da so strojniki čisto srečni, če jim ena verzija softwara dela v redu ne eni verziji Windowsov, ki je ne smeš updatat...
"Life is hard; it's even harder when you're stupid."

http://goo.gl/2YuS2x

Zgodovina sprememb…

  • spremenil: Invictus ()

darkolord ::

DamijanD je izjavil:

Bi bilo pa fino, če bi potem po rebootu avtomatsko onemogočil problematični gonilnik.
Dvorezni meč, to bi postal potem nov vektor za napad, saj bi tako lahko onesposobil zaščito.

LightBit ::

Invictus je izjavil:

To, da je firma nesposobna kupiti dovolj močne laptope...

Nekateri vem da imajo tudi prenosnike z i9. Tako da to očitno ni problem. Mnogi zaposleni pa še vedno preferirajo veliko škatlo z i7, ki je v resnici še vedno bolj zmogljiva kot prenosnik z i9.

Invictus je izjavil:

Zdaj, ali je to finnačni problem, ali pa mentaliteta IT, ali celo direktorja, ne bom ugibal...

Gre za zaposlene (mentaliteta da prenosnik ni dovolj zmogljiv, na desktopu v pisarni je že vse nameščeno in konfigurirano).
IT bi imel raje samo prenosnike. Direktor se s tem verjetno ne ukvarja.

fikus_ ::

Invictus, pretiravaš!
Verjetno WS za 30-50k€ v SLO prešteješ s prsti na rokah in 300 k€ SW za to.
Je pa precej WS za 4-8 k€ in SW do 10 k€ oz. z naročninami.
Učite se iz preteklosti, živite v sedanjosti in razmišljajte o prihodnosti.

sbawe64 ::

Kakšen je WS za 30-50kEUR ?
Kolik kg zlata je zraven ?
2020 is new 1984
Corona World order

Zgodovina sprememb…

  • spremenilo: sbawe64 ()

Ghost7 ::

sbawe64 je izjavil:

Kakšen je WS za 30-50kEUR ?
Kolik kg zlata je zraven ?


Da se, ampak da kdo zna to utilizirat? To so cene serverjev z Xeon Gold procesorji, oziroma "tahudimi" Epici.

Sicer že hudo dobra grafika A6000 stane 5 jurjev z 48GB ECC VRAM. Ampak kaj ti bo? Dizajniranje? Česa?

Za AI in ML ziher ne, to se da serverjem delat.

Nenazadnje tak hardware greje, hlajenje pa je glasno, pod mizo ziher tega nočeš imet.
https://www.bitstamp.net/ref/OM6lA9mwoeRO5Rba/

c23po ::

Invictus pravi:
In vsi ti diplomanti tehničnih faksov rabijo en usran predpotopen workstation, ker lastnik špara na opremi, in ga zmaže skoraj vsak 1k - 1,5k vreden nov laptop.
Torej sva se očitno dogovorila glede statistike in množice diplomantov. Kul!
Ne rabijo "usran predpotopen" ampak rabijo stroj, na katerem lahko opravijo naloge. Lastnik špara toliko, da zaposleni še lahko opravijo naloge in ne toliko stiskaško, kot ti misliš.
Nagradna naloga zate: najdi ponudbo za novo prenosno delovno postajo za ceno manjšo od 2.000 €. Potrebujemo decentni grafični pospeševalnik, 4 TB diskovja in 64 GB pomnilnika za obdelavo posnetka objekta s poinctloud.

Ta obsedenost z workstationi in starimi grafikami samo kaže na zahojenost večine uporabnikov le teh... Dvomim, da res nek software rabi neko specifično kartico, da lahko dela...
...ker se, npr. dobro grafično kartico za Solidworks splača emulirati na virtualizacijskem strežniku. Veš koliko to stane?

Kdo ima v Sloveniji workstation za 30k - 50k, kjer gor laufa software za 300k? Legalen software seveda, ne neka kopija, škatla pa ne na mreži...
To ne. WS za 3-5 tisoč in sw za 3.000 letno pa. Pogosto.

In če je na workstation priklopljen en velik monitor (ali več njih), kako lahko dela uporabnik potem od doma na nekem malem laptopu? Pač ne pije vode...
RDP omogoča več monitorjev. Toliko, koliko jih je na lokalni mašini. Pije vodo.

Prav rad bi videl primer, kjer je software tako specifičen, da se ga danes ne more virtualizirati, ker rabi nek res specifičen hardver... Pa pustmo kontrolo nekih mašin, vemo da so strojniki čisto srečni, če jim ena verzija softwara dela v redu ne eni verziji Windowsov, ki je ne smeš updatat...

Perplexity pravi:
"...Da, lahko legalno virtualizirate macOS na Apple strojni opremi z uporabo programske opreme za virtualizacijo, kot sta VMware Fusion ali Parallels Desktop. To vam omogoča, da zaženete macOS v virtualnem stroju poleg vašega glavnega operacijskega sistema. Licenčna pogodba ... [bla bla bla] ... Nekaj ključnih točk:

Fusion podpira virtualizacijo različic macOS od 10.5 do najnovejše izdaje.
Ne morete uporabiti macOS VM, ustvarjenega v Fusion, v drugih VMware izdelkih, kot je Workstation.
Fusion nima podpore za nekatere funkcije v macOS VM, kot so več zaslonov in 3D grafika.
..."
... pa se mi niti ni bilo treba ukvarjati s Solidworksom, Revitom, ArchiCADom...
Računalniki nimajo spominov.

Invictus ::

A daj no, si privlekel ven en skrajni primer... Plus MacOS.

Razen tistih oblikovalcev, ki se imajo za nekaj več, malokdo sploh še uporablja MacOS. Ajde, nekaj računalničarjev, ampak je to samo drag terminal.

Drugače pa ti Mac oblikovalci uporabljajo navadne MacBooke, ko pa je treba zadevo renderirat, se pa najame zadeve v cloudu. Sicer ne vem kje, ampak boš že našel. Hitreje narejeno in dolgoročno ceneje...

Zato, da delaš filmčke, pač ne rabiš tehničnega faksa...

Ti urejevalci slik/filmov so pač fini malo obrtnički...

... pa se mi niti ni bilo treba ukvarjati s Solidworksom, Revitom, ArchiCADom...


Če to uporabljaš na MacOS, pol si res omejen. Ampak si si predvsem sam kriv z napačno izbiro OS.
"Life is hard; it's even harder when you're stupid."

http://goo.gl/2YuS2x

c23po ::

Invictus je izjavil:

A daj no, si privlekel ven en skrajni primer... Plus MacOS.
...

Ti si želel:
Prav rad bi videl primer, kjer je software tako specifičen, da se ga danes ne more virtualizirati, ker rabi nek res specifičen hardver...
in je bilo tako enostavno najti. Tudi vse ostalo, kar pišeš je stališče nekoga, ki nič ne ve in misli, da zato tudi ostalim ni treba nič vedeti.
Računalniki nimajo spominov.


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Izpad računalniških sistemov po celem svetu, rešitev že znana (strani: 1 2 3 )

Oddelek: Novice / Varnost
12812515 (3959) joez7
»

Potop CrowdStrike dan pozneje

Oddelek: Novice / Operacijski sistemi
325047 (1532) Lonsarg
»

Po svetu obsežen izpad računalniških sistemov, ki je prizadel banke, letališča in trg

Oddelek: Loža
482443 (1227) GupeM

Več podobnih tem