» »

Zakaj je Amazon v ponedeljek ugonobil polovico interneta

Zakaj je Amazon v ponedeljek ugonobil polovico interneta

Slo-Tech - V ponedeljek zjutraj po slovenskem času, ko so v ZDA ravno dobro zatisnili oči, je imel Amazon velik problem. Več storitev AWS v regiji US-EAST-1 je kmalu po polnoči po lokalnem času postalo nedostopnih, kar se je v naslednji uri še stopnjevalo. Okrog 2. ure ponoči je Amazon ugotovil, kje tiči razlog, šele popoldne istega dne pa so težave dokončno odpravili. Medtem je bil v Evropi in Aziji delovni dan v polnem teku, številne storitve pa nedosegljive.

To je bil največji globalni izpad informacijskih storitev po lanskem fiasku CrowdStrikovega Falcona, ki je onesposobil več kot sedem milijonov računalnikov. Težave Amazonovem oblaku pa so bile še bolj vseobsegajoče, saj je izpadla kopica storitev, ki jih sploh ne nudi Amazon, a pri njem gostujejo. Reddit, Signal, Snapchat in številne druge platforme so onemele. Seveda so izpadli tudi Alexa, Prime in nekatere Amazonove storitve, a bistveno več je bilo zunanjih.

Podjetja so imela za več milijard dolarjev škode, saj so klecnile tudi spletne banke, prodaja letalskih vozovnic in še marsikaj. Ključni problem je bil izpad US-EAST-1, ki je Amazonov najstarejši in najpomembnejši podatkovni center, ki hkrati krmili marsikaj drugega. Tam so tudi komponente celotne infrastrukture AWS (IAM, DNS, CloudFront), ki zagotavljajo delovanje celotnega oblaka. Nazadnje se je Amazonu isto na isti lokaciji primerilo v letih 2020 in 2021.

Težava je tičala v razreševanju domen prek DNS, ki ni delovalo za končno točko DynamoDB API. Od te so odvisne storitve, ki gostujejo v AWS. Kasneje je Amazon zaznal še težave z zaganjanjem novih instanc virtualnih strojev (EC2 Instance) in v sistemu za uravnavanje zasedenosti (Network Load Balancer). Težave so dokončno odpravili ob 15. uri po lokalnem času, še nekaj ur pa je trajalo, da so izginile vse posledice.

62 komentarjev

«
1
2

skumpl ::

Sem opazil, da je imel Reddit težave.

enxtip ::

A je kaj takega kar je pri nas komu povzročalo preglavice? Spletne banke, wolt dostava..?
All your base are belong to us.

Grimnir3 ::

Ključni problem je bil izpad US-EAST-1, ki je Amazonov najstarejši in najpomembnejši podatkovni center, ki hkrati krmili marsikaj drugega. Tam so tudi komponente celotne infrastrukture AWS (IAM, DNS, CloudFront), ki zagotavljajo delovanje celotnega oblaka.


Toliko o več regijah Za boljši HA.

Samo ha-ha lahko rečem :))

Maximus ::

Iz decentraliziranega interneta smo šli v "mainfraime" centralizirano postavitev.
HA čez regijo tudi ni enostavno postaviti in tudi stane...

Zgodovina sprememb…

  • spremenil: Maximus ()

Grimnir3 ::

Maximus je izjavil:

Iz decentraliziranega interneta smo šli v "mainfraime" centralizirano postavitev.
HA čez regijo tudi ni enostavno postaviti in tudi stane...


Seveda ni enostavno.
Se vidi ko tega niti ponudnik sam nima. Glede na citiran del.

PacificBlue ::

skumpl je izjavil:

Sem opazil, da je imel Reddit težave.


Pa ravno na moj 500 Day Streak.
Kera beda:/
I’m out.
:3

d4vid ::

 DNS

DNS



Dajmo vse prestavit v cloud in se zanašat na enega ponudnika. Le kaj lahko gre narobe.
Main PC: HP Z240 | i5-7400 | 32 GB ram
Homelab: HP DL380g9 | Xeon E5-2680 | 192 GB ram

Zgodovina sprememb…

  • spremenil: d4vid ()

delavec44 ::

Meni ni delal le imdb.com. Če je sploh zaradi tega.

Glugy ::

A mora res imet eno podjetje tako moč nad celotnim internetom? To je največja ranljivost zahodnega interneta.

DamijanD ::

Nihče ne sili firm, da uporabljajo AWS infrastrukturo...

Miki N ::

Ko furaš firmo dostikrat ugotoviš, da te sicer nihče ne sili v nič ... si pa v marsikaj prisiljen. ;)

Zgodovina sprememb…

  • spremenil: Miki N ()

starfotr ::

Problem je, ker tudi večje firme gredo v cloud in nimajo več on-premises HW in SW.

Za mala podjetja še razumem, da najamejo druge, ker nimajo svojih IT ljudi in prostorov. Ampak velike firme si tega ne bi smele privoščit, da gostujejo pri trgovcu.

mtosev ::

Jaz na srečo nisem zaznal izpada. Vse kaj jaz uporabljam je delovalo. No škoda. So vsaj hitro rešili.
Core i9 10900X, ASUS Prime X299 Edition 30, 32GB 4x8 3600Mhz G.skill, CM H500M,
ASUS ROG Strix RTX 2080 Super, Samsung 970 PRO, UltraSharp UP3017, Win 11 Pro,
Enermax Platimax 1700W | moj oče darko 1960-2016, moj labradorec max 2002-2013

Miki N ::

mtosev je izjavil:

Jaz na srečo nisem zaznal izpada. Vse kaj jaz uporabljam je delovalo. No škoda. So vsaj hitro rešili.


Kako če si pa ravno zgoraj rekel, da ti je Reddit skinilo?

jan_g ::

Maximus je izjavil:

Iz decentraliziranega interneta smo šli v "mainfraime" centralizirano postavitev.
HA čez regijo tudi ni enostavno postaviti in tudi stane...


V tem primeru tudi to marsikomu ni pomagalo, ker so določene AWS storitve centralizirane prav v us-east-1. Pomagal bi HA čez različne ponudnike (npr. še Azure ali GCP), a je to še toliko težje in večina podjetij niti ni sposobna vzpostaviti take infrastrukture. Pokazala pa se je še ena pomanjkljivost in sicer pri sso dostopih (IAM Identify Center), ki deluje zgolj v tisti regiji, v kateri se ga je skonfiguriralo. In če je to bil us-east-1, potem admini niti niso mogli priti v konzolo ali administrirati kakšne druge storitve, ki je od tega odvisna (kot recimo EKS), tudi če so le-te delovale v drugi regiji.

Zgodovina sprememb…

  • spremenil: jan_g ()

saravak ::

Mislim, da bi bilo pametno in hkrati zanimivo, če bi podjetja izvajala test delovanja storitev ob izpadu USA regije ter morda kritična infrastruktura tudi izpad vsega kar ni v SLO.

Zanašanje recimo na MFA, ki je vezan na strežnike, ki so "predaleč" je za kritično infrastrukturo res neprimerno.

alternative ::

Rusija naredi občasno prav to, prekine povezave navzven, da lahko preverijo, koliko so občutljivi na take in hujše vrste izpadov:

https://slo-tech.com/novice/t836084#crta

gen Maister ::

Ja zakaj polovico!??
Zakaj ni kar cel net crknu!??
Bi bila tema!?? ?

Stari89 ::

V pisarni smo imeli manjše probleme z Dockerjem, NPMjem, Jiro in Slackom. Morda smo izgubili 15 minut dela?

opeter ::

mtosev je izjavil:

Jaz na srečo nisem zaznal izpada. Vse kaj jaz uporabljam je delovalo. No škoda. So vsaj hitro rešili.


V zadnjem času razen Slo-Techa pa RTV SLO-jeve strani drugo skorajda ne uporabljam. :D
V spletno banko pa se nisem prijavil.
Hrabri mišek (od 2015 nova serija!) -> http://tinyurl.com/na7r54l
18. november 2011 - Umrl je Mark Hall, "oče" Hrabrega miška
RTVSLO: http://tinyurl.com/74r9n7j

Miki N ::

opeter je izjavil:

mtosev je izjavil:

Jaz na srečo nisem zaznal izpada. Vse kaj jaz uporabljam je delovalo. No škoda. So vsaj hitro rešili.


V zadnjem času razen Slo-Techa pa RTV SLO-jeve strani drugo skorajda ne uporabljam. :D


Aha, ti si torej tisti, ki trola naše "Ukrajince" in jim pije živce! ;(

mtosev ::

opeter je izjavil:

mtosev je izjavil:

Jaz na srečo nisem zaznal izpada. Vse kaj jaz uporabljam je delovalo. No škoda. So vsaj hitro rešili.


V zadnjem času razen Slo-Techa pa RTV SLO-jeve strani drugo skorajda ne uporabljam. :D
V spletno banko pa se nisem prijavil.

Aha. Meni je revolut banka včeraj delovala. No tudi HBO Max mi je delal ko sem ga šel gledati. :D
Core i9 10900X, ASUS Prime X299 Edition 30, 32GB 4x8 3600Mhz G.skill, CM H500M,
ASUS ROG Strix RTX 2080 Super, Samsung 970 PRO, UltraSharp UP3017, Win 11 Pro,
Enermax Platimax 1700W | moj oče darko 1960-2016, moj labradorec max 2002-2013

opeter ::

Miki N je izjavil:

Aha, ti si torej tisti, ki trola naše "Ukrajince" in jim pije živce! ;(


Kako to misliš?
Hrabri mišek (od 2015 nova serija!) -> http://tinyurl.com/na7r54l
18. november 2011 - Umrl je Mark Hall, "oče" Hrabrega miška
RTVSLO: http://tinyurl.com/74r9n7j

Daniel ::

Zanimivo, sploh nisem opazil izpada, pa sem bil zadnja 2 dni več za računalnikom kot sicer.

endelin ::

NO INTERNET KINGS:))

Gregor P ::

Ah dobra, do je Trump ukazal, da ugasnejo, ker se je bal posledic 7 milijonskega protestnega shoda zoper "kralja" na družbenih omrežjih:P
The main failure in computers is usually located between keyboard and chair.
You read what you believe and you believe what you read ...
Nisam čit'o, ali osudjujem (nisem bral, a obsojam).

darkolord ::

saravak je izjavil:

Mislim, da bi bilo pametno in hkrati zanimivo, če bi podjetja izvajala test delovanja storitev ob izpadu USA regije ter morda kritična infrastruktura tudi izpad vsega kar ni v SLO.

Zanašanje recimo na MFA, ki je vezan na strežnike, ki so "predaleč" je za kritično infrastrukturo res neprimerno.
Problem je bil, da je izpad USA regije za sabo potegnil tudi ostale regije.

SmeskoSnezak ::

Zanimivo, da nobeden tukaj ne omenja, da je to alarmantno da se evropa zanasa na taksne storitve. To bi morale vse agencije za zasebnost ala DPO, GDPR in vse kar si je Evropa zmislit za zascito prebivalcev takoj sklicat seje pa novice, zakaj nima Amazon to poslihtano za Evropejce V EVROPI! LP, Smeeskaa
@ Pusti soncu v srce... @

darkolord ::

In kaj bi bil rezultat tega?

GupeM ::

Jaz sem zaznal težave, ker mi Signal ni delal. Ženi pa igra Pokémon go ni delala.

alternative ::

SmeskoSnezak je izjavil:

Zanimivo, da nobeden tukaj ne omenja, da je to alarmantno da se evropa zanasa na taksne storitve. To bi morale vse agencije za zasebnost ala DPO, GDPR in vse kar si je Evropa zmislit za zascito prebivalcev takoj sklicat seje pa novice, zakaj nima Amazon to poslihtano za Evropejce V EVROPI! LP, Smeeskaa

Ker smo njihova kolonija, moramo biti lepo tiho.

bm1973 ::

Kritična infrastruktura kot je DNS na Amazonu?

Če to ni fail, potem pa res ne vem...

darkolord ::

alternative je izjavil:

SmeskoSnezak je izjavil:

Zanimivo, da nobeden tukaj ne omenja, da je to alarmantno da se evropa zanasa na taksne storitve. To bi morale vse agencije za zasebnost ala DPO, GDPR in vse kar si je Evropa zmislit za zascito prebivalcev takoj sklicat seje pa novice, zakaj nima Amazon to poslihtano za Evropejce V EVROPI! LP, Smeeskaa

Ker smo njihova kolonija, moramo biti lepo tiho.
Problem je, ker ni nobene pametne alternative.

Tehnično bi EU to zlahka zmogla.

Politično pa ne - preveč deležnikov, vsak s svojimi interesi in idejami.

driftwood ::

enxtip je izjavil:

A je kaj takega kar je pri nas komu povzročalo preglavice? Spletne banke, wolt dostava..?

Slo-tech ni bil dosegljiv par minut.
Bi se skoraj pod vlak vrgel.

SmeskoSnezak ::

Ah, verjetno bo eu/komisija si namislila neko X milijonov, pac manj kot 10%, al pa 5% iz te korporacije, za odskodnino vsem podjetjem, zaradi raznih krsitev,... bla, bla, bla... raja spet OK, vlak pa dalje. (tipicno hlapcevsko) LP, SMeeskaa
@ Pusti soncu v srce... @

kow ::

Hus spet povzema bedarije: "polovico interneta", lol. Prakticno vsako drugo novico se v naslovu zlaze. Hus, ti ni nerodno?

bm1973 ::

Ni nujno, da se zlaže. Lahko je samo premalo strokoven...

kow ::

Nope. Deluje enako kot ti. Namenoma laze.

mihor ::

skumpl je izjavil:

Sem opazil, da je imel Reddit težave.


Kaj ti bo reddit, če maš slo-tech?

c3p0 ::

bm1973 je izjavil:

Kritična infrastruktura kot je DNS na Amazonu?

Če to ni fail, potem pa res ne vem...


Zgleda preveč Indijcev in nihče ne pozna dovolj low level zadev, da bi odkril banalno napako.

gen Maister ::

kow je izjavil:

Hus spet povzema bedarije: "polovico interneta", lol. Prakticno vsako drugo novico se v naslovu zlaze. Hus, ti ni nerodno?


Zakaj bi mu bilo neradno!?
Da ti vidiš, kakšne šele na Financah pihajo!!

kow je izjavil:

Nope. Deluje enako kot ti. Namenoma laze.

:))
Bo že tako, če ti tako rečeš. Pinokio!

Zgodovina sprememb…

d4vid ::

Spet se ukvarjate z bedarijami in iščete dlako v jajcu. Ni polovica, je pa padlo veliko popularnih strani in storitev, ki se zanašajo na aws.
Kako definiraš polovico interneta?
Polovico vseh uporabnikov? Polovico spletnih storitev/strani?

A če vas žena pošlje v trgovino in naroči paket jajc, in če imajo mleko, jih vzemi 6, prinesete najbrž domov 6 paketov jajc, mleka pa ne?

Funkcionalna pismenost je zgleda na psu.
Main PC: HP Z240 | i5-7400 | 32 GB ram
Homelab: HP DL380g9 | Xeon E5-2680 | 192 GB ram

Zgodovina sprememb…

  • spremenil: d4vid ()

Tero ::

Give a man a fish, he'll be fed for a day.
Teach a man to fish and he'll drown himself.

Daniel ::

Človeška neumnost je navzgor očitno res neomejena. Najprej krepko preplačaš izdelek, potem pa je le ta 100% odvisen od delovanja nekega oblaka.

Markoff ::

Glugy je izjavil:

A mora res imet eno podjetje tako moč nad celotnim internetom? To je največja ranljivost zahodnega interneta.

???

ruSSi imajo možnost odklopa od preostalega interneta on their majesty's whim.
Kitajci so za velikim požarnim zidom.

"Zahodni internet" ima kakšen % ranljivosti vzhodnega. Že zato, ker so organizacije na zahodu redna tarča vzhodnih hekerjev, informacijsko varnost pa smo dvignili na nivo zakonodajnih obveznosti, zelo malo pa beremo o tem, da bi bile vzhodne organizacije tarča kogarkoli, kaj šele zahodnih hekerjev.

Izraelske kreativne industrijsko-vojaške sabotaže ne sodijo ravno v to kvoto, na taki ravni pa so povrh zelo redke (2 doslej - pagerji in Stuxnet). No, ko smo že pri tem - so tarče Izraelcev vse po vrsti pprivzeto povsem ranljive zaradi teh 2 uspešnih napadov?

starfotr je izjavil:

Problem je, ker tudi večje firme gredo v cloud in nimajo več on-premises HW in SW.

Za mala podjetja še razumem, da najamejo druge, ker nimajo svojih IT ljudi in prostorov. Ampak velike firme si tega ne bi smele privoščit, da gostujejo pri trgovcu.

Za SAP sem že slišal, da on prem verzije nimajo določenih funkcionalnosti, kot jih ima cloud.

Tu bo morala gordijski vozel presekati EK in regulativno onemogočiti vendorje, ki so zaklenili pol sveta nase, da prisiljujejo stranke v centralizirane sisteme s takimi podlimi manevri.

Mislim, Putlerju, Kimu in podobnim mora res iti na smeh, ko se njihove tarče združujejo na eno mesto, ki ga celo njihovi random targeting droni in kinzhali ne morejo zgrešiti, če jih zmečejo 300 na dan...
Antifašizem je danes poslednje pribežališče ničvredneža, je ideologija ničesar
in neizprosen boj proti neobstoječemu sovražniku - v zameno za državni denar
in neprofitno najemno stanovanje v središču Ljubljane. -- Tomaž Štih, 2021

Zgodovina sprememb…

  • spremenilo: Markoff ()

Mr.B ::

Markoff je izjavil:

Glugy je izjavil:

A mora res imet eno podjetje tako moč nad celotnim internetom? To je največja ranljivost zahodnega interneta.

???

ruSSi imajo možnost odklopa od preostalega interneta on their majesty's whim.
Kitajci so za velikim požarnim zidom.

"Zahodni internet" ima kakšen % ranljivosti vzhodnega. Že zato, ker so organizacije na zahodu redna tarča vzhodnih hekerjev, informacijsko varnost pa smo dvignili na nivo zakonodajnih obveznosti, zelo malo pa beremo o tem, da bi bile vzhodne organizacije tarča kogarkoli, kaj šele zahodnih hekerjev.

Izraelske kreativne industrijsko-vojaške sabotaže ne sodijo ravno v to kvoto, na taki ravni pa so povrh zelo redke (2 doslej - pagerji in Stuxnet). No, ko smo že pri tem - so tarče Izraelcev vse po vrsti pprivzeto povsem ranljive zaradi teh 2 uspešnih napadov?

starfotr je izjavil:

Problem je, ker tudi večje firme gredo v cloud in nimajo več on-premises HW in SW.

Za mala podjetja še razumem, da najamejo druge, ker nimajo svojih IT ljudi in prostorov. Ampak velike firme si tega ne bi smele privoščit, da gostujejo pri trgovcu.

Za SAP sem že slišal, da on prem verzije nimajo določenih funkcionalnosti, kot jih ima cloud.

Tu bo morala gordijski vozel presekati EK in regulativno onemogočiti vendorje, ki so zaklenili pol sveta nase, da prisiljujejo stranke v centralizirane sisteme s takimi podlimi manevri.

Mislim, Putlerju, Kimu in podobnim mora res iti na smeh, ko se njihove tarče združujejo na eno mesto, ki ga celo njihovi random targeting droni in kinzhali ne morejo zgrešiti, če jih zmečejo 300 na dan...


"Zahodni internet" ima kakšen % ranljivosti vzhodnega. Že zato, ker so organizacije na zahodu redna tarča vzhodnih hekerjev, informacijsko varnost pa smo dvignili na nivo zakonodajnih obveznosti, zelo malo pa beremo o tem, da bi bile vzhodne organizacije tarča kogarkoli, kaj šele zahodnih hekerjev.

Ti si to kar pripoveduj. Da so to Hekerji sovražnih držav, ki hočejo samo slabo.
Relanost je pač ta da so tam zaradi kompletnega nadzora Ameriških židovskih organizacij, zato da točno vejo koliko so te RuSSi plačali za take bolanhe objave. Če ne drugega so sovražni hekerji, ali kakorkoli so TI rekli da jih moraš poimenovati, tam zaradi vgrajenih backdorov, ker baje nimaš nič za skrivat. In so še vedno notri, ker pač zahodne opreme ne moreš kar tako zamenjati, z novimi, no novimi vgrajenimi backdori, če ti večino tega sprogramira Kitajec ali Indijci ne grčlede ali je rojen tam ali prvi VISA potomec.


Izraelske kreativne industrijsko-vojaške sabotaže ne sodijo ravno v to kvoto, na taki ravni pa so povrh zelo redke (2 doslej - pagerji in Stuxnet). No, ko smo že pri tem - so tarče Izraelcev vse po vrsti pprivzeto povsem ranljive zaradi teh 2 uspešnih napadov?

Ti namignem Palantir, pa tu ne mislim zgolj tisti pegasusu. Pustimo še ostale zahodne velikane, ki so/in še okrito podpirajo genocid ,.

Tu bo morala gordijski vozel presekati EK in regulativno onemogočiti vendorje, ki so zaklenili pol sveta nase, da prisiljujejo stranke v centralizirane sisteme s takimi podlimi manevri.

Daj povije kaj več, ker meni ste zdi je da je metapodatek in has bolj pomemben nad tem kar ti misliš s to centralizacijo.
Lol se Hutiji delajo Facpalm USA:
A Navy fighter jet fell overboard Monday when the USS Harry S. Truman
aircraft carrier veered to avoid fire from the Houthis

kow ::

d4vid je izjavil:

Spet se ukvarjate z bedarijami in iščete dlako v jajcu. Ni polovica, je pa padlo veliko popularnih strani in storitev, ki se zanašajo na aws.
Kako definiraš polovico interneta?
Polovico vseh uporabnikov? Polovico spletnih storitev/strani?

A če vas žena pošlje v trgovino in naroči paket jajc, in če imajo mleko, jih vzemi 6, prinesete najbrž domov 6 paketov jajc, mleka pa ne?

Funkcionalna pismenost je zgleda na psu.


Ali drugace, zlagal se je. Ce Hus ne zna definirati polovico interneta, ga naj pac ne omenja in napise, da so bile nedostopne AWS storitve. Ne gre za nobeno dlako v jajcu, ampak bistveno razliko. Ki jo Hus razume.

Zgodovina sprememb…

  • spremenil: kow ()

bajker ::

kow je izjavil:

d4vid je izjavil:

Spet se ukvarjate z bedarijami in iščete dlako v jajcu. Ni polovica, je pa padlo veliko popularnih strani in storitev, ki se zanašajo na aws.
Kako definiraš polovico interneta?
Polovico vseh uporabnikov? Polovico spletnih storitev/strani?

A če vas žena pošlje v trgovino in naroči paket jajc, in če imajo mleko, jih vzemi 6, prinesete najbrž domov 6 paketov jajc, mleka pa ne?

Funkcionalna pismenost je zgleda na psu.


Ali drugace, zlagal se je. Ce Hus ne zna definirati polovico interneta, ga naj pac ne omenja in napise, da so bile nedostopne AWS storitve. Ne gre za nobeno dlako v jajcu, ampak bistveno razliko. Ki jo Hus razume.


Namesto da brez veze kritizirate, pejte raje pisat novice. Vsi visimo tukaj, piše pa le Huš.
Jaz mu raje rečem HVALA! Četudi naredi kak kiks v naslovu.

kow ::

Bajker, ne razumete. Ne gre za kiks v naslovu. Gre za avtorjevo ideologijo. Korporacije bad -> Amazon bad -> lahko se zlazem, vendarle gre za visji cilj itd.
«
1
2


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Zakaj je Amazon v ponedeljek ugonobil polovico interneta (strani: 1 2 )

Oddelek: Novice / Omrežja / internet
624676 (669) Zmajc
»

Amazon ustvaril rekorden dobiček

Oddelek: Novice / Rezultati
1811033 (6976) Konlov
»

Pentagon vztraja: Projekt JEDI gre Microsoftu (strani: 1 2 )

Oddelek: Novice / Ostale najave
5415262 (12996) FTad
»

Uporablja kdo Amazon Glacier?

Oddelek: Informacijska varnost
153481 (3003) McMallar
»

Linux strežnik z redundanco

Oddelek: Strojna oprema
404476 (3716) Daedalus

Več podobnih tem