☰

» »

Še vedno ni znan natančen vzrok za padec Facebookovega omrežja

Še vedno ni znan natančen vzrok za padec Facebookovega omrežja

vir: Cloudflare
Slo-Tech - V ponedeljek, 4. oktobra, je Facebook doživel doslej najdaljši - skoraj šesturni - mrk vseh svojih storitev v zgodovini. Krivec je bila napačna nastavitev sistema, ki s protokolom BGP skrbi za pogovarjanje Facebookovega dela internetnega omrežja z okolico, a boljših podrobnosti vzroka ta hip še ne poznamo.

V ponedeljek, kakšnih deset minut pred šesto popoldan po našem času, je nenadoma postalo nemogoče doseči omrežje Facebook - pa tudi Instagram; sporočila v WhatsAppu niso želela nikamor, na suhem pa so ostali tudi imetniki Oculusovih VR naočnikov. Se pravi: pokleknil je popolnoma ves Facebookov storitveni imperij - in to širom sveta, brez izjeme. Ljudje so se morali en večer pogovarjati z živimi osebki poleg sebe in internet je bil za slabih šest ur malce manj jezen kraj. Česa takšnega doslej še nismo videli in ker se je prav na isti dan razkrila živžgačica Frances Haugen, ki je Wall Street Journalu priskrbela dokumentacijo za odmevno reportažo The Facebook Files, se je seveda pričelo govori(či)ti o vsem mogočem, tudi stavki Facebookovih sistemskih inženirjev.

Strokovnjaki in opazovalci so najprej podrezali klasičnega krivca v takšnem primeru: imenske strežnike sistema DNS (Domain Name System), ki skrbijo za prevajanje internetnih naslovov iz črkovnih, kakršne pišemo v URL okence, v številčne IP naslove. Ker niso vračali poizvedb, je bilo sprva videti, da so ti res problem, toda nato je postalo jasno, da so zgolj pokazatelj večje težave. Padel je namreč sistem, ki ga Facebookov del interneta uporablja za to, da se sporazumeva z drugimi deli interneta - BGP ali Border Gateway Protocol. Najverjetneje je pri posodabljanju prišlo do neke hude napake, ki je povzročila izklop komunikacije z zunanjostjo in Facebook se je na ta način izredno učinkovito vrgel z interneta. Nekaj takega po ovinkih priznava tudi edino kratko tehnično poročilo, ki ga je podjetje doslej izdalo.

To pa je bil šele začetek glavobola, ki je v šestih urah prerasel v mini burlesko. Ker ni obratoval praktično noben del omrežja podjetja, je bilo povsem onemogočeno tudi vse delo na daljavo, vključno s trudom za rešitev zapleta, in breme je v celoti padlo na tehnike, prisotne na licu mesta. A tudi ti so bili ponekod ovirani, ker jim niso delovale kartice za vstop v prostore podjetja! Šaljivci so celo objavili prodajo Facebookovih domen, kar pa je zgolj posledica slabo spisanega programja, ki motri domene in se ni pravilno znašlo ob njihovi nedosegljivosti. Facebook je namreč sam svoj registrar.

Druga socialna omrežja, posebno še Twitter, so nad položajem zabavljala, toda dogodek je bolj zlovešč, kot je videti na prvi pogled. Opozarja na dejstvo, da imajo lahko takšni mrki velikih zasebnih omrežij ogromno objektivno škodo - pa ne govorimo zgolj o približno 60 milijonih dolarjev izgube, kolikor jih je v šestih urah utrpel Facebook zaradi izpada oglasov. Prekinjena je bila pomembna komunikacija in poslovno delovanje; DNS zahtevki so obremenili preostanek interneta, predvsem pa Facebook v deželah tretjega sveta ponekod zagotavlja izključen dostop do interneta.

75 komentarjev

«
1
2

kow ::

Tale clanek pa je ena dramatika. Da je slo dol, sem opazil zaradi teme na slo-techu. Omenil sem nekaj prijateljem, nihce ni opazil sam.
Je pa nekdo naslednji dan omenil, da je opazil - ker ima pac otroke najstnike.

Zgodovina sprememb…

  • spremenil: kow ()

Sheteentz ::

Pa kje jaz živim, da tudi sam nisem opazil tega facebook mrka, pa sem načeloma čez cel dan na facebooku.

deco16 ::

Zadeva ni tolk kritična če uporabljaš app ker ne gre prek domene. Ljudje kateri uporabljajo spletno stran pa so to občutili saj še zdaj ne dela :)
Prav tako vsi vtičniki za spletne strani ...

l0wc4 ::

Krivda je povsem njihova oz. sabotaža je narejena znotraj podjetja. Facebook je sam svoj registrar, ima svoje lastne DNS strežnike in se ne zanaša na druge, ipd. Obnašajo se kot da so središče interneta in da je prvi bil FB in nato je okoli FB nastal preostanek interneta. FB je bil zanimiv pred 15 leti, ko se je pojavil, da si zapecal kako bejbo, potem ko so ga politiki in ostali oglaševalci spolno zlorabili, je postal nezanimiv. Njegove milijarde so sploh napihnjene. Če ne bi bilo novice o padcu FB, ne bi niti vedel, da se je to zgodilo. Saj kdo še uporablja FB; ljudje starejši od 40+ za izživljanje svojih frustracij. Star sem 40+. :D

o1oo ::

Ali kdo ve kaj bi lahko bil vzrok? Mnenje?

l0wc4 ::

o1oo je izjavil:

Ali kdo ve kaj bi lahko bil vzrok? Mnenje?


Napačno vpisana BGP ruta.

kixs ::

Js tudi nisem opazil... se dobro, da so novice o tem :lol:

Sheteentz ::

deco16 je izjavil:

Zadeva ni tolk kritična če uporabljaš app ker ne gre prek domene. Ljudje kateri uporabljajo spletno stran pa so to občutili saj še zdaj ne dela :)

Meni facebook spletna stran dela.

V katerem vzporednem vesolju jaz živim? :O

Samael ::

Čisto premalo ste 1337, če samo enkrat pridete povedati, kako je FB danes irelevanten in kako ga ne uporabljate.
Keep it going! ;)
Samael != Samuel

kow ::

Ni to poanta. Vecina ljudi ga uporablja. Poanta je, da se namiguje na nek dramaticen dogodek, ki je vplival na vecino ljudi. Mal sem skepticen. Tudi, ce komu ni delal instagram, je pac prizgal tv. Kaksnega je pa nedelovanje whatsappa res zacasno motilo. Samo, to je majhen delez prebivalstva.

"Ljudje so se morali en večer pogovarjati z živimi osebki poleg sebe in internet je bil za slabih šest ur malce manj jezen kraj"
Lahko bi tudi spustil leposlovje.

Zgodovina sprememb…

  • spremenil: kow ()

ales85 ::

kow je izjavil:

Kaksnega je pa nedelovanje whatsappa res zacasno motilo. Samo, to je majhen delez prebivalstva.

A to misliš v Sloveniji? Ogromno ljudi uporablja What'sApp za redno komunikacijo z družino in nevsazadnje prav tako ogromno podjetij za komunikacijo s strankami (AirBnB variante na primer, in drugo). Že samo to je zmotilo na milijone ljudi.

kow ::

Vprasati se moras koliko ljudi RES potrebuje to komunikacijo? Si pac poslal SMS ali poklical po telefonu. Manjsa nevsecnost. Kaj tocno je res koga zmotilo. Daj konkreten primer.

Zgodovina sprememb…

  • spremenil: kow ()

mirancar ::

v enih državah je whats-app standard za komunikacijo. Na navaden telefon se ne javljajo sploh, samo whats-app

kow ::

V enih nedefinirah drzavah... nice try.

ales85 ::

Primer je Latinska Amerika. Po veliko držav tam je What'sApp takšen "standard". In veliko ljudi ne ugotovi takoj, da nekaj ne dela v redu, torej jih zmoti. Pa čeprav lahko večina (ne pa vsi) čez 10 minut doseže osebo na drug način, jih zmoti. Ne biti tako trd.

pegasus ::

https://engineering.fb.com/2021/10/05/n... ... saj blogajo o tem, kaj se jim je zalomilo ... in kaj se bodo iz tega naučili.

Predvsem mi je zanimiv del, da so njihovi datacentri dipnili v power usageu po več 10MW in da imajo posebne protokole, kako cel tak datacenter počasi dvigniti, da ne sesujejo električnega omrežja :D

kow ::

ales85 je izjavil:

Primer je Latinska Amerika. Po veliko držav tam je What'sApp takšen "standard". In veliko ljudi ne ugotovi takoj, da nekaj ne dela v redu, torej jih zmoti. Pa čeprav lahko večina (ne pa vsi) čez 10 minut doseže osebo na drug način, jih zmoti. Ne biti tako trd.


Pomembno je biti "trd", da se zagotavlja nek nivo novic in se borimo proti senzacionalizmu. Sam opis dogodka je korektno napisan in mi je novica zanimiva.

Zgodovina sprememb…

  • spremenil: kow ()

Shkorc ::

10 miljonov na uro v reklamah??? Adijo pamet :O

jotunn ::

l0wc4 je izjavil:

Obnašajo se kot da so središče interneta

Ce ti je vsec ali ne, je realno FB res sredisce interneta. Ko neka stvar zgenerira 30-40% vsega internet prometa, potem se lahko upraviceno imajo za sredisce interneta, pa ce nam je vsec ali ne, ter ne glede na to, kako bolano se nam to zdi.

mr_chai ::

Sheteentz je izjavil:

Pa kje jaz živim, da tudi sam nisem opazil tega facebook mrka, pa sem načeloma čez cel dan na facebooku.


A ni to neki najbl žalostnega, da morš bit cel dan na Frucbooku

l0wc4 ::

jotunn je izjavil:

l0wc4 je izjavil:

Obnašajo se kot da so središče interneta

Ce ti je vsec ali ne, je realno FB res sredisce interneta. Ko neka stvar zgenerira 30-40% vsega internet prometa, potem se lahko upraviceno imajo za sredisce interneta, pa ce nam je vsec ali ne, ter ne glede na to, kako bolano se nam to zdi.


To, da se tako obnašajo, je botrovalo njihovi napaki. Pred 25 leti sem se učil, da DNS strežniki niso nikoli na enem strežniku oz. niso v enakem mrežnem segmentu ali pri istem providerju. Pri postavitvi omrežja imajo očitno kar precej pomanjkljivosti ali nevednosti. Vsi se učimo iz svojih napak, se bodo tudi oni.

jotunn ::

l0wc4 je izjavil:

To, da se tako obnašajo, je botrovalo njihovi napaki. Pred 25 leti sem se učil, da DNS strežniki niso nikoli na enem strežniku oz. niso v enakem mrežnem segmentu ali pri istem providerju. Pri postavitvi omrežja imajo očitno kar precej pomanjkljivosti ali nevednosti. Vsi se učimo iz svojih napak, se bodo tudi oni.

No ja sicer verjamem da je lahko pametovat, ampak kdor je kadarkoli imel karkoli za opravit s 100x manjsim omrezjem (tako po obsegu, kot po kolicini podatko in po pokritosti ozemlja) kot je FB (govorim o ISP-jih ne firmi s 100 racunalniki in enim switchem), ve kaksne so stvari in realno, spet ce nam je vsec ali ne, jim je treba priznati, da imajo jebeno dobro postimane stvari. In en taksen izpad vsakih x let je hudo dobra statistika, sploh ce racunas, da jim je vse skupaj uspelo sestaviti nazaj v zgolj par urah. Vem iz lastnih izkusenj kako se stvari postavljajo nazaj, ko imas pravo isp omrezje cez pol sveta in gre nekaj hudo narobe, zato kar se mene tice lahko recem zgolj cestitke da jim je ratalo stvari spravit nazaj tako hitro.

Zgodovina sprememb…

  • spremenilo: jotunn ()

Sheteentz ::

mr_chai je izjavil:

Sheteentz je izjavil:

Pa kje jaz živim, da tudi sam nisem opazil tega facebook mrka, pa sem načeloma čez cel dan na facebooku.


A ni to neki najbl žalostnega, da morš bit cel dan na Frucbooku

Napisal sem čez cel dan, ne cel dan, vsako uro za par sekund ošvknem fb za kakšne novosti, pa nisem opazil nobenih anomalij. No, očitno sem še premalo na facebooku :D

6bt9hmDwY ::

Ves : cel...

TESKAn ::

Hm, možna razlaga. Glede na to:
During one of these routine maintenance jobs, a command was issued with the intention to assess the availability of global backbone capacity, which unintentionally took down all the connections in our backbone network, effectively disconnecting Facebook data centers globally.

zna bit kar točna. Drag typo.
Uf! Uf! Je rekel Vinetou in se skril za skalo,
ki jo je prav v ta namen nosil s seboj.

ales85 ::

jotunn je izjavil:

l0wc4 je izjavil:

Obnašajo se kot da so središče interneta

Ce ti je vsec ali ne, je realno FB res sredisce interneta. Ko neka stvar zgenerira 30-40% vsega internet prometa, potem se lahko upraviceno imajo za sredisce interneta, pa ce nam je vsec ali ne, ter ne glede na to, kako bolano se nam to zdi.

Um, say what? https://www.sandvine.com/blog/netflix-v...

jotunn ::

ales85 je izjavil:

jotunn je izjavil:

l0wc4 je izjavil:

Obnašajo se kot da so središče interneta

Ce ti je vsec ali ne, je realno FB res sredisce interneta. Ko neka stvar zgenerira 30-40% vsega internet prometa, potem se lahko upraviceno imajo za sredisce interneta, pa ce nam je vsec ali ne, ter ne glede na to, kako bolano se nam to zdi.

Um, say what? https://www.sandvine.com/blog/netflix-v...

Jaz vem koliko je pri nas padel promet v tem casu, zato moja cifra. Poleg tega imam podatke na splosno s kar nekaj internet exchangov kjer vidim koliko prometa generira FB, koliko pa ostali in verjel ali ne, FB generira vec prometa kot cel Google (vkljucno z YT).

mr_chai ::

pegasus je izjavil:


Predvsem mi je zanimiv del, da so njihovi datacentri dipnili v power usageu po več 10MW in da imajo posebne protokole, kako cel tak datacenter počasi dvigniti, da ne sesujejo električnega omrežja :D


A ni žalostno, kako ogromno in nepredstavljive so te cifre porabe energije za eno navadno gojišče depresije in frustracij.

pegasus ::

Ja, je. Ampak saj veš, ljudje uživajo v trpljenju ... še huje, nekateri se s tem definirajo.

6bt9hmDwY ::

jotunn je izjavil:

Jaz vem koliko je pri nas padel promet v tem casu, zato moja cifra. Poleg tega imam podatke na splosno s kar nekaj internet exchangov kjer vidim koliko prometa generira FB, koliko pa ostali in verjel ali ne, FB generira vec prometa kot cel Google (vkljucno z YT).

Izgleda zanimiva reč, se da dobiti kaj več detajlov? Deluje verjetno, ljudje zapravljajo čas na FB (z videi vred), na google pa samo, ko kaj iščejo/poslušajo muziko.

ales85 ::

jotunn je izjavil:

ales85 je izjavil:

jotunn je izjavil:

l0wc4 je izjavil:

Obnašajo se kot da so središče interneta

Ce ti je vsec ali ne, je realno FB res sredisce interneta. Ko neka stvar zgenerira 30-40% vsega internet prometa, potem se lahko upraviceno imajo za sredisce interneta, pa ce nam je vsec ali ne, ter ne glede na to, kako bolano se nam to zdi.

Um, say what? https://www.sandvine.com/blog/netflix-v...

Jaz vem koliko je pri nas padel promet v tem casu, zato moja cifra. Poleg tega imam podatke na splosno s kar nekaj internet exchangov kjer vidim koliko prometa generira FB, koliko pa ostali in verjel ali ne, FB generira vec prometa kot cel Google (vkljucno z YT).

V mojem članku je za 43% omenjenih 6 gigantov (pustimo ob stari star članek, zrasli so itak vsi). Koliko pa v tvojem? Aja... ni vira.

jotunn ::

Vir je, za razliko od enega xy clanka, realna zasedenost nasih linij v normalnem dnevu v primerjavi s tistim vecerom, ko FB ni delal. In stvar je sla dol za okoli 30-40%. Verjames ali ne, pa niti ni moj problem.

vitranc ::

https://www.alter.si/attachments/resnic...

Kopiram iz drugega foruma, kaj je resnični razlog izpada :)

Zgodovina sprememb…

  • spremenil: vitranc ()

acoustis ::

mr_chai je izjavil:


A ni žalostno, kako ogromno in nepredstavljive so te cifre porabe energije za eno navadno gojišče depresije in frustracij.

pegasus je izjavil:

Ja, je. Ampak saj veš, ljudje uživajo v trpljenju ... še huje, nekateri se s tem definirajo.

Tole pa boljse ne bi mogla povedat!

Spomnim se, ko mi je en letalski (sim) kolega iz US maja 2006 zrihtal account, da smo lahko bolje komunicirali. Potem se je pa v jeseni FB odprl, pa ni bilo med mojimi nevirtualnimi friendi nobenega interesa. Še... Potem, ko je bil, se je pa hitro izrodilo v tole zgoraj omenjeno kloako. No, potem sem se pa izpisal. :D

Zgodovina sprememb…

  • spremenilo: acoustis ()

6bt9hmDwY ::

jotunn je izjavil:

Vir je, za razliko od enega xy clanka, realna zasedenost nasih linij v normalnem dnevu v primerjavi s tistim vecerom, ko FB ni delal. In stvar je sla dol za okoli 30-40%. Verjames ali ne, pa niti ni moj problem.

Ne gre za verjeti (od tega nimam res ničesar), gre samo za vir, ki ga lahko spremljam skozi čas, če bi me že zanimalo. Ni pa to prioritetna zadeva zame.

jotunn ::

Ok tega mojega vira ne mores spremljati, ker ti podatki pac niso javni. Zares tudi podatki o prometu na IXih niso javni, tako da tudi tam ne gre. Je pa res, da mi je sedaj koncno jasno zakaj AKOS hoce vsako cetrtletje porocilo kolicini prenesenih bytov na upstream povezavah... da vidijo koliko je manj prometa ko FB pade. :)) :)) :))

starfotr ::

https://isbgpsafeyet.com/

A tole imajo?

jotunn ::

Skoraj sigurno ne, ker bi se tako odrezali 90% svojih strank od svojega omrezja. Enako kot je razlog, zakaj vecina ljudi tega ne uporablja. Konec koncev vecina prefixov, ki ne izvirajo od ISP-jev (ter kar en lep del tistih, ki izvirajo) po Sloveniji ni v zivljenju slisala za RPKI kaj sele da bi imela urejenega. In ko zalaufas to, so vsi ti out. Dvomim, da si kdo to upa zares vklopiti ;)

ales85 ::

jotunn je izjavil:

Vir je, za razliko od enega xy clanka, realna zasedenost nasih linij v normalnem dnevu v primerjavi s tistim vecerom, ko FB ni delal. In stvar je sla dol za okoli 30-40%. Verjames ali ne, pa niti ni moj problem.

In kaj potem? Ali ste vi 10% svetovnega prometa? 30%? 50%?

jotunn ::

Saj vem da je logicno sklepanje nekaj, kar vecina ljudi na ST ne ve kaj je, ampak vseeno... Ne nimamo 10% svetovnega prometa, ampak se pa da iz tega kar precej sklepati tudi za kaj vec, za nekoga ki zna vsaj 2+2 sesteti. Seveda je pa lazje verjeti nekemu promocijskemu clanku katerega avtor je VP global marketinga, ki niti v teoriji ne ve kaj je ip kaj sele kaj drugega, kot pa realnim cifram. Ampak feel free.

ripmork ::

vitranc je izjavil:

https://www.alter.si/attachments/resnic...

Kopiram iz drugega foruma, kaj je resnični razlog izpada :)

Tako je! :))8-)
"Informacije iz prve rokeTM"

ales85 ::

jotunn je izjavil:

Saj vem da je logicno sklepanje nekaj, kar vecina ljudi na ST ne ve kaj je, ampak vseeno... Ne nimamo 10% svetovnega prometa, ampak se pa da iz tega kar precej sklepati tudi za kaj vec, za nekoga ki zna vsaj 2+2 sesteti. Seveda je pa lazje verjeti nekemu promocijskemu clanku katerega avtor je VP global marketinga, ki niti v teoriji ne ve kaj je ip kaj sele kaj drugega, kot pa realnim cifram. Ampak feel free.

Zdaj pa se trdis, da ste ze vi sami dovolj reprezentativen vzorec? Ce se ze gremo sklepanje in statistiko.

one-half ::

Ce je slucajno med izpadom kdo zacutil, da mu nekaj manjka, se lahko iz tega zave kaksen odvisen idiot je postal.
Motiti se je človeško.
Motiti se pogosto je neumno.
Vztrajati pri zmoti je... oh, pozdravljen!

crniangeo ::

Vidim, da se še kar žalite med seboj, good one :)
Convictions are more dangerous foes of truth than lies.

Invictus ::

https://engineering.fb.com/2021/10/05/n...
"Life is hard; it's even harder when you're stupid."

http://goo.gl/2YuS2x

IL_DIAVOLO ::

Uporabnikom fb-ja je tudi čudežno crkil wifi in ostali normativi za uporabo neta. Privacy at best :))
Con il Milan nel cuore!
https://www.youtube.com/watch?v=fS58IQczWWE&ab_channel=MariusMotora
Forza ragazzi!

Heisenberg ::

Jaz sem takoj opazil ker ni deloval WhatApp, ki ga uporabljajo vsi znanci, sodelavci, ...
Sem pa kmalu dobil tudi sporočila od drugih aplikacij da se je kak kontakt pridružil - se pravi folk je letel k konkurenci :)

Aggressor ::

kow je izjavil:

ales85 je izjavil:

Primer je Latinska Amerika. Po veliko držav tam je What'sApp takšen "standard". In veliko ljudi ne ugotovi takoj, da nekaj ne dela v redu, torej jih zmoti. Pa čeprav lahko večina (ne pa vsi) čez 10 minut doseže osebo na drug način, jih zmoti. Ne biti tako trd.


Pomembno je biti "trd", da se zagotavlja nek nivo novic in se borimo proti senzacionalizmu. Sam opis dogodka je korektno napisan in mi je novica zanimiva.


Maš v novici linke z globljimi razlagami. Klikni nanje. ;)
en CRISPR na dan odžene zdravnika stran

bajker ::

Šest ur je bil internet spet tak, kot je bil zamišljen in bi moral biti.
«
1
2

Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Še vedno ni znan natančen vzrok za padec Facebookovega omrežja (strani: 1 2 )

Oddelek: Novice / Omrežja / internet		7515901 (9781) Poldi112
»

Facebook, Instagram ne dela (strani: 1 2 )

Oddelek: Omrežja in internet		7411036 (5878) Voluharr
»

Reportaža WSJ za Facebook še nima hujših kratkoročnih učinkov (strani: 1 2 )

Oddelek: Novice / NWO		6015529 (13415) MrStein
»

ZDA so se konkretno spravile na Facebook

Oddelek: Novice / Tožbe		97397 (5776) starfotr
»

Facebook, kršenje pravil zasebnosti, drugič

Oddelek: Novice / Omrežja / internet		57369 (6375) aaa1

Več podobnih tem