Slo-Tech - Cloudflare je v obširni objavi pojasnil, kaj je šlo včeraj narobe, da je dobršen del interneta obstal. Izpad se je začel včeraj ob 12.20 po slovenskem času, ko so obstale številne strani, ki uporabljajo Cloudflarovo infrastrukturo za varovanje. Poudarili so, da izpad ni bil posledica napada ali kakšne druge namerne aktivnosti, temveč je šlo za tehnično težavo. Povzročila jo je posodobitev pravic v podatkovni bazi, kar je vplivalo na rezultate poizvedb. Večji del težav so odpravili do 15.30, sistem pa je bil popolnoma operativen ob 18.06.
Sprva se je zdelo, da so težave posledica velikega napada DDoS, a so kmalu odkrili pravi vzrok. Zagodel jim jo je servis Bot Management, ki med drugim za vsak zahtevek v omrežju oceni, s kolikšno verjetnostjo gre za bota. Za svoje delovanje potrebuje datoteko, ki vsebuje značilne lastnosti botov in druge informacije, ki se jih je sistem naučil doslej. Ta datoteka se osvežuje vsakih nekaj minut in nato propagira skozi omrežje. Zaradi napake pri nastavitvi pravic pa je datoteka zrasla na dvojno velikost, saj je imela podvojene vrstice. To je povzročilo vse nadaljnje težave, ker sistem ni pričakoval prevelike datoteke. Strežniki so začeli vračati napake 5xx.
Jaz sem še danes zjutraj ob 09h dobil obvestilo: "Sporočamo vam, da smo iz Bankarta prejeli obvestilo, da prihaja do motenj pri izvajanju plačil pri spletnih trgovcih s Flikom. Razlog motenj je težava pri zunanjem ponudniku Cloudfare. Vzrok raziskujejo in odpravljajo."
Kar lahko storiš danes, ne odlašaj na jutri. Raje reci, da si naredil že včeraj!
The issue was not caused, directly or indirectly, by a cyber attack or malicious activity of any kind. Instead, it was triggered by a change to one of our database systems' permissions which caused the database to output multiple entries into a "feature file" used by our Bot Management system. That feature file, in turn, doubled in size. The larger-than-expected feature file was then propagated to all the machines that make up our network.
Bezno sem ujel napade na navdusence nad Rustom glede tega izpada, ces kako da ga ni preprecil, kjer sem razumel da se nekomu ni zdelo vredno pokriti ene napake in je lepo uporabil unwrap().
Se pravi, ena piškava datoteka s podvojenimi vrsticami je ustavila tretjino svetovnega interneta? Se pravi, ena piškava datoteka s podvojenimi vrsticami je ustavila tretjino svetovnega interneta? In to v svetu, ki vsako sekundo pridela nov petabajt podatkov? In to v svetu, ki vsako sekundo pridela nov petabajt podatkov? Well, resnično sem poskusil, ampak zgleda mi ni ratalo... ta prekleta reč še vedno deluje... Well, resnično sem poskusil, ampak zgleda mi ni ratalo... ta prekleta reč še vedno deluje...
Ta dogodek je razgrnil napake na več nivojih v korporaciji.
Sprememba pravic v ClickHouse. S testiranjem in QA bi na staging okolju odkril napako.
unwrap v rust kodi. V produkciji se tega ne bi smelo uporabljat je zapisano v Rust Doc 101 https://doc.rust-lang.org/book/ch09-02-.... Pa že code review bi to moral zavrnit.
In production-quality code, most Rustaceans choose expect rather than unwrap and give more context about why the operation is expected to always succeed. That way, if your assumptions are ever proven wrong, you have more information to use in debugging.
CEO je sporočil še da so ročno vstavili datoteko v čakalno vrsto, ker nimajo avtomatiziranega procesa ki bi znal vrniti datoteko "feature file" na prejšno znano-varno različico.
As with any incident response there were a number of theories of the cause we were working in parallel. The feature file failure was one identified as potential in the first 30 minutes. However, the theory that seemed the most plausible based on what we were seeing (intermittent, initially concentrated in the UK, spike in errors for certain API endpoints) as well as what else we'd been dealing with (a bot net that had escalated DDoS attacks from 3Tbps to 30Tbps against us and others like Microsoft over the last 3 months). We worked multiple theories in parallel. After an hour we ruled out the DDoS theory. We had other theories also running in parallel, but at that point the dominant theory was that the feature file was somehow corrupt. One thing that made us initially question the theory was nothing in our changelogs seemed like it would have caused the feature file to grow in size. It was only after the incident that we realized the database permissions change had caused it, but that was far from obvious. Even after we identified the problem with the feature file, we did not have an automated process to role the feature file back to a known-safe previous version. So we had to shut down the reissuance and manually insert a file into the queue. Figuring out how to do that took time and waking people up as there are lots of security safeguards in place to prevent an individual from easily doing that. We also needed to double check we wouldn't make things worse. The propagation then takes some time especially because there are tiers of caching of the file that we had to clear. Finally we chose to restart the FL2 processes on all the machines that make up our fleet to ensure they all loaded the corrected file as quickly as possible. That's a lot of processes on a lot of machines. So I think best description was it took us an hour for the team to coalesce on the feature file being the cause and then another two to get the fix rolled out.
query je napisan napačno saj nima eksplicitno določene baze zato so pač duplikati iz baze default in r0
Ironija je da so pred kratkim naredili rewrite Rust kode
Over 100 engineers have worked on FL2, and we have over 130 modules. And we're not quite done yet. We're still putting the final touches on the system, to make sure it replicates all the behaviours of FL1.
Antifašizem je danes poslednje pribežališče ničvredneža, je ideologija ničesar
in neizprosen boj proti neobstoječemu sovražniku - v zameno za državni denar
in neprofitno najemno stanovanje v središču Ljubljane. -- Tomaž Štih, 2021
To je agile način da se spravi koda na prod čimprej. Običajno je pritisk iz mgmt na (release) eng. Mgmt pred sestankom odpre Jira in poišče projekt nato pa odpre sprint burndown. Na agile dailyu s strani mgmt je izpostavljeno naj se task ker je samo še en dan do konca sprinta premakne takoj po sestanku in deploya na prod da ne presežemo WIP limita ko se zaključi sprint. Redno po koncu sprinta mgmt pogleda odprte tickete in zaključene, napiše kaj je bilo deployano in si zračuna % bonusa in delnic na koncu kvartala. Pa še načrtuje vmes kam bo šel na dopust s tem denarjem.
Čisto nič ne razumem, kaj pišete... Tako, kot tega, kar se je zgodilo, ne razume nihče nad 50 ali 60 let.
Bi pa vprašal, "kako kaže"? Kdaj bo vse spet tako, kot je bilo prej?
Na notesniku mi ne dela Temu, Bolha :) ter še kup drugih strani, na 6 cm dolgim mobilcem (kjer ni težav z dosegljivostjo omenjenih strani), pa se ne da delat ničesar (mikro črke + čoravost), razen telefonirat...
Pojav se imenuje enshittification. Priča smo mu tako v IT, kot v industriji. Rešitev je napeti možgane, zapustiti Big Tech joško in naložiti kakšnega od alternativnih OS-ov in softwara, nad katerim imaš nadzor. Takrat bo spet vse tako, kot je bilo prej.
Related na "40 let windows" temo ... enshittification je bil očiten že z win95. Še vedno ne razumem, zakaj ste vsi tako zelo žejlno leteli goltat ta shit.
Nekaj časa smo konzumirali, potem pa šli na alternativo. Ne uporabljamo Big Tech-a, cloudov, imamo Nextcloud doma, "AI" imamo na svojem računalniku offline, uporabljamo adblockerje... Je pa treba slediti Foss napredku. Se mi zdi, da zadnje čase pospešuje.
Nekateri še vedno goltajo, vendar se že marsikomu zatika.
Ali to pomeni, da bo cela generacija starejših ljudi morala kupiti pametni telefon (tisti, ki ga nimajo in tisti, ki imajo telefon za starce z dvocentimeterskimi številkami, ki zagotovo NI pameten)?
Mnogi so še na 12+ let starih Nokiah + na domačem računalniku...
Kako si bodo računalniške trgovine privoščile prodajat notesnike in pisarniške računalnike, na katerih ne moreš dostopat do (hipotetično) 25% spletnih naslovov?
Kako bo TEMU, ki ima že 800 miljonov uporabnikov, gledal, da so mu omejili pri recimo 200 miljonih potencialnih kupcev dostop do strani?
Ali računalniški šalabajzerji res ne morejo vrniti situacije v stanje "1990", v "2010", v "2024" (ko je delalo VSE)???
Prvič od daljnega leta 1990 imam težave z dostopom do nekaterih spletnih strani.
Je to nova internetna realnost? En mobilc za pol spletnih strani, drug mobilc pa za drugo polovico? Notbooke pa v kante?
Kaj bodo v novi realnosti počeli z računalniki v šolah? In firmah? To zame NI normalno stanje. Kaj je zadaj, pa me seveda kot uporabnika, ki plačuje dostop, ne zanima!
Za to so krivi yippi programerji, ki si vsake pol leta izmislijo nov framework in mislijo, da ga bodo vsi uporabljali, ker je super full špon. A je vsak novejši manj optimiziran od prejšnjega, plus starejši brskalniki ga ne podpirajo. Sam bi jih poslal v gulag. In potem ti na brskalniku dela vedno manj strani, brskalnika ne moreš posodobiti, ker je OS star že, o groza, pet let.
Za reševanje tega bo treba malo migati. Naloži si linux mint mate (ne cinnamon, ta ima preveč šminke). Nanj gredo novi brskalniki, playerji in vse, kar rabiš za doma. Obenem pokažeš sredinec Billiju, lahko uporabiš 15 let star računalnik in dela vse lepo odzivno. Sam imam na primer par škatel s procesorji AMD FX, ki z mintom ne kažejo svojih let.
Druga opcija je, da odpreš denarnico, kupiš nov W11 pc in daš big techu na voljo svoje podatke.
