Backdoor-i v Cisco (in drugih) napravah

Ker ima Cisco letos kar veliko veselja z najdenimi "unauthenticated access" dostopi (aka backdoori), me zanima kako se uporabniki/admini soočate s tem.
https://tools.cisco.com/security/center...
https://tools.cisco.com/security/center...
https://tools.cisco.com/security/center...
https://tools.cisco.com/security/center...
https://www.bleepingcomputer.com/news/s...

Nalagate popravke? Kako jih nalagate?
Izvozite obstoječe nastavitve, naložite nov firmware in nastavitve nato naložite nazaj? Kako vemo da se ti NSA accounti ne naložijo nazaj skupaj s shranjenimi nastavitvami?

Ali se zaradi tehle odkritij kaj planira zamenjava Cisco opreme? Se planira kakšni drugačni nakupi? Revizija obstoječega stanja? Moja predvidevanja so, da ostali proizvajalci niso popolnoma nič boljši, samo internih revizij (še) ne izvajajo.

Kako pa sploh izvajate nadgradnje. Nekatere od prizadetih naprav so precej kritične in ne omogočajo nadgradnje, ne da bi prekinili delovanje omrežij.

Kaj pa HP in njihov 29x"A" za dostop do iLO?
https://www.bleepingcomputer.com/news/s...

OK, iLO je načeloma na ločeni mreži, če ga nimaš pa kolikor razumem lahko dela preko primarne mrežne kartice. Nalaganje novega FW, če zahteva reboot mašin, po moje ni realno za pričakovat. Torej tudi reševanje te težave ne bo izvedeno v kratkem.

Kaj pa Intel ME? Nobena mrežna na matični plošči ni nikoli priklopljena v ne-varno omrežje?
Vsak proizvajalec strežniške opreme ima seveda še svojo obliko Intel ME/HP iLO. Kam to priklapljate in ali tem tehnologijam sploh zaupate?


Razumem da Avstralci ne želijo Huawei naprav na državnih omrežjih, ampak Cisco ni nič boljši. Glede na to da lahko realno pričakujemo backdoore v opremi vseh proizvajalcev, kakšne so politike podjetij kjer delate.
"Nobody ever got fired for buying Cisco" ne bo več držalo. Če ne na nižjih nivojih, pa prav gotovo na nivoju odločevalcev.

Eno so backdoori, drugo "0-day" undisclosed voulnerabilities, ki jih tajne službe poznajo, pa ne objavijo. Iz očitnih razlogov. Se pa marsikaj da kupit tudi na črnem trgu.

Hudič z backdoori je v tem, da se je "včasih" povsem regualarno tako razvijalo. Seveda se je vedelo, da je to bad security practice, ampak "vsi so tako delali". Ker pa smo na varnost vedno bolj pozorni je to danes popolnoma odsvetovana praksa. Preden jo bodo pa vsi vendorji potihem zmetali ven iz svoje kode bo pa gotovo še nekaj časa trajalo. Tukaj seveda govorimo z dobro voljo, češ da so bili ti backdoori nenamerni.

Kolikor pa že sam vidiš iz te teme, ljudi sama varnost kaj veliko ne zanima, rabijo prej občutek varnosti. In pravzaprav nihče ne bo šel svoje opreme vendorja A zmetati ven in dal noter vendorja B, ker (lepši odgovor) za to nima časa in denarja ali pa ker (grši odgovor) se noče naučiti delati z opremo vendorja B. Vedno je mogoče sproducirati še super izgovor, da gotovo vendor B ni nič boljši od prejšnjega.

In če predpostavimo, da 99% ljudi zaresnih izkušenj z več kot enim security vendorjem nima (in jih niti noče imeti) bi bilo logično, da niso niti slučano kompetentni presoditi, kaj je smiselno narediti v primeru, o katerem pišeš. Pač čakajo v svoji (državni, ker je velikih privat firm pri nas malo) službi da bo minilo, vsako leto bližje grobu... Vseeno, če so šefi ali operativci.

Ah, pustimo GDPR ven iz te omake.

Seveda pa je jasno: ko pridejo varnostni popravki jih vsi namestijo v nekem razumnem roku. Več vendorjev da do njih tudi brezplačen dostop.

Ampak, če prav štekam, tebe zanima zaresna rešitev na dolgi rok? Tukaj pa pride v poštev moj prejšnji odgovor...

Zanima te torej masovno nameščanje popravkov za luknjasto cedilo, ki mu pravimo UEFI? Ah, jaz sem pa mislil, da hočeš spremeniti svet.

Na je6o s klienti se žal ne spoznam kaj dosti (in nad HPjevimi laptopi sem tudi že obupal), Lenovo pa ima za Thinkpade krasen tool (pojma nimam, če pride tovarniško nameščen na laptopu ali pa ga je gor pushnil IT firme), ki sam javi, da je treba BIOS upgrejdati in da klikni accept, ko se ti bo dalo 2 minuti gledati v zrak (prijaznost do uporabnika, ki se je bo M$ ponovno naučil ravno nekje leta 2025). Nato sam potegne dol ustrezno verzijo BIOSa za tvoj laptop, reboota mašino, pofleša BIOS in čao. Seveda gre za vnaprej izgubljen boj, ker kritični popravki pridejo vsaka 2 meseca, ampak kaj čmo.

Aja, pojma nimam kaj se ob nadgradnji zgodi z nastavitvami s katerimi je bil v BIOSu ugasnjen oddaljen dostop do mašine. Morda so celo preživele vse nadgradnje.

Ne da se mi pogledati, ker je, glede na to, da je v procu zakopan Minix, ki ni bil nikoli mišljen za produkcijsko uporabo in še manj za v od varnosti, vseeno. GDPR? Lepo te prosim, šparaj živce.

@tony1

Svet se ne spreminja z nalaganjem popravkov za backdoore, ampak z menjavo take opreme. Ampak to je povsem druga zgodba.

OK, na PCje torej naložite popravke preko raznih proizvajalčevih toolov. Kaj pa FW za switche?

Če iščeš resen odgovor tudi za omrežno opremo: firewalle posodabljaj recimo na vsak drugi patch (recimo nekje 4-5 krat letno), stikala pa vsaj 1x letno.

Večina vendorjev ima kakšna orodja za spremljanje verzij omrežne opreme in nadgradnjo softvera, je pa odvisno kako uporabno je (HP, na primer, je nekoč imel IMC, ki je bil glomazen in prevelik tudi za največja Slo podjetja. Pa še slabo je delal s starimi switchi.)

Običajno srednje velika Slo okolja napišejo skripto in nato pač to uporabljajo.

Dobro je tudi spremljati release notese vse omrežne opreme, ki jo imaš, in v nujnih primerih (kot je bil npr. Heartbleed) narediti upgrade takoj.

Tudi pri pisanju release notesov so se standardi spremenili: včasih se je pogosto uporabljajo tehniko security through obscurity, kjer je vendor izdal patch sotftvera, v release notesih povedal za 10 napak, ki jih ta odpravlja, za 11. (ki je bila resen security flaw) pa sploh ne. Danes se tudi ta praksa opušča, kar je eden od razlogov, da si odprl to temo.

Še to: oprema, ki teče na Linux-based softveru ima malo prednost, za njegove ranljivosti se ve v vsej skupnosti in se vsaj ranljivosti OSa precej hitro tudi popravlja v napravah, ki ga uporabljajo. In se to tudi jasno napiše v relese notese.

Tudi z vidika upgrejdov je omrežna oprema popolnoma različno kakovostna, nekaterim se dogaja o čemer si pisal v 1. postu, drugim ne; lahko ima človeški sistem številčenja verzij (ali pa popolnoma sfukanega); upgrejd enega kosa opreme lahko traja minuto (ali pa več ur), imaš orodje za masovno nadgradnjo (ali pa ne), takšno kjer je softver zastonj (ali pa seveda ne).

Za nujne zadeve vsekakor HA, torej VM-je migriraš na drug server in prvega "šraufaš". Ni več ovir, da podjetje tega ne bi imelo, če je le znanje.

OK, potem je pri vama, tony1 in Sago, stanje urejeno. Nadgradnje se izvajajo, imate podvojene sisteme ki omogočajo zaustavitve itd. FW na požarnih zidovih in stikalih nalagata nov in naložita stare nastavitve.

Še kdo?

Ker naše izkušnje so bolj tako-tako. Na res kritičnih zadevah ja, se nalagajo popravki. Switchi, VM hosti,..., karkoli kar bi pomenilo downtime/preveč dela in ni popolnoma kritično... To pa ni ravno deležno popravkov. Pa je zelo veliko Cisco opreme naokoli =)

Mal se ne razumemo - mi smo ponudniki IT storitev in se pri našem delu srečujemo s precej različnimi situacijami. Na žalost prepogosto s precej slabim razumevanjem IT varnosti in zakaj je pomembna. No, vsaj do takrat ko kaj ne gre narobe in se ugotovi, da je IT povezan z vsem.

Kar bi rad ugotovil je, zakaj se pri večini strank ne nadgrajuje opreme, Eno je organizacijska plat. Drugo je razumevanje te tematike. Tretja je finančna, tako direkten strošek npr licenc, kot motnja v delovnem procesu.

Na vaših primerih bi rad videl, kako se soočate s tem. Rad bi razširil vzorec primerov in slo-tech je najprimernejše mesto za to.

jukoz je 24. jul 2018 ob 21:30 izjavil:

OK, potem je pri vama, tony1 in Sago, stanje urejeno. Nadgradnje se izvajajo, imate podvojene sisteme ki omogočajo zaustavitve itd. FW na požarnih zidovih in stikalih nalagata nov in naložita stare nastavitve.

Od letos dalje, ja. Ne rabi bit vse podvojeno, dovolj je N+1 in kak shared storage.

Routerji in switchi (cisco) so pa žal last providerja in moraš njemu zaupat, da to počne.

Druge naprave so slabše:

http://blog.ptsecurity.com/2018/07/inte...

Pa lahko nekdo njegov Pitijski odgovor prevede v dva smiselna stavka?

Katere naprave so boljše od katerih in zakaj?

Kakšen pa je delež omrežnih naprav, ki sploh uporabljajo proce z MEjem?

Oba skupaj znata biti, kadar hočeta, ravno polpismena. Nehajta.

Začnita pisati, kot je rada rekla prfoksa v osnovni šoli, s celimi stavki, sicer vaju bom nehal brati.

Glej, v tej debati niso tako pomembni serverji in NASi, ker so v javni internet povezani prek firewallov.

Firewalli pa pogosto uporabljajo nekaj generacij stare proce, in vsaj 80% firewallov, ki so danes v produkciji, MEja nima. (Cel kup firewallov imam, ki uporabljajo 20 let star Celeron 300A. ME? Hi,hi,hi...)

Poleg tega od več deset kritičnih ranljivosti, ki so bile letos odkrite na Cisco firewallih sploh ne vem, če je katera povezana z MEji.

Poleg tega je fant podal link s popravki za ME ranljivosti (bogvekoliko jih še je, verjetno toliko kot ima hroščev povprečno velik travnik) in napisal, "da so druge naprave slabše"?

Kaj za vraga to pomeni?

Glede tega imaš prav, model s Celeronom 300A je šel EOS leta 2016...

Hotel sem samo plastično pokazati, da se v FW naprave ne daje najnovejše robe (v stikala pa sploh ne).

tony1 je 27. jul 2018 ob 11:21 izjavil:

Kaj za vraga to pomeni?

To pomeni, da industrija ne upošteva strokovnjakov za računalniško varnost - še slabše, trendi kažejo, da je vedno več naprav _načrtovanih_ tako, da je znatno stopnjo računalniške varnosti nemogoče doseči.

Če generične računalniške naprave za "profesionalno rabo" še nekako lahko stlačimo v "tako ali tako so v varovanih omrežjih", pri Ciscotu tega luksuza ni več, zato je seveda manj dopustno, da dizajn sploh omogoča izvedbo tako hude napake, kot je trenutno videti, da so - hkrati je pa jasno, da so te napake posledica "nove mode" v računalništvu, ki je v nasprotju z vsem, kar učimo ljudi, ko jih učimo "defenziven dizajn".

ME gor ali dol, vedno več naprav ima vgrajene sekundarne naprave, ki imajo dostop do reči, ki ni le nepotreben, temveč direktno škodljiv, pa se jih ne da izključiti. Zgolj zakrpati programska rezervna vrata je trivialno v primerjavi z masovno menjavo strojne opreme, ki bo zaradi teh trendov prej ali slej nujna.

Še kratko in jasno, ker je tole zgoraj še vedno klobasa: Cisco ni za v smeti, ker nima "management procesorja" z varnostno luknjo, ki ga ni mogoče izključiti, zato trenutno še vedno lahko zgolj s flashanjem popravi osnovnošolski zajeb "pozabljenih odprtih vrat na zadnji strani naprave".

Dumb switchi to the rescue =)

VLANi? Dumb switchi to the rescue. Kolikor VLANov, tolko dumb switchev =)

Pameten FW/gateway in mnogo dumb switchev pa bo.

jukoz je 27. jul 2018 ob 13:41 izjavil:

VLANi? Dumb switchi to the rescue. Kolikor VLANov, tolko dumb switchev =)

Pameten FW/gateway in mnogo dumb switchev pa bo.

Potem rabiš še dumb accesspointe, da boš za vsak SSID postavil svojega in ga povezal na lastni dumb switch,.....
Na koncu se zaštrikaš v kabelsolati in padeš na nos.

Sploh pa smo še čisto v povojih, ko se gre za kakšen malo resnejši security na WiFi. Večinoma itak vlada prepričanje, da se pri WPA2 Enterprise konča, kar se da naresti za varnost (pa še tega ne vidiš tako pogosto implementiranega, kot bi se spodobilo).
Smola je samo, da vse skupaj tako hitro drago rata, če greš v malo resnejše zadeve....raja bi pa imela WiFi za max 30€/accesspoint.

A ne glede na to - treba je malo vtakniti nos v širše koncepte in iz njih potegniti kakšne nauke, stuhtat kaj od tega pa mogoče vendarle lahko porabim tudi v mojem omrežju z 30€ accesspointi.

Tudi sicer sem kar en malo hud na tiste, ki se z zaničljivim pogledom posmehujejo konceptu 'security trough obscurity'. Koneckoncev ni prav nič narobe s tem konceptom, če je vse ostalo 'po standardih'. V tem primeru predstavlja še eno dodatno oviro za potencialnega škodoželjneža.
Koncept je zgrešen edino v primeru, da predstavlja edino zaščito, ki jo imamo - ampak to bi moralo danes biti že za nami... (optimist?)

Kaj pomeni VLAN? Virtual LAN. Lahko maš fizične. Sploh na relativno majhnem omrežju. Situacija v 99%, da je vse razdeljeno po VLANih, switch pa v omarici, do katere ima vsak dostop =)

Ampak spet plavamo stran od osnovne teme.

SeMiNeSanja, kako zgleda omrežje preden postaviš kakšno svojo napravo notri? Kako pogost je scenarij, da se oprema ne nadgrajuje. Kaj je razlog?
Organizacijska plat? Razumevanje te tematike? Finančna, tako direkten strošek npr licenc, kot motnja v delovnem procesu?

Kaj srečuješ? Glede na tvoje zapise v drugih temah predvidevam da podobno. Kako pogosto pa je to?

Kaj pa ti imagodei? Kakšna je realnost?

@jukoz -
Precej odvisno od omrežja. Najdeš prav vse.

Pri 'malih' uporabnikih imaš npr. klasične routerje, ki se jih ni nihče dotaknil od dneva, ko se ga je postavilo v omaro (razen za kak reset, ko so stvari zaštekale).

Pri srednje velikih se najdejo še vedno požarne pregrade prve generacije... no, PIX-a že nekaj časa nisem srečal, ampak starih ASA naprav pa še kar mrgoli tam zunaj. Pa niso samo ASA, imaš tudi razne druge 'security routerje' in kaj vem pod kerimi imeni se še vse prodaja raznorazne paketne filtre.
Tu v veliki meri ni ne pravega znanja o problematiki, niti posluha zanjo. 'Saj imamo firewall...kaj bi pa še rad?'. Vzdrževalci so ponavadi kakšni SP-ji, ki jim je firewall zadnja stvar, s katero bi se še ukvarjali. Če ga preveč 'priprejo' jim hitro težijo, izpadejo kot da niso dobro opravili svojega dela. Manj ko po njemu 'šraufajo' manj je možnosti, da bo kaj zaštekalo.
Grožnje? Se znajo izgovarjati, da takointako nobena požarna pregrada nič ne zadrži, škoda denarja (res, tudi takega vzdrževalca sem že srečal!). Z veliko nakladanja na koncu prikrijejo svoje nepoznavanje tematike.
V glavnem je kar precej tistega 'ne diraj lava dok spava'.

V večjih podjetjih pa je tudi vsega in swačega. Imaš vzorno pošlihtane, imaš popolnoma zanemarjene. Veliko ima tu veze tudi proračun, ki je na razpolago. Žalostno pa je, ko vidiš kdaj nekoga z veliko prevelikim proračunom metati denar skozi okno, na koncu pa nabavljeno nima niti po osnovnošolsko skonfigurirano.

Drugače pa je na splošno najbolj zanimivo, ko nekje postavljaš požarno pregrado na novo. Ne vidiš ravno kako je z posodabljanjem ostale krame - vidiš pa marsikero bedarijo pri konfiguraciji omrežja. Vidiš npr. uporabo najbolj obskurnih NTP serverjev in se sprašuješ, kje vraga so jih sploh našli. Bolj ko granularno konfiguriraš požarno pregrado, bolj se pokažejo napake administracije omrežja in strežnikov na njemu. Te napake pa so lahko še bolj nevarne, kot nenalaganje nujnih popravkov.

V zvezi z popravki ne smemo pozabiti predvsem na IoT kramo. Večinoma že po parih mesecih zanje ni več popravkov. Problem je, ker se pozablja na take IoT naprave kot tiskalnike, sploh današnje moderne multifunkcijske, ki imajo v sebi cel 'računalnik' - priklaplja pa se jih kar na glavno omrežje z dostopom do praktično vsega v hiši (in še na oddaljenih VPN lokacijah po možnosti).
Da so tiskalniki 'osvojljivi' ni nobena skrivnost. Da bi lažje nalagali popravke, pa jim običajno dajo kar polni dostop do interneta... Dejansko te potem čudi, da niso pogosteje odskočna deska za vdore v omrežje podjetij, saj bi teoretično že zadoščalo, da za nekaj sekund vanj vtakneš USB ključek (ali mi lahko prosim nekaj natisnete...?).

Je pa tudi treba razumeti, da je tipični admin vso kariero odraščal z nalogo, da mora poskrbeti, da stvari DELUJEJO. Zato jim je včasih težko osvojiti logiko, da naj deluje izključno to, kar res mora. Včasih potrebujejo nekoga, da jim pogleda pod prste in vpraša, če je res tako dobra ideja, da stvari delujejo 'predobro'. Žal pa kritika ni vedno dobrodošla.....

Invictus je 27. jul 2018 ob 16:00 izjavil:

Tipičen slovenski admin je nek faliran študent (po možnosti ne-računalniške smeri), ki je malo pofušal svoje finance s kakim delom v IT sektorju kake večje firme.

Ko so vsi normalni dali odpoved zaradi nizkih plač, je pač on ostal. In ker je fajn, da imamo enega "računalničarja" v firmi... ponavadi za kure, ki pozabijo, kako se kaj naredi v Wordu.

Ena "hiba" računalniške infrastrukture je, da zelo hitro deluje dovolj dobro, da nihče ne čuti potrebe po nečem boljšem.

This.

Tile backdoori so v specificnih napravah in kolikor mi je znano programska oprema ki na njih tece prihaja iz istega softverskega oddelka iz ene izmed hcerinskih podjetjih v Cisco skupini. Sploh pa se Cisco firewalli kupujejo zaradi podpore in to vecinoma naprave ki stanejo tam od $150k naprej. Za vse ostalo enako zmogljivost ponuja x86 streznik z openbsd in pf ampak tezava je v tem kar je Invictus napisal, da presenetljivo ogromno stevilo sistemskih administratorjev nima blage veze kako z open source kjer je treba kaj sam postorit in kjer ne pride vse "out of the box". To pa dobimo ko se spara denar in se funkcije zdruzujejo tipa DevOps, DevSecOps...

Brez zamere SeMiNeSanja ampak ti si sistemsko in varnostno POLPISMEN in NIMAS POJMA kaj govoris, zato je bolje da nehas trosit svoje neznanje ker bo nekdo to vzel resno. Mene v podjetju v katerem sem veze NDA in ne smem razlagat, cetudi v Slovenscini, kako in kaj bi ti pa rade volje dokazal kako grdo se motis.

Lahko pa recem kaj drugega. Jaz sem omenil pf ti pa govoris o pfsense, to sta dve razlicni stvari!!!! pfsense je samo web interface za freebsd-jev pf ki pa nisto kot openbsd-jev pf. Cisco ASA za ?20k se ne more kosat z openbsd pf na stiri jedrnem Xeonu. Kot drugo bluzis o nekih antivirusih cisto na splosno in ne specificno in pravis kako je clamav shit, a eden izmed najvecjih ponudnikov programske opreme za mail filtriranje Roaring Penguin ima clamav kot engine za svoj CanIt sistem. Potem pa preberem Cisco Umbrella in mi takoj postane jasno da ti ne delas v IT podjetju ampak v podjetju z IT oddelkom kjer delajo "sistemski administratorji" taksni kot jih je Invictus zgoraj opisal.

Stateless vs stateful ni boljse vs slabse amapak gre za dva razlicna namena uporabe, sploh pa ne vem zakaj to omenjas saj pf ravno tako omogoca stateful packet inspection. Znamke znam jaz tudi nastevat. Sem napisal zgoraj pa bom se enkrat, Cisco kupujejo podjetja ki rabijo ali podporo ali pa imajo specificen namen uporabe kjer se x86 pac ne more kosat z applianco firewallom. Ampak takih podjetjih ni veliko ker take naprave stanejo po ?100k, vecina SME ne rabi vec kot kak ASA 5545(-x). Vse mrezne naprave delujejo v dvojicah, torej moras kupit dva taka firewalla in to je ze ?20k, za taki denar si lahko postavis cel pf supermicro cluster. En tak stari Supermicro z stirimi jedri sprejme 15-20k pps brez da gre CPU gor cez 25% in je istocasno petkrat bolj fleksibilen kar se tice konfiguracije kot pa en ASA. Za isto stvar ce hoces kupit ASA moras odstet na tisoce funtov + za nadaljno podporo vsako leto pa po moznosti se za Cisco certifikate za osebje ce bi rad mel popust pri naslednjem nakupu, potem pa nekdo rece da je open source zanic. Sej nic ni popolno, vsaka stvar ima pomanjkljivosti ampak nekaj nastevat in trdit kar tako je brezveze. Mi smo skupina petih podjetij pod eno streho in eno izmed podjetij se izkljucno ukvarja z mrezami, ki med drugim ima tudi 4x 5585-X SPF+ w/ firepower, vsak od njih je stal cca ?120k ampak gre za zelo specificen namen uporabe. Take izdelke ne rabijo in ne kupujejo ljudje ki namescajo Kaspersky na racunalnike svojih strank in popravljajo tiskalnike ter obenem oblikujejo spletne strani. Toliko od mene.