Slo-Tech - Ameriška javna televizija PBS se je znašla v težkem položaju, saj njena podružnica Nine PBS ne more več dostopiti do svojega 50 TB velikega arhiva iz St. Louisa, v katerem imajo več kot 70 let televizijskih oddaj, prispevkov in drugih vsebin. PBS je zato vložil tožbo, s katero želi od upravljavca oblaka dobiti dostop do podatkov.
Zgodba je nekoliko bolj zapletena. PBS je imel od leta 2019 pogodbo s podjetjem Open Source Storage (OSS) za vzdrževanje digitalnega arhiva. Pogodba je potekla februarja, PBS-u pa ni uspelo stopiti v stik z OSS, ko je želel podaljšati pogodbo. Od marca dalje se OSS ni več odzival. Po pogodbi je imel PBS 30 dni časa, da po poteku pogodbe podatke prenese, a OSS tega ni spoštoval in je takoj po preteku pogodbe dostop onemogočil. Kasneje se je izkazalo, da je OSS v stečaju.
Oblak je v resnici gostoval pri podizvajalcu Iron Mountain Data Centers. PBS je podjetju sporočil, da je pripravljen plačati razumno vsoto za dostop do podatkov, česav pa Iron Mountain ni želel storiti. Dejali so, da nudijo le fizično infrastrukturo, torej kolokacijo, povezljivost, napajanje in podobno, medtem ko so strežniki v lasti propadlega OSS-a. Če bi Iron Mountain dostopal do strežnikov, bi kršil določa pogodbe o najemu, saj podatki niso njegovi.
PBS-ova lokalna podružnica je sedaj v nezavidljivem položaju, saj do podatkov ne more, v najslabšem primeru pa bi jih lahko trajno izgubil. Že minuli mesec je v začasni odredbi sodišče Iron Mountainu prepovedalo izbris ali spreminjanje podatkov. PBS je tožil tudi OSS, ki se sploh ni pojavil na sodišču, zato je to razsodilo, da je PBS zakoniti lastnik podatkov, ki mu jih mora OSS vrniti ali pomagati pri prenosu k novemu ponudnikov storitev v oblaku. Ker se to ni zgodilo, je PBS tožil tudi Iron Mountain; sodišče mu je pritrdilo in podjetju naložilo, da podatke posreduje PBS. To se še ni zgodilo.
Ker Nine PBS ni imel arhiva pod lastnim nadzorom, temveč se je zanašal na zunanje ponudnike, je sedaj v negotovosti 70 let neponovljivih in neprecenljivih posnetkov. Gre za 11.000 datotek s posnetki dogodkov, kot so poplave leta 1993, epidemija covida, zgodovina East St. Louisa itd.
Pri takšnih podjetjih mi je precej zanimivo, da stvari dajejo na nek zunanji oblak. Pa saj bi rekel, da gre za neko firmo s 5 zaposlenimi in nočejo imeti svojega serverja in infrastrukture. A ko imaš tako veliko firmo, ki ima precej podatkov pa tudi IT bi moral biti na nivoju, bi moralo biti pa shranjevanje takšnih podatkov znotraj firme trivialno.
Tukaj bi še pred podpisam pogodbe zahteval možnost samostojnega dostopa do podatkov, ali vsaj kako "break-glass" funkcionalnost.
Ampak gre za PBS, javni servis, tako da je takoj več jasno.
Pri oblačni storitvi? Kako že? Ker si v tem primeru infrastrukturo deliš tudi z drugimi strankami. Samostojen dostop do podatkov imaš v tem primeru mogoč samo v primeru kolokacije z lastnimi strežniki, kot neposredna stranka DC-ja, kar je v domeni naročnika, ne oblačne storitve, ki jo najemaš.
Iron Mountain Data Centers, ki nima čarobnega vzvoda iz tuje infrastrukture izpljuniti zgolj podatkov ene stranke OSS-a, je tu v precej zoprnem položaju, ker bo v tem primeru PBS v postopku reševanja lastnih podatkov hočeš-nočeš najbrž brskal tudi po podatkih drugih uporabnikov propadlega OSS-a.
50 TB podatkov pa res ni nekaj, kar neka ameriška televizija ne bi mogla met shranjeno lokalno. Edino kopijo zaupat nekemu nepreverjenemu ponudniku je res iskanje težav.
Je res samo 50 TB? In to niso mogli rešiti z lokalnim shranjevanjem? Vsekakor je to šola, ki jo še nekaj časa ne bodo pozabili ... nekateri.
Hrabri mišek (od 2015 nova serija!) -> http://tinyurl.com/na7r54l
18. november 2011 - Umrl je Mark Hall, "oče" Hrabrega miška
RTVSLO: http://tinyurl.com/74r9n7j
A se sam meni zdi 50TB absurdno malo (v kontekstu)?
Skoraj 5Gb na posnetek (pustimo zaenkrat picajzljenje glede štetja bitov in baytov in marketinških oznak, ja?). Verjetno original posnetki niso dovolj kakovostni ali pomembni, da bi se splačalo pretiravat in porabit terabajte za en posnetek...
Ne moreš verjeti kakšni nesposobneži so po svetu. 50TB diskovja pride manj kor 2000 €. Oblak je dober za kakšen na preveč pomemben Backup, kaj več pa ne.
Pri takšnih podjetjih mi je precej zanimivo, da stvari dajejo na nek zunanji oblak. Pa saj bi rekel, da gre za neko firmo s 5 zaposlenimi in nočejo imeti svojega serverja in infrastrukture. A ko imaš tako veliko firmo, ki ima precej podatkov pa tudi IT bi moral biti na nivoju, bi moralo biti pa shranjevanje takšnih podatkov znotraj firme trivialno.
Večji še raje dajejo zadeve na oblak.
Zakaj?
Ker: - je lažje ("clickops") - ni treba nobenih investicij (opex vs capex) - IT oddelek nima nobene odgovornosti - za ISO presoje in cyberinsurance samo rečejo "vse handla ponudnik" in je avtomatsko vse obkljukano
IT oddelek od Nine PBS je vse to naklikal, sedaj pa jedo kokice in čakajo da bo "legal" to rešil, namesto da bi reševali podatke.
Najbrž so arhiv plačevali cela leta ali celo desetletja, ko je bila to bolj spoštovanja vredna številka. No, cena mesečnega računa je bila seveda enaka že od leta 1999...
Skratka, zakaj bi se sekirali za poslovne odločitve nekoga? Važno je, da se ve, da oblak ni zagotovilo za neizgubo podatkov. Kdor tega ne ve, mu je to lahko šola. Vse ostalo (količina podatkov, pomembnost podatkov ...) je popolnoma nepomembno. Izgubil jih je naročnik in prav mu bodi.
Ker: - je lažje ("clickops") - ni treba nobenih investicij (opex vs capex) - IT oddelek nima nobene odgovornosti - za ISO presoje in cyberinsurance samo rečejo "vse handla ponudnik" in je avtomatsko vse obkljukano
IT oddelek od Nine PBS je vse to naklikal, sedaj pa jedo kokice in čakajo da bo "legal" to rešil, namesto da bi reševali podatke.
Od takšne firme bi pričakoval, da morajo imeti kar nekaj podatkov, saj videi in obdelava le teh ni ravno na nivoju nekaj tekstovnih dokumentov. In ko imaš toliko podatkov potem bi lahko imeli že na nivoju matične firme to nekako urejeno. Po drugi strani so podružnica in v takšnem sistemu se pri vsaki podužnici postavi par serverjev in lahko imaš podatke na n-lokacijah brez večjih stroškov.
Pač to ni nek lokalni računovodski servis, ki ima precej manj podatkov in bi jih lastna infrastruktura več stala, kot da dobijo providerja.
A se sam meni zdi 50TB absurdno malo (v kontekstu)?
Zdaj sigurno je. Ne vem, kako dolgo ta arhiv imajo. 10 let nazaj je bila to vseeno spoštljiva cifra. Bi pa pričakoval, da bi imeli neko tračno enoto. Ni to rocket science.
Kje to vidiš tu? V tem primeru je IMHO Iron Mountain ravnal popolnoma pravilno. Nine PBS ni bil njihova stranka in oni niso hranili podatkov pri njih, nekdo drug jih je.
Brez sodnega naloga oz. podobne pravne podlage bi bilo izjemno nespametno, da bi katere koli podatke kar tako dajali tretjim osebam, četudi zelo glasno in prepričljivo vpijejo "to je pravzaprav naše"... Zdaj pa imajo konkretno podlago, na kateri lahko te podatke dajo.
Če so sploh še dejansko dostopni pri njih, seveda. Da niso npr. enkriptirani, ključi pa pri izginulem ponudniku...
Tudi matična firma ima v oblaku, zanjo velja isto kot zgoraj. Serverje moraš kupit, oblaka ni treba.
Seveda ima, če imajo tako postavljen sistem. Mene bolj zanima, zakaj se niso odločili za alteranitivo. Ker broadcast je IT precej intenzivna panoga kjer serverjev, switchev, rackov ne manjka.
Hlapci! Za hlapce rojeni, za hlapce vzgojeni, ustvarjeni za hlapčevanje.
Gospodar se menja, bič pa ostane, in bo ostal za vekomaj; zato, ker je hrbet
skrivljen, biča vajen in željan! [Ivan Cankar]
Diski so meni crknili po 15 letih, nvme... ne vem koliko bo zdržal?
Za slike otrok itd... kako bi danes to backupiral na 2 medija? Kak nasvet?
zz
Kaj uporabljajo profesionalci in za koliko let shranijo ne vem.
Jaz sem imel najboljše izkušnje z aktivnim podatkovnim strežnikom. Pred 25 leti sem iz nekega starega 486 računalnika naredil strežnik not vrgel par diskov, kjer sem uporabljal diske tako za arhiviranje, backup kot tudi za sprotne podatke. Najprej posamezni diski z Windows 98, potem nadgradnja XP, kasneje linux, potem linux na mdadm raid1 in zdaj linux btrfs raid1. Vmes sem imel še kup CD/DVD ki sem jih bolj ali manj uspešno spravil na diske.
Do sedaj sem se naučil, da se tehnologija spreminja in da je neke stare CD/DVDje, HDDje, danes precej težje prebrati saj so se že vmesniki spremenili (recimo imaš star backup na disketah v fat16). Tudi tehnologija zapisovanja se je precej spremenila, saj imamo danes datotečne sisteme ki preverjajo integriteto podatkov. Kot drugo so podatki na medijih čedalje bolj gostejši in ti star backup ne predstavlja večjih težav, kar se tiče podatkov.
sprašujem z razlogom: letos sem reševal slike otrok iz 3 (treh!) HDD, ki so istočasno crknili v istem letu... po 15 letih. Hvalabogu je 98% bilo rešljivega...
sprašujem z razlogom: letos sem reševal slike otrok iz 3 (treh!) HDD, ki so istočasno crknili v istem letu... po 15 letih. Hvalabogu je 98% bilo rešljivega...
zz
Za nvme so zadaj nand celice - torej je tehnologija enaka kot pri usb ključkih, emmc, sd karticah, kjer se podatki shranjujejo v naboj. To drži nekaj let/desetletje odvisno od kvalitete. Drugače imajo te celice kontrolerje kjer se potem interno preverja integriteta in se lahko stvari refresshajo - torej, če je pod napajanjem pričakuj da podatki zdržijo dlje kot sicer.
In kako so ti crknili diski? Hkrati en za drugim? Si imel enake - iz istega batcha? Raid?
ne, zunanji diski, ki so se zavrteli... parkrat letno. Po moje je enostavno kaj oksidiralo...
torej za NVME je bolje, da so več priklopljeni, kot manj, OK. Saj za backup res ne narebijo biti superhitri, škoda da nisem tega nabavil več kakega pol leta nazaj... V bistvu - če se mi bo dalo - imam lahko samo palčke in eno ohišje in čao miki...
zz
je pa res zanimivo, da so vsi trije crknili dobesedno v roku 3 mesecev... po mo je je oksidacija...
ne, zunanji diski, ki so se zavrteli... parkrat letno. Po moje je enostavno kaj oksidiralo...
torej za NVME je bolje, da so več priklopljeni, kot manj, OK. Saj za backup res ne narebijo biti superhitri, škoda da nisem tega nabavil več kakega pol leta nazaj... V bistvu - če se mi bo dalo - imam lahko samo palčke in eno ohišje in čao miki...
zz
je pa res zanimivo, da so vsi trije crknili dobesedno v roku 3 mesecev... po mo je je oksidacija...
Hja, ironija je da imaš z vlago manj težav če so diski vedno v pogonu, saj so vedno dovolj topli da se gor nič ne kondenzira in tako počasneje oksidira .
Za te nand celice in kontrolerje je dobro, da prebereš iz njih podatke ker tako se potem ugotovijo napake, pa da se popravijo interno na nivoju kontrolerja - refresh celic.
Tudi pri datotečnih sistemih, ki imajo integriteto (zfs, brtfs), se le ta ne računa za vse podatke, ampak samo za stvari do katerih dostopaš, zato je dobro poganjati scrub, kjer prebereš celoten disk. Ker ti lahko imaš disk, ki je delujoč in zgleda OK, vendar zaradi okvare blokov do nekaterih podatkov ne moreš. Jaz sem imel zadnje 2 leti 2 takšni težavi. Disk dela, vse OK, samo btrfs scrub mi je začel javljati, da integriteta ni OK, SMART vse OK. Drug disk pa je SMART pokazal napake in dmseg da do podatkov ne pride - ampak sprožilec spet scrub, ki je prebral vse podatke.
50 TB za televizijo je res malo, sploh ko datoteke ekstremno rastejo.
Nekaj se trudim s yt/tiktok/fb reel posnetki in imam dokaj budget setup, DJI Neo2 drona in action 4 kamero. S kamero v 4k/60Hz posnamem na 128GB kartico nekaj čez 2 uri posnetkov. Dronček s 50GB vgrajenega prostora je tudi hitro poln. Za en daljši posnetek na yt je hitro 1+TB neobdelanega video materiala. Sicer je veliko materiala za stran, pa vseeno.
d4vid: ampak to so bili končni zmontirani posnetki.
Drugače pa baje baje magnetni video trakovi propadajo hitreje kot jih lahko digitalizirajo in morajo se dejansko odločat kaj bodo arhivirali, kaj pa bo propadlo...
ne, zunanji diski, ki so se zavrteli... parkrat letno. Po moje je enostavno kaj oksidiralo...
torej za NVME je bolje, da so več priklopljeni, kot manj, OK. Saj za backup res ne narebijo biti superhitri, škoda da nisem tega nabavil več kakega pol leta nazaj... V bistvu - če se mi bo dalo - imam lahko samo palčke in eno ohišje in čao miki...
zz
je pa res zanimivo, da so vsi trije crknili dobesedno v roku 3 mesecev... po mo je je oksidacija...
Tukaj je IMHO glavna količina kopij. Jaz imam originale na delovnem PCju (ssd), prvo kopijo na Synology (hdd raid), drugo in tretjo na offline HDDjih in četrto v oblaku v Backblaze bucketu.
50 TB za televizijo je res malo, sploh ko datoteke ekstremno rastejo.
Nekaj se trudim s yt/tiktok/fb reel posnetki in imam dokaj budget setup, DJI Neo2 drona in action 4 kamero. S kamero v 4k/60Hz (...)
Off-topic: na različnih laptopih (win/linux) se pogosto dogaja, da GPU ne zna ustrezno strojno pospeševati video kodeka, in na 60 fps se dretje ventilatorja pozna veliko bolj kot boljša kakovost videa.
Se da pri nalaganju na YT enostavno poklikati, da ti video YT donwsampla na 30 fps?
.