Blamaža okoli letošnjih britanskih maturitetnih ocen vnovič kaže na pasti pristranskih algoritmov

vostok_1 je 23. avg 2020 ob 21:45 izjavil:

Kako pa algoritem podcenjuje znanje matematike?
Kolikor vem, je matematika in fizika precej eksaktna veda in je končni rezultat ter postopek precej predvidljiv.

A se samo meni zdi, da so nedeljski middle-class antifajevski dušebrižniki takoj zagrabili za novico, ki propagira njihov vidik in se v resnici bolj malo poglobili v dejansko situacijo?

PS. Kako kurac naj bi pretekli rezultati bili faktor za letošnje ocenjevanje? A se matematični aksiomi skozi čas spreminjajo? A ima Fg=m*g vsako leto kak drugačen korekcijski faktor?

Morda se motim, ampak algoritem je vzel prejšnja leta in se "naučil", kako končne ocene predmetov na posameznih šolah korelirajo s številom pik na maturi iz tega predmeta za vsakega dijaka. In potem je vzel zaključne ocene letošnjih dijakov in izračunal pričakovane ocene na maturi. What could possibly go wrong...

vostok_1 je 23. avg 2020 ob 22:58 izjavil:

That must be the dumbest algorithm ever.
Ocenjevanje mature na podlagi predmetnih ocen je pač neumnost.

Kot rečeno, je celoten mass production šolski sistem eno samo sranje.
Individualno šolstvo je prihodnost. Jasno, ob manjši populaciji.

Ne vem, kaj ima velikost populacije veze. Važno je razmerje, na koliko učencev pride en učitelj. To je pa pogojeno izključno s sredstvi, ki smo jih pripravljeni investirati v šolski sistem.

Da ne boste preveč resni:

https://www.smbc-comics.com/comic/rise-...

(na tablici mi noče linka direktno na sliko dati)

vostok_1 je 23. avg 2020 ob 22:58 izjavil:

That must be the dumbest algorithm ever.
Ocenjevanje mature na podlagi predmetnih ocen je pač neumnost.

Kaj pa si pričakoval? Da bo algoritem ocenjeval znanje dijakov na osnovi ... katerega točno vhoda? Zaradi COVID-19 maturitetnih testov ni bilo, torej niti prišli nismo do točke, bi bi te lahko začel spaševati, kako točno bo stroj ocenil esej iz ne vem česa že delajo maturo tam. Že matematiko ocenjevati je vse prej kot enostavno - ja, če je rešitev pravilna ... kaj pa, če postopek ni jasen? Če se je zmotil 2x neodvisno pa je slučajno prišlo prav? Je delal vse prav, pa se je upilil pri seštevanju in ima napačen rezultat? Daleč, daleč od eksaktnosti.

Strojno učenje pa dela ravno to, kar so Angleži naredili - vzame nekaj merljivega in na podlagi tega ocenjuje nekaj težje merljivega. Algoritem tule ni nič kaj posebej dumb, tvoja pričakovanja pač.

Utk je 24. avg 2020 ob 07:11 izjavil:

Zlata vaga je to, da bi morali imet vsi isto povprečje, revni, bogati, grdi, lepi, zeleni, modri...ampak resničnost ni takšna, zato tudi algoritem ni takšen. Jezijo se pa na algoritem, namesto na resničnost.

Saj skorajda razumeš. Očitki algoritmom so seveda, da modelirajo svet, kot je, ne pa, kot bi ga hoteli imeti. Na podlagi preteklih rezultatov bodo revni vedno revni, črnci vedno kriminalci in arabci vedno teroristi.

Utk je 24. avg 2020 ob 07:11 izjavil:

Zakaj niso potem tega upoštevali že v samem algoritmu?

Sedaj vemo, da je imel prav. Zanesljivo je bilo še par 10 izračunov, ki niso bili vsi tako uspešni in zato zanje nisi slišal. Zato se je a-priori pač težko odločiti, katerega boš poslušal.

Vpišeš v google "racist ai":

Približno 17.000.000 rez.

Novico sem prebral, tudi originalno novico. 100 linkov nametanih po celi novici pa pač ne bom odpiral.
Kot rečeno, če je algoritem enostavno napačen, je eno, zanič program si ne zasluži novice, jih je preveč. Če je algoritem pravilen, so pa rezultati kot so, drugačni od pričakovanih, je pa to je drug problem. Verjetno z algoritmom ni nič narobe, samo uporabljen je bil za napačno stvar. Če nekdo letos na slabi šoli ni zelo odstopal, najbrž ni imel možnosti za najvišjo oceno. Ampak to se lahko zahvalijo učiteljem, ki so prejšna leta neupravičeno delili visoke ocene na nekaterih šolah. Če bi na slabih pač imeli vsi 2 in 3, potem pa en 5, bi ta 5ka nekaj veljala povsod. Če imajo vsi same 4ke in 5ke, na slabih in dobrih šolah, imaš pa problem.

WhiteAngel je 23. avg 2020 ob 23:42 izjavil:

vostok_1 je 23. avg 2020 ob 22:58 izjavil:

That must be the dumbest algorithm ever.
Ocenjevanje mature na podlagi predmetnih ocen je pač neumnost.

Kot rečeno, je celoten mass production šolski sistem eno samo sranje.
Individualno šolstvo je prihodnost. Jasno, ob manjši populaciji.

Ne vem, kaj ima velikost populacije veze. Važno je razmerje, na koliko učencev pride en učitelj. To je pa pogojeno izključno s sredstvi, ki smo jih pripravljeni investirati v šolski sistem.

Mase pač zahtevajo masovne sisteme. Kar neizbežno vodi do generalizacije.
Manjša lower stress populacija ima pač lepše življenje.

joze67 je 24. avg 2020 ob 07:22 izjavil:

vostok_1 je 23. avg 2020 ob 22:58 izjavil:

That must be the dumbest algorithm ever.
Ocenjevanje mature na podlagi predmetnih ocen je pač neumnost.

Kaj pa si pričakoval? Da bo algoritem ocenjeval znanje dijakov na osnovi ... katerega točno vhoda? Zaradi COVID-19 maturitetnih testov ni bilo, torej niti prišli nismo do točke, bi bi te lahko začel spaševati, kako točno bo stroj ocenil esej iz ne vem česa že delajo maturo tam. Že matematiko ocenjevati je vse prej kot enostavno - ja, če je rešitev pravilna ... kaj pa, če postopek ni jasen? Če se je zmotil 2x neodvisno pa je slučajno prišlo prav? Je delal vse prav, pa se je upilil pri seštevanju in ima napačen rezultat? Daleč, daleč od eksaktnosti.

Strojno učenje pa dela ravno to, kar so Angleži naredili - vzame nekaj merljivega in na podlagi tega ocenjuje nekaj težje merljivega. Algoritem tule ni nič kaj posebej dumb, tvoja pričakovanja pač.

Utk je 24. avg 2020 ob 07:11 izjavil:

Zlata vaga je to, da bi morali imet vsi isto povprečje, revni, bogati, grdi, lepi, zeleni, modri...ampak resničnost ni takšna, zato tudi algoritem ni takšen. Jezijo se pa na algoritem, namesto na resničnost.

Saj skorajda razumeš. Očitki algoritmom so seveda, da modelirajo svet, kot je, ne pa, kot bi ga hoteli imeti. Na podlagi preteklih rezultatov bodo revni vedno revni, črnci vedno kriminalci in arabci vedno teroristi.

Utk je 24. avg 2020 ob 07:11 izjavil:

Zakaj niso potem tega upoštevali že v samem algoritmu?

Sedaj vemo, da je imel prav. Zanesljivo je bilo še par 10 izračunov, ki niso bili vsi tako uspešni in zato zanje nisi slišal. Zato se je a-priori pač težko odločiti, katerega boš poslušal.

Rešitev je blazno preprosta.
Ukinitev mature.
Sprotni rezultati dajo precej boljši insight v človeka kot nek zaključni izpit.

Mato989 je 24. avg 2020 ob 19:32 izjavil:

Rešitev je blazno preprosta.
Ukinitev mature.
Sprotni rezultati dajo precej boljši insight v človeka kot nek zaključni izpit.

NEUMNOST... matura je še edini izpit zraven pravega doktorata ki je morda kaj vreden v tej državi in verjetno marsikje drugje.... uni diplje talajo kot po tekočem spisku, to da pa kdo ne izdela letnika je pa tudi vedno bolj čuden pojav... tam sem slišal da albanski froci nardijo vsi razrede pa slovensko ne znajo, kakšna šola je to...

Ko bo MEDIANA ocen učencev in dijakov tam pri max 3,2 pa se lahko začnemo pogovarjat o ukinitvi mature...

MATURA je še edini izpit do 18tega leta kjer starci ne morjo preko dretja na učitelje vplivat na oceno... oz. minimalno...

-Vsaj za tehnične predmete to ne bi smel biti problem. Še posebej če se ukine ustni zagovor.
-Predmeti družboslovnih ved, bi morali prenehati biti ocenjevani po klasični metodi.
Pa ne zato ker jih ne bi maral, ampak ker te predmete je izredno težko objektivno ocenjevati. Slovnica pri slovenščini bi še nekako šla. Eseji in podobno pa odpadejo.
Zgodovino se še da objektivno ocenjevati, ampak učenje zgodovine v šoli je malo bebavo. Zgodovino se uči doma.
-Uporaba generatorja naključnih cifer za identifikacijo pred testom bi morala biti obvezna.

And besides. Namesto enkratne mature, se lahko uvede letni zaključni test. Še boljše pa semesterski (pol-letni)

Je pa naše šolstvo ološ in izboljšav ne gre pričakovati v doglednem času.

Tako je.

Naj izpostavim problem. Učitelj v šoli ima na razpolago ocene 1-5 (ali A-F ali 1-10, ni važno) in te ocene bo po najboljši moči (ki je subjektivna) razdelil med populacijo. Če je tak učitelj na šoli, ki zajema teritorialno (torej vzorec ostanka, ne izbor, šolajoče populacije), kjer dijaki od doma prinesejo slabšo motivacijo, manjše ambicije ipd, bo 5/A/10 pomenila nekaj drugega kot na elitni šoli. Distribucija ocen bo pa večinoma podobna, ker se ocenjevanje prilagodi (sčasoma) populaciji.

To so skušali s tem algoritmom popraviti. 5 na "slabi" šoli je potem 3 v končnem seštevku in to lepo na osnovi vseh ocen.

Ampak sedaj pa se v slabši šoli znajde dober dijak. No, več kot 5/A/10 ne bo dobil. Ampak celo če vse ostale dijake sedaj "kaznujemo," ker imajo takega sošolca, in jim damo 4/B/8 ali manj, bo algoritem to njegovo 5 spravil v 3. Dober dijak na taki šoli pod takimi pogoji nima možnosti - na maturi pač.

Algoritem bi deloval samo, če (1) bi bila razporeditev ocen in maturitetnega uspeha odvisna samo od šole oz. okoliša, bi pa veljalo, da če si imel dobre ocene, imaš (nujno) dober maturetetni rezultat, in obratno. Kar pa vemo da ne velja. ali pa (2) če bi algoritem identificiral tudi posameznike (!!!) ki bodo maturitetni rezultat izboljšali ali poslabšali. To je pa precej bolj tricky in predvidevam, da sploh nimajo niti od daleč ustreznih podatkov za kaj takega.

V ML velja, da algoritem običajno ni problematičen; problem je v podatkih, s katerimi algoritem parametriziramo.

Na tole sem prejle naletel:
https://www.rt.com/op-ed/494718-math-ra...