Raziskava: aktualni veliki jezikovni modeli nimajo pojavnih lastnosti
Slo-Tech - Po velikanskem uspehu ChatGPT, ki je novembra 2022 v splošno javnost prinesel zavedanje o sposobnostih umetne inteligence, in hitrem razvoju velikih jezikovnih modelov, ki je sledil, si je marsikdo postavil vprašanje, kam to vodi. Ali je razvoj umetne inteligence - ali pa vsaj njegovo hitrost - možno napovedati ali pa gre za nenadejane skoke? Raziskovalci s Stanforda so preverjali predpostavke, da aktualni veliki jezikovni modeli izkazujejo pojavne lastnosti (emergent properties). Ugotovili so, da to ne drži.
Kot povsod je tudi pri merjenju sposobnosti umetne inteligence vsaj enako pomembno, kako merimo. Če so metode in metrike okorne, se lahko zdi, da s povečevanjem modelov dosežemo točko prevoja, kjer se pojavijo pojavne lastnosti. To deluje, kakor da modeli po neki kritični velikosti pridobijo kvalitativno drugačne lastnosti, ki jih v manjši inačici nimajo. A raziskovalci v najnovejši študiji to imenujejo privid. Resnica je dolgočasnejša, do umetne splošne inteligence (AGI) pa...
Kot povsod je tudi pri merjenju sposobnosti umetne inteligence vsaj enako pomembno, kako merimo. Če so metode in metrike okorne, se lahko zdi, da s povečevanjem modelov dosežemo točko prevoja, kjer se pojavijo pojavne lastnosti. To deluje, kakor da modeli po neki kritični velikosti pridobijo kvalitativno drugačne lastnosti, ki jih v manjši inačici nimajo. A raziskovalci v najnovejši študiji to imenujejo privid. Resnica je dolgočasnejša, do umetne splošne inteligence (AGI) pa...