Za zdaj velja konsenz, da računalniki in stroji ne morejo razviti zavesti in misliti, a rezultati njihovega delovanja so hudo podobni temu. Klasični računalniški programi so bili strogo deterministični v smislu, da so delovali kot recept. Koraki so bili jasno opredeljeni, rezultati predvidljivi in razumljivi. Pri strojnem učenju pa računalniku ne damo recepta, temveč se uči sam. Navdih so raziskovalci dobili v naravi, saj se človeški možgani učijo na povsem enak način. Nihče se nikoli ni naučil, kaj je stol, tako da bi si zapomnil definicijo, temveč z opazovanjem stolov in prigovarjenjem staršev, da je to - stol. Kanadski psiholog Donald Hebb je že pred skoraj stoletjem pojasnjeval učenje z izgradnjo in krepitvijo povezav v možganih. Na enak način so se spočetka lotili umetne inteligence. Nevrone so predstavljala vozlišča, ki so lahko imela različne vrednosti in so bila povezana med seboj v predvidljivem zaporedju. Takšne nevronske mreže se učijo z določanjem uteži, ki pripadajo posameznim povezavam.
A začetnemu navudšenju v 50. in 60. letih je sledila prva zima, ki je trajala do 80. let. V tem času se je zdelo, da praktične uporabnosti primitivne nevronske mreže ne bodo imele. John Hopfield je leta 1982 razvil Hopfieldovo mrežo, ki deluje kot asociativni pomnilnik. Takšna mreža si lahko zapomni vzorce, nato pa jih reproducira iz približnega vnosa. Takšna mreža ima vozlišča, ki jih povezujejo sinapse, vrednosti povezav pa se imenujejo sinaptične uteži. Te imajo takšne vrednosti, da je stabilno stanje mreže (pri različnih vhodih) enako podatku, ki ga želimo shraniti, kar lahko dosežemo s Hebbovim učenjem. Hopfield je tak sistem primerjal s fizikalnim sistemom, kjer opazujemo spin koreliranih delcev.
Izkaže pa se, da je možno v takšni nevronski mreži shraniti več vzorcev, glede na vhod pa lahko mreža razlikuje med njimi. Od tod do mreže, ki zmore prepoznavati slike, ni več daleč. Hopfield je postavil temelje nevronskih mrež, ki predstavljajo asociativni pomnilnik. Z vprašanjem, ali lahko računalniki prepoznavajo vzorce - in predvsem se tega spontano oziroma zgolj z vajo naučijo sami - podobno kot ljudje, se je ukvarjal tudi Hinton. Začel se je prav s Hopfieldovimi mrežami in jih razvil v Boltzmannov stroj. Ta ima nevrone v dveh vrstah slojev: vidnih in skritih. Medtem ko so v Boltzmannovem stroju povezave tudi med nevroni v istem sloju, jih v omejenem Boltzmannovem stroju ni. Tovrstne mreže se lahko učijo tako, da jim predložimo vzorce, nato pa so sposobne prepoznavati tudi vzorce, ki jih niso videle še nikoli. Prve vrste teh strojev so bile neučinkovite, kasneje pa so jih z natančnim premislekom, katere povezave med nevroni so zares potrebne, bistveno pospešli. Danes jih srečujemo povsod, tudi ko nam Netflix predlaga filme, ki bi nas lahko zanimali.
