Neural nätvärk

Olika stridsvagnar. Bland annat.

Många klintbergare hör till allmänbildningen. Sådana behöver vara just allmänna, säger inte fordra någon bakgrundskunskap utan förstås direkt av alla.

Men det finns också mängder av klintbergare som förekommer inom vissa grupper. Om de handlar om en person, händelse, period eller annan företeelse som inte är allmänt känd så löper de ingen större risk att spridas bland allmänheten (om de inte muterar såklart), men kan spridas desto effektivare i sammanhang där personen, händelsen etc är desto mer känd.

Den anekdot som ska tas upp här förekommer i AI-branschen. Neurala nätverk har, gissar jag, de flesta utanför det facket aldrig hört talas om, och än färre har en susning om hur de fungerar. I detta sammanhang är de en metod för att få en dator att skilja på bilder (ge högre eller lägre utslag). För att åstadkomma det får det först "träna" genom att titta på en rad bilder vars utslag är kända. En lurig egenskap är att inlärningen inte går att analysera; datorn ser bilden X och ger utslaget Y, och vi vet inte varför. NN har använts länge inom AI och på sistone fått fler och fler praktiska tillämpningar. Men den här historien verkar utspela sig en tid tillbaka.

Som vanligt när det gäller klintbergare finns det flera versioner. Här är en:

AI-forskare tog fram ett neuralt nätverk som skulle kunna skilja på amerikanska och sovjetiska stridsvagnar. Man började med 100 bilder av vardera sorten, och tränade nätverket med dem. När det var klart så tog man fram ytterligare 100 bilder av vardera sorten och testade det på nätverket. Det lyckades perfekt! 

Men längre fram så gjordes fler tester, och de gick inte alls lika bra. Nätverket var inte ens bättre än slumpen på att skilja stridsvagnarna. Vad hade hänt? 

Så småningom fann man lösningen: De amerikanska stridsvagnarna hade fotograferats en solig dag, de sovjetiska en molnig. Nätverket hade lärt sig att skilja på soliga och molniga himlar.

En viss Gwern Branwen har gjort en synnerligen gedigen genomgång av denna klintbergare, för en klintbergare är vad det är. Där listas en rad versioner från olika utvecklingssteg, där den ovan är den senaste. Versionerna varierar på alla möjligas sätt utom just beträffande stridsvagnarna och den snopna upptäckten att nätverket lärt sig något helt annat än det man var ute efter (och så saknas naturligtvis alltid hänvisningar till pålitliga källor). Branwen har grävt fram en sannolik början på historien vilket man inte ser ofta. Och så understryker han att poängen med klintbergaren när den återges inte ligger i dået utan i nuet:

After all, presumably nobody really cares about what mistakes a crude perceptron may or may not have once made back in the 1960s; most/all of the story-tellers are using it for didactic effect in warning against carelessness in contemporary & future AI research/applications.

- gwern.net: Tanks

Det är inte minst viktigt: Klintbergare brukar ha en sens moral, även om den inte alltid är glasklar. De är uppbyggliga historier vi berättar för varandra.