Alati umjetne inteligencije – posebno neuronske mreže – bili su dobri za fizičare. Godinama je ova tehnologija pomagala istraživačima da rekonstruiraju putanje čestica u eksperimentima s akceleratorima, traže dokaze o novim česticama i otkrivaju gravitacijske valove i egzoplanete. Dok alati veštačke inteligencije očigledno mogu učiniti mnogo za fizičare, pitanje je sada, prema Maksu Tegmarku, fizičaru sa Tehnološkog instituta u Masačusetsu,: „Možemo li nešto da vratimo?“
Tegmark vjeruje da njegovi kolege fizičari mogu dati značajan doprinos nauci o umjetnoj inteligenciji, i to je učinio svojim glavnim istraživačkim prioritetom. Jedan od načina na koji bi fizičari mogli da pomognu u unapređenju AI tehnologije, rekao je, bio bi da zamijene algoritame “crne kutije” neuronskih mreža, čiji je rad uglavnom nedokučiv, dobro shvaćenim jednačinama fizičkih procesa.
Ideja nije potpuno nova. Generativni AI modeli zasnovani na difuziji – procesu koji, na primjer, uzrokuje da se mlijeko sipano u šoljicu kafe ravnomjerno raširi – prvi put su se pojavili 2015. godine, a kvalitet slika koje generiraju značajno se poboljšao od tada. Ta tehnologija pokreće popularni softver za proizvodnju slika kao što su DALL·E 2 i Midjourney. Sada, Tegmark i njegove kolege uče da li bi drugi generativni modeli nadahnuti fizikom mogli raditi jednako dobro kao modeli zasnovani na difuziji, ili čak i bolje.
Krajem prošle godine, Tegmarkov tim je predstavio obećavajuću novu metodu za proizvodnju slika nazvanu Poissonov generativni model toka (PFGM). U njemu su podaci predstavljeni nabijenim česticama, koje se u kombinaciji stvaraju električno polje čija svojstva zavise od raspodjele naboja u bilo kojem trenutku. Zove se Poissonov model toka jer kretanjem naelektrisanja upravlja Poissonova jednačina, koja proizlazi iz principa koji kaže da elektrostatička sila između dva naboja varira obrnuto s kvadratom udaljenosti između njih (slično formulaciji Newtonove gravitacije) .
Taj fizički proces je u srcu PFGM-a. “Naš model se može gotovo u potpunosti okarakterizirati snagom i smjerom električnog polja u svakoj tački u svemiru”, rekao je Yilun Xu , diplomirani student na MIT-u i koautor rada. “Ono što neuronska mreža nauči tokom procesa obuke je kako procijeniti to električno polje.” I na taj način može naučiti da stvara slike jer se slika u ovom modelu može sažeto opisati električnim poljem.
PFGM može kreirati slike istog kvaliteta kao one proizvedene pristupima zasnovanim na difuziji i to 10 do 20 puta brže. „Koristi fizičku konstrukciju, električno polje, na način koji nikada ranije nismo vidjeli“, rekao je Hananel Hazan , kompjuterski naučnik sa Univerziteta Tufts. “To otvara vrata mogućnosti da se drugi fizički fenomeni iskoriste za poboljšanje naših neuronskih mreža.”
Modeli difuzije i Poissonovog toka imaju mnogo toga zajedničkog, osim što su zasnovani na jednačinama uvezenim iz fizike. Tokom treninga, model difuzije dizajniran za generisanje slike obično počinje sa slikom — recimo psa — a zatim dodaje vizuelni šum, mijenjajući svaki piksel na nasumičan način sve dok njegove karakteristike ne postanu potpuno pokrivene (iako ne budu potpuno eliminirane). Model tada pokušava obrnuti proces i stvoriti psa koji je blizak originalu. Jednom obučen, model može uspješno kreirati pse – i druge slike – počevši od naizgled praznog platna.
Modeli Poissonovog toka rade na skoro isti način. Tokom treninga, postoji proces naprijed, koji uključuje postepeno dodavanje šuma jednom oštroj slici, i proces obrnutog u kojem model pokušava ukloniti taj šum, korak po korak, sve dok se početna verzija uglavnom ne obnovi. Kao i kod generisanja zasnovanog na difuziji, sistem na kraju nauči da pravi slike koje nikada nije video tokom treninga.
Ali fizika koja leži u osnovi Poissonovih modela je potpuno drugačija. Difuziju pokreću termodinamičke sile, dok Poissonov tok pokreću elektrostatičke sile. Potonji predstavlja detaljnu sliku koristeći raspored naelektrisanja koji može stvoriti vrlo komplicirano električno polje. To polje, međutim, uzrokuje da se naboji ravnomjernije rasporede tokom vremena – baš kao što se mlijeko prirodno raspršuje u šoljici kafe. Rezultat je da samo polje postaje jednostavnije i ujednačenije. Ali ovo uniformno polje prepuno buke nije potpuna prazna ploča; još uvijek sadrži sjeme informacija iz kojih se slike mogu lako sastaviti.
Početkom 2023. tim je nadogradio svoj Poissonov model, proširivši ga tako da obuhvati čitavu porodicu modela. Proširena verzija, PFGM++, uključuje novi parametar, D , koji omogućava istraživačima da prilagode dimenzionalnost sistema. Ovo može napraviti veliku razliku: u poznatom trodimenzionalnom prostoru, jačina električnog polja koje proizvodi naboj je obrnuto proporcionalna kvadratu udaljenosti od tog naboja. Ali u četiri dimenzije, jačina polja prati inverzni zakon kocke. A za svaku dimenziju prostora i svaku vrijednost D , taj odnos je nešto drugačiji.
Ta jedina inovacija dala je Poissonovim modelima toka daleko veću varijabilnost, pri čemu ekstremni slučajevi nude različite prednosti. Kada je D nizak, na primjer, model je robusniji, što znači da je tolerantniji na greške napravljene u procjeni električnog polja. “Model ne može savršeno predvidjeti električno polje,” rekao je Ziming Liu , još jedan diplomirani student na MIT-u i koautor oba rada. “Uvijek ima nekih odstupanja. Ali robusnost znači da čak i ako je vaša greška u procjeni velika, i dalje možete generirati dobre slike.” Dakle, možda nećete završiti sa psom svojih snova, ali ćete ipak završiti sa nečim što liči na psa.
S druge strane, kada je D visok, neuronska mreža postaje lakša za treniranje, zahtijevajući manje podataka za ovladavanje svojim umjetničkim vještinama. Tačan razlog nije lako objasniti, ali duguje se činjenici da kada ima više dimenzija, model ima manje električnih polja za praćenje — a time i manje podataka za asimilaciju.
Poboljšani model, PFGM++, “daje vam fleksibilnost da interpolirate između ta dva ekstrema,” rekla je Rose Yu , kompjuterski naučnik sa Univerziteta Kalifornije u San Dijegu.
I negdje unutar ovog raspona leži idealna vrijednost za D koja uspostavlja pravu ravnotežu između robusnosti i lakoće treninga, rekao je Xu. „Jedan od ciljeva budućeg rada biće pronalaženje sistematskog načina pronalaženja te slatke tačke, tako da možemo izabrati najbolji mogući D za datu situaciju bez pribegavanja pokušajima i greškama.”
Drugi cilj istraživača MIT-a uključuje pronalaženje više fizičkih procesa koji mogu pružiti osnovu za nove porodice generativnih modela. Kroz projekat pod nazivom GenPhys , tim je već identifikovao jednog obećavajućeg kandidata: potencijal Yukawa, koji se odnosi na slabu nuklearnu silu. “Razlikuje se od Poissonovog toka i modela difuzije, gdje je broj čestica uvijek očuvan,” rekao je Liu. “Yukawa potencijal vam omogućava da uništite čestice ili podijelite česticu na dva dijela. Takav model bi, na primjer, mogao simulirati biološke sisteme u kojima broj ćelija ne mora ostati isti.”
Ovo bi moglo biti plodonosno istraživanje, rekao je Yu. “To bi moglo dovesti do novih algoritama i novih generativnih modela s potencijalnim primjenama koje se protežu dalje od generiranja slika.”
Izvor: https://www.quantamagazine.org/new-physics-inspired-generative-ai-exceeds-expectations-20230919/
