'Insajderi' iz industrije počinju priznavati da veliki jezični modeli (LLM) ne mogu rasti unedogled iako ih se opskrbljuje s više podataka i računalne snage
IPAK POSTOJE ZAMKE
Znakovi stagnacije: Usporava li uspon umjetne inteligencije?
Čitanje članka:
2
min
U Silicijskoj dolini polako raste uvjerenje koje bi moglo moglo imati goleme posljedice - usporava se napredak velikih modela umjetne inteligencije (AI), za koje se očekuje da će u bliskoj budućnosti doseći ljudsku razinu. Od entuzijastičnog lansiranja govornog robota ChatGPT-ja prije dvije godine, pobornici umjetne inteligencije smatrali su da će njezina postignuća eksponencijalno ubrzati pošto su tehnološki divovi olakšali proces računalnom snagom te golemim količinama podataka za obučavanje modela. Mislili su da to ovisi samo o resursima: osigura li se dovoljno računalne snage i podataka, pojavit će se opća umjetna inteligencija (AGI) s jednakim ili većim sposobnostima od ljudskih.
Proces je napredovao toliko brzo da su vodeće ličnosti iz industrije, uključujući Elona Muska, tražili moratorij na istraživanje umjetne inteligencije.
Međutim, velike tehnološke tvrtke, uključujući Muskove, nisu prestale s radom nego su potrošile desetke milijardi dolara kako ne bi zaostale u razvoju.
OpenAI, organizacija odgovorna za ChatGPT koju podupire Microsoft, nedavno je prikupila 6,6 milijardi dolara za financiranje daljnjeg napretka.
xAI, Muskova tvrtka za umjetnu inteligenciju, trenutno prikuplja šest milijardi dolara kako bi kupila 100.000 čipova kompanije Nvidia koji pogone rad velikih modela.
Međutim, čini se da na putu prema općoj umjetnoj inteligenciji postoje zapreke.
'Insajderi' iz industrije počinju priznavati da veliki jezični modeli (LLM) ne mogu rasti unedogled iako ih se opskrbljuje s više podataka i računalne snage.
Unatoč ogromnim ulaganjima, istraživanja pokazuju znakove stagnacije.
"Basnoslovne vrijednosti kompanija poput OpenAI-a i Microsofta se uglavnom temelje na zamisli da će LLM-ovi postati opća umjetna inteligencija ako ih se nastavi proširivati", rekao je stručnjak i redovit kritičar AI-a Gary Marcus.
"Kao što sam oduvijek upozoravao, to je samo tlapnja".
'Nema zida'
Jedan od temeljnih izazova predstavlja ograničena količina jezičnih podataka dostupnih za obučavanje modela.
Prema Scottu Stevensonu, šefu AI tvrtke za pravna pitanja Spellbook, pouzdanje u isključivo jezične podatke za širenje modela nužno mora dovesti do zastoja.
"Neki od laboratorija bili su daleko previše usredotočeni na to da (modelu) dodaju samo više jezičnih podataka, misleći da će jednostavno i dalje postajati pametniji", objasnio je Stevenson.
Sasha Luccioni, istraživačica i čelnica odjela za umjetnu inteligenciju u razvojnoj tvrtki Hugging Face, tvrdi da je zastoj bio predvidljiv s obzirom na fokus kompanija na veličinu, a ne na svrhu.
"Težnja za AGI-om je oduvijek bile nerealna, a pristup 'veće je bolje' kada je riječ o umjetnoj inteligenciji s vremenom je morao doći do granice, a mislim da je to ono što sada ovdje vidimo", rekla je za AFP.
Branša pak osporava te interpretacije i drži da je napredak prema umjetnoj inteligenciji ljudske razine nepredvidiv.
"Nema zida", napisao je šef OpenAI-a Sam Altman u četvrtak na društvenoj platformi X, no nije objasnio što je pod time mislio.
Dario Amodei, čelnik tvrtke Anthropic koja razvija govornog robota Claude u partnerstvu s Amazonom, ustraje: "Ako pogledate stopu rasta ovih sposobnosti, zaista možete pomisliti da ćemo stići tamo do 2026. ili 2027.".
Vrijeme za razmišljanje
Ipak, OpenAI je odgodio izlazak očekivanog nasljednika modela GPT-4, koji koristi ChatGPT, zato što povećanje njegovih sposobnosti nije ispunilo očekivanja, prema izvorima koje je citirao The Information.
Tvrtka se sada usredotočuje na to da učinkovitije iskoristi svoje postojeće sposobnosti.
Promjena strategije se održava u njihovom nedavnom modelu o1, dizajniranom za to da pruža točnije odgovore na temelju poboljšanog rasuđivanja umjesto povećanih podataka.
Stevenson je rekao da je promjena smjera u OpenAI-u da svoje modele uči da "provode više vremena u razmišljanju nego u odgovaranja" dovela do "radikalnih poboljšanja".
Usporedio je pojavu umjetne inteligencije s otkrićem vatre. Umjesto da se dodaje više goriva u obliku podataka i računalne snage, vrijeme je da se napredak iskoristi za specifične zadatke.
Stanfordski sveučilišni profesor Walter De Brouwer usporedio je napredne LLM-ove s učenicima koji prelaze iz srednjih škola na fakultete: "Dijete umjetne inteligencije bio je govorni robot koji je puno improvizirao" i bio sklon pogreškama, istaknuo je.
"Sada stiže čovjekov pristup - da se razmisli prije nego što se djeluje", dodao je.
Sve što je bitno, na dohvat ruke
Skini aplikaciju za najbolje iskustvo portala. Čitaj, komentiraj i budi uvijek u toku s najnovijim vijestima.
Odaberi temu koju želiš pratiti
Primaj sve nove vijesti o temi i budi u tijeku
