Apple razvija sistem koji može da razumije šta korisnik vidi na ekranu

ReALM koristi velike jezičke modele za rješavanje složenih problema identifikacije referenci na ekranu, pretvarajući ih u zadatak modeliranja jezika. Ova inovacija dozvoljava sistemu značajna poboljšanja u performansama u poređenju sa postojećim metodama, čime se olakšava razumijevanje konteksta od strane glasovnih asistenata i omogućava korisnicima da postavljaju pitanja vezana za ono što vide na svom ekranu.

Jedna od ključnih inovacija ReALM-a je sposobnost rekonstrukcije vizuelnog prikaza ekrana kroz tekstualnu reprezentaciju, što uključuje parsiranje entiteta na ekranu i njihove lokacije. Ovo omogućava da se fino podešavanje jezičkih modela specifično za razumijevanje referenci, čime se postižu bolje performanse u odnosu na postojeće modele, uključujući i GPT-4.

Ovo istraživanje pokazuje potencijal specijalizovanih jezičkih modela za obavljanje zadataka poput rješavanja referenci u realnim sistemima, gdje je upotreba velikih modela ograničena zbog zahtjeva za brzinom ili računarskim resursima. Apple svojim radom na ovom polju signalizira nastavak investicija u razvoj Siri i drugih proizvoda, čineći ih sposobnijim za razumijevanje konteksta i pružanje prirodnijih interakcija.

Uprkos ovom napretku, istraživači upozoravaju na ograničenja, kao što su izazovi u obradi kompleksnijih vizuelnih referenci, što može zahtijevati integraciju tehnika iz računarske vizije i multimodalnih pristupa.

Ejpl se nalazi u AI trci, gdje se suočava sa jakom konkurencijom od strane vodećih tehnoloških kompanija. Uprkos svojoj poznatoj tajnovitosti, najave o novim AI inicijativama i proizvodima ukazuju na to da kompanija intenzivno radi na širenju svojih AI kapaciteta, uključujući potencijalno predstavljanje novih modela i AI funkcija na svojoj godišnjoj "WWDC" konferenciji, prenosi Telegraf.

Pratite nas na našoj Facebook i Instagram stranici i Twitter nalogu.