Sljedeća godina-dvije će biti VRLO zanimljiva u pogledu umjetne inteligencije. Nadam se da će ljudi znati upotrijebiti je na dobro, a ne zlo.

Ono što zapravo nedostaje modelu jest pouzdanost. I dalje piše gluposti za koje se ne zna otkud mu. U dva upita o padežnim razlikama između hrvatskoga i srpskoga dao dva različita, oba netočna odgovora. Čini se da ChatGPT ipak nije, kako Chomsky reče, visokotehnološki plagijator jer određene stvari nije nigdje mogao pročitati.

Kad bi imao u pozadini ontologijske baze, stvar bi se unaprijedila. A to se ne uči statistikom.

Super je da se sve to razvija. Samo neka iz tih slika, videa i glazbe ne dođe do totalnog čušpajza i da se momak ne zbuni previše.

Daj bar vi u Bugu mogli bi demistificirati umjetnu "inteligenciju". Svaki AI "ghluplji" je od bilo koje zivotinje osim cini se covjeka.

Tocnije nije uopce inteligentan tj . nista ne razumije u doslovnom smislu. Programski if then smo prebacili na pobudu- zakljucak tj treniramo sustav umjesto da pisemo npr (pojednostavljeno) if a>0.43215 onda se osoba na slici " smije",a manje "ne smije".Sustav do koeficijenata dolazi treningom umjesto eksplicitno analiticki. Ako ga naucis tako crno ce mu biti bijelo jer si mu tako unio podatke.  Neuronske mreze imaju ogroman potencijal za drustvo,ali cini se da je razum zivotinje ipak vise od skupa neurona jer sam AI nemoze spoznati niti razumjeti nista,ali moze "kompajlirati" informacije i prepoznati uzorak za sto je treniran..To je ono sto, pojednostavljeno govoreci,  AI radi.

To je bitno znati da bi ljudi mogli evaluirati (dez)informacije koje AI daje jer prosjecan covjek koji o tome nista nezna uci iz filmova i misli da je sustav nepristran,a upravo je suprotno. Sto ga naucis tako ce "govoriti" tj zakljuciti.Iznenadno potenciranje AI u medijima kao " inteligenciju"iako nije bas novo ima samo jednu svrhu- novi tool za manipulaciju drustva u vremenu sto slijedi. Tipa drzavnika koji ce reci " nisam ja rekao nego AI, a on je pametan i zna". Idealan faktchecker zar ne?

 Nemamo o cemu ovdje pricati kad uzimas kao razlog negativne definicije hrvatski i srpski jezik :) mi DOSLOVNO im cinimo (mozda sam i previse rekao) 0.5% trzista. Nije im niti ce im biti u cilju unaprijediti nesto u iducih 10 godina SIGURNO da bi se poboljsalo hrvatski i srpski jezik. Meni radi malo reci SAVRSENO za engleski sto ga koristim i odlican je! 

"GPT-4 bit će zasnovan na 500 puta više parametara od modela ChatGPT-a"

Ova usporedba bas nema smisla, jer Chat GPT je dosta malen model  (oko 20B vs 175B u GPT3.5) u odnosu na vece LLMove. Distiliran je knowledge, te treniran uz RLHF - cime ce logicno gubit parametere dok se tunira na drugacijoj distribuciji.

Cinjenica da ce imat >1T parametara znaci da mozemo zaboravit da ce ga bilo kakav faks u Europi moci vrtjeti lokalno (ako uopce dobe pristup), zapravo u svijetu osim par u Kini te Stanforda i MITa.

Big tech se osigurava infrastrukturom u ovom slucaju, i stvara se bas debela razlika. Za bilo kakav research za unaprijedit ovo morat ce se ic u OpenAI, Meta ili Google...

S druge strane, transformeri jedini mogu scaleat paralelizaciju na toliko GPUova. Tako da ni jako znacajna promjena u arhitekturi (osim ako nesto ne iznenadi) nije izgledna kroz iducih par godina.

Uvijek se nasmijem kad vidim što ljude muči i zbog čega koriste/napadaju GPT. Koga briga za išta osim ubrzavanja izrade koda i skripti?
Još kad ga koristite u koheziji sa github copilotom stvar je brutalno dobra i olakšava život svima koji se bave nekim vidom skriptiranja/programiranja.

Mislim da je veliki korak naprijed što će broj tokena po upitu porasti sa 4k na 32k. Složeniji upiti i mogućnost rješavanja kompleksnijih problema s bolje povezanim i smislenijim cjelovitim izlazima.

 Ma da, kad kodiram, ja pitam mačku za savjet, neću valjda AI. Druga je sad stvar da ti ne razlikuješ naziv od sadržaja, pa ćeš nas obavijestiti da magnetno polje nije nikavo polje jer na njemu ništa ne raste i da je i polje u kršu bolje od magnetskog polja. 

Konačno računala rade kako smo si to zamišljali dok sam bio mali, ti ga nešto pitaš, a on ti odgovori. 

Izasao je paper: https://cdn.openai.com/papers/gpt-4.pdf

Ali je dosta los. Toliko o "Open"AI gdje je 90% bitnih stvari izostavljeno. Medutim performance su dobre

Trenutno istinu zboriš, no mlađi ljudi će za svoga života možda doživjeti da AI nadvlada "stvoritelja" i počne sam sebi stvarati nešto slično ljudskim neuronskim mrežama, no učinkovitije, jer će izbaciti nepotrebne osjetilne podražaje.

Ako ne oni, njihovi unuci će sigurno doživjeti.

Tehnološka znanost zadnjih 150 godina piči takvom brzinom da je i ovo sve danas meni prije 30 godina bilo suludo.. kao, imat ću ja mobitel u ruci i gledati u nekoga na drugom kontinentu te komunicirati s njim ?!

Da si to rekao u nekom društvu doktora medicine-specijalista pulmologije, pomislili bi da si došao u u njihovu menzu negdje s odjela psihijatrije.

A eto, danas se uredno obavljaju video operacije, odn medicinski zahvati putem 5 g mreže u realnom vremenu.

Tko bi rekao.

pogledao sam prezentaciju i stvarno impresivno. Napredak veći od očekivanja. Rekao bih da će sukladno tome narasti i troškovi.

Zato će zaposliti sve one koji su dobili otkaze iz Mete. 

 Brže će prepisivati tuđi kod i zanemarivati licence?