...
"činjenica da se korisnički podaci pohranjuju na serverima u Kini izazvali su zabrinutost stručnjaka”

Izuzev vojne i vladinih institucija koje ne bi trebale imati podatke na tudim serverima, sto ih tocno brine?

Sto se nas ostalih tice u ovim, novim vremenima nisu ni americki serveri bas za ne zabrinuti se

Dzabe ti otvoreni kod ako nemas 100 miljardi dolara za hardware za treniranje. Da dostignemo AGI treba nam ne samo dobar algoritam vec i model koji se po broju parametara priblizava ljudskom mozgu. A to male firme bez milijardi $$$$$ ne mogu ostvariti.

misliš da je za doći do AGIja dovoljno samo pumpati broj parametara? ja mislim da se cijela paradigma na kojoj radi AI mora promijeniti, jer ovo i dalje nije razmišljanje nego od milijardi mogućih rješenja nuđenje onog što se čini kao najbolje, naravno to radi jako dobro pa nam se čini kao da misli svojom glavom, ali kad zapadne u probleme ne može se više izvući iz njih

 Nije to bas "samo", jer treba naci i nacin kako efikasno istrenirati tako velik broj parametara. Ali ne smatram da treba neka revolucionarna promjena, ovo sto vec sad imamo radi prilicno dobro, i usporedivo sa bioloskim mozgovima. Ono gdje zaostajemo je prvenstveno u broju parametara. Ljudski mozak ima oko 100 bilijuna parametara, a najbolji AI modeli oko 2 bilijuna, jos nam nedostaju jedno dva reda velicine.

Gledano kroz povijest ovaj cijeli napredak zadnjih 10 godina je prvenstveno rezultat drasticnog povecanja parametara.

• - Trenutno je u LLM modelu od 70B parametara pohranjena jako velika količina ljudskog znanja. Barem ono što je digitalno dostupno. Ljudski mozak nema ni priližno takav kapacitet za pohranu informacija.
• - ako pitaš prosjećnog čovijeka detalje iz biokemije, kvantne fizike, neurokirurgije, povijesti, kako lakirati auto, obrezati voćke, napraviti salatu od hobotnice, zaljevati dracenu, manje više ćeš dobiti "tihu misu". LLM će ispaliti odgovore kao metak. Toliko o kapacitetu.

• - "Ljudski mozak ima oko 100 bilijuna parametara" - ljudski mozak nema parametre. Sinapse nisu parametri. Niti su principi funkcioniranja isti. Samim tim nisu ni usporedivi. 

- DeepSeek modeli imaju manje parametara, a uz to su brži i kvalitetniji od LLM modela koji imaju za rang veličine veći broj parametara. Kvaka je u "destilaciji" i kvaliteti inputa a onda i outputa. Princip je objašnjen još 2015 (objavili Hinton i ekipa, Distilling the Knowledge in a Neural Network), samo što je trebalo vremena da modeli doesgnu razinu kvalitete sa kojom se destilacija može ispravno demonstrirati kao i benchmarci sa kojima se može provjeriti rezultat

Koga tema zanima više, evo link:

https://medium.com/data-science-collective/how-to-distill-a-llm-step-by-step-58f06fcf4bfa

- ne trebaju milijarde, niti za trening niti za HW. Sam Altman je prošle godine u ovo vrijeme tražio 7 trilijuna dollara za "AI chip". Bit će da se balon od sapunice raspukao. Valjda je htio što više napumpati market cap za burzu jednog dana. Jbg nije prošlo . DeepSeek je odradio trening za $5.6M

Primjer:

https://www.zdnet.com/article/450-and-19-hours-is-all-it-takes-to-rival-openais-o1-preview

• - mi ćemo u firmi uskoro vrtiti nekoliko različitih LLM modela: dio za agente, dio kao enhance postojećih aplikacija (UI dio), sažeci na poljima, sažeci konverzacija (telefonskih i video poziva), text summarisation koji odrađuje automatika, i dio koji je on demand (on click). Dio AI fukcionalnosti će ići kao REST servis, pa će se moći pozivati iz ostalih sustava. Ako bude sve ok, kroz neko vrijeme će se ići na automatizaciju poslovnih procesa sa AI. Nebo je granica. Živi bili pa vidjeli.

Čudi me da evropske države poput Italije zabranjuju korištenje Deep Seeka. Po čemu je danas veća prijetnja Kina, od Trumpove Amerike. Pa nema države na svijetu koja špijunira više od SAD-a. Sve ostale svjetske države zajedno ne špijuniraju koliko SAD. Evropljani moraju shvatiti da SAD nije više evropski saveznik, već neprijatelj.

Da dostignemo ČOKAGI, ne pomaže ni model sa brojem parametara mozgova cijelog ćovječanstva.

 Trenutni "AI" nema niti i od inteligencije, a ti već sanjaš o AGI. 

 SAD su oduvijek i isključivo bile samo svoj saveznik i prijatelj.