knight sri 29.5.2024 16:44

Nadam se da ce ovo smiriti ludilo i hype, te da ce se napokon poceti gledati na LLM-ove i AI/ML algoritme kao na korisne alate za rjesavanje razlicitih problema, a ne kao na mistične sile koje će nas ili spasiti ili uništiti.

jozobozo čet 30.5.2024 08:58

Ograničenje LLM modela je što su bazirani na tekstu. U nekoliko navrata je to spomenuo Yann LeCun (Meta).

 

AGI će trebati širi set inputa, osim teksta. Za konkretnu "mentalnu" sliku svijeta.

 

To je korak dalje od predviđanja idućeg tokena i svih korelacija između tokena u riječi, rečenici, paragrafu, poglavlju, ostalim izvorima koji su kontekstualno relevantni. 

 

Trenutne "multimodal" AI aplikacije su "fake" kompilacija odvojenih ML modela.

 

Za superinteligenciju nije stvar do modela, vec do sensory inputa. Kad se spoji x10 x100 ili x10k osjetljiviji i brži sensory input od našeg, to će biti manje više to (ASI). Jer nećemo moći niti pratiti niti razumjeti.

 

Jednostavno imamo fizičko ograničenje od 2ms sa prosječnom brzinom sinapse. Percepcijom smo ogranićeni smo na relativno uzak set senzora i njihov raspon u detekciji sadržaja okoline.

 

Trening nam traje 20-50 godina.

Feudalac čet 30.5.2024 21:25
jozobozo kaže...

Ograničenje LLM modela je što su bazirani na tekstu. U nekoliko navrata je to spomenuo Yann LeCun (Meta).

 

AGI će trebati širi set inputa, osim teksta. Za konkretnu "mentalnu" sliku svijeta.

 

To je korak dalje od predviđanja idućeg tokena i svih korelacija između tokena u riječi, rečenici, paragrafu, poglavlju, ostalim izvorima koji su kontekstualno relevantni. 

 

Trenutne "multimodal" AI aplikacije su "fake" kompilacija odvojenih ML modela.

 

Za superinteligenciju nije stvar do modela, vec do sensory inputa. Kad se spoji x10 x100 ili x10k osjetljiviji i brži sensory input od našeg, to će biti manje više to (ASI). Jer nećemo moći niti pratiti niti razumjeti.

 

Jednostavno imamo fizičko ograničenje od 2ms sa prosječnom brzinom sinapse. Percepcijom smo ogranićeni smo na relativno uzak set senzora i njihov raspon u detekciji sadržaja okoline.

 

Trening nam traje 20-50 godina.

 Mislim da si na dobrom putu, ulazni podaci su često smeće. Živa bića primaju senzorne inpute iz stvarnog svijeta, ako krivo protumačiš signal, past ćeš sa litice, udariti u zid tako smo mi razvili sustav koji ne halucinira jer je napunjen podacima koji su odraz tvrdog fizičkog svijeta a ne nečijeg proljeva kao što je većina stvari na internetu. Brzina je sporedna u ovom slučaju i kad govorimo o računalima, to je pitanje samo količine čipova koje ćemo staviti unutra. Glavni problem je što mi samo nagađamo kako zamijeniti mozak jer nitko ne zna kako to stvarno funkcionira. Ovo što sad imamo je gruba sila koja čisto slučajno izbacuje korektne rezultate.