Nije bitan novac, bitno je nositi kožnjak 

Ovako kaže wikipedija o CUDI, Nvidiji i istraživačima sa Stanforda (članak je dobro referenciran pa se izvori i tvrdnje mogu lako provjeriti):

Ian Buck, while at Stanford in 2000, created an 8K gaming rig using 32 GeForce cards, then obtained a DARPA grant to perform general purpose parallel programming on GPUs. He then joined Nvidia, where since 2004 he has been overseeing CUDA development. In pushing for CUDA, Jensen Huang aimed for the Nvidia GPUs to become a general hardware for scientific computing. CUDA was released in 2006. Around 2015, the focus of CUDA changed to neural networks.

Timeline ti je ovdje jako bitan da vidiš kako tvoj autor nema pojma o čemu priča (tj. ima, prodaje investicije i hypa nvidiju kao božansko oživotvorenje na Zemlji.) 

Stvarnost nije tako dramatična već puno zanimljivija, kompliciranija, prljavija  i ljudskija. 

picajzla: zapamti da uvijek UVIJEK imam argumente 

 Ian Buck je napravio 8K, nakon toga dobio dozvolu DARPA-e da se pridruži Nevidia timu, a Jensen Huang (predsjedink Nevidie) je gurnuo CUDA u generalni hardware za znanstvene izračune . Što znači da je Nevida ta koja je imala glavnu ulogu u onom što je danas AI, tu autor nije progriješio. Niti je pogriješio kada je rekao da su istraživači na Standford-u otkrili kako su čipovi od 2006 dobili mogućnost znanstvenih izračuna (pod pretpostavkom da Nevidia nije odala što njihov chip sve može i da Ian Buck nije odavao poslovne tajne Standford-u)

 Kako ne kužiš? Izlaskom prvih grafičkih kartica sa programabilnim shaderima, bilo je jasno da im se mogu učitati podaci koji nemaju veze s grafikom i obaviti, u to doba, svega par računskih operacija na njima dok glavni procesor radi nešto drugo. I ljudi su to počeli istraživati; zainteresirala se DARPA, zainteresirala se nVidija koja ih proizvodi i za 5-6 godina izbacila i programsko sučelje za lakše iskorištavanje tog hardvera. Nueralnim mreže su došle kasnije pa tako i nvidijino prilagođavanje dizajna. Ne znam šta tu nije jasno; ako želiš reći da je nVidia već tada sanjala o velikim jezičnim moddelima, molim citiraj bilo kakav dokaz ili natuknicu. U čemu je problem s tim da su se našli na pravom mjestu u pravo vrijeme i svesrdno prigrlili priliku koja im se postupno otvarala?? To ne umanjuje njihove rezultate. Implicirati, bez ikakvih dokaza, da su 2000-e predvidjeli izum nekih tehnika koje će se dogoditi 2010, 2012 i kasnije i na kojima LLM-i zasnivaju svoje postojanje - meni je too much. Tebi ne? Huang je božanstvo, prorok?

 Kažem da je Nevida sama postavila temelje. Kako se shaderi (vector ili pixel) mogu odnositi na AI? Služe za izračun točke trokuta ili pixela u memorji. Daleko je to od znanstvenih proračuna.

Mi sad možemo spekulirati kako je Standford (preko DARPA-e) predložio Nevidiji da se prilkom uvođenja više jezgri (parallel computing), jedna jedinica odvoji za znanstvene proračune (CUDA) i da je Standford upravo taj koji je sudjelovao u izradi iste, a u javnost dao informaciju kako su oni kao nešto pronašli. Ali to je samo spekulacija, mi nikad nećemo točno znati kako se sve odigralo.

 Ali nije. I ATI (AMD) je to radio, INtel je konja u utrci imao. Google je bio puno bliži tome sa svojim TPU-om, a godina kad su ga oni počeli interno koristiti je godina kad je nVidia prebacila fokus CUDAe sa općenitih izračuna na neuralne mreže jer se ta dva zadatka dijametralno razlikuju. Proračiuni trebaju visoku preciznost, i do 256 bita dugački brojevi u pomičnom zarezu dok se za neuralne mreže koristi max 16, čak i 8 bitni brojevi zadovoljavaju dobar dio potreba. A to onda znači red veliine veće performanse po kvadratu čipa, ne trebaš vaditi drugi korijen i tako redom. Nespojivo. Ali, početna tehnologija izgradnje masivno paralalenih jedinica za množenje kako bi se dobio dobar prikaz u igrama (U čemu su pošteno pobijedili) našla je sasvim drugu upotrebu 20 godina kasnije u nečemu što je sve samo ne igra. Tako do ide u znanosti i tehnologiji. Da je AMD tada imao iza sebe milijune ljudi koji znaju raditi sa CUDOM i konkurentan hardver, oni bi sad vrijedili 2000.000.000.000 USD

Nevidia CUDA je optimizrana za specifične zadaće, dok je AMD ROCm orijentiran na općenite izračune. Tako da se CUDA nije prebacila sa općenitih izračuna na neuralne mreže, već je dobila optimiziranu verziju.

AMD se namučio da sustigne Nevidiu zbog slabe prihvaćenosti, tek 2016 kreće ROCm i HIP koji može prevesti CUDA kod uz minimalne preinake.

 AMD/ATI je cijelo vrijeme krivo radio. Ima su loše drivere, lošu podršku; ko kakav kinez-cigo - samo prodaj i zaboravi. Naživcirali su me kroz godine i uzeli mi dosta para...

nVidia je bila ko MS ili Apple - sve za developere jer oni su ti koji na kraju guraju tvoj proizvod makar bio debelo najskuplji. Ljudi će uvijek dati više para za ono što radi i kvalitetno je.

 Imao sam jedno desktop računalo sa AMD grafikom. Prikaz slike je bio bolji (oštrina, boje) od Nevidije, ali su neke igre imale artifakte, a neke nisu uopće radile.

S druge strane, ako se dobro sjećam, AMD je imao dobru podršku za Linux. Kako je to tamo radilo, ne znam.