
Komentari članaka s naših web stranica
Budućnost velikih jezičnih modela je u jednom bitu
Vezano uz: Budućnost velikih jezičnih modela je u jednom bitu


Jedna od najboljih "značajki" 1 bit LLmova je eliminacija potrebe za GPUom.
Bit će interesantno, obzirom na poznatu "Nvidia is no longer a graphics company'" izjavu.
Možda se povijest ponovi i cjene grafulja se konačno spuste na zemlju (kao što je bilo kod crypta, iz gpuova u risc/asic tako sad kod AIa; iz gpu => arm)
Kaže autor, što je rezultiralo modelom od 2 milijarde parametara temeljenom na skupu podataka za treniranje od 4 trilijuna tokena. 4 trilijuna na hrvatskom iznosi 4x1018