Teraz so šialenstvom LLM používam 33B modely Llama s použitím CPU + GPU rýchlosťou približne 1-2 tokeny za sekundu. Sú primerane zaujímavé. Používanie 65B modelov je oveľa pomalšie, dostávam okolo 0,1 tokenu za sekundu. Mať 64 GB mi umožní prevádzkovať 65B modely o niečo lepšie.
Čo sa teda stane, ak si kúpim dve 32GB pamäte DDR4 a použijem ich na svojom systéme? Bude systém schopný využiť 64 GB?
Toto je čisto teoretické, pretože si myslím, že ma brzdí rýchlosť CPU a RAM a na vyriešenie budem potrebovať najnovší CPU s DDR5 pre šírku pásma pamäte a dobrý výkon. Neexistuje žiadny plán na získanie nového systému v dohľadnej dobe. Chcem len vedieť, čo sa stane.
Pri pohľade na špecifikácie základnej dosky so 4 slotmi DIMM podporovala 128 GB RAM. Určite stojí za potvrdenie u predajcu dosky.
Majte na pamäti, že radič pamäte je na CPU, takže jedinou možnou obavou je, či BIOS podporuje 32 GB DIMM. Nepoznáte nikoho, od koho by ste si mohli požičať RAM na testovanie konceptu?
Ak je to váš model a je na ňom napísané „Až 32 GB“, mali by ste pred zakúpením ďalšej pamäte požiadať o presvedčivý dôkaz. Slová lasice ako „Systém môže podporovať viac pamäte s vývojom technológie“ nie sú presvedčivým dôkazom.
Ale nie, dva sloty. Myslím, že je to 64G.