Sada kada sam lud za LLM-om, koristim 33B Llama modele koristeći CPU + GPU pri oko 1-2 tokena u sekundi. Razumno su zanimljivi. Korištenje 65B modela puno je sporije, dobivam oko 0,1 tokena u sekundi. Posjedovanje 64 GB omogućit će mi malo bolji rad s modelima 65B.
Dakle, što će se dogoditi ako kupim dva 32GB DDR4 sticka i koristim ih na svom sustavu? Hoće li sustav moći iskoristiti 64 GB?
Ovo je čisto teoretski jer mislim da sam usko grlo zbog brzina CPU-a i RAM-a i da bih to riješio trebat će mi najnoviji CPU s DDR5 za propusnost memorije i dobre performanse. Ne postoji plan za skoro dobivanje novog sustava. Samo želim znati što će se dogoditi.
Gledajući specifikacije za matičnu ploču s 4 DIMM utora, podržavala je 128 GB RAM-a. Definitivno vrijedi provjeriti kod dobavljača ploče.
Imajte na umu da je memorijski kontroler na CPU-u, tako da je jedina moguća briga ako BIOS podržava 32 GB DIMM-ove. Ne poznajete nikoga od koga biste mogli posuditi malo RAM-a za test dokaza koncepta?
Ako je to vaš model i piše "Do 32 GB", trebali biste zatražiti uvjerljiv dokaz prije kupnje dodatne memorije. Lasice poput "Sustav bi mogao podržavati više memorije kako se tehnologija bude razvijala" nisu uvjerljiv dokaz.
Ali, ne, dva utora. Mislim da je 64G to.