TL; DR:
Imam ZFS niz koji je prošao potpunu ponovnu izgradnju, a zatim naposljetku potpuno novi hardver, ali uvijek bi dobivao pogreške čitanja/pisanja, ponovno srebrovanje, ponovnu pogrešku na drugom pogonu. Sve osim pogona novo je u novoj verziji, a problem i dalje postoji. Svi pogoni pojedinačno prolaze SMART Extended test.
Stariji IronWolfovi su još uvijek pod jamstvom, pa ću ih RMA izdati, ali osim ako zapravo ne shvatim što se dovraga događa s izradom, samo će se ponavljati iznova i iznova. Svaki prijedlog je dobrodošao.
Duga priča:
Prije nekoliko godina, trebao mi je poslužitelj za pohranu, za posluživanje medija, spremanje važnih podataka itd., i nešto na čemu bih mogao pokretati neke VM-ove/spremnike. Izgradio niz za pohranu s Unraidom na Core i3 7100, pokreće 9207-8i HBA u IT načinu rada, 6 pogona RAID-Z2 s dva stolna pogona i drugim IronWolfom, 2TB pogona iz 2019./2020., ako je to bitno. Koristio sam Unraid za pomoć s VM/kontejnerom.
ZFS je u početku pjevušio, performanse su bile onoliko koliko sam trebao. Zatim su se počele pojavljivati pogreške čitanja, zatim pogreške pisanja; ribanje, popravak, zatim pogreška ponovno na drugom pogonu. U tome nije bilo puno uzorka. Izvršite SMART prošireni test na svakoj vožnji i prošli bi. Ponovno smo spojili sve kabele i HBA, radilo je neko vrijeme, a onda se opet počelo događati. Mislio sam da bi možda 8087-SATA kabeli mogli biti loši, nabavio sam nove, nije pomoglo (uključuju se izravno u pogone, nema kućišta/zadnje ploče). Čak sam dobio novu 9207 karticu (prva je bila LSI, druga NEC OEM); nema poboljšanja, očito, inače ne biste ovo čitali. To je priča koja se vrti i gasi već 2+ godine.
Premotajte prije mjesec ili dva, moja potreba je narasla dalje od 2-core-4-thread CPU-a, pa sam napravio novi. Napravio sam sigurnosnu kopiju svojih podataka, nabavio Ryzen 4650G za jezgre, nabavio šasiju s 8 pogona s stražnjom pločom/pogonom, zamijenio jedan od umirućih HDD-ova stolnih računala i otišao na obnovu 8 pogona s NEC karticom. U biti sve je novo, osim 5 diskova i kartice 9207, a ja ću čak i s TrueNAS Scale. Izgradili smo niz, kopirali podatke i očito su stvari opet krenule naopako.
Možda je HBA? Kupio sam običnu PCIe 8 port SATA karticu koja radi pod Linux/TrueNAS Scale i novi par Amphenol 8087 kabela (prethodni su bili OEM). Izbrisao niz i krenuo od nule opet. Kopirao sve podatke, nema greške. Pokrenuo je zpool scrub i pogoni ponovno počinju javljati pogreške Na kraju je jedan od IronWolfa izdao duh i potpuno bi ispao.
Stariji sustav imao je Silverstone 80+ Bronze SFX napajanje od 300 W s dovoljnom amperažom na 5 V i 12 V da okrene sve 6 pogona odjednom, što oni nemaju, a budući da nije bilo video kartice, cjelokupni sustav je jedva koristio 100 W punog opterećenja svejedno. Novi hardver ima 80+ Bronze 300W FlexATX PS od FSP-a, ocijenjeno 14A na 5V i 23A na 12V (ne sve odjednom, znam), tako da ne vjerujem da je to snaga.
Tijekom svega ovoga, imao sam još jedan ZFS zrcalni skup podataka za VM-ove na paru SSD-a koji je pokretao SATA na matičnoj ploči, a oni nikada imao ikakav problem.
Koristite li ECC RAM?
Za TrueNAS ili druge ZFS poslužitelje uvijek bih volio imati ECC RAM ako je moguće, tako da koristim samo stari Dell poslužitelj ili toranj poslužitelj koji podržava ECC. Oni su jeftini i pouzdani i mnogi dolaze s Xeon CPU-ima tako da imaju mnogo jezgri za VM opterećenja ako je potrebno.
Ne na UPS-u. To je jedna od stvari o kojima sam raspravljao. Ispad struje ovdje zapravo nije stvar (nisam u SAD-u), a jedini prekid ikad bio je planirano održavanje električne energije u zgradi.zelmak je rekao:Jeste li mijenjali SATA kabele? imaju li SATA 3 / 6Gps ocjenu? Sjede li dovoljno?NVM: Upravo sam primijetio nakon ponovnog čitanja da ste se pozabavili ovime.
Jeste li na UPS-u? Možda je napajanje vašeg stroja prilično prljavo ili dolazi do kvarova.
Kliknite za proširenje...
U svakom slučaju, stroj provodi većinu vremena isključen, a ja ga zapravo uključujem samo kada trebam pristupiti pohrani ili VM-u. Moja glavna radna površina priključena je na istu utičnicu i prilično sam siguran da je u redu.
Hmm, to što je isključen većinu vremena možda ga sprječava u pokretanju važnih procesa održavanja zdravlja, iako su oni obično potrebni kada imate puno IO. Ali recimo da ga uključite, napišete hrpu podataka i zatim ga isključite, možda ga sprječavate da zapravo završi posao pisanja podataka u potpunosti. Siguran sam da ste ga pustili da se normalno ugasi, ali ovisno o OS-u, možda neće završiti posao kako treba prije nego što ga OS prisilno isključi ili možda neće moći učiniti druge stvari koje treba učiniti kako bi osigurao podatke integritet. Pretpostavljam da programeri sustava kao što su TrueNAS, Unraid itd. očekujete da pokrenete OS i softver na sustavu koji je uključen većinu vremena, ako ne i cijelo vrijeme. Isključivanje većinom vremena moglo bi uzrokovati probleme koje vidite. To sigurno nije uobičajena implementacija.
Ako dobro čitam, tvrdi diskovi su jedina stvar koja je prešla iz starog sustava u novi?
Također osigurajte da HBA nije konfiguriran za bilo kakvu vrstu predmemoriranja čitanja ili pisanja, bilo kakvu vrstu RAID-a ili bilo što slično. ZFS poput izravnog pristupa neobrađenom blok uređaju.
RE: Brownouts, mislim da to neće rezultirati ovakvim ponašanjem, ali ne može škoditi nabaviti online UPS bez obzira, čak i ako je samo mali kako bi se omogućilo automatsko isključivanje u slučaju nestanka/zamračenja više od minuta ili tako nešto.
RE: ECC RAM, nije baš nužan. Lijepo je imati, da, ali ako vaši podaci općenito nisu kritični, onda ECC zapravo nije potreban za slučajeve upotrebe OP-ova.
Hmm... postoji li neka vrsta automatskog isključivanja konfigurirana za HBA/pogone? Neki pogoni će se automatski okretati prema dolje radi uštede energije, a ZFS bi ih mogao isključiti iz niza ako ne reagiraju dovoljno brzo i pretpostave da je uređaj u kvaru. To bi mogao biti problem.
Bio bih pomalo sumnjičav u pogledu sposobnosti PSU-a da podnese 8 pogona plus toliko CPU-a, matične ploče i raid kartice.
S obzirom na to da ste vjerojatno isključili SATA kabele u ovom trenutku, pokušao bih upotrijebiti jače napajanje (makar samo privremeno) da vidim hoće li to pomoći.
Prije nekoliko godina, trebao mi je poslužitelj za pohranu, za posluživanje medija, spremanje važnih podataka itd., i nešto na čemu bih mogao pokretati neke VM-ove/spremnike. Izgrađen niz za pohranu s Unraidom na Core i3 7100, pokreće 9207-8i HBA u IT načinu rada, 6 diskova RAID-Z2 s dva desktop pogona a drugi IronWolf, 2TB diskovi...
Premotajte prije mjesec ili dva, moja potreba je narasla dalje od 2-core-4-thread CPU-a, pa sam napravio novi. Napravio sam sigurnosnu kopiju svojih podataka, nabavio Ryzen 4650G za jezgre, dobio šasiju s 8 pogona s stražnjom pločom/saonicama za pogon, zamijenio jedan od umirućih HDD-ova stolnih računala
Kliknite za proširenje...
Dakle, još uvijek imate barem 1 pogon za stolno računalo u tom polju?
"Desktop" diskovi nemaju TLER:
Pogon bez TLER-a može prekinuti SATA sabirnicu i uzrokovati da ZFS označi transakcije čitanja/pisanja kao loše. Vidio sam ovakvo ponašanje i posljedične probleme koje to može uzrokovati i ovo je način br. 1 na koji se "NAS" pogoni razlikuju od pogona "stolnog računala". Mislim da više ne možete nabaviti nove diskove od 2 TB, ali diskovi od 4 TB koštaju manje od 100 USD tijekom cijelog dana, tako da bi to trebao biti jeftin test u odnosu na ono što ste već uložili u ostatak sustav.
90% sam siguran da je to uzrok vaših problema.
WD ima (ili je imao) uslužni program za uključivanje/isključivanje TLER-a. O tome se govori u istom članku na Wikipediji. Koristio sam ga nekoliko puta prije mnogo (~10) godina kada sam kupio pogone prije nego što sam saznao za TLER.
Pogoni za stolna računala također nemaju podešavanja na firmveru ili hardveru kako bi bili otporniji na vibracije. Podešavanje se odnosi na njihov uzorak traženja za ublažavanje rezonantnih frekvencija, mogu imati dodatne senzore dizajnirane za otkrivanje vibracija (barem Ironwolf pogoni), ponekad imaju drugačiji dizajn (ležaj osovine i/ili glave može biti fiksiran na vrhu, na poklopac pogona, kao i na šasiju pogona), mogu biti dizajnirani za veće tolerancije i bolju ravnotežu za smanjenje vibracija, itd.
Također je teško uključiti/isključiti pogone jer ih termički mijenjate. Dugoročno su pouzdaniji ako budu u stanju mirovanja. Ne vole ni velike vrućine, ali ne treba pretjerivati - samo se pobrinite da kroz njih i oko njih prolazi stalan protok zraka. Neka kućišta pogona imaju užasan protok zraka i loše kuhaju pogone. Pogoni moraju imati razmak između sebe s dovoljnim protokom zraka kako bi temperatura ploče bila niska, a također i logičke ploče i predmemorija unutar razumnih temperatura. Pogoni veće gustoće i brži pogoni se poprilično više zagrijavaju - lako svaki radi 10+ vata.
Ah da, TLER, zaboravio je na tu "značajku", ali to je definitivno mogućnost. Vjerojatnost čak, budući da bi sigurno izgledalo kao da diskovi ispadaju iz mreže i zatim se vraćaju na mrežu.
Kopam ovu temu samo da je zatvorim.
Nakon doslovno mjeseci 80+ sati radnog tjedna, konačno imam vremena vratiti se ovom projektu.
Što se tiče hardvera, od tada sam testirao s jednostavnom SATA karticom s 8087 portova. Nema poboljšanja. Našao sam dobru ponudu za DDR4 3200 ECC memoriju, nije pomoglo (ali hej, ECC, postignuće otključano!). Također sam pronašao nešto novca za zamjenu preostalog pogona stolnog računala s drugim IronWolfom, tako da je sada to 8x IronWolf NAS diskova, a ni to nije pomoglo. Pogon za stolno računalo zapravo je najbolji pogon koji sam ikada imao i još uvijek je živ.
Jedne večeri sinulo mi je da sam napajao kaveze pogona, koristeći Molex razdjelnike, s jednim kabelom iz PSU-a, a postoji još jedan vod koji pokreće samo razdjelnik ventilatora. Pa sam ponovno ožičio pola kaveza na stranu razdjelnika ventilatora, et voilà, stabilnost. Nema više grešaka pri ribanju.
Dakle, možda je to bio stari dobri problem s električnom tračnicom. Ili je možda kombinacija ECC-a, odgovarajućih pogona, HBA-ova nekako pridonijela. Drago mi je da sada radi i da mojih 30 godina iskustva u izradi računala nije potpuno poništeno ![:\](/f/e4dc66a163a6379800810898ada1c197.png "kosa crta :\")
Definitivno zvuči kao moć. Drago mi je da si to popravio.
U drugim vijestima, za one koji koriste FreeBSD, s >=13.1 sada možete dijeliti direktorije putem Virtiofs 9p, umjesto da to morate činiti putem NFS/SMB ili kao blok pohrane. Jipi!
Računalo se dobro pokreće, pogoni spojeni na HBA-ove postavljeni su na raspoređeno pokretanje jedan po jedan pogon i svi bi se pojavili dok se računalo pokreće. Čitajući iz kill-a-watt-a, poslužitelj troši maksimalno ~150 W pri dizanju, 100 W tijekom i otprilike 60 W u stabilnom stanju, tako da sam sklon isključiti napajanje. Svi pogoni imaju onemogućeno upravljanje napajanjem, tako da ne bi trebalo biti zabrinutosti da će istovremeno okretanje uzrokovati prekomjerno trošenje struje dok stroj radi.
Do sada imam 2 ispravna HBA uređaja koji koriste mini SAS, jednu SATA karticu s mini SAS konektorima (dakle, isti kabeli kao i HBA uređaji, i imam više kompleta ovih) s nekim RealTek čipsetom, jednom SATA karticom sa SATA priključcima i normalnim SATA kabeli. Svi oni rade slično nasumične stvari.
Ponekad, tijekom kopiranja poput sigurnosne kopije od 3 TB na niz, tj. kontinuiranog pisanja dovoljno dugo vremena, nasumični disk naizgled se odspaja i odmah ponovno spaja. Uređaj se prikazuje pod /dev/disk/by-id kao drugačiji "sdx", ali očito je ZFS mislio da je izgubio pogon.
U drugim slučajevima, jedan ili dva pogona mogu spontano početi imati pogreške čitanja/pisanja, a na kraju niz zapravo prestaje pisati. Moram snažno ponovno pokrenuti stroj, a zatim bi se pojavio pogon koji izgleda dobro, ponovno bi se posrebrio, a zatim bi drugačiji pogon se može pokvariti. A ako stvarno budem imao sreće, mogu čuti kako pogon radi nešto poput isključivanja/okretanja kao kod pokretanja sustava.
Naizgled ne postoji obrazac za ovo ludilo; pogoni su uvijek u istom utoru, ne pomičem ih, a kvar pogona događa se na različitim utorima.
Što daje?
Počinjem misliti da sam možda prokleta.
Također, događaju li se prekidi veze i dalje samo pod velikim opterećenjem? Iako se svi pogoni još uvijek vrte, još uvijek mogu izvući dobar dio energije za sve aktuatore i ostalo. Dodajte neke zapise nadzora za senzore matične ploče. Stvari poput napona, pogledajte do čega padaju pod velikim i dugotrajnim opterećenjem. Možda taj PSU jednostavno ne može ostati dovoljno blizu specifikacijama. Ili bi bio na rubu (niskom) specifikacije, a povremeno se jednom od pogona to ne sviđa, ili zbog duljine žice padne ispod dovoljno specifikacija.
Moj stari ZFS poslužitelj (star 10 godina) ima napajanu hotswap stražnju ploču koja ponekad uzrokuje pad drugih pogona ako se koriste dok su napajani; Naučio sam to tijekom protresanja sustava i od tada ga nikad nisam koristio dok je napajan. Jeftini HBA koji imam bio je na popisu odobrenih u to vrijeme, ali kasnije je otkriveno da ima neke čudne greške; Pokrećem 2 od 6 pogona na njemu i samo sam jednom imao problem dok sam ponovno srebrovao cijeli pogon spojen na njega, oštetio je jednu datoteku.
Činjenica da ga vidite na više HBA-ova također mi se čini kao da bi možda mogao biti neka vrsta problema s matičnom pločom... možda provjeriti firmware/greške za taj određeni komad hardvera?
I nema li baš ničega u SMART zapisima? Ozbiljne greške sabirnice, kao i URE-ovi bi se tamo trebali zabilježiti ako se događaju.
Jedina druga stvar koju mogu smisliti za testiranje je pokretanje destruktivnih badblokova na svakom pogonu: "badblocks -svw -b 32768" je ono što obično koristim, i pustim ga da odradi punih 5 ciklusa ako budem dovoljno strpljiv.
Ovo sranje s nasumičnim ispuštanjem predstavljalo je problem na dva potpuno različita sustava, jednom malo starijem i3 7100 i drugi AMD 4650G, dva HBA-a različitih proizvođača napravljenih u različitim godinama (oba obična Jane LSI 9207) i realtek SATA kartica. Sklon sam isključiti platformu.
Izvršio sam puni SMART test na svim pogonima, svi su ispali čisti. nisam napravio provjeru lošeg bloka, ali ako je loš blok, očekivao bih da ću uvijek vidjeti kvar na istim pogonima. Mislim.
Što se tiče firmvera, mobo, HBA i HDD rade najnovije.
U ovom trenutku mislim da je možda kriva stražnja ploča s napajanjem. Planiram postaviti pogone koji rade samo iz SATA i napajanja, zaobilazeći stražnju ploču. Ako je stražnja ploča, nadam se da bi mi proizvođač šasije mogao pomoći