כמנהל מערכת של 3 שנים ו-13 שנים בתמיכה בבניית OEM/מחשב שולחני של בעיקר חומרי MS/PC, התקבלה החלטה להתרחק ממקרים שנראים "צרכניים" ולהתעסק בגדול בפחות מהומה כדי להעביר דברים. לפחות שנתיים של אדמין אמיתי של VMware ESXi עם עוד 6 שנים בניהול VM Horizon.
מושגי עיצוב:
- השרת הראשי יפעיל את VMware ESXi 7(8??) w/vSphere Essentials עבור גיבויים של Veeam.
- ניהול אחסון קבצים יהיה באמצעות TrueNAS כ-VM.
- 1x Windows Server 2016 לניהול בסיסי ובדיקות AD אפשריות עם מחשבי VM מבחן
לְעַצֵב:
עיצוב מתלה
1x StarTech 12U 4post Open Frame + 1U PS עם 8 שקעיםhttps://www.amazon.com/dp/B09QMDHRSL
1x 2U מדף 16" או 20" https://www.amazon.com/dp/B008X3JHJQ מיקום 12U & 11U - למעלה
1x 4U Rosewill RSV-R4000U https://www.amazon.com/dp/B09HLCNKM3 מיקום 10U עד 7U - אמצע
1x 4U Rosewill RSV-L4000U https://www.amazon.com/dp/B096T3J8CQ מיקום 6U עד 3U - אמצע
1x 2U TrippLite SMART1500LCD https://www.amazon.com/dp/B000DZRY9C מיקום 2U & 1U - תחתון
2 ערכות מסילה של IStarUSA 26 אינץ' https://www.bhphotovideo.com/c/product/834849-REG/iStarUSA_TC_RAIL_26_Sliding_Rail_Kit_26.html
מדף 2U ישמור על התקני הרשת הביתית: מודם כבלים/נתב/מתגים/רכזת אבטחה ו-1U PS בקצה הנגדי במיקום 11U
מערכת משחקים ייעודית עצמאית תהיה 4U הראשונה בראש עם מבנה Zen4 - *פוסט עתידי*
שרת ESXi יהיה ה-4U התחתון - עיצוב מערכת באופן הבא:
AMD R7 5800X/w 64GB DDR4 3200 ECC UDIMMs ASRock Rack X570D4U
2x SK Hynix P31 1TB או 2TB ב-RAID1
4x Seagate EXOS או IW 14TB(16TB?) ב-RAID10(ZFS) באמצעות TrueNAS
גיבוי כוח UPS לשרת ראשי ו- 1U PS עבור התקני רשת.
תן לי את המשוב שלך וכמה מטורף ומטופש העיצוב הזה יהפוך לשנה הבאה!
כל דבר מלבד RAID-Z1 נראה לי בזבזני. ככל הנראה, יש לך גיבוי, וזה מכסה את החלק R של RAID. אני שומר על כונן זוגיות יחיד פשוט מטעמי נוחות למקרה שכונן אחד יפול. למעשה, מהיר יותר לשחזר גיבוי באמצעות zfs send-recv ברשת של 10GbE מאשר להזמין כונן חדש, לשלוח אותו בדואר, ואז לבנות מחדש את המערך. במיוחד ברגע שאתה מדבר על כוננים מודרניים עם קיבולת גבוהה.TheTamago אמר:4x Seagate EXOS או IW 14TB(16TB?) ב-RAID10(ZFS) באמצעות TrueNAS
לחץ להרחבה...
יש לי הגדרה דומה, 5 כונני Exos בנפח 14TB, זוגיות אחת. RAID10 אומר שאתה מאבד חצי מהקיבולת ללא סיבה אמיתית, IMHO. אני אפילו עושה וירטואליזציה של TrueNAS ב-ESXi, חחח. עם זאת, אני משתמש ב-R710 של Dell כי זיכרון RAM ולא מעבד הוא החלק החשוב ביותר בעומסי העבודה שלי.
לידיעתך, עקבתי אחר אלה להחלפות ונראה ש-16TB זול כעת מ-14TB.
בהתחשב בסיכון של שגיאת סיביות בלתי ניתנת לתיקון עם גדלי נפח כה גדולים, אנו בדרך כלל מעדיפים זוגיות של 2 כוננים... אבל כן... עם ארבעה דיסקים בלבד שהם פגיעה של 50% בקיבולת. תלוי מה המטרה כאן, אם זה זמן פעולה, אז עדיין הייתי עושה את זה. אבל אם המטרה היא רק נפח גדול מכפי שניתן לעשות בדיסק בודד וזמן פעולה זה לא מטרת מפתח...
החוכמה הקונבנציונלית קובעת ש-RAIDZ10 מהיר יותר מ-RAIDZ1 או Z2 (מכיוון שמדובר ב-striping טהור ללא זוגיות), אבל אני לא ממש רואה השפעה מעשית. כל מכשירי VM צריכים להתארח בכונני SSD בכל מקרה (IMHO), ויש להשתמש בספינרים לאחסון בתפזורת. RAIDZ2 יאפשר לכל 2 כוננים להיכשל, בעוד ש-RAIDZ10 עלול להיתקע, תלוי באילו 2 כוננים נכשלים. ל-RAIDZ2 יש פוטנציאל להתרחב מאוחר יותר עם פרוסות נוספות, בעוד שזה לא אפשרי עם RAIDZ10. הייתי הולך עם RAIDZ2.
אתה עלול להתחרט על היעדר חריצי PCI בלוח מיקרו-ATX. ספירת הכוננים שלך מגדילה כמובן את כותרות ה-SATA שלך, כך שאתה עלול למצוא את עצמך צריך לקנות כרטיס HBA. הוסף כרטיס נוסף מאוחר יותר עבור, נניח, NIC של 10Gb וייגמר לך המקום.
אתה גם לא מנצל את חריץ M.2 על הלוח. הייתי משתמש בזה עבור ESXI Host, משאיר את כונני ה-SSD עבור מחשבי VM וחלודה מסתובבת עבור גיבויים בכמות גדולה/מקומית.
השרת שלי שואב ~130W, והייתה לו השפעה עצומה על חשבון החשמל שלי. אין לי AC (לא ממש צריך את זה באזור שלי), אז זה לא לוקח בחשבון עלויות קירור משניות של הפעלת AC לניהול חום. צריכת החשמל הנוספת דוחפת את השימוש בחשמל שלי לדרגת "שימוש גבוה", כך שהקצב האמיתי ל-KWh שנדרש כדי להפעיל את השרת הוא תלול למדי. ברור, YMMV ועלויות החשמל שלך כנראה שונות וכו'. אבל אל תשכח לקחת זאת בחשבון. עשיתי את החשבון (ברמת המפית, אבל מספיק קרוב), והעלייה בחשבון החשמל שלי מסתכמת למעשה יותר מעלויות הרכישה/החלפת החומרה השוטפת שלי.
אני מריץ את ESXI על מתכת חשופה על SSD. ESXI מריץ כמה VMS על כונני SSD אחרים, ואחד ה-VMs שלי הוא TrueNAS. יש לי 2 x בריכות ב-TrueNAS הפועלות על 2 x בקרי LSI שהעברתי ל-ESXI, כך ש-TrueNAS מנהל את הבריכות ישירות. ה-TrueNAS VM הוא ה-VM הראשון לאתחול, כך שהוא מוכן עד שהמחשבים הווירטואליים האחרים מאתחלים וצריכים לראות את הכוננים הממופים שהם משתמשים בהם לאחסון בכמות גדולה (בעיקר מולטימדיה וקבצים). תצורת ה-ESXi שלי מגובה ואני שומר תמונה של כונן האתחול לכונן USB לפני כל תיקון או עדכון של ESXi (מה שאני עושה בערך כל 6 חודשים). מצאתי שהסידור הזה פשוט יותר וחסכוני יותר מניסיון לייעל את מאגר ה-ZFS לארח בו מכשירי VM ישירות - התעסקתי עם כונני ZIL ו-SLOG וזה ממש לא היה שווה את זה. לא אומר שזו הדרך ה"נכונה", אלא זורקים אותה לשם שיקול דעת. ההגדרה הזו פועלת כבר כמעט 10 שנים ללא אובדן נתונים ושרדתי כמה כשלים בכונן, עשרות עדכונים/שדרוגים של ESXi (ESXi 5.0 --> ESXi 7), הרחיבו את קיבולת הכונן שלי כמעט פי עשרה, וזה היה 100% סלע מוצק.
IMHO, זה התקנה של מעבדה בבית - האם יש משהו ספציפית כל כך ענק שהוא צריך כל כך הרבה מקום? ועם RAID10, אין חילוף חם?
אם אין לך תוכנית פעילה עבור כל כך הרבה אחסון (כמו, אני מניח לשכפל מסדי נתונים גדולים מאוד בבית או משהו כזה), הייתי מציע לחקור שימוש בכונני SSD ב-RAID6 או משהו כזה. או לפצל את האחסון שלך וקבל שכבות "מהיר" ו"איטי". עבורי באופן אישי, אני מעדיף שיהיה לי חילוף חם זמין ואני מעדיף ללכת עם רוחב פס גבוה יותר והשהייה נמוכה יותר באחסון. זה כמו לילה ויום כשמארחים מכשירי VM.
כאנקדוטה - כשהעברנו מארח העבודה שלנו ESX משימוש ב-NetApp עם דיסקים מסתובבים בגודל 3.5 אינץ' אל מערך SAN טהור באמצעות כונני SSD של אינטל, זמן ההשהיה עבר מ-200+ אלפיות שניות לפחות מ-2 אלפיות השנייה.
קציץ בשר קאוסטי אמר:כאנקדוטה - כשהעברנו מארח העבודה שלנו ESX משימוש ב-NetApp עם דיסקים מסתובבים בגודל 3.5 אינץ' אל מערך SAN טהור באמצעות כונני SSD של אינטל, זמן ההשהיה עבר מ-200+ אלפיות שניות לפחות מ-2 אלפיות השנייה.
לחץ להרחבה...
אם לא הכנסתם 0 נוסף, וזה לא השהיה הגבוה ביותר שנראה עבור IO בודד (מדד קצת חסר ערך), אלא למעשה מדד משמעותי, הבעיה לא הייתה בדיוק דיסק מסתובב. הבעיה הייתה בהרבה מפרט הציוד שלך. ובכן, אפילו האחוזון ה-95 של 20ms אינו מתפרט, אבל בתחום של "ראיתי את זה בעבר, אבל זה *באמת* היה צריך לתקן".
הרשו לי לציין שהאחסון הראשי ו-VMs יהיו ב-RAID1 NVMes. יהיה לי מספיק מקום לארח את ה-ESXi, TrueNAS, שרת Windows, 2 לקוחות Windows 10/11 וכל דבר אחר לבדיקה.
יש לי כבר מיני-itx TrueNAS בן 6 שנים והרגשתי את צריבת מגבלות ה-ZFS עבור עלות ההרחבה, אז אני עושה צעד גדול יותר אחרי שאפרוש אותו ליחידת גיבוי חירום יותר. עם הכוננים הגדולים יותר עם יחס עלות טוב יותר כעת, יש לי נקודת מבט טובה יותר על העלות התקציבית של רכישת 2 HDs לעומת רכישת 4 HDs כדי להרחיב. במקרה הגרוע ביותר, אני מוותר על המסלול הזה ויוצא ל-UNRAID ושוכח את פרויקט החלומות הזה.
אני באמת רוצה להרחיב את מערך הכישורים שלי ב-VMware בצד תוך כדי עבודה בזירת הארגונים של גוליית. רוצה גם לפרוש את מערכת ה-homelab העצמאית והמחורבנת שלי שעשויה מחלקי גרוטאות הפועלים על Win2016 Hyper-V. הולך להוציא כסף על רישיון VMware של $550~ עבור הרישיון הסטנדרטי ולהשתמש ב-Veeam אולי לריפו בענן אם אוכל לבקש מהאישה תקציב נוסף. בתקווה שהעבודה שלי מספקת חיץ כעלות הכשרה להוצאת רישיון, אבל זו משאלת לב מכיוון שהיא עדיין בוועדת התכנון בשלב זה.
נ.ב.: אני שונאת ריפוי ארוך. תרחיש עבודה בעבר היה עם יחידת Synology NAS 8 כוננים שהתרחבו מכונן RAID5 בגודל 4x 8TB ל-8x 8TB. לקח כמעט כל שבוע העבודה כדי להשלים את ההרחבה/resilver ועדיין פעלה כריפו המקומי של Veeam לענן.
אולי תרצה לבדוק את יתרון VMUG. זה 200 בשנה ומקנה לך גישה כמעט לכל הדברים של VMware. כמו כן, בדרך כלל תוכלו למצוא קופון של 10 או 20% הנחה.
7302P הוא 16 ליבות אז לא בטוח איך זה בהשוואה לדברים של שולחן העבודה, אבל אם אתה רוצה את כל נתיבי ה-PCI-e אז EPYC היא בהחלט הדרך ללכת.
אם תבדוק באיביי, זה פער גדול. פשוטו כמשמעו, המוכר שאחריו עקבתי אחר המשולב הזה עמד בממוצע בין 720 ל-780 דולר. ניתן להשיג את ה-7302P בכמעט 250$ בשימוש בעוד שחדש עדיין ממוצע ב-900$. ההשוואה Zen3 Epyc 7313P עומדת על כמעט 900 $ בשימוש אם יש מזל עד 1300 $ חדש. אני ממש מתכנן למקם לפחות 2 מעבדי גרפי תת 200W.רצף אמר:מה פער המחירים בין הדברים של Zen 2 ל-Zen 3? (במיוחד Zen 4 יצא עכשיו)7302P הוא 16 ליבות אז לא בטוח איך זה בהשוואה לדברים של שולחן העבודה, אבל אם אתה רוצה את כל נתיבי ה-PCI-e אז EPYC היא בהחלט הדרך ללכת.
לחץ להרחבה...
התקציב שלי לא יאפשר מעבד שרת יקר מכיוון שאני רוצה לשמור על קרוב ל-$2K עבור בניית שרת זה. מחירי הדיסק הקשיח של 16TB-18TB השתנו במהלך סוף השנה, ובתקווה שהם עדיין ירדו עוד 20$. משאלת לב בהתחשב בתחזית ובדוח ההפסד האחרון של יצרני ה-OEM של Storage. ירידה של 50% בביקוש הייתה כאב עיניים גדול.
