אוריק לוסון | Getty Images
ד"ר סשה לוצ'יוני היא חוקרת ומובילת אקלים בחברת Hugging Face, שם היא חוקרת את ההשפעות האתיות והחברתיות של מודלים ומערכים של בינה מלאכותית. היא גם מנהלת של Women in Machine Learning (WiML), חברה מייסדת של Climate Change AI (CCAI), ויו"ר ועדת הקוד האתי של NeurIPS. הדעות ביצירה זו אינן משקפות בהכרח את דעותיה של Ars Technica.
במהלך החודשים האחרונים, תחום הבינה המלאכותית ראה צמיחה מהירה, כאשר גל אחר גל של דגמים חדשים כמו Dall-E ו-GPT-4 צצו בזה אחר זה. כל שבוע מביא את ההבטחה לדגמים, מוצרים וכלים חדשים ומרגשים. קל להיסחף בגלי ההייפ, אבל ליכולות הנוצצות הללו יש מחיר אמיתי לחברה ולכדור הארץ.
חסרונות כוללים את המחיר הסביבתי של כריית מינרלים נדירים, את העלויות האנושיות של תהליך עתיר העבודה של הערת נתונים, וההשקעה הכספית ההולכת וגוברת הנדרשת כדי להכשיר מודלים של AI ככל שהם משלבים יותר פרמטרים.
בואו נסתכל על החידושים שהניעו את הדורות האחרונים של הדגמים הללו - והעלו את העלויות הנלוות להם.
דגמים גדולים יותר
בשנים האחרונות, מודלים של AI הולכים וגדלים, כאשר חוקרים מודדים כעת את גודלם במאות מיליארדי פרמטרים. "פרמטרים" הם הקשרים הפנימיים המשמשים בתוך המודלים ללימוד דפוסים המבוססים על נתוני האימון.
עבור מודלים של שפות גדולות (LLMs) כמו ChatGPT, עברנו מכ-100 מיליון פרמטרים ב-2018 ל-500 מיליארד בשנת 2023 עם מודל ה-PaLM של גוגל. ה תֵאוֹרִיָה מאחורי הצמיחה הזו היא שמודלים עם יותר פרמטרים צריכים להיות בעלי ביצועים טובים יותר, אפילו במשימות שלא אומנו עליהן בתחילה, אם כי השערה זו נותרה בעינה לא מוכח.
מודלים גדולים יותר בדרך כלל לוקחים יותר זמן לאימון, מה שאומר שהם צריכים גם יותר GPUs, שעולים יותר כסף, כך שרק כמה ארגונים נבחרים מסוגלים לאמן אותם. הערכות לשים את עלות ההדרכה של GPT-3, שיש לו 175 מיליארד פרמטרים, ב-4.6 מיליון דולר - מחוץ להישג ידם של רוב החברות והארגונים. (ראוי לציין שהעלות של אימון מודלים היא ירידה במקרים מסוימים, כמו במקרה של LLaMA, הדגם האחרון שהוכשר על ידי Meta.)
זה יוצר פער דיגיטלי בקהילת הבינה המלאכותית בין אלה שיכולים להכשיר את ה-LLMs החדשניים ביותר (בעיקר חברות ביג טק ועשירים מוסדות בצפון הגלובלי) ואלה שלא יכולים (ארגונים ללא מטרות רווח, סטארט-אפים וכל מי שאין לו גישה למחשב-על או מיליונים ב קרדיטים בענן). בנייה ופריסה של הרמות הללו דורשות משאבים רבים לכוכבי הלכת: מתכות נדירות לייצור גרפי GPU, מים לקירור מרכזי נתונים ענקיים, אנרגיה כדי לשמור על מרכזי הנתונים האלה פועלים 24/7 בקנה מידה פלנטרי... כל אלה מתעלמים לעתים קרובות לטובת התמקדות בפוטנציאל העתידי של התוצאה המתקבלת דגמים.
השפעות פלנטריות
א לימוד מאת פרופסור באוניברסיטת קרנגי מלון אמה סטרובל על טביעת הרגל הפחמנית של תכניות לימודים אימון LLM העריכו כי הכשרת מודל 2019 בשם BERT, שיש לו רק 213 מיליון פרמטרים, פלט 280 טונות של פליטת פחמן, שווה ערך בערך לפליטת חמש מכוניות מעל תקופות חיים. מאז, הדגמים גדלו והחומרה הפכה ליעילה יותר, אז איפה אנחנו עכשיו?
ב מאמר אקדמי אחרון כתבתי כדי ללמוד את פליטת הפחמן שנגרמה מאימון BLOOM, מודל שפה של 176 מיליארד פרמטרים, השוו את צריכת החשמל ופליטת הפחמן הנובעת מכך של מספר LLMs, שכולם יצאו בכמה אחרונים שנים. מטרת ההשוואה הייתה לקבל מושג על קנה המידה של פליטות בגדלים שונים של LLMs ומה משפיע עליהם.
