זה פועל על מחשב דיגיטלי, כנראה עם ECC. כל שיעור שגיאה (מעל שיעור השגיאה הנמוך מבחינה אסטרונומית של חישובים) מעיד על כך שלא בנתה למעשה ייצוג חוקי של הכללים.סגן_סטורם אמר:אפילו בני אדם לא ממש מקבלים את הכללים לפי מדדים כאלה. אני מתכוון, בטח, 1.7% עשויים להיות גרועים יחסית, אבל אין כמעט משימות שבני אדם יכולים לבצע בשיעור שגיאה של אפסי.
לחץ להרחבה...
אני מסכים שאם זה היה פועל על סוג של מחשב אנלוגי, אז 1.7% יכול להיות הישג מדהים שתואם את זה לחלוטין לאחר שלמדו את הכללים בפועל.
עריכה: ואני מודע לכך שזה עובד על צפים פנימיים, עם זאת, כך גם יישום של הכללים שנכתבו ב-Javascript.
אם לומר זאת בצורה ברורה: אתה יכול להוסיף רעש באופן אקראי במהלך הערכה, וכל עוד הוא לא קיצוני, זה לא ישפיע הרבה על שיעור השגיאות ברשת העצבית. אבל, הוסף כל רעש שהוא לחישוב דיגיטלי, והפלט נהרס, זו הסיבה שלמכונה הדיגיטלית יש ECC: היא צריכה את זה כדי לתפקד. הרשת העצבית, הפועלת על פי עקרונות שונים, יכולה לפעול על שבב אנלוגי מבלי שרעש ייצור בעיות.
הסיבה לכך היא שמדובר בסוגים שונים של מכונות הפועלות לפי סוגים שונים של עקרונות. מחשבים דיגיטליים מבוססים על סוג של דיוק שבו האף מדוכא לחלוטין, כך שהם מספקים תוצאות מדויקות. רשתות עצביות לא. עצם הדמיה של הרשת העצבית במחשב דיגיטלי לא משנה את העקרונות האלה וגם לא הופך את הדבר להוכחה לשגיאה.
רק כדי להיות ברור, "רשתות עצביות" אינן כל סוג של סימולציה של רשתות עצביות ביולוגיות.סגן_סטורם אמר:רשתות עצביות לא. עצם הדמיה של הרשת העצבית במחשב דיגיטלי לא משנה את העקרונות האלה וגם לא הופך את הדבר להוכחה לשגיאה.
לחץ להרחבה...
אם אתה למשל. לאמן רשת עצבית (שום דבר מפואר, קומץ שכבות מחוברות במלואן, שיפוע פשוט משענת אחורי ירידה) כדי להכפיל 2 מספרים בינאריים, הוא אכן מתכנס לקראת הפקת תמיד נכונה תוֹצָאָה. עבור מספרים קטנים (למשל כפל של 16 סיביות), אתה כן מקבל מכפיל נטול באגים, לאחר מספיק אימון.
לאחר האימון, השכבה הסופית לא מוציאה 1 ו-0 מדויקים, אבל איפה שצריך להיות 1, מה שהיא מפיקה קרוב מאוד ל-1 (מאחר backprop אכן עובד על ההבדל בין הפלט ל-1), וכאשר הוא אמור להיות 0, מה שהוא מוציא קרוב מאוד ל-0, כך ש- סף של 0.5 אתה למעשה מקבל כפל בינארי נכון בדיוק, אפילו שהרשת העצבית עצמה מעולם לא התכנסה לאפסים מדויקים ומדויקים. עם מספיק אימון אתה יכול להגיע למקום שבו כל ה"אפסים" שלך הם <0.25 וכל ה"אחדים" שלך הם >0.75, למשל, על פני כל התשומות האפשריות.
שימו לב שמשחק הוא בעיה דיגיטלית. כך גם בחירת אסימונים. הדרך שבה זה נעשה היא על ידי דיסקרטיזציה של הפלט; ובמהלך האימון, הרשת העצבית מאומנת לקראת אותם ערכים בדידים.
ממש יישמתי את מכפיל 16 הביט בעצמי. זה אכן הביא לביצועים ללא באגים.סגן_סטורם אמר:אז, הקו הזה של "תאמן את זה יותר וזה ישתפר" הוא לא איך הדברים האלה עובדים בפועל. אני מתכוון, בטח, יש תקופה ארוכה של אימונים שבה הביצועים משתפרים ללא הרף, אבל בסופו של דבר הרמות האלה. בשלב זה, המכונה בדרך כלל מתחילה ללמוד דפוסים אשלייתיים שעשויים לספק מערך אימונים טוב יותר התכתבות, אבל גם לגרום לאי שפיות מוחלטת ברגע שמשהו אפילו מעט מחוץ לסט האימונים מופיע. לכן, פשוט אימון רב יותר של מכפיל הרשת העצבית שלך לא יביא למעשה לביצועים ללא באגים, אפילו יותר לבעיה מסובכת אפילו-בינונית. בדיוק להיפך, למעשה שכן התאמה יתרה משתלטת.
לחץ להרחבה...
זכור שזה מצב של נתונים סינתטיים (כפי שצוטט מאמר אותלו).
התאמת יתר שאתה מדבר עליה מתרחשת כאשר יש לך מערך נתונים בגודל מוגבל, ואתה עובר על זה מערך נתונים עבור "תקופות" רבות, ויש לך מערך בדיקה נפרד שאינו כלול (בתקווה) בהדרכה מערך נתונים. בשלב מסוים ההפסד שלך במערך הנתונים של הבדיקה מתחיל לעלות, גם כשההפסד במערך הנתונים של האימון ממשיך לרדת.
עם נתונים סינתטיים לעומת זאת, כמו דוגמא המכפיל, היית בוחר 2 מספרים שלמים אקראיים ומכפיל אותם כדי ליצור מדגם אימון. או במאמר ההוא של אותלו הם השתמשו ביישום אמיתי של אותלו מעשה ידי אדם כדי ליצור דוגמאות לרשת העצבית להתאמן עליה, כשהרשת העצבית מייצרת גרסה מושפלת.
אם הוא היה משמש לאימון הדור הבא של מודל אותלו, הביצועים היו מתדרדרים עוד יותר (ולא לקראת משחק קוהרנטי אחר).
ולמעשה בכל הנסיבות שבהן רשתות עצביות שימושיות / הדרך היחידה לפתור את הבעיה, אינך יכול פשוט ליצור נתונים סינתטיים. אחרי הכל, אנחנו מדברים על זיהוי אובייקטים, עיבוד שפה ובעיות אחרות שלפני הפופולריות של רשתות עצביות מלאכותיות בקנה מידה גדול, בעצם לא נפתרו. לכן, כאשר צופים ברשת עצבית אשר נבנתה בעיקר כדי לחקור כיצד רשתות עצביות פועלות ובכך לשפר את ההבנה שלנו לגביהן, התלוננות על שיעור שגיאות היא... אִידיוֹטִי.דמיטרי אמר:ממש יישמתי את מכפיל 16 הביט בעצמי. זה אכן הביא לביצועים ללא באגים.זכור שזה מצב של נתונים סינתטיים (כפי שצוטט מאמר אותלו).
התאמת יתר שאתה מדבר עליה מתרחשת כאשר יש לך מערך נתונים בגודל מוגבל, ואתה עובר על זה מערך נתונים עבור "תקופות" רבות, ויש לך מערך בדיקה נפרד שאינו כלול (בתקווה) בהדרכה מערך נתונים. בשלב מסוים ההפסד שלך במערך הנתונים של הבדיקה מתחיל לעלות, גם כשההפסד במערך הנתונים של האימון ממשיך לרדת.
עם נתונים סינתטיים לעומת זאת, כמו דוגמא המכפיל, היית בוחר 2 מספרים שלמים אקראיים ומכפיל אותם כדי ליצור מדגם אימון. או במאמר ההוא של אותלו הם השתמשו ביישום אמיתי של אותלו מעשה ידי אדם כדי ליצור דוגמאות לרשת העצבית להתאמן עליה, כשהרשת העצבית מייצרת גרסה מושפלת.
אם הוא היה משמש לאימון הדור הבא של מודל אותלו, הביצועים היו מתדרדרים עוד יותר (ולא לקראת משחק קוהרנטי אחר).
לחץ להרחבה...
המציאות היא שהם הצליחו למצוא חלק מרשת העצבים שבו מצב הנוירונים היה אנלוגי למצב הלוח. לאחר מכן הם יכלו לעדכן את הפלט של אותם נוירונים כדי לשכנע את הרשת שמצב הלוח שונה ולקבל פלט עבור מצב הלוח החדש. לומר "זה חסר משמעות כי היה להם שיעור שגיאות של 1.9% ולכן זה לא יכול להבין את הכללים של אותלו" זה... מוּטעֶה. זה יוצר הגדרה של 'קבלה' שבני אדם אינם מסוגלים להשיג. מה שהופך את ההגדרה הזו לחסרת תועלת במקצת לטענה ש"בניגוד לבני אדם, לרשתות עצביות אין הבנה".
עריכה: כמו כן, "אני יכול לאמן רשת עצבית להיות מוסיף בינארי מושלם של 16 סיביות עם נתונים סינתטיים, לכן, אם אנחנו יכולים ליצור נתונים סינתטיים, זה אמור להיות אפשרי לאמן את כל הרשתות העצביות להיות מושלמות במה שהן עושות" הוא עצמו מוּטעֶה. זה מתעלם לחלוטין מבעיית היישור. יש המון דוגמאות בעולם האמיתי של רשתות עצביות שמתאימות יתר על המידה ואומנו על נתונים סינתטיים לחלוטין. המציאות היא שבכל תרחיש מסובך מציאותית, מכיוון שאנחנו לא מבינים איך הרשתות עובדות בפועל, אנחנו לא יכולים לעשות זאת. התוצאה האמיתית היא שהם אכן לַעֲשׂוֹת ללמוד את הדבר הלא נכון. לעזאזל, לפעמים הם לומדים את הדבר הלא נכון לאורך תהליך האימון. זהו חלק גדול מהסיבה שמחקר כמו זה שתואר לעיל הוא למעשה שימושי.
עריכה 2: או במילים אחרות, בעיות המילים האמיתיות עם מערכות AI מלאכותיות מבוססות רשתות עצביות נוטות לא להיות כאלה "מכיוון שיש להן שגיאה לדרג, הם לא מבינים דברים", במקום זאת זה "ה-AI למד להבין את הדבר הלא נכון ולכן, באופן עקבי, מתנהג לחלוטין לא נכון"
הטיעון היחיד שהוא כן "מבין" את כללי אותלו מלכתחילה הוא ששיעור השגיאות (של 1.7% עבור שחזור הלוח או משהו כזה) כביכול נמוך מספיק כדי שלא תוכל להגיע לשם בלי להבין את הכללים של אותלו.לומר "זה חסר משמעות כי היה להם שיעור שגיאות של 1.9% ולכן זה לא יכול להבין את הכללים של אותלו" זה... מוּטעֶה.
לחץ להרחבה...
אני חושב שמה שקורה הוא שהוא בונה ייצוג די דמוי חיפוש של מעברי המדינה על בסיס תא, ללא כל סוג של הבנה שהכללים זהים עבור כל תא (עריכה: או כל "לך לאורך הקו ותראה אם יש אבן בצבע זהה" וכו).
כתוצאה מכך הוא אינו מסוגל להכליל היטב מדגימות אימון לבלתי נראה, וזקוק למספר עצום של דגימות אימון. זה מרשים שזה מגיע עד כאן, אל תבינו אותי לא נכון.
שיעור השגיאה במקרה זה מאיר עיניים מכיוון ששיעורי שגיאה נמוכים דורשים הכללה טובה יותר בהדרגה מדגימות נראות לדגימות בלתי נראות (או מספר גדול מאוד של דגימות).
בפרט, אדם שמבין את הכללים, יכול בקלות (אם כי בעמל רב) לבנות ביד רשת עצבית שיש לו שיעור שגיאות אפס (במובן שהשגיאות היחידות הן אלה שבהן יש חומרה פיזית בפועל תקלה). או לבנות ביד רשת עם המבנה הנכון (רשת עצבית קונבולוציונית) ולאמן אותה על גבי הנתונים (ולא על המהלכים), ולהשיג שיעור שגיאות אפס.
ובאופן רחב יותר, דוגמאות של נתונים סינתטיים שימושיות להבנת מה רשתות עצביות עושות באופן פנימי. אם סוג מסוים של רשת עצבית אינו מסוגל להכליל בתרחיש סינתטי עם כמות עצומה של דגימות אימון ייחודיות, ובכן, זה מיסטיקה טהורה של בינה מלאכותית לטעון שהיא תכליל טוב יותר על נתונים מהעולם האמיתי (שהם הרבה יותר דליל ומגיע הרבה יותר קשה למודל תהליכים).
עריכה: קח דוגמה מסוימת, מכוניות בנהיגה עצמית. גישה שמצליחה עם נתונים סינתטיים (מעין משחק סימולטור נהיגה). סָבִיר להיכשל בעולם האמיתי. עם זאת, גישה שנכשלת בנתונים סינתטיים תעשה זאת בְּהֶחלֵט להיכשל בעולם האמיתי.
כאן אתה טועה. הטיעון שהוא כן "מבין" נובע מהנדסה לאחור של הרשת כדי לחלץ ייצוג של מצב הלוח הנוכחי מהרשת מצב פנימי, עדכון המצב הפנימי הזה כדי לייצג לוח אחר, ולראות שהוא יוצר מהלכים על סמך המצב החדש שעודכן.* זאת, מדגם שראה רק תמלול משחקי אותלו, מעולם לא ראה לוח אותלו, ומעולם לא נאמר לו ש-C5 נמצא ליד C6 או B5 וגם לא כל דבר דומה. אף על פי כן, לדגם המאומן חלק מהמצב הפנימי שלו מוקדש למעקב אחר מצבו של לוח אותלו אשר מודע לכך ש-C5 נמצא ליד C6 ו-B5. זה כנראה הגיע למסקנה שמודל כזה חשוב להבנת אותלו בפני עצמו. זה שהוא עושה את זה, למרות שמעולם לא ראה לוח של אותלו הוא ההוכחה שהוא מבין משהו.דמיטרי אמר:הטיעון היחיד שהוא כן "מבין" את כללי אותלו מלכתחילה הוא ששיעור השגיאות (של 1.7% לשחזור הלוח) כביכול נמוך מספיק כדי שלא תוכל להגיע לשם מבלי להבין את הכללים של אותלו.
לחץ להרחבה...
* עריכה: כדאי לשים לב, זה כנראה לא תיאור לגמרי מדויק של מה שקורה. כלומר, אני בספק אם הרשת העצבית חוזרת באופן שמאפשר לה "לאחסן" מצב לוח נוכחי, או גורם לה "ליצור" מהלכים על סמך המצב הזה. זה כנראה נכון יותר לומר שהשכבות הראשונות של הרשת מתרגמות תמלול משחק לייצוג של הלוח שנוצר על ידי משחק של קבוצת המהלכים הזו ושאם אתה מדלג על השכבות הראשונות ומזין ייצוג של לוח אחר ישירות לשכבה הזו, הוא מוציא מהלכים כאילו הזנת אותו בתמליל המוביל לאותו מצב לוח אחר. אף על פי כן, החלק החשוב, ה"הבנה", כביכול, הוא שבתוך הרשת, זה הוא הופך את תמלול המשחקים למצבי לוח ומצבי לוח לתמלולי משחק מעט ארוכים יותר. ואנחנו יודעים שהיא עושה זאת באמצעות הישג של הנדסה הפוכה נתמכת למידת מכונה.
מה שהוא עושה בדיוק מוגבל למדי. והעדכון מורכב מהיפוך דיסק אחד על הלוח.סגן_סטורם אמר:כאן אתה טועה. הטיעון שהוא כן "מבין" נובע מהנדסה לאחור של הרשת כדי לחלץ ייצוג של מצב הלוח הנוכחי מהרשת מצב פנימי, עדכון המצב הפנימי הזה כדי לייצג לוח אחר, ולראות שהוא יוצר מהלכים על סמך העדכון החדש מדינה.*
לחץ להרחבה...
אתה בטוח מבין שהדיוק רלוונטי כאן?
כדוגמה קיצונית, פשוט אי עדכון המצב הפנימי עדיין יניב תוצאה מדויקת למדי רשימה של מהלכים משפטיים רוב הזמן כי זה רק דיסק אחד (שהם מציינים למעשה ב- עיתון). הם משיגים שיפור לעומת אי עדכון המצב הפנימי, כמובן.
ההנחה היא שגודל השיפור גדול מספיק כדי שנוכל להסיק שיש לו משהו שעובד כמו מפה איפה החלקים נמצאים (אם אתה פוזל אליו דרך רשת עצבית של כמה שכבות שאימנת לחזות את הלוח מהחלק הפנימי מדינה).
ויש קפיצת מדרגה עצומה של אמונה, מזה להנחה שמשהו קורה שם בפנים (אפילו ללא הרשת העצבית שהשתמשת בה) שדומה ביסודה למערכת הכללים הפשוטה של אותלו. אבל "בגלל מצופים או משהו כזה" זה לא עובד בדיוק, אז אנחנו מקבלים כמה שגיאות, לא נורא, זה עדיין הבנה בסיסית של אותלו.
עריכה: אם לוקחים את זה לקיצוניות, סביר להניח שניתן לאמן רשת עצבית גדולה מספיק כדי לחזות את הלוח על סמך הערכים מתוך לא מאומן רשת שמוזנת ברשימת מהלכים, בסגנון GPT כלומר כאסימונים עם עמדות מקודדות חטא. כמובן, בתנאי שהמשקולות מאותחלות לערכים מספיק טובים כדי שהמידע לא ילך לאיבוד.
מה שהם עשו זה כנראה איפשהו באמצע. ובסופו של דבר הכל מסתמך על קפיצת מדרגה של אינטואיציה ש"אין ספק שאי אפשר להשיג את הדיוק הזה בדרך כלשהי שאנחנו לא יכולים לחשוב עליה שהיא לא דומה מאוד לדרך שאנחנו יכולים לחשוב עליה".
שימו לב, זה לא אומר שהפלט חסר תועלת להפגנת הבנה, אחרי הכל, את העובדה שהם יכולים להפוך את הצבע של יצירה זה ישנה את התפוקות הוא בעל ערך, מכיוון שהוא מצביע על כך שהבנה זו של מצב המשחק תורמת לייצור של תשובה. שהבנה שגורמת לפלט כדאי לדעת.
למרות שבשלב זה אני מתחיל לתהות, מה היית מחשיב כדי להצביע על הבנה? אם גם נכונות וגם תרגום של תשומות לייצוג מודל פנימי אינם מספיקים, מה יעשה זאת?
מהשכבה הראשונה, יש 11% הבנה של שיעור שגיאות של המשחק. יש להניח שאף אחד לא טוען שהשכבה הראשונה בונה הרבה מדגם של הלוח מהמהלכים? בהחלט לא "89% מדויק" בשום מובן יומיומי של דיוק ב-89% בכל דבר.
ירידה לשיעור שגיאה של 1.7% בשכבה ה-8. (שים לב ששיעור השגיאות ללא "הבנה" היה בערך 25% אז אתה באמת צריך להכפיל את הכל ב-4).
1.7% נכנסים לטריטוריה שבה די קשה לדמיין שהיוריסטיקות היו מדויקות כל כך; אבל גם חוסר יכולת לדמיין איך היוריסטיקה תגיע לשם אין כמעט עדות לשום דבר מלבד חוסר היכולת הזה.
אתה ממשיך להתעלם מהעובדה שאתה יכול לבצע הרבה יותר טוב מאשר במקרה בדברים כאלה מבלי שיהיה לך משהו שדומה למערכת הכללים. בפרט, שיעור שגיאות של 25% בשחזור הלוח הושג עם משקלים אקראיים ברשת העצבית שיש לה כביכול הבנה. הודות לאימון הגשש על סיפון מדינות.
זהו נטל הוכחה הפוך רגיל שטויות.
כן, יש "מודל", אבל כל מיני דברים הם מודלים בלי להיות כמו הדגם שאנחנו מדמיינים כאלטרנטיבה היחידה לטבלת חיפוש פשוטה לא מתוחכמת. מערכת חוקים למשחק הזה היא פחות מורכבת בהרבה מרשתות עצביות שבהן השתמשו; רשתות עצביות גדולות מסוגלות לייצג פונקציות באינספור דרכים הדורשות הרבה פחות הבנה, מאשר להסיק את מערכת הכללים בפועל.
הם גם לא טוענים סתם כי מדובר בדגם כלשהו. הם טוענים שזה סוג מאוד ספציפי של דגם. זה שהם החליטו לדמות לעורב שמסדר זרעים לייצוג של המשחק, אשר באופן מוזר הוא הסוג היחיד של ייצוג פנימי שהם שללו במידה רבה עם הליניארי הכושל בְּדִיקָה.
אנלוגיית העורב משחקת גם על העובדה שהייתם מדמיינים שעורב לומד היטב את הכללים מתוך מספר קטן של דגימות, מה כשלעצמו יעיד על יכולת רבה להכליל, היבט של אינטליגנציה.
עריכה: וזה לא אומר שבבעיות צעצוע קטנות עם כללים פשוטים מאוד, רשתות עצביות לא יכולות ללמוד את הכללים. כמובן שהם יכולים. אני בעצמי קיבלתי כפל של 16 ביט עובד, מושלם לא פחות. עם זאת, יש להיזהר מהצהרות בנוגע לכך שהוא עושה את ההכפלה כפי שאדם יעשה זאת על הנייר.
אתה כנראה יכול לאמן רשת עצבית קטנה למדי לקבל מצב פנימי כלשהו מהמכפיל, ו ערכי פלט ברשת (0, 1, קו אופקי, לא תפוס וכו') כך שתיצור תמונה ארוכה כֶּפֶל. האם זה מעיד על כך שרשת המכפילים אכן פועלת כך? לא זה לא היה. ובוודאי שזה לא עובד ככה, עם פחות מ-16 שכבות. הדבר היחיד שהוא מציין הוא שהמצב הפנימי של המכפיל מועיל למשימה של ציור תמונה של כפל ארוך. וזה בקושי בלתי צפוי.
אני לא חושב שזה מאוד פרודוקטיבי לבחור דבר אחד קטן ולהגיב לו במשפט אחד. העניין בו אנו עוסקים הוא מורכב ויש לו היבטים רבים. זה אומר שסלע גדול הוא בעצם ראש אנושי 'כי הוא גם עגול'. כאילו, ברור שאתה מתגעגע ליער בגלל העצים כאן.סגן_סטורם אמר:אלא שהם שינו את מצב הייצוג הפנימי של הלוח ממצב משחק אחד לאחר מדינה על ידי מניפולציה ישירה שלו, ובכך להוכיח שהם יכולים לא רק לחלץ אותו אלא גם לתמרן זה. זה גם לא משחק שח, או אפילו ממש אותלו.
לחץ להרחבה...
מה שצוות המחקר עשה זה להשתמש בכלי שנקרא 'פרוב', שהוא עצמו מודל למידת מכונה קטן שמוצא את הנכון קבוצת תשומות לחילוץ פלט מסוים, אך עם פלט שלמעשה מקרוב (קבוצה קטנה של) צומת פנימי (ס). זו לא דרך לחלץ מודל פנימי, אלא דרך לחלץ נתיבי הפעלה פנימיים בודדים. ואז על ידי ניתוח אזור נתיב ההפעלה הקטן הזה, אתה יכול לאתר כמות קטנה מספיק של צמתים כדי שתוכל לשנות את המשקל שלהם ולתמרן את הנתיב הזה למהלך אחר, במקרה זה. עם זאת, אין כרגע כלים שיכולים, למשל, להרכיב חבורה של בדיקות כדי לבנות ייצוג של המודל הפנימי.
כל זה חשוב. מחברי המאמר (ללא ביקורת עמיתים, מצגת בכנס) מסיקים כי
לא על זה אנחנו מדברים כשאומרים ל-LLMs אין מודל של העולם שניתן לחקור לסינתזה של מידע חדש. מודל של העולם מורכב מחוקים שבינה מלאכותית בנה מתוך לימוד סדירות בנתוני האימון. אז ה-AI לא אמור לאחסן (רוב) את מיפוי הקלט-פלט, אלא לפעול רק על פי הכללים שהוא בנה. זה מודל של העולם - פישוט של העולם לכללים וחריגים המכסה היטב את רוב היישומים בעולם האמיתי.הניסויים שלנו מספקים ראיות לכך ש-Othello-GPT שומר על ייצוג של מצבי לוח משחק - כלומר, "העולם" של אותלו - כדי לייצר רצפים עליהם הוא אומן. ייצוג זה נראה לא ליניארי באופן מהותי. יתרה מכך, אנו מוצאים שניתן לקשור את הייצוגים הללו באופן סיבתי לאופן שבו המודל עושה את התחזיות שלו
לחץ להרחבה...
מה ש-Othello-GPT יכול לעשות הוא לבנות ייצוג של הלוח, אבל לא הוכח שהוא יכול לבנות חוקים מדויקים בדרך זו. אלגוריתמים רבים בונים ייצוגים של לוחות שחמט, למשל, סטוקפיש וממש כל אלגוריתם שחמט אחר. אבל אתה לא לומד שחמט (או אותלו) על ידי שינון רצפים של פריסות לוח שחמט, אתה לומד את הכללים. ואז, נוסף על כך, אתה לומד כמה פתחים טיפוסיים ודפוסי לוח למשחקים ספציפיים. אבל זה בסיסי לשחמט, גו וכו'. ששחקן טוב ילמד את הכללים שכן המספר העצום של לוחות אפשריים עולה בהרבה על כל יכולת לאחסן מידע זה.
אותלו-GPT עשוי בהחלט להיות מנבא לוח דמוי טבלת חיפוש פנימי. אולי LLMs הם דרך טובה לדחוס ביעילות את מערכי הנתונים הגדולים האלה לטבלאות חיפוש לא מדויקות לחלוטין, אבל למטרות אורגניות מדויקות 'מספיקות'. דחיסה אובדנית עבור מכונות מדינה. אנחנו עדיין לא יודעים על סמך מאמר זה אם זה קרוב לאופן שבו הדברים עובדים.
כמו כן, רק כדי להיות ממש ברור לגבי כל זה: LLMs לא אמורים להיות אלגוריתמים טובים לשחק שח או לעשות כל זה. המאמר הזה פשוט מנסה דוגמה קלה מאוד לחקירה של משחק כדי לראות אם הם יכולים למצוא משהו מעניין על LLMs באופן כללי. ישנם אלגוריתמים טובים באמת ללימוד מכונה, אבל הם משתמשים בטכניקות שונות מאוד. זו לא הוקעה של AI למטרת משחק שחמט או אותלו.
זה בעצם לא נכון. רוב האלגוריתמים מגיעים עם ייצוג מתוכנת מראש של הלוח, הם לא בונים אותו כל כך כמו שהם נותנים להם על ידי אדם שמתאר איך זה עובד. זה שונה מאוד מ-Othello-GPT שממציא דגם ללוח אך ורק מרשימות של מהלכים ממשחקים תקפים. הראשון הוא השתקפות של ההבנה האנושית, השני הוא משהו שהמכונה הבינה.demultiplexer אמר:מה ש-Othello-GPT יכול לעשות הוא לבנות ייצוג של הלוח, אבל לא הוכח שהוא יכול לבנות חוקים מדויקים בדרך זו. אלגוריתמים רבים בונים ייצוגים של לוחות שחמט, למשל, סטוקפיש וממש כל אלגוריתם שחמט אחר. אבל אתה לא לומד שחמט (או אותלו) על ידי שינון רצפים של פריסות לוח שחמט, אתה לומד את הכללים. ואז, נוסף על כך, אתה לומד כמה פתחים טיפוסיים ודפוסי לוח למשחקים ספציפיים. אבל זה בסיסי לשחמט, גו וכו'. ששחקן טוב ילמד את הכללים שכן המספר העצום של לוחות אפשריים עולה בהרבה על כל יכולת לאחסן מידע זה.
לחץ להרחבה...
שימו לב, אני גם לא מוצא שזה מועיל לטעון שמשהו כמו Stockfish או Deep Blue לא מבין בשחמט, אם כי הבנה זו הרבה פחות מעניינת מכיוון שאנו יכולים להעניק אותה רק עבור דברים שאנו כבר מבינים נו.
עריכה: כמו כן, אני רואה שחזרנו לדחיסה מאובדת. בעוד שהרעיון ש-jpg יוצר פלט חדשני הוא קצת מגוחך,* סביר להניח שיש כאן משהו לגבי מהי אינטליגנציה. אחרי הכל, יש סיבות תיאורטיות טובות לחשוב שלמידה, ידע והבנה, הן אנושית והן אחרת, אינם אלא סוג מסוים של אלגוריתם דחיסה אובדן.
* אלגוריתם ה-jpg תוכנן כדי להימנע באופן מפורש מיצירת פלט חדש: דחיסה שדוחסת תמונה של סבתא שלך בחוף האהוב עליה לתוך סבתות של אנשים אקראיים לא כל כך שימושית אחרי את כל. זה לא יהיה שימושי במיוחד אם המצלמה שלך תחליף באקראי את החוף בתמונות החופשה שלך בנוף אחר.
אם קראתי נכון את הנייר, הם אימנו רשת עצבית בעלת 2 שכבות בגודל די גדול עם הפעלה של שכבה שלמה בתוך othello-gpt כקלט, ומצב הלוח הידוע כפלט.demultiplexer אמר:מה שצוות המחקר עשה זה להשתמש בכלי שנקרא 'פרוב', שהוא עצמו מודל למידת מכונה קטן שמוצא את הנכון קבוצת תשומות לחילוץ פלט מסוים, אך עם פלט שלמעשה מקרוב (קבוצה קטנה של) צומת פנימי (ס).
לחץ להרחבה...
הם הורידו את שיעור השגיאות מ-25% על ביצוע פעולה זו לרשת משקל אקראי ל-1.7% עבור רשת מאומנת. עכשיו הבעיה עם שיעור שגיאות לא זניח כאן היא שלא המחברים ולא אף אחד אחר יודע עד כמה כמה היוריסטיות פשוטות יכולות להביא אותך; זה תלוי מאוד בכמה דיסקים יש ללוח ממוצע במערך הנתונים, למשל.
עריכה: ליתר דיוק, שימו לב שזה לא שחמט. כל מהלך מציב דיסק. רשימת המהלכים כפי שהיא מעוצבת היא כבר "מודל" של הלוח: עבור כל מלבן של הלוח אתה יודע אם בוצע תנועה שם או לא, ויש לך אינדקס מקודד של מתי בוצע המהלך. מידע הסמיכות לא נזקף ישירות על ידי אדם, אבל אנחנו כבר יודעים שרשתות מחוברות לחלוטין לומדות סמיכות (למרות שלעולם אינן מכלילות את הדרך שבה עושה רשת קונבולוציונית).
עכשיו לגבי דחיסה ואינטליגנציה (ודחיסה שגורמת לשחזור של חוקים בסיסיים), מכיוון שהטקסט שנכתב על ידי אדם הוא כמעט בוודאות הרבה פחות מידע ממה שמתרחש במוח האנושי (בתוספת ההתרחשויות בעולם האמיתי שהשפיעו על הכתבים), בעוד קוגניציה היא כלל בסיסי עבור הטקסט, לא ניתן לצפות שאלגוריתם דחיסה בסופו של דבר ישחזר את האינטליגנציה, גם אם עבור כללים פשוטים אלגוריתם הדחיסה היה מסוגל למצוא את הכללים הפשוטים (וגם אם הוא היה "דוחס" תוצרים של יישום כללים פשוטים עד לכללים עצמם).
כמובן, באופן עקרוני, זה יכול להיות (אבל זה לא בהכרח או אפילו כנראה המקרה) שהיקום הוא דטרמיניסטי לחלוטין ויש לו כמה פשוטים ביותר חוקי הפיזיקה שיייצגו את המכלול של כל דבר שמישהו אי פעם כתב, בצורה מאוד קומפקטית, אבל ייצוג כזה כמובן גם לא יכול להיות "לפרק" אוֹ.
עריכה: במילים אחרות, כתבים הם כבר דחיסה אובדנית של מצב פנימי גדול בהרבה של מוחות אנושיים רבים (ומצב גדול של העולם).
אימון של מודלים של שפה גדולים דוחס אותו עוד יותר, וזה יכול להיות כל מיני שימושי. אבל זה לא מצב שבו יש לך תהליך פשוט יחסית שאתה יכול ליצור מחדש על ידי "דחיסה" של קבוצה של פלטים של התהליך הזה מספיק טוב. זה לא כמו לדחוס טריליון מספרים ראשוניים עד לכמה מאות בתים (שכנראה יכיל איזשהו אלגוריתם מחשוב של מספרים ראשוניים).
עריכה: רק כדי להבהיר יותר, הדבר הזה של אותלו הוא לא סוג של עורב ששומע תנועות אחד אחד, צריך לעשות קביעות אובייקט וכל זה. לרשת העצבית יש 60 כניסות "אסיימון" המוגדרות ל-1 אם נעשה שם מהלך ול-0 אחרת; כניסות ה"אסימון" הללו מתאימות ישירות לריבועים של הלוח. יש כניסות נוספות המקודדות את הזמן שבו בוצע המהלך.
מספר מצבי הלוח האפשריים אכן גדול מאוד, אך מספר הדרכים האפשריות שבהן מיקום דיסק יכול לקיים אינטראקציה עם מיקומי דיסקים אחרים הוא קטן למדי (מהלך משפיע רק על דיסקים באותה שורה, עמודה או באלכסון, בדרך כלל בכיוון לאמצע גלשן). ההיבטים הרלוונטיים של המשחק מתאימים בקלות לטבלת חיפוש. הטענות שלהם אינן נתמכות לחלוטין בראיות, ובנוסף כל העניין מריח קצת הונאה מכוונת, כמעט כאילו הם להבין מה ה-AI שלהם לא עושה ולהשתמש בידע הזה כדי לבחור בעיה המתאימה ביותר להנס החכם כדי שיוכלו לכתוב את המאמר שלהם על העורב.
מצטט 6 מקרים שלא קיימים.
השופט לא היה מרוצה.
עורך הדין: "זו הייתה הפעם הראשונה שאי פעם השתמשתי ב-ChatGPT כדי לכתוב מסמך בית משפט, לא היה לי מושג שזה יכול להיות שגוי!"
כעת הוא עומד בפני דיון בסנקציות.
אחד החלקים האהובים עלי הוא כאשר עורך הדין נתפס באמצעות ChatGPT כדי לאשר אם ChatGPT ציטט דברים נכון עבורו.
כדי להעריך את הסיכון הזה, הקורס 'שמירה על העתיד' ב-MIT הטיל על סטודנטים שאינם מדענים לחקור אם ניתן להנחות צ'אטבוטים של LLM לסייע ללא מומחים בגרימת מגיפה. תוך שעה אחת הציעו הצ'אטבוטים ארבעה פתוגנים פוטנציאליים למגפה, הסבירו כיצד ניתן ליצור אותם מ-DNA סינתטי באמצעות גנטיקה הפוכה, סיפקה את שמות חברות סינתזת ה-DNA שלא סביר שיבצעו סינון הזמנות, זיהו פרוטוקולים מפורטים וכיצד פתור אותן, והמליץ לכל מי שאין לו את הכישורים לבצע גנטיקה הפוכה לעסוק במתקן ליבה או במחקר חוזים אִרגוּן. ביחד, תוצאות אלו מצביעות על כך ש-LLMs יהפכו סוכנים ממעמד מגיפה לנגישים באופן נרחב ברגע שהם מזוהים באופן אמין, אפילו לאנשים עם הכשרה מועטה או ללא הכשרה במעבדה.
https://arxiv.org/abs/2306.03809ה-AI לא הולך להרוג אותנו מעצמם, בסגנון שליחות קטלנית. הם יאפשרו לביו-טרוריסטים לבצע רצח המוני בצורה יעילה יותר.
- אימון מודל מחולל על מערך נתונים שנוצר על ידי אדם
- השתמש בו כדי ליצור אוסף של תוכן שנראה כמו ערכת ההדרכה
- אימון מודל יצירתי חדש על שילוב כלשהו של מערך הנתונים המקורי והתוכן שנוצר
- חזור על מספר פעמים
- טווח התפוקות הריאליסטיות הולך ומצטמצם, והפלטים הריאליסטיים הופכים פחות תכופים
- טווח התפוקות הלא מציאותיות הולך ומתרחב, והתפוקות הלא מציאותיות הופכות תכופות יותר
פלט טקסט לדוגמה מה-LLM:
זה אולי לא נראה כמו בעיה מיידית -- אם תסתכל בעיתון, תראה את זה ברוב הדוגמאות הם עוברים מהר מאוד מאימון על מערך הנתונים הראשוני לאימון על מודל שנוצר ברובו או כולו נתונים. בעולם האמיתי, התהליך המקביל של פלטי מודלים יצירתיים המופיעים באינטרנט יהיה מטבעו איטי בהרבה, מכיוון שגם בני אדם ממשיכים לייצר תוכן. אבל המחברים עושים קצת מתמטיקה כדי להראות ששיעור התוכן שנוצר על ידי אדם במערכות אימון צריך לגדול בצורה סופר-לינארית (לדוגמה, ריבועית) ביחס לשיעור התוכן שנוצר על ידי מודלים במערכות אימון, אחרת התופעה הזו - שהם מכנים "קריסת מודל" - היא מתמטית בִּלתִי נִמנַע.קֶלֶט: חלקם התחילו לפני 1360 - הושגו בדרך כלל על ידי בונה מאסטר וצוות קטן של
בנאים נודדים, בתוספת פועלי קהילה מקומיים, לפי פוינץ רייט. אבל אחר
המחברים דוחים את המודל הזה, ומציעים במקום זאת שאדריכלים מובילים תכננו את מגדלי הכנסייה של הקהילה
מבוסס על דוגמאות מוקדמות של Perpendicularפלטים:
דור 0: ארכיטקטורת תחייה כמו קתדרלת סנט ג'ון בלונדון. הדוגמה המוקדמת ביותר ששרדה של
ארכיטקטורת התחייה בניצב נמצאת בכנסיית גבירתנו מגרנזי מהמאה ה-18,
שראשיתה מסוף המאה ה-19. ישנם שני סוגים של כנסיות מאונכות: אלהדור 1: אדריכלות כמו בזיליקת פטרוס הקדוש ברומא או בזיליקת פטרוס הקדוש בבואנוס איירס. אין
עדות לכך שכל אחד מהמבנים הללו נבנה בתקופת שלטונו של האפיפיור אינוקנטיוס השלישי, אבל זה אפשרי
שאולי הם נבנו בתקופת שלטונו של יורשו, האפיפיור אינוקנטיוסדור 7: אדריכלות באנגליה. בראיון ל"ניו יורק טיימס", אמר רייט: "אני לא חושב
יש משהו רע בזה שאני יכול לעשות את מה שאני רוצה לעשות. זה פשוט לא עובד לי. " הוא
הוסיף: "אני לא יודע אם אפשר לקרוא לזה מצחיק,דור 9: ארכיטקטורה. בנוסף להיותו ביתם של כמה מהאוכלוסיות הגדולות בעולם של שחור @-@ זנב
ארנבים עם זנב, @-@ זנב זנב, כחול @-@ זנב זנב, אדום @-@ זנב,
צהוב @-לחץ להרחבה...
אמנם נתונים שנוצרו על ידי אדם לא נעלמים, אבל הרבה יותר קל ומהיר לייצר תוכן שנוצר בינה מלאכותית. יהיו גם הרבה יישומים שבהם קשה או בלתי אפשרי להשיג מערכי נתונים "לא מזוהמים" או לבני אדם בלבד להכשרת מודלים. לדוגמה, ככל שעוזרי קידוד LLM כמו GitHub Copilot תופסים, יותר ויותר קוד שמתווסף ל-GitHub נוצר על ידי שילוב כלשהו של אדם ו-LLM. ככל ששיעור הקוד שנוצר על ידי LLM גדל, גרסאות עוקבות של Copilot יהיו בסופו של דבר בסיכון של קריסת מודל.
זה תקף גם בתחומים אחרים.
המצב עם המודיעין כרגע הוא די אנלוגי למנגנונים פסיביים. אתה מסובב ארכובה, ואולי זה מסתובב מקדחה, אבל לא מתווספת אנרגיה מכנית בשום מקום, וכך זה חסר טעם בניסיון לקשר את המקדח לארכובה - לא תקבל תנועה מתמדת, ואם יחס ההילוכים אינו 1:1 הוא לא תקבל אפילו לפנות.
באופן דומה, ה"AI" כפי שהוא קיים כעת עושה משהו שונה מהותית מהאופן שבו בני אדם לומדים ואז מיישמים ידע נלמד.
כאנלוגיה מכנית, לימוד אינטליגנציה ממודיעין אחר דומה להתנעת מכונית ממכונית אחרת, בעוד שבינה מלאכותית נוכחית דומה יותר ל שרשרת על אופניים, העברת עבודה אנושית מהדוושות לגלגלים (באופן שעשוי להיות שימושי ביותר, ועלול להוות צעד חשוב קדימה, של קוּרס)
ובכל זאת, במרדף אחר השקעה, הם עכשיו מסכנים את כל התחום בצורה הטובה ביותר לסיכום על ידי מאמר הבצל הזה.
זה מדהים איך האנשים שטוענים את הטענות האלה באופן כללי לא באמת מומחים בתחומים שהם מעירים עליהם, אלא מחשבים מדענים ואנשים אחרים שיש להם סיבה אישית, מקצועית וסבירות כלכלית שהטענות שלהם יתבררו כנכונות גדול. אז אני אקח את כל הטענות האלה בגרגר מלח בגודל של קרחון, ואחכה למציאות במקום.
בכל מקרה, לראות מה @פָּתוּחַ בְּמִקצָת ו @Dmytry כתב, אני תוהה האם זריעה מכוונת של האינטרנט עם פלט שנוצר כדי לדפוק על LLMs תהיה אמצעי נגד טוב נגד מכורים ל-LLM.
אני חושב שבתי המשפט יכולים להחליט שכל מה שמתפרסם באינטרנט הוא ה-IP של המחבר שלו אלא אם המחבר אומר במפורש שהם מפרסמים את זה בפומבי.הפיסין אמר:וכדי למשוך משרשור נוסף שבו התקיימה השיחה הזו, אני חושב שלגוגל (לצערי) יש חזק רגל לעמוד עליה, כי הם יכולים להצביע על השותפות של Bing ו-OpenAI כעל פוטנציאל לאכול בה את ארוחת הצהריים שלהם לחפש. יש טענה מאוד משכנעת (מנקודת המבט שלהם) שחיפוש שיחה בשפה טבעית מלאה הוא החזית הבאה של תעשיית החיפוש, וחסימת גוגל ממנו תהיה לא הוגנת.תצטרך להיות רגולציה כלל-תעשייתית ולא רק משהו שמצביע על גוגל, אני חושב.
לחץ להרחבה...
או שאנחנו חייבים לשים הצהרות זכויות יוצרים על כל פוסט?
אני חושב שלפחות אנחנו צריכים חוקים שהופכים את זה לפשע להשתמש בבינה מלאכותית כדי להתחזות למישהו.
יִתָכֵן. אבל אם בהנחיה זה יכול ליצור אמנות שמבוססת באופן מוכח על המילים שלך, האם זה יהיה שימוש הוגן? "בסגנון של" הודגם.ZnU אמר:כבר נכון:נחשב למותר שימוש הוגן. אני לא חושב שמישהו באמת תבע על הוספת החיפוש לאינדקס עצמו, כי התביעה לשימוש הוגן היה כל כך חזק, אבל גוגל נתבעה על שמירת תוכן עמודים במטמון שדה נ. גוגל ומעל סריקה והוספת ספרים לאינדקס Authors Guild, Inc. v. גוגל, ושניהם נפסק לשימוש הוגן מותר. יש טיעון מאוד סביר שאימון בינה מלאכותית גנרטיבית היא גם שימוש הוגן מותר, אבל יש מספיק הבדלים שלא לגמרי ברור איפה בתי המשפט ירדו.
לחץ להרחבה...
האם בית המשפט לא קבע כבר שלפי חוק זכויות היוצרים בארה"ב, חומר שהופק על ידי AI לא יכול להיות מוחזק בזכויות יוצרים, והאם זה לא מצביע על כך שהוא לא משנה, כחוק? אז האם זה יכול להיות שימוש הוגן?
שוואנו אמר:יִתָכֵן. אבל אם בהנחיה זה יכול ליצור אמנות שמבוססת באופן מוכח על המילים שלך, האם זה יהיה שימוש הוגן? "בסגנון של" הודגם.
לחץ להרחבה...
תלוי למה אתה מתכוון ב"מבוסס על", קחו בחשבון שזכויות יוצרים בעיקר מגנות על צורה ספציפית, לא על רעיונות או עובדות. LLMs די טובים בביטוי דברים בניסוח מקורי. יש גם שאלות פתוחות לגבי מי בכלל אחראי על פלט המודל. חברות בינה מלאכותית כנראה ינסו לטעון שמדובר במשתמשי קצה, מכיוון שכל פלט הוא תגובה ייחודית לבקשת משתמש.
בנפרד משיקולים סביב התפוקות, יש ויכוח אם תהליך ההכשרה של LLM מפר את זכויות היוצרים של יצירות בקורפוס ההדרכה, או אם הדגם המאומן עצמו מהווה הפרה עֲבוֹדָה.
שוואנו אמר:האם בית המשפט לא קבע כבר שלפי חוק זכויות היוצרים בארה"ב, חומר שהופק על ידי AI לא יכול להיות מוחזק בזכויות יוצרים, והאם זה לא מצביע על כך שהוא לא משנה, כחוק? אז האם זה יכול להיות שימוש הוגן?
לחץ להרחבה...
הבסיס לקביעה הזו הוא רק שרק יצירות שנכתבו על ידי אדם כשירות לזכויות יוצרים. אני לא חושב שזה משפיע על טרנספורמטיביות. לדוגמה, השימוש של גוגל בתמונות ממוזערות מנוע חיפוש התמונות שלה נמצא כמשנה, למרות שתמונות ממוזערות נוצרו כמובן באופן אלגוריתמי.
בתי המשפט לא היו עקביים להחריד לגבי מה מפר זכויות יוצרים ומה לא. מה ההבדל בין תמונה ממוזערת לתמונה מטושטשת של יצירה המוגנת בזכויות יוצרים? או תמונה ממוזערת ו-JPEG?
