Midjourney / בנג' אדוארדס
אם אתה מאכיל את המסמך המשפטי החשוב ביותר של אמריקה - ה חוקת ארה"ב-לכלי שנועד לזהות טקסט שנכתב על ידי דגמי AI כמו ChatGPT, זה יגיד לך שהמסמך נכתב כמעט בוודאות על ידי AI. אבל אלא אם כן ג'יימס מדיסון היה נוסע בזמן, זה לא יכול להיות המקרה. מדוע כלי זיהוי כתיבת בינה מלאכותית נותנים תוצאות שגויות? דיברנו עם כמה מומחים - ועם היוצר של גלאי הכתיבה בינה מלאכותית GPTZero - כדי לברר.
בין ידיעות של פרופסורים נלהבים מדי לזרוק כיתה שלמה בגלל החשד לשימוש בכלי כתיבה בינה מלאכותית וילדים האשמת שווא של שימוש ב-ChatGPT, בינה מלאכותית גנרטיבית יש חינוך בבעיה. יש שחושבים שזה מייצג א משבר קיומי. מורים המסתמכים על שיטות חינוכיות שפותחו במהלך המאה האחרונה חיפשו דרכים לעשות זאת לִשְׁמוֹר הסטטוס קוו - מסורת ההסתמכות על החיבור ככלי לאמוד את השליטה של התלמידים בנושא.
עד כמה שזה מפתה להסתמך על כלי בינה מלאכותית כדי לזהות כתיבה שנוצרת בינה מלאכותית, עדויות עד כה הראו שהם לא אמין. עקב תוצאות חיוביות שגויות, גלאי כתיבה בינה מלאכותית כגון
GPTZero, ZeroGPT, ושל OpenAI מסווג טקסטלא יכול להיות מהימן כדי לזהות טקסט המורכב על ידי מודלים של שפה גדולה (LLMs) כמו ChatGPT.צילום מסך ויראלי מאפריל 2023 המראה את GPTZero אומר, "סביר להניח שהטקסט שלך ייכתב כולו על ידי AI" כאשר הוא יוזן חלק מהחוקה האמריקאית.
Ars Technica
כאשר הוא ניזון מחלק מהחוקה האמריקאית, ZeroGPT אומר, "הטקסט שלך הוא AI/GPT Generated."
Ars Technica
כאשר הוא ניזון חלק מהחוקה האמריקאית, סיווג הטקסט של OpenAI אומר, "המסווג מחשיב את הטקסט כלא ברור אם הוא נוצר בינה מלאכותית".
Ars Technica
אם אתה מאכיל את GPTZero בחלק מהחוקה האמריקאית, הוא אומר שהטקסט "סביר שנכתב כולו על ידי AI." מספר פעמים במהלך ששת החודשים האחרונים, צילומי מסך של גלאי AI אחרים המציגים תוצאות דומות הפך לוויראלי ברשתות החברתיות, מעוררים בלבול והרבה בדיחות על שהאבות המייסדים הם רובוטים. מסתבר שאותו דבר קורה עם בחירות מהתנ"ך, שגם מופיעות כנוצרות בינה מלאכותית.
כדי להסביר מדוע הכלים הללו עושים טעויות כה ברורות (ואחרת לעתים קרובות מחזירים תוצאות חיוביות שגויות), ראשית עלינו להבין כיצד הם פועלים.
הבנת המושגים מאחורי זיהוי AI
גלאי כתיבה שונים של בינה מלאכותית משתמשים בשיטות זיהוי שונות במקצת, אך עם הנחה דומה: יש מודל בינה מלאכותית שעבר הכשרה על מכשיר גדול גוף הטקסט (המורכב ממיליוני דוגמאות כתיבה) ומערכת של כללים משוערים שקובעים אם סביר יותר שהכתיבה תהיה אנושית- או AI שנוצר.
לדוגמה, בליבה של GPTZero נמצאת רשת נוירונים שהוכשרה על "קורפוס גדול ומגוון של טקסטים שנכתבו על ידי אנושיים ונוצרים בינה מלאכותית, עם התמקדות בפרוזה אנגלית", על פי השירות של השירות שאלות נפוצות. לאחר מכן, המערכת משתמשת במאפיינים כמו "תמיהה" ופרצנות" כדי להעריך את הטקסט ולבצע את הסיווג שלו.
בוני ג'ייקובס / Getty Images
בלמידת מכונה, תמיהה היא מדידה של כמה קטע טקסט סוטה ממה שמודל AI למד במהלך ההכשרה שלו. כפי שד"ר מרגרט מיטשל מחברת הבינה המלאכותית Hugging Face אמרה לארס, "התמיהה היא פונקציה של 'כמה מפתיעה השפה הזו על סמך מה שראיתי'".
אז החשיבה מאחורי מדידת תמיהה היא שכאשר הם כותבים טקסט, מודלים של AI כמו ChatGPT יגיעו באופן טבעי למה שהם יודעים הכי טוב, שמגיע מנתוני האימון שלהם. ככל שהתפוקה קרובה יותר לנתוני האימון, כך דירוג התמיהה נמוך יותר. בני אדם הם סופרים הרבה יותר כאוטיים - או לפחות זו התיאוריה - אבל בני אדם יכולים לכתוב עם נמוך גם תמיהה, במיוחד כאשר מחקים סגנון רשמי המשמש במשפטים או סוגים מסוימים של אקדמיה כְּתִיבָה. כמו כן, רבים מהביטויים שאנו משתמשים בהם נפוצים באופן מפתיע.
נניח שאנו מנחשים את המילה הבאה במשפט "אני רוצה כוס _____". רוב האנשים היו ממלאים את החסר ב"מים", "קפה או תה." מודל שפה שאומן על הרבה טקסטים באנגלית יעשה את אותו הדבר מכיוון שביטויים אלו מופיעים לעתים קרובות באנגלית כְּתִיבָה. התמיהה של כל אחת משלוש התוצאות הללו תהיה נמוכה למדי מכיוון שהתחזית היא די בטוחה.
