В нем нет недостатков. Это просто показывает, что выполнение чего-то комитетом или прохождение обширного редакционного процесса может привести к тому, что текст будет иметь те же характеристики, что и тексты, созданные ИИ.Хак-н-Слэш сказал:Я думаю, что использовать Конституцию для проверки — это неправильно.
Игнорируя то, что он использовался в качестве исходного ввода... Это было написано не человеком, а комитетом.
Мне кажется, что это, вероятно, нормализует речь так же, как и обработка ИИ.Нажмите, чтобы развернуть...
Но так делают очень немногие студенты. Итак, если вы получаете работу от студента, эти инструменты неплохо показывают то же самое, что говорит ваша интуиция: «Этот студент никогда раньше не использовал такой язык и не говорил таким образом, поэтому эта статья, вероятно, не его/ее".
ИИ — это инструмент. Детекторы ИИ — это инструменты.
Это не решения.
Используйте их, чтобы отметить композицию, а затем выскажите собственное мнение. Если вы не можете определить самостоятельно, то вы не имеете права доверять ИИ, чтобы он подвел ваших учеников.
Подгинатор сказал:Полезны ли эти инструменты в целом — это совсем другой разговор. Если процент ошибок составляет 10% или около того, как, кажется, предполагает статья, то я бы сказал, что они все еще представляют некоторую ценность для педагогов.Было бы геркулесовой задачей перевести модель образования в более красноречивый стиль. Я бы сказал, что при недостаточном финансировании образования и быстром росте размеров классов это практически невозможно в системном масштабе.
Но если это может выявить вероятное использование ИИ, преподаватели могут сосредоточить свое внимание на выяснении того, понимает ли учащийся материал, который они написали. Осмелюсь сказать, что преподавателям придется все больше и больше сосредотачиваться на понимании, поскольку фактическое написание текста теперь, по-видимому, является решенной проблемой.
Нажмите, чтобы развернуть...
Говоря как член «группы политики ИИ» в моей школе, 10% ложноположительных результатов хуже, чем бесполезны. Обвинение студента в жульничестве — это масштабное мероприятие, требующее огромного количества энергии как от обвинителя, так и от обвиняемого. В связанной статье Стэнфорда также указывается, что ставка будет выше для не носителей языка, что уже является минным полем из-за различных стандартов цитирования и плагиата в различных страны
Лучше заранее сообщить ученикам, где именно они могут и не могут использовать ИИ. Например, в следующем году у меня в классе будет специальное задание, чтобы указать, что LLM нельзя доверять созданию фактической информации - они не только придумывают исследования, но и придумывают цитаты слишком. (И профессора могут легко определить поддельную цитату)
Но если они хотят использовать его, чтобы помочь им структурировать программный документ (и они дали мне знать, что он используется), я могу с этим смириться. Это инструмент, особенно для людей, которым может не хватать навыков английского языка. Учитывая, что компаниям нужны люди, которые могут эффективно использовать новые инструменты, для студентов неплохо научиться их использовать.
Основным недостатком является то, что для реализации этого требуются инструменты ИИ, и, поскольку их общий подход — «правила для проигравших», я не вижу, чтобы это происходило.
ИИ тренируется на тексте. Затем ИИ пишет текст, похожий на тот, на котором он обучался. Конечно, текст, похожий на тот, на котором ИИ обучался, а затем пишет, будет распознаваться ИИ.
Клянусь, я слишком стар для этого мира. Прекратите эту чушь с ИИ. Прекратите использовать ИИ для написания текста и притворяйтесь, что это настоящий человеческий текст. На самом деле, прекратите использовать искусственный интеллект с полной остановкой.
И самое главное: ИЗ ЛЮБВИ КО ВСЕМ СВЯТОМУ И НЕЧЕСТНОМУ перестаньте заставлять ИИ судить что-либо. Что с тобой не так? Чего вы надеетесь достичь с помощью всего этого? И не отвечайте «корпоративная прибыль», а то меня тошнит.
Я протестировал эти «инструменты обнаружения» не на студенческих эссе, а на двух других более общих формах письма: сообщениях в блогах и корпоративных веб-сайтах. В то время как для веб-сайтов вы можете себе представить, почему (мягкая корпоративная речь уже читается как что-то, созданное роботом), результаты были ужасно плохими — от 50% до 80% были объявлены как «написанные ИИ», поскольку текст, который, как я точно знал, был многолетней давности. старый.
Сообщения в блоге могут быть более... вызывает недоумение, пока не осознаешь, что многие онлайн-статьи не предназначены для высокой литературы, а вместо этого служат для привлечения внимания к городу или обзору или рассказать забавную историю, которая показалась автору интересной — все это легко классифицируется как «написанное ИИ» из-за их воспринимаемой «мягкость».
Я также уже видел обвинения в том, что «вы использовали ИИ, чтобы написать это», разбрасываемые онлайн-сообществами. даже без каких-либо доказательств или проверок, и это может очень повредить чьим-то ранним попыткам выражение. Представьте себе, что вы потратили месяцы на создание чего-то собственного, хорошего или плохого, а вас тут же отвергли как «ИИ»…
Так что да, эти инструменты «обнаружения» приносят больше вреда, чем пользы, и их следует запретить вместо самих LLM. При необходимости мы можем использовать другие способы легкого определения авторства, такие как прямое взаимодействие с автором и задавание ему вопросов о произведении — настоящий автор будет рад ответить; мошенник начнет бормотать и испуганно убежит.
О чем они думали: «С ИИ все настолько сосредоточены на Скайнете, что мы, ксеноморфы, можем просто проскользнуть через черный ход!!!
У них даже на первой странице есть ссылка на «Институт Аллена по искусственному интеллекту». КТО ОНИ ДУМАЮТ, ЧТО ШУТЯТ?
Если только не в этом смысл "Он разглядел наш смехотворный обман, ОБНИМАЙ ЕГО ЛИЦО"
К сожалению, они будут достаточно хороши, чтобы их внедрить и принять меры против ложных срабатываний, потому что это будет стоить меньше, чем использование чего-то точного.
Иногда мне кажется, что многие, если не все недавние решения SCOTUS были написаны ИИ и не являются реальными.
МакТурки сказал:Например, эпизод с искусственным интеллектом в последнем сезоне «Черного зеркала», забастовка сценаристов, а теперь и забастовка актеров (и то, и другое я решительно поддерживаю) — все это показывает, что ситуация приближается к апогею. Прямо сейчас сценарии, созданные исключительно ИИ, все еще находятся в стадии новизны. Это было верно и для чат-ботов с искусственным интеллектом несколько лет назад, но теперь они колеблются между зловещей долиной и человеческим уходом в зависимости от контекста. Хотя прогресс в какой-либо конкретной технической области никогда не гарантируется, вполне вероятно, что будет достигнуто надлежащее хороший в течение следующих 10-15 лет в основном написанные искусственным интеллектом сценарии фильмов или телепередач. Если человеку приходится полировать, но не переписывать значительные разделы, сильно ли это отличается от процесса редактирования и черчения, с помощью которого писатели-люди совершенствуют свои истории?
Нажмите, чтобы развернуть...
Пока ИИ не поймет, что он на самом деле пишет, я оспариваю идею о том, что хороший Сценарий телешоу / фильма с темами, обратными вызовами и развитием персонажей. Прогресс, достигнутый нами в области ИИ, не способствует пониманию, и серьезные исследователи не ожидают, что LLM когда-либо понимать - это не то, что делает модель ИИ.
Но да, она заметно отличается от нынешней системы для телевидения. огромные изменения в процессе написания эпизода, который подходит для определенного места в сезоне, усугубляемые современной чувствительностью к сериализации контента с длинными арками сезона. Он исключает совместные усилия, которые существуют в настоящее время, и по характеру используемого в настоящее время ИИ будет отдавать предпочтение более механическому, шаблонный опыт автономного контента вместо сложного долгосрочного повествования, которое в последнее время двигало телевизионным ландшафтом. годы.
Вдобавок к тому, что она просто написана в стиле, который больше не является разговорным, мне кажется, что Конституция просто плохо написана и сбивает с толку. Вторая поправка, возможно, лучший (или худший) пример, но все это характеризуется тупым и сложным написанием для выражения простых понятий, которые должны были быть написаны более ясно.
Эссе придется писать вживую без телефонов. Вот и все.
Вы используете запятые своеобразно (без тени - 8 слов, а я уже использую скобки и тире). «Обучение корпусного текста» имеет смысл в контексте, но «текст» подразумевается здесь под корпусом, и я обычно ожидаю, что он будет опущен. «Поэтому вероятно» похоже на письменный тик. Замешательство вашего письма кажется мне человеческим.Янал сказал:Я не понимаю, как недоумение помогает в качестве метрики здесь. Если я правильно читаю статью, низкий показатель недоумения указывает на то, что данный фрагмент текста похож на текст, найденный в учебном корпусе LLM, и поэтому, вероятно, был написан LLM.Как это поможет, учитывая, что текст учебного корпуса изначально был написан людьми?
Нажмите, чтобы развернуть...
Весь этот абзац вызывает сильное недоумение (помимо того, что я странный писатель): метадискуссия, анализирующая недоумение чьего-то письма, не особенно вероятна.
Таким образом, хотя люди тропы с нашим письмом, а темы вызывают предсказуемое использование языка (сказав о недоумении, гораздо более вероятно, что вы продолжите говорить такие вещи, как «метрика» и «текст»); мы также часто добавляем странные отклонения. Точно так же, как никто на самом деле не похож на «среднего» человека.
Если вы выбираете наиболее вероятное слово в LLM, они зацикливаются (в петлях в петлях в петлях...). Если вы выберете маловероятные слова, это превратится в тарабарщину. Танцы с вероятностью, похоже, тоже не работают — мы не всегда выбираем слово с низким уровнем недоумения, это просто имеет смысл в определенных ситуациях.
Честно говоря, это все, вероятно, связано с отсутствием явных целей общения у агентов LLM, и я подозреваю, что в качестве подкрепления обучение продолжает все больше интегрироваться в языковые модели, начнут происходить естественные вариации, и текст станет более человечным смотрящий.
К сожалению, существует большая группа преподавателей и администраторов K12, которые недостаточно опытны, чтобы понять или оценить эффективность этих инструментов. Это приводит к тому, что инструменты и их «рекомендации» используются в карательных целях против учащихся, которые мало что делают для дальнейшего овладения предметом или навыков обучения на протяжении всей жизни. С другой стороны, большая часть корпоративной Америки борется с неработающими, враждебными пользователю технологиями и процессами, поэтому, возможно, эти инструменты являются хорошей тренировочной площадкой.
Мой отец все еще кипит почти 60 лет после того, как получил двойку с минусом за исследовательскую работу первокурсника колледжа. Он был, по его собственным словам, ленивым, незаинтересованным студентом, который внезапно загорелся итоговым проектом и вложил в него все, что у него было. Его профессор, оценивая статью по стандартам его предыдущей работы, предположил, что это плагиат. Не было никаких доказательств, иначе оценка была бы F.
Я симпатизирую профессору в этой истории, даже если я не думаю, что вручать студенту двойку за нехарактерно блестящую работу было правильным решением. Учащиеся идут по всевозможным хаотичным траекториям обучения, и всегда было сложно разобраться, кто на самом деле прикладывает усилия и усваивает уроки, и кто нашел способ обыграть система.
За несколько лет, что я преподавал в колледже, я обнаружил, что выставление оценок было одной из самых болезненных частей работы. работа для меня, и низкий уровень сложности и взрывоопасности студенческой работы C-средних, вероятно, были большой частью этого боль. Наряду с приведенной статистикой частоты ошибок это заставляет меня скептически относиться к инструментам, описанным в статье. Они кажутся эквивалентом донного траления — в сеть попадет много невинных морских обитателей. В любом случае, не всякое обучение отражается на том, насколько сильно кто-то пишет.
Некоторые ранее комментировавшие предполагали, что, возможно, будущие методы оценки будут включать в себя больше навыков устной презентации и диалога. Я надеюсь, что это направление, в котором движется наша образовательная система.
Изменения в формулировках, стиле и других аспектах грамматики обсуждались и согласовывались комитетом, а не отдельным лицом.
Учитывая, что ИИ можно охарактеризовать как «созданный комитетом» из-за используемых моделей обучения, он делает смысле это будет означать, что совместные усилия исходят не от одного человека, поэтому, скорее всего, Генерируется ИИ.
Несмотря на это, меня сбивает с толку то, что люди ожидают надежного обнаружения текста, сгенерированного ИИ. Если система может идентифицировать «теллс», почему нельзя использовать ту же систему для его удаления? Если у вас есть информация, чтобы определить, что что-то не так, разве у вас недостаточно информации, чтобы исправить это?
Конечно, есть ошибки упущения, а также ошибки, но кажется нелогичным предполагать, что у генеративного ИИ есть какие-то изначально неустранимые дефекты.
Я знаю учительницу математики в колледже, и она заставляет студентов показывать свои работы. Когда они этого не делают, а история этого студента ставит под сомнение правильный ответ без работы, она отмечает неправильный вопрос и говорит им, почему, а если это не так, они могут прийти и объяснить ей свой ответ. Ей еще никто не пробовал. Я не уверен, считается ли это 0% ложноположительным результатом или ученики слишком напуганы/напряжены, чтобы защищать себя. Это не совет по этике, как упоминалось в статье, а только она.Учитель, который также является экспертом в предметной области, может впоследствии опросить учащихся по содержанию их работы, чтобы увидеть, насколько хорошо они ее понимают. Письмо — это не просто демонстрация знаний, а проекция репутации человека, и если автор-человек не может подтвердить каждый факт, представленный в письме, помощь ИИ не использовалась соответственно.
Нажмите, чтобы развернуть...
Идя по касательной здесь, но еще в старшей школе в конце 90-х, когда я учился программировать на TI-BASIC, моей первой программой было что-то на уроках химии для преобразования молей/граммов/атомов вещество. Я сделал так, чтобы программа показывала шаги, необходимые для копирования в тест, чтобы никто не был мудрее. К выпускному курсу по математике я делился этими полезными небольшими программами с одноклассниками. Я помню, как обнаружил ошибку в программе, когда раздавали тесты, и мне пришлось прошептать нескольким людям, чтобы они не доверяли ей. Как автор программы я хорошо знал материал. Люди, которым я дал программу? Может быть, меньше.
Пару лет спустя я разговаривал со своей учительницей математики (я знал ее сына), и она в шутку сказала, что скучает по мне и моим программам. Без них студенты не справляются. Я не уверен, должен ли я гордиться этим или нет. Это были хорошие программы.
Я бы хотел, чтобы некоторые из моих коллег использовали ИИ, чтобы помочь им писать по-английски, потому что в настоящее время я не понимаю их английский, хотя иногда я не уверен, в чем проблема. Например, если бы это была какая-то проблема с прямым переводом, я мог бы понять это очень хорошо, или если бы это была просто проблема с подлежащим-дополнением-глаголом, но вместо этого кажется, что это такая куча плохо написанной чепухи, которую затем переводят с помощью Google Translate (который практически бесполезен для реального текст.)
Мы как раз заканчиваем ссору с университетом моей дочери из-за обвинения в плагиате в ходе тайного теста, где ее и еще одного студента обвинили в копировании друг у друга. Мы, наконец, получили данные, и это самоочевидно в деталях, помимо широкого уведомления о статистических выбросах, она никого не копировала.WaveTerrain сказал:Проработав в K12 Edtech большую часть последних 15 лет, я могу сказать, что любой, кто провел надлежащую оценку существующих инструментов «академической честности», не удивлен ничему из этого. Как только инструменты в стиле TurnItIn вышли за рамки обнаружения массового изъятия контента, они быстро приближаются к «незначительно лучше, чем случайный классификатор». Эти новые компании «ИИ» — просто новая упаковка с более причудливыми словами вокруг того же самого змеиного масла.К сожалению, существует большая группа преподавателей и администраторов K12, которые недостаточно опытны, чтобы понять или оценить эффективность этих инструментов. Это приводит к тому, что инструменты и их «рекомендации» используются в карательных целях против учащихся, которые мало что делают для дальнейшего овладения предметом или навыков обучения на протяжении всей жизни. С другой стороны, большая часть корпоративной Америки борется с неработающими, враждебными пользователю технологиями и процессами, поэтому, возможно, эти инструменты являются хорошей тренировочной площадкой.
Нажмите, чтобы развернуть...
В конце концов она добилась признания не плагиатом, а после нескольких довольно серьезных обменов мнениями. Кто-то с меньшей поддержкой, возможно, не добился такого же результата. Исследователь из университета, похоже, был настолько увлечен тем фактом, что программа помечала «копирование с высокой вероятностью», что они действовал исходя из предположения о признании вины, потому что компьютер сказал, что кто-то виновен, и проигнорировал все другие возможные интерпретации.
Эти инструменты будут присутствовать, и, как отмечается в статье, все хотят, чтобы они работали. Когда они этого не делают или когда им предоставлены неправомерные полномочия, риск для невиновного студента высок, и его смягчение практически невозможно.