Откройте для себя 4 волшебных метода обнаружения текста, сгенерированного ИИ (включая ChatGPT) - UPROGER

Вступление

Недавний запуск OpenAI GPT-3 и ChatGPT вызвал революцию в области ИИ (Искусственного Интеллекта) и обработки естественного языка. Благодаря своей способности генерировать текст, похожий на человеческий, GPT-3 открыл множество новых возможностей как для бизнеса, так и для частных лиц. GPT-4 находится не за горами. Однако этот прогресс также вызвал обоснованные опасения по поводу потенциального неправильного использования текста, сгенерированного искусственным интеллектом, особенно в контексте дезинформации, поддельных новостей и плагиата. Это подчеркивает необходимость разработки надёжных инструментов, способных точно распознавать текст, сгенерированный искусственным интеллектом.

В этой статье мы рассмотрим различные доступные в настоящее время методы обнаружения текста, сгенерированного языковой моделью /искусственным интеллектом.

Наша повестка дня на сегодня:

Поскольку мир продолжает очаровываться мощью языковых моделей (LLM), таких как ChatGPT, крайне важно понимать различные подходы к обнаружению контента, генерируемого этими передовыми моделями искусственного интеллекта. В этой статье мы рассмотрим четыре самых популярных метода обнаружения контента, сгенерированного ChatGPT, в том числе:

The AI Classifier by OpenAI
DetectGPT
GPTZero
The Alluring Watermarking Technique

Приготовьтесь быть очарованными технологией, лежащей в основе каждого подхода, и обнаружить различия, которые отличают их друг от друга. Пришло время использовать мощь искусственного интеллекта и обеспечить его ответственное использование, так что давайте начнем!

1. The AI-Classifier by OpenAI

Метод:

AI-Classifier был введён всего около недели назад (сегодня 5 февраля 2023 года). Этот инновационный инструмент является ещё одной моделью GPT от OpenAI, которая была доработана с помощью контролируемого обучения для выполнения двоичной классификации.

AI-Classifier использует обучающий набор данных, состоящий как из текстовых фрагментов, написанных человеком, так и сгенерированных искусственным интеллектом. В процессе обучения модель присваивает вероятности [0, 1] каждому проходу, и затем эти вероятности задаются пороговым значением для получения 5 категорий: очень маловероятно, маловероятно, неясно, возможно или вероятно сгенерировано искусственным интеллектом.

Ограничения:

AI-Classifier правильно идентифицирует 26% текста, написанного искусственным интеллектом, как “вероятно, написанный искусственным интеллектом” (TP), но неправильно помечает текст, написанный человеком, как “написанный искусственным интеллектом” в 9% случаев (FP).
AI-Classifier ненадёжен для коротких текстов и иногда неправильно помечает даже более длинные тексты
Рекомендуется только для текста на английском языке, плохо работает на других языках и в коде
Не удаётся надежно идентифицировать очень предсказуемый текст
Классификаторы, основанные на нейронных сетях, как известно, плохо откалиброваны вне своих обучающих данных и могут быть чрезвычайно уверены в неправильных прогнозах для входных данных, отличных от обучающего набора

Ресурсы:

Если вам интересно, вы можете узнать больше об этом здесь и даже попробовать это самостоятельно прямо здесь.

2. DetectGPT

Метод:

Метод, лежащий в основе DetectGPT, прост, но эффективен. Он работает путём генерации логарифмических вероятностей рассматриваемого текста.

LLM, или языковая модель, создаёт текст, присваивая каждому токену условную вероятность, основанную на предыдущих токенах. При умножении эти условные вероятности дают общую вероятность для всего текста. Эта совместная вероятность служит отправной точкой для DetectGPT, чтобы определить, был ли текст сгенерирован искусственным интеллектом или человеком.

Чтобы сделать это, обнаружьте, что GPT слегка искажает исходный текст, используя заданный LM, а затем вычисляет логарифмическую вероятность нового текста:

Если логарифмическая вероятность нового текста значительно ниже, чем у оригинала, это указывает на то, что текст был сгенерирован искусственным интеллектом. С другой стороны, если логарифмические вероятности примерно одинаковы, то вполне вероятно, что текст был написан человеком.

Если логарифмическая вероятность искажённого текста ниже, чем исходного, DetectGPT классифицирует текст как сгенерированный искусственным интеллектом. Но если логарифмические вероятности близки друг к другу, DetectGPT классифицирует текст как созданный человеком. Просто, не так ли?

Ограничения:

Основным ограничением DetectGPT является то, что он требует доступа к логарифмическим вероятностям текстов, которые могут быть получены только с использованием конкретной модели LLM. Проблема здесь заключается в том, что модель не обязательно может представлять модель искусственного интеллекта, используемую для генерации рассматриваемого текста.

Ресурсы:

Получите все подробности в этой суперинформативной статье!

3. GPTZero

Метод:

GPTZero очень похож по своей природе на DetectGPT.

GPTZero вычисляет значения запутанности для данного текста. Чем меньше недоумение, тем менее случайным является текст.

Недоумение напрямую связано с логарифмической вероятностью текста (помните Detect GPT?). На самом деле, недоумение – это просто показатель отрицательной логарифмической вероятности текста. Другими словами, чем ниже недоумение, тем ниже отрицательная логарифмическая вероятность и, следовательно, тем менее случайным является текст.

Возможно, вы спросите, как это связано с распознаванием текста, генерируемого искусственным интеллектом? Большие языковые модели обучаются максимизировать вероятность текста, что, в свою очередь, сводит к минимуму отрицательную логарифмическую вероятность и, следовательно, также недоумение.

Собирая всё это вместе, LLM учится генерировать текст, который является менее случайным и имеет меньшее значение запутанности.

GPTZero использует преимущества этой цели оптимизации и предполагает, что текст с более низкими значениями запутанности с большей вероятностью будет сгенерирован искусственным интеллектом.

Ограничения:

Точно такие же, как ограничения DetectGPT выше. Кроме того, GPTZero только аппроксимирует значения недоумения, используя линейную модель.

Ресурсы:

Вы можете попробовать это здесь.

4. Watermarking

Метод:

Watermarking – это использование “списка исключений”, целью которого является снижение вероятности использования определённых слов LLM.

Идея “списка исключений” состоит в том, чтобы определить слова, которые с меньшей вероятностью будут использоваться LLM, и включить их в список. Если сгенерированный текст содержит эти слова с меньшей вероятностью, то, скорее всего, он был сгенерирован человеком.

Watermarking подобны шляпе от солнца для языковых моделей, затеняя слова, которые они, вероятно, будут использовать, и позволяя тексту, созданному человеком, “просвечивать”. “Список исключений” – это инструмент для определения этих менее частых слов и предотвращения их использования моделями, что облегчает определение того, был ли текст создан машиной или человеком.

Ограничения:

Для этого метода требуется LLM, который был изменён с помощью списка исключений, поскольку список эффективен только в том случае, если LLM запрограммирован на то, чтобы избегать использования этих слов.
Кроме того, ограничения этого метода включают в себя возможность того, что список исключений известен, и текст, сгенерированный искусственным интеллектом, модифицируется для включения этих слов, что приводит к отказу от метода обнаружения.

Ресурсы:

Вот можете ознакомиться с этой отличной статьёй!

Заключение

В заключение, детекторы текста, генерируемые искусственным интеллектом, становятся всё более важными по мере роста использования контента, генерируемого искусственным интеллектом. Четыре инструмента, выделенные в этой статье, The AI-Classifier by OpenAI, DetectGPT, GPTZero, и Watermarking – это лишь некоторые из множества доступных опций для обнаружения текста, сгенерированного ИИ. Пользовательский контент продолжает улучшаться, вполне вероятно, что потребность в этих детекторах будет только расти. Это обещает быть интересной игрой в кошки-мышки, поскольку достижения в области искусственного интеллекта и инструменты, используемые для его обнаружения, будут постоянно развиваться. Будет интересно посмотреть, кто выйдет победителем из этой борьбы.