CriticGPT — модель на основе GPT-4, которая помогает увидеть ошибки в ответах ChatGPT

Вчера OpenAI выкатили CriticGPT, которая пишет критические замечания к ответам ChatGPT для нахождения ошибок в ответе, что особенно полезно для RLHF (обучения с подкреплением на основе человеческой обратной связи).

А вот статья от OpenAi –  “LLM Critics Help Catch LLM Bugs  – для технарей, о том, как создавался CriticGPT.

Из нее следует, что:

– аннотаторам-людям в 63 % случаев больше нравились критические заметки CriticGCO, сделанные CriticGPT, чем заметки, сделанные людьми, особенно когда речь шла о поиске ошибок, связанных с LLM ( это к пункту поста про 60%), как видите – формулировка отличается, смысл совершенно другой.

– новая техника под названием “Force Sampling Beam Search” используется в CriticGPT, чтобы помочь критикам писать более качественные и подробные рецензии.Этот метод также снижает вероятность “галлюцинаций”, которые возникают, когда ИИ делает или предлагает ошибки, которых нет или которые не имеют значения. В CriticGPT одним из важнейших преимуществ является то, что пользователи могут изменять степень тщательности поиска ошибок. 

То есть процесс не автоматический, вовлеченность человека важна на ранних этапах

CriticGPT  не справляется с длинными и сложными заданиями по кодированию, поскольку обучался на коротких ответах ChatGPT

CriticGPT не всегда находит ошибки, которые распространяются на несколько участков кода

Плюсы:

– Безусловно, это большой шаг вперед в области рецензирования кода с помощью ИИ

Он улучшит прикладной подход рецензирования кода, позволит сочетать возможности GPT-4 с продвинутым обучением и новыми методами контроля качества ответов.

Кстати, если вам реально хочется изучать Data Science, массу годного контента вы найдёте в моём тг канале — это разборы заданий с собесов и масса полезных инструментов. А вот телеграм канал для тех, кто хочет изучить машинное обучение — нейронные сети, машинное обучение, Python. Вот ещё папка с годными ресурсами по Python — поможет в подготовке к собесу.

https://openai.com/index/finding-gpt4s-mistakes-with-gpt-4

+1
0
+1
1
+1
0
+1
0
+1
0

Ответить

Ваш адрес email не будет опубликован. Обязательные поля помечены *