CriticGPT — модель на основе GPT-4, которая помогает увидеть ошибки в ответах ChatGPT

Вчера OpenAI выкатили CriticGPT, которая пишет критические замечания к ответам ChatGPT для нахождения ошибок в ответе, что особенно полезно для RLHF (обучения с подкреплением на основе человеческой обратной связи).
А вот статья от OpenAi – “LLM Critics Help Catch LLM Bugs – для технарей, о том, как создавался CriticGPT.
Из нее следует, что:
– аннотаторам-людям в 63 % случаев больше нравились критические заметки CriticGCO, сделанные CriticGPT, чем заметки, сделанные людьми, особенно когда речь шла о поиске ошибок, связанных с LLM ( это к пункту поста про 60%), как видите – формулировка отличается, смысл совершенно другой.
– новая техника под названием “Force Sampling Beam Search” используется в CriticGPT, чтобы помочь критикам писать более качественные и подробные рецензии.Этот метод также снижает вероятность “галлюцинаций”, которые возникают, когда ИИ делает или предлагает ошибки, которых нет или которые не имеют значения. В CriticGPT одним из важнейших преимуществ является то, что пользователи могут изменять степень тщательности поиска ошибок.
То есть процесс не автоматический, вовлеченность человека важна на ранних этапах
– CriticGPT не справляется с длинными и сложными заданиями по кодированию, поскольку обучался на коротких ответах ChatGPT
– CriticGPT не всегда находит ошибки, которые распространяются на несколько участков кода
Плюсы:
– Безусловно, это большой шаг вперед в области рецензирования кода с помощью ИИ.
– Он улучшит прикладной подход рецензирования кода, позволит сочетать возможности GPT-4 с продвинутым обучением и новыми методами контроля качества ответов.
Кстати, если вам реально хочется изучать Data Science, массу годного контента вы найдёте в моём тг канале — это разборы заданий с собесов и масса полезных инструментов. А вот телеграм канал для тех, кто хочет изучить машинное обучение — нейронные сети, машинное обучение, Python. Вот ещё папка с годными ресурсами по Python — поможет в подготовке к собесу.
https://openai.com/index/finding-gpt4s-mistakes-with-gpt-4