5 бесплатных конкурентов ChatGPT, о которых вы должны знать в 2023 году

2022 год был прорывом для машинного обучения и исследований в области искусственного интеллекта. Крупные технологические компании выпустили множество удивительных библиотек, которые принесут пользу разработчикам. Мы видели несколько замечательных исследовательских работ, как от крупных технологических компаний, так и от небольших групп программистов.
И, конечно же, это был год Больших Языковых Моделей. Люди придумали всевозможные варианты использования LLM. В то время как большая часть этого контента была продуктом влиятельных лиц, создающих видео с большим количеством лжи и дезинформации, этот ажиотаж является доказательством потенциала, стоящего за такими технологиями. Однако ChatGPT в настоящее время закрыт из-за ограничений доступа API. Хотя он может делать довольно крутые вещи, решения с открытым исходным кодом и доступом к нему крайне важны для тех, кто хочет создавать свои собственные приложения, используя этот API. В этой статье я поделюсь с вами некоторыми из конкурентов ChatGPT, чтобы у вас было представление о том, что выбрать.
@bigdatai – все инструменты для машинного обучения в одном канале.
OPT
Данный список я начну с GPT от Meta, который называется Open Pretrained Transformer, или OPT. OPT обладает несколькими интересными функциями, которые делают его хорошей заменой GPT. Например, когда дело доходит до оценки NLP с Zero-Shot, OPT имеет довольно схожую точность с моделью GPT.

Более того, когда дело доходит до обнаружения в соцсетях высказываний, OPT фактически превосходит DaVinci (модернизированную версию GPT-3). Таким образом, если этот функционал приоритетным для ваших нужд, OPT становится более привлекательным вариантом.

Еще одним интересным аспектом этой модели является энергосбережение. При тренировки OPT использовал только 1/7 углеродного следа GPT-3. Это повышает его энергосбережение для активного взаимодействия в качестве базовой модели в более крупной системе.
Мы разработали OPT-175B с учетом энергосбережения, успешно обучив модель такого размера, используя только 1/7 углеродного следа, как у GPT-3. Это было достигнуто за счет объединения API Meta с открытым исходным кодом Fullly Sharded Data Parallel (FSDP) и абстракции tensor parallel от NVIDIA в Megatron-LM. Мы достигли ~ 147 TFLOP / s / GPU на 80-гигабайтных графических процессорах NVIDIA A100, что примерно на 17 процентов выше, чем опубликовали исследователи NVIDIA на аналогичном оборудовании.
Ожидайте снова увидеть Meta в этом списке. Они проповедуют подход с полностью открытым исходным кодом, где они делятся своими моделями, данными обучения и многим другим. Это беспрецедентный шаг, имеющий множество последствий для сферы машинного обучения.
Модель OPT обладает большим потенциалом, когда речь заходит о замене GPT, учитывая, что она, по-видимому, разработана как альтернатива ему. Особенно это важно в данный период времени, когда люди из России не могут пользоваться ChatGPT. Однако Meta – не единственный технологический гигант, у которого есть козырь в рукаве.
PALM
Чтобы понять, почему модель PaLM настолько удивительна, нам нужно сначала разобраться в экосистеме Pathways. Pathways – это архитектура Google, которая создаёт все их большие языковые модели. Если вас не интересуют эти детали и вы хотите перейти непосредственно к модели PaLM, просто прокрутите немного вниз. Подробности приведены в конце раздела.
Экосистема Google Pathways была анонсирована с большой шумихой. И в этом году она получила признание благодаря таким моделям, как Flamingo, Gato и the amazing PaLM (языковая модель Pathways). Эти модели потрясли пространство машинного обучения и внесли большой вклад в дискуссию вокруг Глубокого Обучения и Трансформеров.
Их результаты были ошеломляющими, а Google внёс свой вклад в несколько ключевых идей о LLM и их потенциале в качестве возможных ступеней к AGI.
В то время как многие люди говорили отдельных моделях, настоящая инновация заключается в архитектуре Pathways. Pathways вносят 3 основных вклада в парадигму Большой Языковой Модели:
- Мультимодальное обучение – модели Pathways обучаются на нескольких типах данных, включая видео, изображения и текст, среди прочих. Это сильно отличает его от GPT, который в основан на тексте.
- Разреженная активация – вместо того, чтобы использовать всю архитектуру для каждого вывода, для любой одной задачи используется только подмножество слоев нейронных сетей. В результате модель может пользоваться преимуществами большого количества слоев нс (что дает высокую производительность, и позволяет решать больше задач) при сохранении низких вычислительных расходов.
- Мультисенсорное обучение – модель может принимать несколько типов входных данных для разных задач. Гораздо сложнее использовать модели с несколькими видами входных данных для одной и той же задачи. Модели, использующие архитектуру Pathways, способны делать это, что придаёт им гораздо большую гибкость.
Недавно кто-то использовал Обучение с Подкреплением с человеческим фидбеком, чтобы улучшить PaLM. Это похоже на то, как ChatGPT был обучен с GPT-3. Таким образом, во многих отношениях эта настройка может быть даже лучше, чем ChatGPT (имеются в виду мультимодальные возможности).
Многие интернет-гуру говорили о ChatGPT и его потенциале заменить Google в качестве поисковой системы. Есть несколько причин, по которым это маловероятно. Однако существует другая языковая модель, которая лучше подходит для того, чтобы подорвать доминирование Google в поисковом пространстве. Так что советуем обратить внимание на PALM.
Sphere
Исследователи машинного обучения из Meta выпустили новую модель большого языка (LLM) под названием Sphere. Благодаря своей потрясающей производительности в задачах, связанных с поиском, и способностью анализировать миллиарды документов, в сочетании с другими работами Meta в области NLP, Meta хорошо зарекомендовала себя, чтобы разрушить поисковой рынок.
Sphere способна просматривать большой объём информации, чтобы отвечать на вопросы. Она может проверять цитаты и даже предлагать альтернативные цитаты, которые бы лучше соответствовали содержанию, чего я больше нигде не видел.

Возможности Sphere придают ей хороший потенциал. Возможно, этого недостаточно, чтобы заменить Google в качестве универсальной поисковой системы. Однако, когда дело доходит до поисковых систем для исследований, она будет очень полезна. Основываясь на моём исследовании этой модели, Sphere обладает наибольшей коммерческой перспективой среди всех моделей LLM.
BLOOM
Как описано на сайте Hugging Face, “BLOOM – это авторегрессионная модель LLM, обученная и на огромных объёмах текстовых данных с использованием вычислительных ресурсов промышленного масштаба. Таким образом, она способна понимать связный текст на 46 языках и 13 языках программирования. BLOOM также может проинструктировать выполнение текстовых задач, для которых она явно не была обучена, путём преобразования их в задачи генерации текста.”
Вы будете не единственным, кто не сможет определить разницу между BLOOM и GPT. Это не случайность. BLOOM был создан для того, чтобы конкурировать с топовыми технологиями. За последние несколько лет технологические компании проводили исследования, используя безумное количество вычислительных мощностей, которые обычные исследователи / группы исследователей не могут воспроизвести. Это привело к тому, что Data Science специалисты часто вырывали выводы этих работ из контекста и, таким образом, создавали неэффективные и дорогостоящие конвейеры.
BLOOM был попыткой противостоять этому. Модель, которая не контролируется крупными каманиями и способствует свободным исследованиям. Таким образом, если вы ищете альтернативы ChatGPT с открытым исходным кодом, BLOOM может стать хорошим вариантом для ваших нужд.
Galactica
Наконец, у нас есть еще одна модель от Meta. Помните, как я упоминал, что Sphere может заменить Google для исследователей? Что ж, у Zuck был эквивалент ChatGPT, ориентированный на исследователей.
Новая модель искусственного интеллекта от учёных, которая отлично знает математику, программирование, физику, биологию и даже машинное обучение.
Станет отличным помощником для студентов и школьников — умеет объяснять научную литературу, писать статьи на Wiki, отвечать на сложные вопросы, решать задачи и даже писать лекции.
Сезон курсовых и экзаменов близок, так что сохраняйте себе. Сервис бесплатный и доступен для всех. Без смс и регистрации.
Представьте себе ChatGPT, но обученный множеству исследовательских текстов. Такая модель могла бы объяснить математические формулы, помочь вам писать статьи, создать для вас Latex и т.д. и т.п. Вот чем занимается Galactica. Помимо обычных задач, она может реализовать многое, связанное с исследованиями. У Янника Килчера есть фантастическое видео на эту тему, поэтому я просто приведу ссылку на него для тех, кому интересно узнать больше.
К сожалению, вокруг этой модели было много споров, которые привели к тому, что Meta сняли её. Однако, я надеюсь, что они скоро вернут Galactica обратно. Очевидно, что это мощная модель, которая может быть полезна самым разным людям.

Заключение
ChatGPT – очень перспективная модель, которая может осуществить прорыв в интернеты. Есть ли у неё сильные конкуренты? Да, это доказано в данной статье. Может ли произойти такое, что они обойдут ChatGPT? Конечно, всё может быть!