🌟 RTMW(3D):  Многообъектная 2D- и 3D-оценка позы всего тела в реальном времени.

RTMW (набор моделей оценки позы всего тела нескольких человек в реальном времени), – это серия моделей, предназначенных для решения тонкостей оценки позы всего тела. 

RTMW основан на исследованиях RTMPose и включает в себя новые методы обработки информации о позе и различных частей тела.

Для решения ключевой проблемы оценки локальных областей низкого разрешения (например, стопы, кисти рук) были применены техники:

 – PAFPN – пирамидальная сеть функций частичного агрегирования;

 – HEM – модуль иерархического кодирования для повышения разрешения локальных участков; 

 – FPN – метод, улучшающий разрешение отдельных объектов за счет агрегирования функций с разных уровней сетевой пирамиды.

Таким образом, архитектура моделей RTMW состоит из принципов RTMPose и объединяет модули PAFPN и HEM и FPN. Одновременное использование этих модулей значительно повышает точность оценки позы всего тела.

Для оценки 3D позы всего тела была разработана модель RTMW3D, которая использует прогнозирование оси Z для головы декодера и устанавливает новую корневую точку для человеческого скелета. 

Применение техники смещения оси упрощает процесс обучения модели и позволяет применять ее в задачах, связанных с высокой интенсивностью динамики объекта оценки, например, спортивное состязательное видео.

🌟 RTMW(3D):  Многообъектная 2D- и 3D-оценка позы всего тела в реальном времени.

RTMW и RTMW3D тестировались на общедоступных наборах данных (COCO-WholeBody и H3WB) и показали хорошие результаты производительности и точности, в том числе в задаче оценки 3D поз всего тела.

🟢Модели RTMW c описанием различий, вариантами форматов и прямой загрузкой на странице проекта rtmpose

🟢Модели RTMW3D на странице проекта rtmpose3d

⚠️ Внимательно ознакомьтесь с материалами общего репозитория mmpose в ветках соответствующих проектов и документацией перед началом использования.

⚖️ Лицензирование: Apache-2.0 license

🟡Arxiv 

🖥Open-Mmlab [Stars: 5.3K | Issues: 189 | Forks:1.2K ] https://github.com/open-mmlab/mmpose

#3D #Posetracking #ML #MMPose

+1
0
+1
0
+1
0
+1
0
+1
0

Ответить

Ваш адрес email не будет опубликован. Обязательные поля помечены *