Наш проект фокусируется на создании систем, способных предотвращать несчастные случаи, анализирующих действия человека в режиме реального времени. Проект предусматривает автоматизацию производственного процесса и обеспечение возможности коллаборации человека и робота в одном рабочем пространстве, с особым акцентом на безопасность оператора.
Она добавила, что разработанная система использует компьютерное зрение и GAN для распознавания действий оператора, включая потенциально опасные ситуации, такие как падение, выход за пределы безопасной зоны или появление посторонних лиц.
Система работает на основе беспроводного интерфейса управления, позволяющего оператору взаимодействовать с роботом интуитивно, с помощью жестов. Робот выполняет работу или моделирует свои действия на основе подаваемых человеком-оператором команд и результатов их распознавания. Данный подход позволяет операторам взаимодействовать с роботами не только через привычные интерфейсы, но и в более интуитивной форме – с помощью жестов, значительно снижая риск механических повреждений. Набор визуальных сенсоров отслеживает действия оператора и контексты взаимодействия, а также реагирует на любое отклонение от предустановленного сценария. В случае возникновения нестандартной ситуации система мгновенно принимает меры для защиты оператора и предотвращения происшествий.
Ключевым элементом проекта является алгоритм объединения данных с RGB-камер и датчиков глубины. Этот подход позволяет скомпенсировать недостатки отдельных сенсоров (искажения изображения при нестабильном освещении, потери данных в картах глубины), обеспечивая более точное и надежное распознавание действий. Использование отдельных сенсоров, таких как RGB-камеры или датчики глубины, которые снимают видео, в каждом пикселе которого хранится не цвет, а расстояние до объекта в этой точке, имеет свои ограничения. Камеры видимого спектра могут давать искаженные изображения при нестабильном освещении, а шумы на картинках зачастую снижают качество распознавания.
С другой стороны, карты глубины могут страдать от потерь в данных, что делает их недостаточно надежными для полной оценки ситуации.
Поэтому на первом этапе был реализован алгоритм объединения данных видимого спектра и карт глубины. Система использует камеры и датчики глубины для создания объемного изображения рабочего пространства. Это позволяет компенсировать недостатки отдельных сенсоров (например, искажения изображения при плохом освещении) и обеспечить более точное распознавание действий. Человек управляет роботом интуитивно, с помощью жестов, что повышает эффективность и безопасность работы. При обнаружении опасности система мгновенно реагирует, предотвращая несчастные случаи. Наша цель – создать безопасную и эффективную среду для сотрудничества человека и робота. А использование ИИ позволяет нам достичь высокой точности распознавания и быстро реагировать на непредвиденные ситуации.
По ее словам, идея проекта направлена на повышение производительности, безопасности труда и найдет широкое применение, особенно в тех отраслях промышленности, где человек и робот работают совместно.
Работы выполнены в рамках проекта «Разработка методов распознавания действий человека на основе новых архитектур генеративно-состязательных моделей искусственного интеллекта для организации человеко-машинного взаимодействия, затрагивающих вопросы обеспечения безопасности», финансируемого Российским научным фондом (соглашение от 29.12.2023 года № 24-21-00465).
В дальнейшем планируется разработка алгоритмов, которые позволят системе распознавать жесты человека, используя анализ его движений.
Следующей ключевой задачей является представление различных действий человека в виде числовых векторов, или дескрипторов. Эти дескрипторы позволяют эффективно характеризовать определенные жесты или позы, что является важным шагом для дальнейшего анализа и распознавания действий.
Мария Ничипорук, управление информационной политики
isdstu@mail.ru
