Современные коллаборативные роботы (коботы) работают вместе с человеком в одном пространстве. Для безопасности и синхронизации им нужна система технического зрения: робот должен видеть, где находится оператор и что он делает. Обычно такие системы зарубежного производства и встроены в оборудование. В условиях импортозамещения российские ученые предложили альтернативу – собственный алгоритм на основе искусственного интеллекта.
Разработка объединяет данные обычной камеры (RGB) и датчика глубины. Первая фиксирует картинку, второй – расстояние до объектов. Вместе они компенсируют недостатки друг друга: например, при плохом освещении или потере глубины. Происходит более точное и надежное распознавание действий. На основе полученных данных был разработан дескриптор – вектор признаков, который достаточно полно описывает движение оператора.
Дескриптор действий человека содержит информацию о взаимном расположении ключевых точек скелета человека в пространстве и времени. Алгоритм изображений видимого спектра и карт глубины строится на основе параметризованной модели логарифмической обработки изображений. Это повышает надежность и устойчивость распознавания.
Ученые разработали систему на основе алгоритмов компьютерного зрения и нейросетевых технологий. Она распознает жесты человека и управляет роботизированной техникой путем бесконтактного интерфейса. Это происходит следующим образом: ПО получает данные с датчиков – обычная камера и сенсор глубины, распознает действия – жестовые команды, которые выполняет оператор – программа обучена на 10 жестовых командах. Затем данные поступают на контроллер робота, где заранее прописано, какой жестовой команде соответствует определенное действие робота-манипулятора.
Исследование ведет межвузовский коллектив под руководством старшего преподавателя кафедры «Кибербезопасность информационных систем» факультета «Информатика и вычислительная техника» Марины Ждановой. В команде – ученые ДГТУ: и. о. декана факультета «Автоматизация, мехатроника и управление» Николай Гапон, специалисты кафедры «Кибербезопасность информационных систем», а также студенты опорного вуза. Со стороны МГТУ «Станкин» в проекте участвует магистрант Илья Хамидуллин.
Новое программное обеспечение уже готово к применению в промышленности. С его помощью можно автоматизировать погрузку, сборочные операции, окрашивание, лазерную обработку, маркировку и другие совместные операции человека и робота. Главный акцент системы — на безопасности оператора. При этом заложенный в неё принцип управления через жесты открывает перспективы для применения в стратегическом проекте ДГТУ – разработке беспилотного трактора «Донтех», делая взаимодействие с машиной интуитивно понятным. Технология будет полезна крупным корпорациям, малому и среднему бизнесу, а также лабораториям, исследовательским центрам, больницам, электростанциям и агропредприятиям, применяющим беспилотную технику и роботов.
Проект поддержан программой «Приоритет 2030» и грантом РНФ. На его реализацию ученым потребовалось два года. Результаты проекта соответствуют НПТЛ «Средства производства и автоматизации» и направлены на развитие отечественных промышленных манипуляторов.
Олеся Фарберович, управление информационной политики
isdstu@mail.ru
