МОСКВА, 17 апреля. /ТАСС/. Специалисты Донского государственного технического университета (ДГТУ) c коллегами из МГТУ «Станкин» создали отечественное программное обеспечение, которое позволяет управлять роботом с помощью жестов. Об этом сообщили в пресс-службе Минобрнауки РФ.
«Ученые ДГТУ научили робота понимать жесты. Разработка выполнена совместно с МГТУ “Станкин” в рамках гранта Российского научного фонда. Теперь отечественные промышленные манипуляторы смогут распознавать команды оператора так же, как зарубежные аналоги, но без использования импортных решений», — отметили в пресс-службе.
Разработка объединяет данные обычной камеры и датчика глубины. Первая фиксирует картинку, второй — расстояние до объектов. Вместе они компенсируют недостатки друг друга: например, при плохом освещении или потере глубины. Происходит более точное и надежное распознавание действий. На основе полученных данных был разработан дескриптор — вектор признаков, который достаточно полно описывает движение оператора.
Ученые разрабатывали систему на основе алгоритмов компьютерного зрения и нейросетевых технологий. Она распознает жесты человека и управляет роботизированной техникой путем бесконтактного интерфейса. Программа получает данные с датчиков (камеры и сенсора глубины), распознает действия — жестовые команды, которые выполняет оператор, программа обучена на 10 жестовых командах. Затем данные поступают на контроллер робота, где заранее прописано, какой жестовой команде соответствует определенное действие робота-манипулятора.
Система позволяет автоматизировать погрузку, сборочные операции, окраску, лазерную обработку, маркировку и другие совместные операции человека и робота. Проект поддержан программой «Приоритет 2030» Минобрнауки РФ и грантом РНФ.
