Ученые ИИИ МФТИ создали систему локализации роботов, работающую при любой погоде
Система локализации MSSPlace, созданная в Институте ИИ МФТИ, комбинирует данные с камер, лидаров и семантических карт и позволяет роботам точно распознавать места и определять их местоположение при любой погоде и освещении. Это необходимо для создания адаптивных дронов, беспилотных автомобилей, роботов-уборщиков, курьеров, способных быстро ориентироваться в постоянно меняющихся условиях. Исследование опубликовано в журнале IEEE Access.
Традиционные навигационные системы полагаются либо на камеры, не дающие точных расстояний, либо на лидары, которые строят 3D-карты без детализации объектов. В результате робот может «потеряться» даже в знакомом месте, если изменится освещение, погода или положение предметов. Новая нейросетевая архитектура MSSPlace иначе обрабатывает информацию: отдельные модули независимо анализируют данные с нескольких камер, лидаров, а также семантические маски и текстовые аннотации наблюдаемых сцен. Так формируется единый дескриптор — компактное цифровое описание места, комплексно характеризующее местоположение.
Перемещаясь в пространстве, робот собирает базу таких дескрипторов для всех посещенных локаций.
Когда интеллектуальному транспортному средству нужно понять, где он находится, система вычисляет дескриптор текущего места и находит наиболее похожие варианты в базе. Ключевую роль играют семантические маски — упрощенные изображения, где каждый объект подписан («здание», «дерево», «дорога»). Они нечувствительны к изменениям освещения, времени суток и сезона, благодаря чему «память» робота остается устойчивой в самых сложных погодных условиях»
пояснил Александр Мелехин, выпускник МФТИ, один из разработчиков системы.
Обзор мультисенсорного распознавания мест с визуальной и текстовой семантикой. Сначала входные данные кодируются в дескриптор запроса. Затем выполняется поиск по алгоритму K-ближайших соседей между запросом и базой данных. Положение ближайшего найденного дескриптора базы данных рассматривается как ответ.
Вместо того чтобы полагаться только на один источник — камеру или лидар, система объединяет несколько типов информации (модальностей).
В нашем методе используются модальности изображений, облаков точек лидара, текстового описания сцены, их комплексирование для точной глобальной локализации роботов является нерешенной научной проблемой. Ее решение особенно важно в условиях отсутствия или искажений сигналов спутниковой навигации (GPS, Glonass). В своем исследовании мы получили обнадеживающие результаты, которые вошли в состав открытой программной библиотеки OpenPlaceRecognition, которую может попробовать в своих проектах каждый»
рассказал Дмитрий Юдин, заведующий лабораторией интеллектуального транспорта Центра когнитивного моделирования из Института искусственного интеллекта МФТИ.
