Проектирование надежных систем компьютерного зрения для

Feb 06, 2024

Сингапурский университет менеджмента

Изображение: Доцент SMU Се Сяофэй в этом году участвует в конкурсе Robust AI Grand Challenge по разработке надежных систем компьютерного зрения с поддержкой искусственного интеллекта для автономных транспортных средств.посмотреть больше

Фото: Сингапурский университет менеджмента.

Джовина Анг

Управление исследований SMU. Несмотря на то, что история беспилотных транспортных средств (AV) восходит к 1990-м годам, большая часть исследований по AV проводилась с использованием данных испытаний в лабораториях.

Задача Robust AI Grand Challenge, организованная в сотрудничестве с Управлением будущих систем и технологий, MINDEF Сингапур и Национальными лабораториями DSO, направлена ​​на то, чтобы привлечь исследователей и ученых из институтов высшего образования (IHL) и исследовательских институтов (RI) к разработке инновационных решений для преодолеть уязвимости моделей искусственного интеллекта (ИИ) в системах компьютерного зрения (CV) для AV.

Для участия в этом грандиозном соревновании были выбраны три команды: две команды из Наньянского технологического университета (NTU) и одна команда из Национального университета Сингапура (NUS). Доцент кафедры компьютерных наук СМУ и научный сотрудник Ли Конг Чиан Се Сяофэй будут соревноваться в составе одной из команд НТУ.

Когда его спросили, что побудило его принять участие в этом соревновании, профессор Се ответил: «Когда я учился в НТУ, у меня была возможность сотрудничать с профессором Лю Яном и другими соруководителями нескольких исследовательских проектов. Кроме того, области надежного программного обеспечения и искусственного интеллекта совпадают с моими исследовательскими интересами».

Он добавил: «Еще одним мотивирующим фактором для меня является возможность создавать надежные модели ИИ и тестировать их в физическом мире.

«Было доказано, что точность систем CV снижается в результате любых физических угроз или атак. Я считаю, что именно по этой причине был разработан «Большой вызов», призванный бросить вызов исследователям разработать системы CV для AV, которые могут восстанавливаться как минимум до 80 процентов своей первоначальной точности после возникновения любых физических угроз или атак; например, внезапный поворот другой машины в сторону AV. Хотя точность в 80 процентов была достигнута в некоторых тестовых тестах, на сегодняшний день этот порог не был достигнут на реальных данных».

Он продолжил: «Помимо достижения этого порогового показателя точности в задаче, командам необходимо углубиться в три конкретных сценария CV, связанных с системами автономного вождения, включая их способность обнаруживать объекты, обеспечивать приемлемые оценки глубины и расстояния объектов до объекта. AV, а также классифицировать каждый пиксель изображения для простой и точной идентификации».

Исследование

Помимо профессора Се, в команде NTU есть еще шесть исследователей. В их число входят профессор Лю Ян, доктор Го Цин, доцент Чжан Тяньвэй, доцент Чэнь Лю, доцент Чжан Ханьван и профессор Дун Цзинь Сун.

Чтобы обеспечить себе место в этой грандиозной задаче, команда разработала четыре пакета работ в рамках своего комплексного исследовательского проекта, который начался 1 июля 2023 года и продлится три года. Первые два года проекта будут потрачены на разработку оптимальной технологии CV, а третий год будет посвящен тестированию технологии в полевых условиях.

Четыре рабочих пакета

Рабочий пакет 1 предназначен для обеспечения унифицированного и комплексного визуального представления AV.

В настоящее время большая часть исследований AV-представления сосредоточена на однонаправленном распознавании и обнаружении объектов в статической или конкретной ситуации. Существующие AV-представления часто используют отдельные модели для обработки и распознавания различных типов данных, таких как изображения, сигналы LiDAR (сокращение от Light Detection and Ranging), которые используют комбинацию трехмерного (3D) и лазерного сканирования или других датчиков. визуальные модальности.

Хотя современные подходы к визуальному представлению AV хорошо работают для типов данных, для которых они предназначены, интеграция различных типов данных отсутствует. Это потенциально может ухудшить общую производительность и эффективность AV-системы. Например, несмотря на наличие защитных механизмов, оптимизированных для предотвращения атак, направленных на данные изображения, AV может быть восприимчив к атакам, нацеленным на сигналы LiDAR.