Искусственный интеллект (ИИ) в сочетании с новой
биомиметической камерой позволяют обнаруживать
пешеходов и препятствия в 100 раз быстрее, чем современные автомобильные камеры. Этот важный шаг
в области компьютерного зрения и ИИ, достигнутый
исследователями Цюрихского университета (UZH), может
значительно повысить безопасность автономных систем
и беспилотных автомобилей.
Опасные ситуации на дороге
Каждый водитель боится внезапного появления пешехода перед автомобилем. В такие моменты счет идет
на доли секунды — нужно мгновенно затормозить или
свернуть, чтобы избежать трагедии. Некоторые современные автомобили оснащены камерами, которые могут
предупредить водителя или активировать экстренное
торможение. Однако они не всегда срабатывают достаточно быстро и точно. Для использования в беспилотных
автомобилях эти технологии необходимо серьезно
усовершенствовать.
Быстрое обнаружение с меньшими затратами
ресурсов
Даниэль Гехриг (Daniel Gehrig) и Давиде Скарамуцца
(Davide Scaramuzza) с факультета информатики Цюрихского университета (UZH) создали систему, объединяющую биомиметическую камеру с искусственным
интеллектом. Она обнаруживает препятствия вокруг автомобиля значительно быстрее существующих решений
и при этом требует меньше вычислительных ресурсов.
Исследование опубликовано в журнале Nature.
Большинство современных камер работают на основе
кадрового принципа и делают снимки через равные
интервалы времени. Камеры, которые используются в системах помощи водителю, обычно снимают 30–50 кадров
в секунду, а нейронная сеть обучается распознавать на
этих изображениях объекты — пешеходов, велосипедистов, автомобили.
«Но, если событие происходит между двумя кадрами за 20–30 миллисекунд, камера может зафиксировать это слишком поздно. Один из
способов решения проблемы — увеличение частоты кадров. Но это
приведет к росту объема данных, которые нужно обрабатывать в реальном времени, что потребует больше вычислительных мощностей»,
— объясняет Даниэль Гехриг, ведущий автор исследования.
Сочетание двух типов камер и ИИ
Нейроморфные (или событийные) камеры работают иначе. Это относительно новая технология — «умные» пиксели действуют автономно
и записывают изменения только при обнаружении быстрого движения.
«Это исключает «слепые зоны» между кадрами и позволяет быстрее
обнаруживать препятствия. Такие камеры называют нейроморфными,
так как они имитируют принцип восприятия изображений человеческим глазом», — говорит Давиде Скарамуцца, руководитель Robotics
and Perception Group. Однако у таких камер есть недостатки: они хуже
распознают медленно движущиеся объекты, а их данные сложно
преобразовать в формат, подходящий для обучения ИИ-алгоритмов.
Гехриг и Скарамуцца предложили гибридное решение, объединяющее
преимущества обеих технологий. Используется стандартная камера,
фиксирующая всего 20 кадров в секунду. Полученные от нее изображения обрабатываются сверточной нейронной сетью (CNN), обученной
распознавать автомобили и пешеходов. Данные второй — событийной
камеры — поступают в асинхронную графовую нейронную сеть (GNN),
которая эффективно анализирует меняющиеся во времени 3D-данные.
Обнаруженные событийной камерой объекты помогают предсказать
появление объектов на кадрах стандартной камеры, повышая точность
данных.
«В результате система обнаруживает объекты так же быстро, как камера
с частотой 5000 кадров в секунду, но при этом использует такой же объем данных, как обычная 50-кадровая камера», — говорит Даниэль Гехриг.
В 100 раз быстрее при меньшем объеме данных
Испытания показали, что новая разработка обеспечивает в 100 раз
более быструю реакцию, чем камеры и алгоритмы, имеющиеся сегодня
на автомобильном рынке. При этом она позволяет сокращать объем
передаваемых данных и вычислительные ресурсы без потери точности.
Ключевое преимущество — способность обнаруживать автомобили и
пешеходов, которые могли бы остаться незамеченными между кадрами
стандартных камер, что критически важно на высоких скоростях.
По мнению ученых, метод можно усовершенствовать, интегрировав
камеры с лидарными датчиками (LiDAR sensors), используемыми в
беспилотных автомобилях. «Такие гибридные системы могут сыграть
ключевую роль в развитии автономного транспорта, обеспечивая
безопасность без значительного увеличения объемов данных и вычислительных нагрузок», — заключает Давиде Скарамуцца.
Материал предоставлен компанией ITV
| 
