11 декабря 2012
Видеоаналитика: программные продукты vs IP-камеры с встроенным интеллектом
Часть 2
Александр Коробков
директор по разработкам MACROSCOP
Михаил Сушков
менеджер по развитию бизнеса, Россия и СНГ
компании Samsung
Поиск по приметам MACROSCOP: поиск в архиве по заданным цветам, по фотографии или по образу из записанного видеоархива
Поиск по цветам позволяет искать объект по заданным визуальным признакам: запросить у системы человека в зеленой рубашке и черных штанах. Также можно искать по фотографии или образцу, загруженному из видеоархива.
Производители программного решения MACROSCOP не ставят перед собой задачу стопроцентного распознавания - найденные результаты будут соответствовать запросу или образцу, но окончательную идентификацию осуществляет сам оператор. Поисковые результаты выдаются в виде набора кадров, человеку необходимо выбрать нужный вариант, после чего он сможет перейти к отрезку видео из записанного архива.
Задача поиска по приметам нетривиальна по ряду причин: субъективность цветового восприятия человеком; влияние условий съемки, зачастую постоянно меняющихся в течение съемки и т.п.
Для того чтобы запустить поиск по приметам, оператору необходимо раскрасить шаблон человека в соответствующие цвета.
Шаблон необходимо раскрасить вручную, для удобства оператора
регулируется размер кисти. Раскрашенный шаблон можно
сохранить для последующих поисков.
Поисковые результаты выдаются в виде набора изображений,
оператору необходимо выбрать нужный вариант, после чего он сможет
просмотреть отрезок видео из архива
Для поиска по фотографии необходимо загрузить образец в или выбрать кадр с изображением объекта из видеоархива.
Анализ направлен не столько на поиск абсолютно похожих объектов, сколько на отбрасывание несоответствующих, поэтому вероятность пропуска нужного объекта мала. Система скорее выдаст несколько лишних вариантов, что не критично, так как оператор всегда может найти необходимый результат вручную.
Выделение примет объектов
Индексированию подвергаются кадры, на которых присутствует движение. Далее происходит выделение маски - области движущегося объекта. Возможны два варианта реализации механизма выделения цвета.
В первом случае программа ищет маски, соответствующие объекту «человек». Далее выделяется нижняя и верхняя часть маски (ноги и туловище), определяется один или несколько основных цветов для частей, данные записываются. При поисковом запросе анализируются эти данные, если совпадает хотя бы один цвет соответствующих частей, объект выдается в результаты.
Программа ищет маски, соответствующие объекту «человек».
Далее выделяется нижняя и верхняя часть маски (ноги и туловище)
Для образца, по которому осуществляется поиск, также производится деление на две части, затем выделение основных цветов, сопоставление с данными объектов из архива.
Во втором случае сначала проводится классификация движущегося объекта: классификатор определяет, человек это, машина или какой-то посторонний предмет, потенциально не представляющий интереса для оператора. В данном случае рассмотрим работу только с объектами типа «человек». Маска человека подвергается кластеризации - выделению одинаковых по цвету участков. Для каждого кластера определяются его характеристики, которые в результате образуют необходимый для поиска индекс.
Аналогично для образца (фотографии или кадра из архива), по которому производится поиск, осуществляется кластеризация, присваиваются индексы, далее идет их сравнение с индексами, содержащимися в базе. Объекты, чьи индексы совпадают, выдаются оператору.
Образцом для поиска может служить фотография или кадр из архива. Основное требование - четкое изображение человека, по которому будет осуществляться поиск. Дополнительно в программе можно удалить фон вокруг объекта (воспользоваться ластиком).
Съемка в меняющихся условиях
При обработке данных, поступающих с IP-видеокамеры, приходится учитывать влияние условий, в которых проводится съемка. Качество съемки зависит от степени освещенности, качества IP?камеры - нередко встречаются камеры, искажающие цвета. Для решения этих проблем программным обеспечением проводится постоянный динамический анализ видеопотока. Интеллектуальная система сама определяет ту или иную проблему и подстраивается под неидеальные условия - программе необходима всего пара минут для анализа состояния видео, приходящего с камеры, после чего в зависимости от проблемы производятся корректировки. Если освещение яркое или тусклое на последовательности кадров, система соответственно затемняет изображение или повышает контрастность - преобразует картинку к нормальным условиям. Если IP?камера вносит цветовые искажения в кадр, программа нейтрализует их подстройкой баланса белого. Таким образом, интеллектуальная система регулирует качество картинки, приводя его к состоянию, максимально близкому к идеальному.
Сложности
Несмотря на высокий уровень существующих технологий поиска, еще есть задачи, требующие дальнейших разработок. Сложности возникаю, когда:
- Появляются цветные узоры, изображения на одежде, складки, тени, заломы ткани. Человек воспринимает цвет независимо от его освещенности или затенения. Однако реальные значения цвета в RGB могут в этом случае заметно отличаться.
- Одежда человека или ее часть совпадает или приближена по цвету к фону.
- Человек попадает в кадр частично или принимает нехарактерную позу. В этом случае тяжело провести корректное распознавание и выделение объекта.
Однако, разработчики MACROSCOP результативно решают возникающие сложности, уже сегодня предоставляя точный инструмент поиска по приметам.
Точность поиска
Важно отметить, что MACROSCOP различает не оттенки, а именно цвета объектов. Разработчики не ставят задачу распознавания всех оттенков фиолетового, но если оператор ищет фиолетовый объект, он получит все результаты с различными вариациями оттенков. Далее человек может самостоятельно выбрать необходимый вариант.
MACROSCOP использует две метрики для определения точности поиска по приметам: во-первых, мы оцениваем количество треков похожих объектов, которые были найдены. На сегодняшний день эта цифра составляет 80%. Во-вторых, MACROSCOP определяет количество непохожих объектов, попавших в выдачу результатов. Этот показатель составляет 10%.
Видеоаналитика IP-камер (на примере IP-камер Samsung)
Все IP-камеры Samsung имеют встроенную видеоаналитику на базе DSP процессоров WiseNet S, WiseNet, WiseNet II, которые поддерживают ряд аналитических алгоритмов. Рассмотрим каждый из них в отдельности:
Вход/Выход, Пересечение: Пользователь создает виртуальную линию, при пересечении которой в направлении направо или налево, генерируется соответствующая тревога. Обнаружение движения объекта происходит, когда его центральная точка перемещается извне (вход) в заданную область или за ее пределы (выход).
Появление/исчезновение: Срабатывание происходит при нахождении/ отсутствии объекта в заданной зоне дольше определенного времени.
Детекция лиц:
Данный алгоритм позволяет обнаруживать до 35 объектов в 4 зонах.
Минимальный размер лица – 40 пикселей, максимальный – 340. Через веб-интерфейс камеры возможна настройка 10 уровней чувствительности детектора.
Допустимый порог наклона вне плоскости составляет 30 градусов по вертикали и 60 градусов по горизонтали. При вращении в плоскости этот показатель составляет 45 градусов.
Одна из областей применения алгоритма детекции лиц – так называемая «умная компрессия». При обнаружении лиц в поле зрения камеры, область в которой они были замечены, подвергается сжатию с высоким качеством, в то время как «неактивные» области передаются в сеть с «низким» качеством. Это позволяет уменьшить поток видеоданных с IP-камеры и более рационально использовать дисковое пространство архива.
Детекция звука: Позволяет обнаруживать звуковые колебания в заданный временной промежуток, которые превышают установленный уровень даже при отсутствии объекта в кадре.
Изменение сцены наблюдения: Генерирует тревожное сообщение в случае изменения сцены наблюдения на протяжении определенного временного интервала.
Вместе с тем, наибольшую выгоду от использования IP-камер со встроенной видеоаналитикой пользователь получает в сочетании с профессиональным программным обеспечением.
Профессиональное программное обеспечение ведет запись метаданных синхронно с видео- и аудиопотоком, что позволяет пользователю системы в дальнейшем осуществлять быстрый и точный поиск событий в видеоархиве по категориям.
Кроме того, благодаря тому, что метаданные содержат не только данные о зоне, где было зафиксировано событие, но и обо всей сцене наблюдения камеры в целом, пользователь получает возможность выбрать новую логику и категории поиска событий уже после их наступления.
Это, например, может быть использовано в ситуации, когда камера направлена на коридор между прилавками магазина с целью пресечения воровства продукции и выполнения прочих охранных задач. В свою очередь, департамент маркетинга может использовать данную камеру для создания отчетов об интенсивности людского потока в данном коридоре, и создании популярных маршрутов и полок с продукцией, или тепловых карт покупательской активности.
Таким образом, по мере развития профессионального программного обеспечения и технологий, «вживленных» в IP-камеры, алгоритмы видеоанализа будут совершенствоваться и выполнять все более сложные задачи. Уже сейчас можно говорить о тенденции переадресации простых задач анализа на IP-камеры, в то же время, сложные задачи, такие как распознавание лиц, автомобильных номеров, требующие больших вычислительных мощностей, по-прежнему будут решаться средствами профессионального программного обеспечения.
Именно, рациональное распределение этих задач, грамотное проектирование и настройка системы, позволят получить максимальную пользу от использования функций видеоанализа.
