Перейти на Sec.Ru
Рейтинг@Mail.ru

11 февраля 2015

Тестирование систем видеонаблюдения на площадке заказчика: Основные проблемы и способы их решения

А.А Кадейшвили,
Технический директор, компания «Вокорд»

 

Организация профессионального тестирования систем видеонаблюдения, без сомнений, является одной из самых сложных, трудоемких и неоднозначных по своим результатам задач, с которой регулярно приходится сталкиваться каждому заказчику при выборе системы – особенно когда речь идет о крупных проектах, где цена ошибки может быть крайне высока. Тестирование подобных систем – очень важный и ответственный этап, в процессе которого определяется как соответствие фактических характеристик системы с заявленными производителем, так и возможность системы выполнять те поставленные задачи видеонаблюдения, которые необходимы конкретному заказчику.

В нашей статье мы рассмотрим основные наиболее распространенные ошибки, которые допускаются при тестировании систем видеонаблюдения, а также расскажем о том, как их можно избежать.

 

Сравнительное тестирование систем видеонаблюдения: общие проблемы

На сегодняшний день весьма широкую практику получило сравнительное тестирование систем видеонаблюдения, осуществляемое на территории заказчика в целях выбора для его проекта наиболее подходящего решения.

При тестировании систем сравниваются разные параметры, в зависимости от того, какой тип системы участвует в сравнении. Так, при сопоставлении систем автоматического распознавания номеров транспортных средств, сравнивается процент достоверно распознанных и ошибочно распознанных транспортных средств из общего числа автомобилей, проехавших через рубеж, где установлены системы. Кроме этого, сравнивается процент пропущенных системами транспортных средств за определенный промежуток времени.

Также отметим, что, например, сравнение интеллектуальных детекторов, встроенных в систему видеонаблюдения, проходит путем инсценировки определенной ситуации, которая зависит от предназначения детектора. Так, при сравнении детекторов оставленных вещей, инсценируется ситуация, при которой человек оставляет предметы и (или) уносит их и т.д.

Отметим, что перед организацией непосредственно сравнительных испытаний клиенту необходимо определиться со списком требований к системе видеонаблюдения, сформировать бюджет проекта, после чего рассмотреть предложения от вендоров и подготовить на их основе сравнительную таблицу. На данном этапе заказчик «отсеивает» предложения, неудовлетворяющие его по основным требованиям, и принимает решение о том, какие системы достойны «пройти в финал».

После этого и наступает «момент истины»: этап сравнительного тестирования, в процессе которого выясняется, насколько заявленные на бумаге характеристики систем соответствуют их реальным возможностям.

Теперь, зная алгоритм действий, осуществляемых заказчиком для выбора системы видеонаблюдения, рассмотрим наиболее типичные проблемы и ошибки, возникающие при сравнительном тестировании систем:

  •  Отличие условий тестирования системы от условий реальной эксплуатации.
  •  Неодинаковые условия тестирования разных систем.
  •  Отсутствие в процессе тестирования контроля ложных срабатываний.
  •  Отсутствие четких требований к детекторам.
  •  Отсутствие оценки ресурсоемкости детекторов.
  •  Отсутствие контроля сложности настройки детекторов.
  •  Недостаточная квалификация специалистов, осуществляющих тестирование (данной проблеме мы посвятим отдельную часть статьи).

 

ТИПИЧНЫЕ ОШИБКИ, ВОЗНИКАЮЩИЕ ПРИ ТЕСТИРОВАНИИ СИСТЕМ ВИДЕОНАБЛЮДЕНИЯ, И ПУТИ ИХ РЕШЕНИЯ

 

Несоответствие условий тестирования условиям эксплуатации

Одной из самых распространенных ошибок является несоответствие условий, в которых проводится тестирование, реальным условиям эксплуатации системы.

Ярким примером данной ошибки может служить ситуация, при которой система, призванная эксплуатироваться на улице, проходит испытания в помещении. Также заказчику нужно иметь в виду некоторые «тонкие» ситуации, возникающие при тестировании: так, испытания системы, которая будет устанавливаться в парках, должны обязательно проводиться на сценах, отражающих реальные «ландшафтные» условия среды. Это значит, что в данном случае для корректного тестирования на площадке клиента должны присутствовать деревья и кусты, благодаря чему заказчик сможет проверить устойчивость видеоаналитики к фоновым помехам, возникающим из-за ветра.

В случае же, когда заказчику демонстрируют тестирование детектора оставленных предметов, предназначенного для использования в местах скопления людей, испытания должны проводиться в людных местах, т.к. необходимо, чтобы в кадре обязательно присутствовали люди, перекрывающие оставленный предмет в поле зрения камеры.

 

Тестирование систем в различных временных и территориальных условиях

Другой частой ошибкой при сравнении нескольких систем видеонаблюдения является ситуация, при которой тестирование проводят в разное время и в разных местах.

Так, результаты тестирования нескольких систем, которое, к примеру, проходит в одно и том же месте, но в разное время, могут существенно сказаться на конечных результатах испытаний. Виной тому – разные световые и климатические условия. Среди них: различные условия освещенности, к которым можно отнести солнечную и пасмурную погоду, переменную облачность, а также особенности положения солнца – тени и засветку. Кроме того, сильное влияние на тестирование системы могут оказать атмосферные осадки и явления, прежде всего – дождь, град или снег, а также туман и ветер. Имея в виду вышеперечисленные факторы, заказчику нужно стараться проводить тестирование в одинаковых условиях.

 

Отсутствие контроля ложных срабатываний

Очередная типичная ошибка при тестировании систем связана с отсутствием контроля ложных срабатываний. Классическим примером данной ошибки может служить ситуация, когда в процессе тестирования делается упор на проверку детектирования интересующих событий, при этом игнорируется контроль ложных срабатываний.

К примеру, заказчик может протестировать детектор драки перед камерой, инсценируя перед ней 10 ситуаций с дракой, после чего посчитать, сколько раз сработал детектор. При этом никто не интересуется, сколько ложных срабатываний выдает такой детектор. Дополнительная сложность заключается в том, что для оценки вероятности ложных срабатываний, как правило, требуется намного больше времени, чем для проверки вероятности пропуска события. Причина проста: чтобы проверить, как детектируются инциденты, нужно «инсценировать» их перед камерой необходимое количество раз (обычно это 10-20 «подходов»). Это возможно сделать за конечное время, но чтобы убедиться в том, что система даст не более 10 ложных срабатываний в сутки, нужно проводить наблюдение целые сутки, а еще лучше – несколько суток.

Отметим, что в случае, когда не контролируются ложные срабатывания, можно получить систему, «дающую» 100 ложных срабатываний на каждый реальный инцидент. Несмотря на то, что при этом система будет фиксировать реальные инциденты, пользоваться ей будет невозможно.

 

Отсутствие четко сформулированных критериев срабатывания детекторов

Типичным примером данной ошибки можно считать ситуацию, при которой заказчик хочет выявлять с помощью детектора какую-либо ситуацию, не имеющую четких критериев для ее решения. К примеру, клиент хочет выявлять некое «необычное поведение людей».

Хочется поинтересоваться: а в чем, собственно, должно заключаться это «необычное поведение»? К сожалению, зачастую вменяемого ответа на данный, вполне логичный вопрос получить не удается: либо заказчик вовсе не приводит какого-либо описания «необычности», либо предъявляет крайне широкий список «признаков»: начиная с «неподобающей» одежды и заканчивая активным размахиванием руками.

Кроме того, для того чтобы тестирование имело какой-либо смысл, нужно определить мерку «необычности». Она нужна для количественной оценки «необычного» поведения, а именно, чтобы понять, насколько одно поведение «необычней» другого, и иметь возможность задать в системе порог «необычности», свыше которого система должна давать сигнал тревоги. Отметим, что данная мера должна совпадать с представлением приемной комиссии о «необычном» поведении.

Наверное, не стоит пояснять, что при такой постановке задачи невозможно добиться ни каких-либо объективных результатов тестирования, ни даже банальной воспроизводимости результатов. Это приводит к тому, что, в зависимости от состава приемной комиссии, одни и те же результаты работы системы могут трактоваться и как правильные, и как ошибочные.

 

Отсутствие оценки ресурсоемкости детекторов

Во время тестирования почти никто не задумывается о том, какие вычислительные мощности нужны для работы того или иного детектора. Чем сложнее детектор и чем лучше он работает, тем он требовательнее к вычислительным ресурсам. Можно приобрести систему видеоаналитики, которая будет, например, находить оставленные и унесенные предметы на оживленной площади в центре города – с высокой точностью и малым количеством ложных срабатываний. Но чтобы запустить такую систему на 100 камер, потребуется приобрести столько серверов, что ими можно будет заполнить несколько жилых домов. Поэтому всегда нужно учитывать не только эффективность работы детекторов и их цену, но иные, связанные с запуском такой системы расходы, например, приобретение серверов. Иначе может оказаться, что система не рентабельна для решения конкретной задачи.

 

Отсутствие контроля сложности настройки детекторов

Если в процессе тестирования удалось избежать вышеперечисленных ошибок, а также найти систему, удовлетворяющую требованиям заказчика, остается еще один не менее важный вопрос: сколько времени понадобится для настройки системы и ее запуска в эксплуатацию, а также какая квалификация специалиста для этого потребуется.

Ситуация, при которой сложный детектор работает хорошо, но для его настройки требуется несколько дней работы квалифицированного специалиста (которых может быть, к примеру, всего два), ставит под сомнение реализацию даже скромного проекта численностью на 100 камер, а о более масштабных проектах, наверное, в этом случае даже не стоит и говорить.

 

Квалификация специалистов и привлечение независимых экспертов

Пожалуй, самой важной проблемой в вопросе тестирования систем видеонаблюдения является недостаточная квалификация технических специалистов, что является следствием острой нехватки профессиональных сотрудников, способных осуществлять грамотное тестирование. Можно сказать, что в какой-то мере практически все вышеперечисленные в нашей статье ошибки, возникающие при тестировании систем, являются лишь следствием этой одной большой проблемы. Организация полноценного тестирования – это не только сложная, но и довольно дорогостоящая процедура, которую должны осуществлять лишь квалифицированные профессионалы высокого уровня.

Для эффективного решения данной проблемы на рынке видеонаблюдения давно назрела необходимость в создании сертификационных центров, признаваемых всеми игроками отрасли и состоящих из независимых экспертов высокого уровня, которые взяли бы на себя всю ответственность по организации тестирования систем видеонаблюдения, в том числе, выработав единые критерии и правила тестирования подобных систем.

Говоря о создании специализированных сертификационных центров, нельзя не затронуть проблему формирования экспертного совета. В настоящее время очень часто при проведении испытаний у заказчика в состав «жюри» входят люди, имеющие весьма неоднозначное представление о работе и функционировании систем видеонаблюдения. Особенно, если мы говорим о тестировании продвинутого интеллектуального ПО. Часто это приводит к тому, что конечные оценки систем видеонаблюдения носят спорный характер, в результате чего заказчик может заполучить продукт низкого качества.

Избежать подобной ситуации можно, привлекая к испытаниям независимый орган по сертификации, состоящий из представителей экспертного сообщества. Желательно, чтобы у экспертной группы была утвержденная программа испытаний, а также право выдачи сертификата на «срок эксплуатации» конкретного решения того или иного производителя.

Таким образом, в нашей статье мы рассмотрели ряд типичных ошибок, которые допускаются при тестировании систем видеонаблюдения. Устранение или сведение к минимуму данных ошибок позволит существенно поднять качество принимаемых заказчиком систем, а также будет способствовать более благоприятному развитию всего российского рынка интеллектуального видеонаблюдения.

 

Опубликовано в ж. «Алгоритм Безопасности», 6/14

Просмотров: 1094

Ваши комментарии:

Для того, чтобы оставлять коментарии, Вам нужно авторизоваться на Sec.Ru. Если У Вас еще нет аккаунта, пройдите процедуру регистрации.


Автор

Информация

  • Снимай крутую видеорекламу - выкладывай на Sec.Ru!

    Рекламный ролик - один из самых эффективных способов донесения информации. И он отлично подходит для рекламирования любой продукции, в т.ч. и продукции рынка систем безопасности.
    Поэтому редакция Портала решила составить свой рейтинг лучших рекламных видеороликов. Все они разные и все чем-то покоряют: красотой, задумкой, стилем съемки, посылом, необычным финалом.
    Некоторые из них язык не повернется назвать иначе как шедевром короткого метра. Смотрим, наслаждаемся, делаем заметки, учимся творить рекламу правильно.
    Если Вы хотите выложить видеоролик о своей продукции на Sec.Ru, пишите о своем желании на adv@sec.ru!

    Картинка: Jpg, 100x150, 16,47 Кбайт

    Мотор!

Отраслевые СМИ

Все права защищены 2002 – 2017
Rambler's Top100 �������@Mail.ru