Перейти на Sec.Ru
Рейтинг@Mail.ru

20 марта 2015

Проблемы объективной оценки качественных параметров биометрических систем контроля и доступа

Алексей Михайлов
Начальник сектора отдела ФКУ НИЦ «Охрана»
МВД России подполковник полиции

Алексей Колосков,
Старший научный сотрудник ФКУ НИЦ «Охрана»
 МВД России подполковник

Юрий Дронов,
Старший научный сотрудник ФКУНИЦ «Охрана»
 МВД России

 

Вступление

Бурное развитие биометрических систем контроля и допуска (далее биометрии) как за рубежом, так и в России имеет под собой объективные причины.

Привлекательность биометрического идентификатора как «ключа», посредством которого мы осуществляем доступ на объект охраны, очевидна.

Данный идентификатор всегда находится при Вас, его нельзя потерять или забыть. Более того, автоматически происходит идентификация человека, осуществляющего доступ на объект. Наконец, это стало модным направлением развития охранной техники, как говорят современные менеджеры, биометрия это – очередной тренд.

Развитие вычислительных возможностей процессоров и алгоритмов биометрической идентификации в настоящее время привело к тому, что данные технологии стали доступны в бытовом использовании.

Массовое применение биометрических систем идентификации сделало необходимым произвести количественные оценки параметров системы языком, понятным простому человеку.

Согласитесь, что покупая продукт, например, пакет с молоком, желательно знать, сколько литров молока налито в него. Аналогично приведенному примеру, пользователю необходимо знать объективные параметры и биометрических систем.

Только в этом случае пользователь может объективно производить выбор и оценку предлагаемого товара по критерию стоимость/эффективность.

К сожалению, параметры биометрических систем не так ясны и понятны, как параметры ширпотреба.

Данная ситуация усугубляется выпуском отечественных ГОСТов на биометрические системы, в которых основные параметры и критерии оценки взяты из импортных стандартов, но они имеют русскую транскрипцию.

Таким образом, в представленном на отечественном рынке системах биометрии происходит смешивание русских и английских терминов, т.е. люди пишут об одном и том же, но называют их совершенно иначе.

Огромное значение имеет и методика проведения эксперимента по получению критерия оценки биометрической системы. В зависимости от методики проведения эксперимента характеристики одной и той же системы могут отличаться на несколько порядков.

Вообще, методика проведения эксперимента, применительно к биометрической системе, это большая и отдельная тема и в этой статье она будет только обозначена.

Возможно, в дальнейшем, авторы вновь обратятся к теме постановки и методике проведения эксперимента в биометрии.

 

Термины и определения

Итак, об наиболее значимых параметрах в биометрии:

VERIFICATION (верификация) – процесс, при котором происходит сравнение представленного пользователем образца с шаблоном, зарегистрированным в базе данных... (ГОСТ Р ИСО/МЭК19795-1-2007). Здесь принципиальным является то, что один образец сравнивается с одним шаблоном (сравнение один к одному с биометрическим шаблоном), поэтому любая биометрическая система будет иметь лучшие показатели для верификации по сравнению с идентификацией.

IDENTIFICATION (идентификация) – процесс, при котором осуществляется поиск в регистрационной базе данных и предоставляется список кандидатов , содержащих от нуля до одного или более идентификаторов...(ГОСТ Р ИСО/МЭК19795-1-2007). Здесь принципиальным является, что один образец сравнивается со многими шаблонами (сравнение один ко многим), и ошибка системы многократно возрастает. Идентификация становится наиболее критичным параметром для систем биометрии, основанной на распознавании характерных черт лица человека. Для машины лица людей практически идентичны.

FAR (False Acceptance Rate) – вероятность несанкционированного допуска (ошибка первого рода), выраженное в процентах число допусков системой неавторизованных лиц (имеется в виду верификация);

Вероятностные параметры выражаются или в абсолютных величинах (10-5), для параметра FAR это означает, что 1 человек из 100 тыс. будет несанкционированно допущен, в процентах данное значение будет (0,001%).

ВЛД – вероятность ложного допуска (FAR), (ГОСТ Р ИСО/МЭК19795-1-2007);

FRR (False Rejection Rate) – вероятность ложного задержания (ошибка второго рода), выраженное в процентах число отказов в допуске системой авторизованных лиц (имеется в виду верификация);

ВЛНД – вероятность ложного недопуска (FRR), (ГОСТ Р ИСО/МЭК19795-1-2007);

FMR (False Match Rate) – вероятность ложного совпадения параметров. Где-то мы это уже читали, см. FAR, но в данном случае один образец сравнивается со многими шаблонами, заложенными в базу данных, т.е. происходит идентификация;

ВЛС – вероятность ложного совпадения (FMR), (ГОСТ Р ИСО/МЭК19795-1-2007);

FNMR (False Non-Match Rate) – вероятность ложного несовпадения параметров, в данном случае один образец сравнивается со многими шаблонами, заложенными в базу данных, т.е. происходит идентификация.

ВЛНС – вероятность ложного несовпадения (FNMR), (ГОСТ Р ИСО/МЭК19795-1-2007).

Параметры (как и остальные перечисленные выше), взаимосвязаны (см.рис.1). Меняя порог FAR и FRR «чувствительности» биометрической системы мы одновременно изменяем их, выбирая требуемое соотношение. Действительно, можно так настроить биометрическую систему, что она с большой долей вероятности будет пропускать зарегистрированных пользователей, но и с достаточной долей вероятности будет пропускать и не зарегистрированных пользователей.

 

Рис. 1 Графики FAR и FRR.

 

Поэтому данные параметры должны быть указаны одновременно для биометрической системы.

Если указывается только один параметр, то Вас, как пользователя это должно насторожить, поскольку таким образом очень легко завысить параметры в сравнении с конкурентом. Утрируя, можно сказать, что самый низкий коэффициент FAR, будет иметь неработающая система, уж точно она никого несанкционированно не допустит.

Более или менее объективным параметром биометрической системы является коэффициент EER.

Коэффициент EER (равный уровень ошибок) – это коэффициент, при котором обе ошибки (ошибка приёма и ошибка отклонения) эквивалентны. Чем ниже коэффициент EER, тем выше точность биометрической системы.

Для параметров FMR и FNMR строят аналогичный график (см. рис. 2). Обратите внимание, что этот график всегда должен иметь привязку к объему базы данных (обычно числа выбирают с шагом 100, 1000, 10000 шаблонов и т.д.).

 

Рис. 2. Графики FMR и FNMR

 

КОО – кривая компромиссного определения ошибки (англ. DET – detection error trade-off curve; DET curve). Модифицированная кривая рабочей характеристики, по осям которой отложены вероятности ошибки (ложноположительная – по оси X и ложноотрицательная – по оси У), (ГОСТ Р ИСО/ МЭК19795-1-2007).

Кривую КОО (DET) используют для построения графика вероятностей ошибок сравнения (ВЛНС (FNMR) в зависимости от ВЛС (FMR)), вероятностей ошибок принятия решения (ВЛНД (FRR) в зависимости от ВЛД (FAR)) (см. рис. 3-4) и вероятностей идентификации на открытом множестве (ВЛОИ в зависимости от ВЛПИ), (ГОСТ Р ИСО/МЭК19795-1-2007).

 

Рис. 3. График DET.

 

Рис. 4. Пример кривых КОО (ГОСТ Р ИСО/МЭК19795-1-2007).

 

Графики, отображающие качество работы биометрических систем достаточно многочисленны, иногда создается впечатление, что их назначение запутать доверчивого пользователя. Существуют ещё РХ – кривая рабочей характеристики (см. рис. 5), (англ. ROC-receiver operating characteristic curve), (см. рис. 6), и, конечно, Вы понимаете, что это далеко не последние кривые и зависимости, которые существуют в биометрии, но для ясности вопроса не будем на них останавливаться.

 

Рис. 5. Пример набора кривых РХ (ГОСТ Р ИСО/МЭК19795-1-2007)

 

Рис. 6. Пример ROC-кривой.

 

Кривые РХ (ROC) не зависят от порога, что позволяет проводить сравнение эксплуатационных характеристик различных биометрических систем, используемых в аналогичных условиях, или одной биометрической системы, используемой в различных условиях окружающей среды.

Кривые РХ (ROC) используют для изображения эксплуатационных характеристик алгоритма сравнения (1 – ВЛНС в зависимости от ВЛС), (1 – FNMR в зависимости от FMR) эксплуатационных характеристик биометрических систем верификации (1 – ВЛНД в зависимости от ВЛД), (1 – FRR в зависимости от FAR), а также эксплуатационных характеристик биометрических систем идентификации на открытом множестве (вероятность идентификации в зависимости от ВЛПИ).

 

Примечание: ВЛПИ – вероятность ложноположительной идентификации; (англ. FPIR-false-positive identification-error rate), т.е. доля транзакций идентификации незарегистрированных в системе пользователей, в результате которых возвращается идентификатор. (ГОСТ Р ИСО/МЭК19795-1-2007).

 

Самое главное из перечисленного в разделе:

  1. Параметры FAR (ВЛД), FRR (ВЛНД) и FMR (ВЛС) FNMR (ВЛРС) имеет смысл рассматривать только в совокупности;
  2. Чем ниже коэффициент EER, тем выше точность биометрической системы;
  3. Хорошим тоном для биометрической системы является наличие графиков DET (КОО) и ROC (РХ).

 

Границы параметров FAR и FRR биометрических систем

Теперь давайте прикинем, какие параметры FAR и FRR должны быть у биометрических систем. Обратимся за аналогией к требованиям для цифрового кодонаборника. Согласно ГОСТ число значимых десятичных цифр должно быть не менее 6, т.е. диапазон 0-999999, или 10-7 вариантов кода. Тогда вероятность FAR – 10-7, а вероятность FRR – определяется работоспособностью системы, т.е. стремится к нулю.

В банкоматах используется 4-разрядный десятичный код (что не соответствует ГОСТ), и тогда FAR – будет составлять 10-5. Возьмем FAR=10-5 за определяющий параметр. Какое значение можно взять за приемлемое для FRR? Это зависит от задач биометрическом системы, но нижняя граница должна находиться в диапазоне 10-2, т.е. Вас как легального пользователя, система не допустит только один раз из ста попыток. Для систем с большой пропускной способностью, например проходная завода, это значение должно быть 10-3, иначе не понятно назначение биометрии, если мы не избавились от «человеческого» фактора.

Многие биометрические системы заявляют похожие и даже на порядок лучшие характеристики, но поскольку наши величины являются вероятностными, то необходимо указывать доверительный интервал этой величины. С этого момента производители биометрии предпочитают не вдаваться в подробности и не указывать данный параметр.

Если методика расчета, схема эксперимента и доверительный интервал не указаны, то по умолчанию подразумевается действие правила «тридцати», которое выдвинул J.F. Poter в работе «On the 30 error criterion», 1997 г.

Об этом же говорит и ГОСТ Р ИСО/МЭК19795- 1-2007- «В правиле тридцати утверждается, что для того, чтобы с доверительной вероятностью 90% истинная вероятность ошибки находилась в диапазоне ±30% от установленной вероятности ошибки, должно быть зарегистрировано не менее 30 ошибок. Например, если получены 30 ошибок ложного несоответствия в 3000 независимых испытаниях, можно с доверительной вероятностью 90% утверждать, что истинная вероятность ошибки находится в диапазоне от 0,7% до 1,3%. Правило следует непосредственно из биноминального распределения при независимых испытаниях и может применяться с учетом ожидаемых эксплуатационных характеристик для выполнения оценки.

После этого следует логичный вывод, чтобы получить величину ложного доступа в 10-5 нужно провести 3x10+6 опытов, что практически невозможно осуществить физически при реальном тестировании биометрической системы. Вот тут нас начинают мучить смутные сомнения.

Остается надеяться, что такое тестирование было проведено в лаборатории путем сравнения шаблонов вводимых биометрических признаков с шаблонами базы данных системы. Лабораторные испытания позволяют достаточно корректно оценить надежность заложенных алгоритмов обработки данных, но нереальную работу системы. Лабораторные испытания исключают такие воздействия на биометрическую систему, как электромагнитные наводки (актуально для всех систем биометрии), запыление или загрязнение контактных или дистанционных устройств считывания биометрического параметра, реальное поведение человека при взаимодействии с устройствами биометрии, недостаток или избыток освещения, периодическое изменение освещенности и т.д., да мало ли, что еще может повлиять на такую сложную систему, как система биометрии. Если бы человек мог заранее предугадать все негативно действующие факторы, то можно было бы и не проводить натурные испытания.

Из своего опыта работы с другими охранными системами можем утверждать, что даже опытная эксплуатация охранной системы в течение 45 суток не выявляет большинство скрытых проблем, и только опытная эксплуатация в течение 1-1,5 лет позволяет их устранить. У разработчиков существует даже термин – «детские болезни». Любая система должна ими переболеть.

Таким образом, кроме лабораторных испытаний необходимо проводить и натурные испытания, естественно, что оценки доверительных интервалов при меньшем количестве опытов должны оцениваться по другим методикам.

Обратимся к учебнику «Теория вероятностей» (Е.С. Вентцель, из-во «Наука» 1969 г. стр.334), который утверждает, если вероятность Р очень велика или очень мала (что несомненно соответствует реальным результатам измерения вероятностей для биометрических систем) доверительный интервал строят, исходя не из приближенного, а из точного закона распределения частоты. Нетрудно убедиться, что это есть биномиальное распределение. Действительно, число появлений события А в n опытах распределено по биномиальному закону: вероятность того, что событие А появится ровно m раз, равна

               (14.5.11),

а частота р* есть не что иное, как число появлений события, деленное на число опытов.

В данном труде приводится графическая зависимость доверительного интервала от количества проведенных опытов (см. рис. 7) для доверительной вероятности β=0,9.

 

Рис. 7. Графическая зависимость доверительного интервала от количества проведенных опытов

 

Рассмотрим пример. Мы провели 100 натурных опытов из которых получили вероятность события равную 0,7. Тогда по оси абсцисс откладываем значение частоты р*=0,7, проводим через эту точку прямую, параллельную оси ординат, и отмечаем точки пересечения прямой с парой кривых, соответствующих данному числу опытов n=100; проекции этих точек на ось ординат и дадут границы р1=0,63, р2=0,77 доверительного интервала.

Для тех случаев, когда точность построения графического метода недостаточна, можно воспользоваться достаточно детальными табличными зависимостями (см. рис.8) доверительного интервала приведенными в труде «Теория вероятностей и математическая статистика в технике» И.В. Дунин-Барковский и Н.В. Смирнов, из-во технико-теоретической литературы, Москва 1955 г.

 

Рис. 8 Фрагмент табличной зависимости доверительного интервала от количества проведенных опытов для доверительной вероятности р=0,95. В данной таблице х – числитель, n – знаменатель частости. Вероятности умножены на 1000.

 

Рассмотрим пример. Мы провели 204 натурных опытов из которых событие произошло 4 раз. Вероятность Р=4/204=0,0196, границы доверительного интервала. р1=0,049, р2=0,005.

Теоретически подразумевается, что заявленные в документации параметры должны быть подтверждены сертификатами. Однако, в России почти во всех областях жизни действует институт добровольной сертификации, поэтому сертифицируют на те требования, на которые хотят или могут получать сертификат.

Берем первый попавшийся сертификат на биометрическую систему, и видим 6 наименований ГОСТ, из которых ни один не содержит перечисленные выше параметры. Слава богу, что они хоть относятся к охранной технике и нормам безопасности. Это ещё не самый худший вариант, приходилось встречать приемники и передатчики радиосистем передачи данных (РСПИ), сертифицированные как электрические машины.

 

Самое главное из перечисленного:

  1. Параметры FAR (ВЛД) должны быть не ниже 10-5, а FRR (ВЛНД) должны находиться в диапазоне 10-2 ÷ 10-3.
  2. Не стоит безоговорочно доверять указанным в документации вероятностным параметрам, их можно воспринимать только как ориентир.
  3. Кроме лабораторных испытаний необходимо проводить и натурные испытания биометрических систем.
  4. Необходимо попытаться получить от разработчика, производителя, продавца как можно больше информации о реальных параметрах системы и методике их получения.
  5. Не ленитесь расшифровывать на какие ГОСТ(ы) и пункты ГОСТ(ов) сертифицирована биометрическая система.
  6. В продолжение начатой темы, о реальных системах биометрической идентификации предлагаем поговорить в статье «Основные биометрические системы».

 

Перечень литературы и использованных материалов:

  1. http://www.1zagran.ru;
  2. http://fingerprint.com.ua/;
  3. http://habrahabr.ru/post/174397/;
  4. http://sonda.ru/;
  5. http://eyelock.com/index.php/products/hbox;
  6. http://www.bmk.spb.ru/;
  7. http://www.avtelcom.ru/;
  8. http://www.nec.com/en/global/solutions/security/products/hybrid_finger.html ;
  9. http://www.ria-stk.ru/mi «Мир измерений» 3/2014;
  10. http://www.biometria.sk/ru/principles-of-biometrics.html;
  11. http://www.biometrics.ru;
  12. http://www.guardinfo.ru/ «Система физической защиты (СФЗ) ядерных материалов и ядерно-опасных объектов»;
  13. http://cbsrus.ru/;
  14. http: www.speechpro.ru;
  15. J. F. Poter «On the 30 error criterion», 1997 г;
  16. ГОСТ Р ИСО/МЭК19795-1-2007 «Автоматическая идентификация. Идентификация биометрическая. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 1. Принципы и структура.»;
  17. Р.М. Болл, Дж. Х. Коннел, Н.К.Ратха, Э.У. Сеньор «Руководство по Биометрии», 2006 г, из-во ЗАО «РИЦ» «Техносфера»;
  18. К.К. Симончик, Д.О. Белевитин, Ю.Н. Матвеев, Д.В. Дырмовский «Доступ к интернет-банкингу на основе бимодальной биометрии», из-во «Мир измерений 3/2014».
  19. «Теория вероятностей и математическая статистика в технике» И.В. Дунин-Барковский и Н.В. Смирнов, из-во технико-теоретической литературы, Москва 1955 г.

 

Опубликовано в ж. «Информохрана», 7/15, С. 31-37

Просмотров: 714

Ваши комментарии:

Для того, чтобы оставлять коментарии, Вам нужно авторизоваться на Sec.Ru. Если У Вас еще нет аккаунта, пройдите процедуру регистрации.


Информация

  • Снимай крутую видеорекламу - выкладывай на Sec.Ru!

    Рекламный ролик - один из самых эффективных способов донесения информации. И он отлично подходит для рекламирования любой продукции, в т.ч. и продукции рынка систем безопасности.
    Поэтому редакция Портала решила составить свой рейтинг лучших рекламных видеороликов. Все они разные и все чем-то покоряют: красотой, задумкой, стилем съемки, посылом, необычным финалом.
    Некоторые из них язык не повернется назвать иначе как шедевром короткого метра. Смотрим, наслаждаемся, делаем заметки, учимся творить рекламу правильно.
    Если Вы хотите выложить видеоролик о своей продукции на Sec.Ru, пишите о своем желании на adv@sec.ru!

    Картинка: Jpg, 100x150, 16,47 Кбайт

    Мотор!

Отраслевые СМИ

Все права защищены 2002 – 2017
Rambler's Top100 �������@Mail.ru