22 мая 2013
Конфиденциальность и услуги анализа данных
Под термином «услуги анализа данных», используемом в статье, будем подразумевать некоторые работы или исследования над данными с целью их классификации, поиска скрытых зависимостей, построения математических моделей или прогнозов. Также в этот термин включим смежные действия, такие как формализация, кодирование (в смысле перевода в машиночитаемую форму, а не шифрования), накопление и др.
Многие организации обладают данными, анализ которых может повысить эффективность работы, оптимизировать деятельность, создать конкурентные преимущества. Служба безопасности говорит своё железобетонное «нет» при рассмотрении вопроса возможности передачи данных внешнему исполнителю для анализа, из-за того что не знает как можно обеспечить сохранение конфиденциальности после передачи.
В статье рассмотрено решение, которые обеспечит выполнение необходимого анализа и удовлетворит службу безопасности, т. к. конфиденциальность данных не нарушается.
Основные потребители услуг анализа данных
Где и когда возникает потребность в подобной услуге? Потребность возникает в организациях, где сложились определенные условия, рассмотрим их подробнее.
Высокий уровень автоматизации (компьютеризации) основной деятельности. В противном случае или объем обрабатываемых данных мал и скорость обработки данных не влияет на основную деятельность или велик неиспользованный потенциал по внедрению средств автоматизации, реализация которого дает более быстрый и наглядный эффект. Содержательный смысл оценки «высокий» или «низкий» уровень автоматизации сильно зависит от сферы деятельности. Для выработки объективных критериев подобной оценки требуются, помимо ИТ-знаний, знания в предметной области, в которой работает организация.
Конкуренция или изменение условий ведения бизнеса. Иначе у организации нет стимула для улучшений, отсутствуют цели, которых необходимо добиться. Бывают исключения, когда процесс оптимизации и совершенствования не стоит на месте, но это редко встречается и, в подобных случаях, является результатом усилий нескольких конкретных сотрудников, после ухода которых процессы замедляются или быстро останавливаются.
Желание и воля руководителей (сотрудников обладающих достаточными полномочиями или влиянием в организации) для преодоления сопротивления внутри организации для достижения поставленных целей.
Примеры таких потребителей: банки, страховые компании, торговые сети, операторы связи, крупные и средние компании.
Внутренний или внешний исполнитель
После принятия решения о необходимости выполнения анализа данных перед организацией встает вопрос выбора исполнителя: внутренний или внешний. При принятии решения необходимо найти баланс интересов по следующим направлениям:
- цели и соответствующие им задачи, которые должны быть решены с помощью анализа данных;
- качество выполнения работ;
- безопасность информации;
- минимизация затрат на выполнение работ и обеспечение безопасности.
Безопасность информации не на первом месте, это не ошибка автора при составлении списка, а аргументированный выбор «людей от бизнеса». Для владельцев и руководителей организаций безопасность информации не самоцель, а инструмент, точнее, один из инструментов. Инструмент должен помогать, а не мешать.
Полемика вокруг важности и приоритетности различных аспектов безопасности (от информационной до противопожарной) выходит за рамки данной статьи.
Рассмотрим подробнее вопрос качества выполнения анализа данных. Для наглядности сравнения возможных исполнителей составим таблицу. В конце таблицы также включим пункты о соответствующих затратах и безопасности.
№№ |
Критерий |
Внутренний исполнитель |
Внешний исполнитель |
1 |
Наличие знаний в предметной области. |
Может быть привлечен собственный эксперт в предметной области, постоянно или на необходимых этапах в качестве консультанта для основного исполнителя. |
Исполнитель может не обладать необходимыми знаниями в предметной области. Может понадобиться дополнительный поиск исполнителя или выделение собственного эксперта. |
2 |
Необходимость глубоких знаний в предметной области. |
Зависит от поставленных задач. |
3 |
Наличие персонала, обладающего знаниями в области ИТ (СУБД, программирование и др.) и анализа (статистика, математическое моделирование, data mining и др.). |
Персонал со знаниями в области ИТ обычно есть, но полностью задействован в решении текущих задач. Персонал со знаниями методик анализа может отсутствовать или не обладать необходимым уровнем подготовки. |
Персонал есть. Квалификацию можно косвенно оценить по отзывам клиентов и портфолио. |
4 |
Необходимость наличия персонала со знаниями в сферах ИТ и анализа. |
Обязательно. Обработка значительного объема информации требует соответствующих инструментов – баз данных для хранения, программных модулей, реализующих алгоритмы анализа. Необходимы знания для корректного применения методов анализа, построения адекватных моделей и т.д. |
5 |
Необходимость наличия свободных вычислительных мощностей. |
Обязательно, но объем необходимых вычислительных мощностей сильно зависит от поставленных задач.
Объем выделенных вычислительных ресурсов может влиять на скорость получения результата. |
Обычно серверные вычислительные мощности загружены, как следствие – ограничения по объемам ресурсов или времени их выделения. Часто есть возможность выделить современную рабочую станцию, этого бывает достаточно. |
Вычислительные мощности доступны и, при необходимости, могут наращиваться. |
6 |
Объективность результатов
(что особенно важно при оценке эффективности работы сотрудников или подразделений). |
Объективность результатов может быть не всегда достижима, т.к. внутри организации могут быть люди, заинтересованные в искажении результатов. |
Результаты близки к объективным, т.к. у исполнителя отсутствует заинтересованность в искажении результатов, наоборот, наоборот, искажения отрицательно влияют на репутацию. |
7 |
Корректность результатов и/или моделей
(что особенно важно при прогнозировании и планировании принятия решений). |
Даже при наличии достаточных квалификации и опыта в области анализа и моделирования, на собственного исполнителя могут влиять другие сотрудники и такое понятие как план (лозунг «План – закон, выполнение – долг, перевыполнение – честь!» никто не отменял).
Собственному специалисту, чаще всего, известен весь массив данных, что затрудняет верификацию результатов и выявление подгонки математических моделей под данные. |
Внешний исполнитель может не знать обо всех целях, для которых выполняет расчеты.
Сложившаяся практика – предоставление внешнему исполнителю некоторой части данных для сохранения возможности дополнительной верификации и оценки качества моделей на полном наборе. |
8 |
Формализация алгоритмов и математических моделей. |
Формализация и документальное оформление этапов разработки моделей, алгоритмов обработки и т.д. – это дополнительная нагрузка на исполнителей, поэтому этот этап часто опускается. Это может создать трудности при повторном выполнении этих же работ. |
Необходимость предоставления документов и описаний, как правило, указана в договоре.
Наличие этих документов может не только ускорить, но и удешевить повторные работы. |
9 |
Наличие эффективных механизмов по контролю сроков выполнения и затрат на проект. |
При высокой загруженности собственных исполнителей сроки могут сдвигаться. Часть затрат будут косвенными и просчитать их бывает сложно. |
Сроки, расходы и штрафные санкции включены в договор. |
10 |
Конфиденциальность |
Собственный исполнитель, как правило, уже имеет доступ к обрабатываемой информации, круг людей, ознакомленных с информацией, не расширяется или расширяется незначительно.
С собственными сотрудниками уже заключены соглашения о неразглашении.
Информация не покидает организацию, все эксплуатируемые средства защиты продолжают функционировать (DLP, шифрование и т.д.). |
Информация покидает защищаемый и контролируемый периметр.
Не всегда возможно убедиться в высоком уровне защиты данных у подрядчика.
Необходимо заключать дополнительные соглашения о неразглашении сведений.
Возможно применение дополнительных методов, снижающих риски утечки данных. |
Организации, для которых эффективное управление имеющимися данными – элемент конкурентного преимущества, при наличии достаточных бюджетов создают собственные аналитические службы, действующие на постоянной основе. В остальных случаях делается выбор между возложением на своих сотрудников дополнительной нагрузкой или привлечением внешнего исполнителя.
Если принято решение о привлечении для выполнения работ внешнего исполнителя, возникает вопрос защиты информации.
Методы обеспечения конфиденциальности информации при выполнении работ по анализу данных внешним исполнителем
Репутация и портфолио выполненных могут подтверждать порядочность и щепетильность подрядчика в вопросах обработки клиентских данных. Обязательный этап – заключение соглашения о неразглашении, в котором указаны штрафные санкции.
Какие существуют дополнительные методы? С точки зрения автора технические методы обеспечения конфиденциальности можно сгруппировать по трём направления:
- ограничение объема передаваемых данных;
- искажение;
- легендирование.
Указанные технические меры выполняются на стороне организации заказчика. Наибольшей эффективности можно добиться комплексным применением, например, вначале из общего массива данных делается репрезентативная1 выборка, на выборку накладываются искажения, после этого пишется легенда.
Ограничение объема передаваемых данных
Данный метод имеет следующие преимущества:
- сильно усложняется процесс идентификации реальных объектов по анализируемым данным, к которым они относятся;
- усложняется процесс оценки общего объема данных (и, соответственно, объем бизнеса), если подрядчику не сообщается какая именно часть данных ему предоставлена;
- возможность последующей верификации полученных моделей на полном наборе данных.
Недостаток метода – необходимость предварительной, пусть и не очень сложной, обработки, а именно – выбор критериев, с помощью которых будет осуществляться ограничение объема выборки. Выборка должна быть репрезентативной.
Например, банк планирует оценить движения по счетам клиентов с целью прогнозирования и выявления зависимостей. Данные могут быть подготовлены по следующему алгоритму: равномерно выбираются 25% платежей из 2010 года, 25% платежей из 2011 года, и 75% платежей из 2012 года, данные объединяются.
Искажения данных
Данный метод имеет следующие преимущества:
- дополнительное усложняется процесса возможной идентификации реальных объектов по анализируемым данным;
- усложняется процесс возможной оценки реальных значений, если подрядчику не сообщается точное преобразование.
Недостатки метода:
- необходимость преобразований при передаче данных и обратное преобразование при получении результатов;
- возможна некоторая потеря точности, если модели не учитывает возможность масштабирования (за счет выбора преобразования или постановки задачи потеря точности может быть минимизирована и не влиять на результат).
Искажения могут вноситься на разных этапах, конкретные значения могут заменяться на коды диапазонов (диапазоны не обязательно равномерные) или масштабироваться. Для масштабирования чаще всего применяется линейное или аффинное преобразования2.
Например, банк планирует оценить движения по счетам клиентов с целью прогнозирования и выявления зависимостей. Репрезентативная выборка сделана. Размер платежа может быть масштабирован с помощью линейного преобразования (умножение на коэффициент 1/75 с последующим округлением до двух знаков после запятой) или заменен номером диапазона, в который попадает платеж (диапазон №1 от 0 до 100, диапазон №2 от 101 до 500 и т.д.). На этом же этапе проводится искажение дат платежей (год заменяется на 2000, даты корректируются, чтобы попадали на рабочие дни).
Легендирование
Создание легенды – процесс творческий. Создание легенды помогает обезличить данные и даже оторвать их от конкретной предметной области или заказчика.
Легенда может направить возможные поиски источника данных по ложному следу, усилить искажающий эффект, «превратить» анализируемые данные в «ненастоящие».
Рассмотрим примера подготовки легенды. Некоторая платежная система планирует улучшить защиту от мошеннических операций. Для этого необходимо проанализировать параметры платежей и электронных кошельков. В ограниченной выборке за некоторый период выполнены искажения, отмечены заведомо мошеннические операции. Качество разработанных алгоритмов будет тестироваться сотрудниками платежной системы на полных данных. Платежи маскируются под расчеты с пластиковыми картами:
- формальным заказчиком выступает другая организация (по личной договоренности между руководителями);
- в описаниях произведена замена терминов «электронный кошелек» на «карточный счет», «валюта кошелька» на коды валют в рамках банковского счета, «личный кабинет» на «интернет клиент-банк» и др.;
- введено искусственное деление комиссий за операции между виртуальными эмитентом и эквайером.
Организация, формально выступающая заказчиком, объявляет открытый конкурс, на который допускаются все желающие.
Заключение
Потребность в услугах анализа данных существует. От служб безопасности во многом зависит, быть или не быть аутсорсингу в данной области, кто раньше и эффективнее успеет извлечь конкурентные преимущества: своя организация или конкуренты.
Современная служба безопасности должна проявлять гибкость и изобретательность, находить возможности удовлетворять современным требованиям бизнеса и обеспечивать конфиденциальность данных.
Литература:
- http://ru.wikipedia.org/wiki/Репрезентативность
- http://ru.wikipedia.org/wiki/Аффинное_преобразование