Описание модели

Необходимо отслеживать различные данные о каждой модели или процессе. Обратите внимание: моделью в этом случае может быть настоящая прогнозная модель или другой аналитический процесс, который должен запускаться на регулярной основе, например ранжирование клиентов в зависимости от объема продаж. Модель или процесс регистрируются в системе управления моделями в момент ее создания. Отслеживаемые данные включают следующее:

• Предполагаемый способ использования модели. Какую бизнес-проблему она решает? В каких ситуациях ее следует использовать?
• История модели. Когда она была создана? Кто ее создал? Какие изменения она претерпела?
• Статус модели. Находится ли она по-прежнему в разработке? Используется ли она? Выведена ли она из эксплуатации?
• Тип модели. Какой алгоритм использован? Какие методы применены?
• Скоринговая функция модели. Как называется SQL-сценарий, хранимая процедура, встроенный процесс или определенная пользователем функция, которая предоставляет пользователю результаты скоринга? Обратите внимание, что скоринговая функция предполагает доступность требуемых таблиц аналитического набора данных.
• Информация о входных переменных модели. Какие переменные из входного аналитического набора(ов) данных используются в модели или процессе? Конкретная модель или процесс может потребовать метрики только из одного ADS или из нескольких.

Проверка модели и отчетность

Как правило, для управления моделями и процессами необходимы отчеты, которые охватывают целый ряд тем и целей:

• Отчеты, которые сравнивают конкретный прогон процесса ско-ринга с базовыми показателями, использованными на стадии разработки.
• Сводная статистика, например график прироста, которая нуждается в изучении после каждого запуска процесса скоринга.
• Сравнение моделей или сводные данные о распределении переменных.

Отчеты могут создаваться автоматически при обновлении результатов скоринга или только по запросу. Такие отчеты часто используются на критической стадии мониторинга производительности модели. Со временем, по мере развития ситуации в бизнесе, модели будут деградировать. Отчеты помогают определить момент, когда модель следует пересмотреть.

Не теряйте контроль

Без согласованных усилий по отслеживанию моделей и аналитических процессов возникает риск, что модели будут использоваться неправильно или вообще не будут использоваться. система управления моделями и оценками помогает снизить этот риск, а также гарантирует, что при обновлении одного процесса можно легко определить, какие из оставшихся процессов будут затронуты.

Выходные данные модели

Последние элементы, которые необходимо отслеживать, — это оценки, выходные данные процесса скоринга. Это фактические оценки, сгенерированные для каждого объекта, например потребителя, местоположения или товара:

• Каково значение оценки? Где она хранится? Каков идентификатор клиента, товара и т. д., для которого сгенерирована оценка?
• Временная отметка, соответствующая моменту создания оценки.
• При необходимости — созданные ранее оценки наряду с текущими. Одни организации в течение длительного времени хранят старые оценки, другие — нет. Следует выбрать тот вариант, который больше всего подходит для вашей организации.

Укрощение больших данных: как извлекать знания из массивов информации
с помощью глубокой аналитики / Билл Фрэнкс. - М.: Манн, Иванов и Фербер, 2014.
Опубликовано с разрешения издательства