Описание модели
Необходимо отслеживать различные данные о каждой модели или процессе. Обратите внимание: моделью в этом случае может быть настоящая прогнозная модель или другой аналитический процесс, который должен запускаться на регулярной основе, например ранжирование клиентов в зависимости от объема продаж. Модель или процесс регистрируются в системе управления моделями в момент ее создания. Отслеживаемые данные включают следующее:
- Предполагаемый способ использования модели. Какую бизнес-проблему она решает? В каких ситуациях ее следует использовать?
- История модели. Когда она была создана? Кто ее создал? Какие изменения она претерпела?
- Статус модели. Находится ли она по-прежнему в разработке? Используется ли она? Выведена ли она из эксплуатации?
- Тип модели. Какой алгоритм использован? Какие методы применены?
- Скоринговая функция модели. Как называется SQL-сценарий, хранимая процедура, встроенный процесс или определенная пользователем функция, которая предоставляет пользователю результаты скоринга? Обратите внимание, что скоринговая функция предполагает доступность требуемых таблиц аналитического набора данных.
- Информация о входных переменных модели. Какие переменные из входного аналитического набора(ов) данных используются в модели или процессе? Конкретная модель или процесс может потребовать метрики только из одного ADS или из нескольких.
Проверка модели и отчетность
Как правило, для управления моделями и процессами необходимы отчеты, которые охватывают целый ряд тем и целей:
- Отчеты, которые сравнивают конкретный прогон процесса ско-ринга с базовыми показателями, использованными на стадии разработки.
- Сводная статистика, например график прироста, которая нуждается в изучении после каждого запуска процесса скоринга.
- Сравнение моделей или сводные данные о распределении переменных.
Отчеты могут создаваться автоматически при обновлении результатов скоринга или только по запросу. Такие отчеты часто используются на критической стадии мониторинга производительности модели. Со временем, по мере развития ситуации в бизнесе, модели будут деградировать. Отчеты помогают определить момент, когда модель следует пересмотреть.
Не теряйте контроль
Без согласованных усилий по отслеживанию моделей и аналитических процессов возникает риск, что модели будут использоваться неправильно или вообще не будут использоваться. система управления моделями и оценками помогает снизить этот риск, а также гарантирует, что при обновлении одного процесса можно легко определить, какие из оставшихся процессов будут затронуты.
Выходные данные модели
Последние элементы, которые необходимо отслеживать, — это оценки, выходные данные процесса скоринга. Это фактические оценки, сгенерированные для каждого объекта, например потребителя, местоположения или товара:
- Каково значение оценки? Где она хранится? Каков идентификатор клиента, товара и т. д., для которого сгенерирована оценка?
- Временная отметка, соответствующая моменту создания оценки.
- При необходимости — созданные ранее оценки наряду с текущими. Одни организации в течение длительного времени хранят старые оценки, другие — нет. Следует выбрать тот вариант, который больше всего подходит для вашей организации.
Укрощение больших данных: как извлекать знания из массивов информации
с помощью глубокой аналитики / Билл Фрэнкс. - М.: Манн, Иванов и Фербер, 2014.
Опубликовано с разрешения издательства
- << Назад
- Вперёд