Управление рабочей нагрузкой и планирование мощностей

Существует множество компонентов систем баз данных, которые обеспечивают надежную работу песочницы. Пользователей песочницы можно отнести к группе, которая имеет разрешение на разработку новых передовых аналитических процессов. Можно, например, ограничить ресурсы процессора, выделяемые для данного пользователя песочницы. Системы корпоративного класса достаточно гибки, чтобы выделить для пользователей только 10% ресурсов в период высокой нагрузки, однако в ночное время всю систему может использовать один пользователь.

Контролируются количество одновременных запросов или даже типы запросов пользователей. Например, им может быть позволено выполнять лишь пять параллельных заданий одновременно. Могут существовать процессы для выявления и отмены плохо сформированных запросов, например запроса, содержащего перекрестное соединение двух больших таблиц.

Важно ограничить использование дискового пространства посредством политики сохранения данных. Если набор данных в песочнице не был востребован в течение пары месяцев, его следует удалять по умолчанию. Песочницы не должны использоваться для непрерывного наращивания наборов данных, как это часто бывает в традиционных средах.

У некоторых моих клиентов было пять терабайт различных корпоративных данных, однако их аналитическая среда содержала от 30 до 50 терабайт. Причина в том, что каждый аналитик сделал копию большей части данных. У каждого аналитика, возможно, было даже несколько копий данных для разных проектов. Вот почему существует огромное количество избыточных данных. Один и тот же подход не должен повторно использоваться в среде песочницы. Данные в песочнице должны удаляться, если только не существует конкретной причины для их сохранения.

По мере того как во внутренней песочнице запускается все больше аналитических процессов, будут меняться соотношения и уровни использования ресурсов как в среде песочницы, так и в производственной среде. Это нормально. Поскольку среды работают на одной стандартизированной платформе, аналитическая обработка может быть учтена в прогнозах использования ресурсов точно так же, как все остальное. Планы загрузки мощностей следует обсудить перед началом работы, однако в обработке данных в песочнице нет ничего особенного, что могло бы изменить действия людей, которые разрабатывают эти планы. Работа в песочнице просто встраивается в общий процесс. Системные администраторы знают, как это обеспечить.

Бытует распространенное заблуждение, что аналитическая песочница способна «уничтожить» систему, использовать все ресурсы и спровоцировать хаос. Это неправда. Очень крупные аналитические задания, как правило, необходимо запустить один или два раза в начале работы над проектом. Их не нужно запускать снова и снова. Запуск крупных заданий можно легко запланировать, например, на ночное время, когда система не загружена на полную мощность. Вместо того чтобы затратить все системные ресурсы, аналитическая песочница способна привести к противоположному результату. Запущенные в песочнице аналитические процессы могут использовать ресурсы, которые в противном случае были бы невостребованными. Это позволяет получить дополнительную отдачу от инвестиций в инфраструктуру без лишних расходов. Это здорово!

Истина прямо противоположна тому, во что многие верят!

Среда песочницы может обеспечить создание дополнительной ценности за счет текущих инвестиций, а не за счет дополнительных затрат. Ее использование не подразумевает необходимости в покупке нового оборудования. Кроме того, песочница не мешает другим процессам. Она повышает отдачу от инвестиций без каких-либо негативных последствий. Как только вы поймете, что собой представляет песочница и как она работает, вы осознаете, что истина прямо противоположна тому, во что многие верят!

И последний важный момент. Добавление аналитических процессов в среду песочницы само по себе не требует новых мощностей. Если в настоящее время система используется на 95–99%, то добавление внутренней песочницы, вероятно, потребует обновления системы. Это вызвано только тем, что система настолько загружена, что любое новое приложение или процесс, добавленные в нее, потребуют наращивания мощностей. Точно так же, если для создания внешней песочницы используется старое оборудование, не возникает необходимости в новых затратах. На самом деле дополнительная ценность будет обеспечиваться благодаря оборудованию, которое в противном случае было бы выброшено и не приносило бы никакой пользы.

Укрощение больших данных: как извлекать знания из массивов информации с помощью глубокой аналитики / Билл Фрэнкс. - М.: Манн, Иванов и Фербер, 2014.
Опубликовано с разрешения издательства