Обзор направлений применения QlikView

Автор:

к.т.н, директор компании СтавАналит Хороненко А.Ю.

С программным продуктом QlikView получилось познакомиться примерно два года назад, осенью 2013 года. С самого начала поразили его возможности по загрузке и последующему использованию данных, а также, конечно, скорости вычислений.

Через некоторое время было проведено около десятка встреч с представителями организаций (не просто сторонних организаций, а клиентов, которые не один год обслуживались нами по вопросам автоматизации учета, т.е. как бы «своих»), на которых демонстрировались возможности QlikView. Демонстрацию возможностей проводили в соответствии с рекомендациями разработчика фирмы QlikTech, основной упор делая на использовании программы в области бизнес-анализа.
 
QlikView – замечательный программный продукт. Благодаря своим уникальным характеристикам область его применения может быть намного шире, чем направление бизнес-анализа. Так интересен ли QlikView для использования в повседневной деятельности предприятий? Безусловно, если на предприятии существует потребность в возможностях использования QlikView, обзор которых представлен ниже.

Что расширяет область применения QlikView

С подробной информацией о возможностях программного продукта можно ознакомиться на сайте разработчика по адресу http://global.qlik.com/ru/.
 
Чтобы понять, за счет чего расширяется область применения QlikView, необходимо провести анализ обобщенной схемы функционирования программного продукта (Рис.1).
 
Рис.1. Обобщенная схема функционирования QlikView
 

С одной стороны, как видно из рисунка, обобщенная схема состоит из двух основных этапов – этап загрузки данных в файл проекта и этап построения пользовательского приложения.

В результате выполнения первого этапа формируется файл проекта, содержащий внутри себя структурированные данные, загруженные из внешних источников. На втором этапе эти внутренние данные при помощи внутренних механизмов представляются в требуемой форме пользователю в виде диаграмм, таблиц и отдельных значений в рамках соответствующего приложения.

С другой стороны, сам QlikView, как показала практика использования, обладает следующими замечательными характеристиками:

  • используя имеющиеся в QlikView технологии можно организовать подключения к ко многим различным источникам данных (подробнее см. на сайте разработчика http://global.qlik.com/ru/explore/solutions/data-source/qlikview-data-sources). Если подключение все-таки невозможно, для загрузки данных можно использовать файлы выгрузки данных из соответствующих источников;

  • при подключении к источникам данных QlikView, как правило, не оказывает никакого влияния на сам источник. Это позволяет импортировать необходимые данные в QlikView не мешая работе с источником других приложений;

  • загрузка данных в файл проекта за счет применяемых технологий производится в минимальное время (таблицы данных с 15 млн. записей загружались в файл проекта менее одной минуты);

  • пересчет данных при отборах производится с фантастическим быстродействием (диаграммы данных с 15 млн. записей пересчитывались около 1 секунды).

Двухэтапная загрузка данных в пользовательское приложение и технологические характеристики обработки данных на сегодняшний день позволяют выделить три области возможного применения QlikView:

  1. Управление предприятием на основе концепции показателей.

  2. Консолидация больших объемов данных с последующим анализом и представлением отчетности.

  3. Традиционный бизнес-анализ (BI) и поиск новых знаний на основе  использования имеющихся на предприятии данных или на основе Big Data (собственных и внешних данных, увязанных в единую структуру).

Далее вкратце рассматриваются особенности для каждой из перечисленных областей применения.

Управление предприятием на основе концепции показателей

Идея использования QlikView в данной области заключается в следующем.

В целях управления на предприятии может использоваться концепция показателей. Это может быть и «сбалансированная система показателей» Нортона и Каплана, и «шесть сигм», впервые внедренной Джеком Уэлчем в компании General Electric, и «бережливое производство» компании Тойота и другие. Главное, что концепция должна предполагать использование разработанных показателей на соответствующих уровнях управления предприятия.

Для расчета значения показателей на предприятии организовывается соответствующая система учета, в которой накапливаются требуемые данные. На основании накопленных данных с определенной периодичностью производится расчет значения показателей и в зависимости от их значений (удовлетворения заданным критериям) принимаются соответствующие управленческие решения.

Как правило, учетные системы накапливают данные в электронном виде. Использоваться могут различные варианты – от таблиц Excel, до специализированных баз данных (1С, Access, SAP, Oracle и т.п.).

При таком подходе может быть предложена концепция создания панели  индикаторов, автоматически отображающая необходимые данные. Индикаторы могут отражать как сами показатели, используемые в концепции управления, так и дополнительно разработанные  вспомогательные показатели.

При помощи QlikView производится подключение к данным системы учета предприятия (либо непосредственно, либо через механизм файловой выгрузки/загрузки), данные загружаются в файл проекта, на котором строится панель индикаторов. Данные из системы учета в QlikView загружаются с высокой скоростью автоматически (полностью исключается человеческий фактор!). На время загрузки данных система учета продолжает функционировать в прежнем режиме, выгрузка в QlikView не влияет на ее работу. Периодичность выгрузки определяется заданными требованиями (от часов для стратегического уровня управления до минут операционного уровня). После загрузки данным в файл проекта происходит практически мгновенный пересчет данных панели индикаторов. Сами индикаторы при правильной разработке не требуют дополнительных настроек и могут своим внешним видом (например, цветом, размерами, служебными сообщениями и т.п.) подсказывать должностному лицу варианты формирования управленческих решений.

Таким образом, должностное лицо получает в режиме требуемого времени напрямую, автоматически, без участия других сотрудников и дополнительных настроек значения соответствующего набора показателей на панели индикаторов для принятия соответствующих решений.

Подобная система была реализована, наприемр, на практике для оперативного контроля работы отдела разработки программного обеспечения и показала свою эффективность. Внешний вид индикатора панели представлен на Рис.2.

Рис. 2. Индикатор контроля хода работы программиста отдела разработки

На панели такой индикатор был расположен для каждого сотрудника отдела.

Цвет индикатора обозначает ход выполнения плана:

  • красный – оставшееся время до конца рабочего дня меньше общего планового времени на оставшиеся нерешенными на сегодня задач, выполнение плана под угрозой;

  • зеленый цвет – все плановые задачи на сегодня выполнены, программист решает текущие задачи;

  • желтый цвет – решение плановых задач идет по графику.

Кроме того, на индикаторе отображается количество закрытых сегодня задач, отработанных часов, задач, находящихся в данный момент в разработке, количество оставшихся не решенных задач. Дополнительной опцией была возможность вывода нажатием на сам индикатор таблицы со всеми необходимыми расшифровками по каждой задаче данного сотрудника. Данные для панели индикаторов брались из учетной системы 1С:Документооборот 8, специально доработанной под особенности функционирования отдела разработки. Периодичность загрузки данных составляла 5 минут. Время загрузки 14-18 секунд. Время пересчета после загрузки менее 1 секунды. При личной занятости руководителю отдела разработки достаточно одним взглядом по цвету индикаторов принять решение, вмешиваться ему в рабочий процесс или нет.

Подобные табличные индикаторы используются в настоящее время на уровне высшего менеджмента компании для контроля движения денежных средств по банку и кассе, дебиторской задолженности и т.п. (периодичность загрузки 30 минут, время загрузки 11-14 секунд, время пересчета индикаторов после загрузки менее 1 секунды).

В принципе, панель индикатора может быть разработана для любого бизнес-процесса предприятия при условии наличия необходимых данных для расчета показателей в системе учета.

Следует отметить, что локальный вариант использования  QlikView (версия Personal Edition) потребовал программную реализацию загрузки данных. В случае необходимости новую загрузку можно осуществить вручную, не дожидаясь очередной автоматической плановой загрузки. При этом следующая за ручной автоматическая загрузка произойдет через заданный интервал времени относительно ручной загрузки.

Следует отметить, что применение QlikView в данной области не требует знания QlikView конечными пользователями. Настройка панели индикаторов для автоматической загрузки из источника данных производится на этапе разработки и впоследствии дополнительных действий не требует.

Консолидация больших объемов данных с последующим анализом и представлением отчетности

Данная область применения используется, когда на предприятии используются несколько разрозненных источников информации (отдельные файлы Excel, базы 1С, текстовые файлы с разделителями и т.п.) и требуется анализ и/или составление отчетности с использованием консолидированных данных. Работы в данной области проводятся в два этапа:

  • анализ источников данных и разработка методологии загрузки данных из них в единый рабочий файл QlikView;

  • построение информационных панелей с необходимым набором таблиц и диаграмм для проведения анализа и построения отчетов с использованием консолидированных данных.

В дальнейшем, по мере накопления новой информации в используемых различных источниках данных производится повторная выгрузка с последующим обновлением данных в рабочем файле QlikView.

Если штатных возможностей по построению отчетов недостаточно, может быть использовано приложение, расширяющее возможности создания и распространения отчетов QlikView – Nprinting.

NPrinting позволяет организациям быстро создавать великолепно выглядящие отчеты на основе данных QlikView, предоставляя их в различных форматах, включая форматы Office и возможность использования макетов для точного размещения информации на листе. NPrinting позволяет гарантировать доступность отчетов сотрудникам в том месте и во время, когда они им необходимы. Создание и распространение отчетов может выполняться как на основе централизованно настраиваемого расписания, так и в режиме "по требованию".

Следует отметить, что для бюджетных проектов использование NPrinting может оказаться несколько дорогостоящим, т.к. оно продается только при наличии у пользователя лицензий QlikView (т.е. использование с версией  Personal Edition не предусматривается). В этом случае возможно либо все-таки использование штатных механизмов формирования отчетности в QlikView, либо консолидация и сбор необходимых в табличной форме с последующей выгрузкой в Excel, в случае необходимости.

В любом случае, консолидация с помощью QlikView особенно эффективна на больших объемах данных за счет фантастического быстродействия.

Традиционный бизнес-анализ (BI) и поиск новых знаний на основе  использования имеющихся на предприятии данных или на основе Big Data (собственных и внешних данных, увязанных в единую структуру)

Данная область применения используется при необходимости проведения на предприятии в рамках традиционного бизнес-анализа (BI) трендового и корреляционного анализа данных, выявления статистических закономерностей в накапливаемой информации, анализа ситуации «Что, если» и т.п. Кроме того, технологические возможности QlikView позволяют легко проводить поиск знаний (имеющихся закономерностей), накопленных в данных. В настоящее время большое количество материалов опубликовано по данному вопросу, повторяться не имеет смысла. Однако интерес может представлять сама процедура поиска и использования данных для анализа, которая самым непосредственным образом влияет на  применение QlikView. По этому вопросу можно заметить следующее.

QlikView практически стирает грань между «большими данными» и прочими данными!

Дело в том, что на сегодняшний день специалисты выделяют следующие принципы по поиску новых знаний на основе «больших данных» [1]:

  • способность анализировать все данные, а не довольствоваться их частью или статистическими выборками;

  • готовность иметь дело с неупорядоченными данными в ущерб точности;

  • изменение образа мыслей: доверять корреляциям, а не гнаться за труднодостижимой причинностью.

Первый принцип легко соблюдается при использовании QlikView, т.к. «большие данные» – относительное понятие, и в каждой организации существуют свои требования к данным. Следовательно, реализовать ценность «больших данных» для бизнес-пользователей можно, создав сжатое интеллектуальное представление лишь той информации, которая актуальна в контексте стоящих перед ними проблем.

Второй принцип легко реализуется в QlikView благодаря наличию мощнейшего инструмента обработки и преобразования данных на этапе выгрузки/загрузки из источников.

И, наконец, третий принцип – возможность проведения корреляционного, многофакторного и других видов анализа легко реализуется штатными средствами QlikView. А с учетом высочайшей скорости обработки больших массивов данных  на сегодняшний день анализ больших объемов информации никогда так не был таким простым, доступным и приемлемым по цене. Вся методология, наработанная для работы с «большими данными», может на сегодня использоваться в том или ином виде в приложениях QlikView.

Если для анализа в контексте стоящих задач необходимо использовать только свои данные на предприятии, то проблем, как правило не возникает. Если же задача возникает уровнем выше предприятия (например, на региональном, отраслевом уровне и т.п.), то возникают организационные трудности, заключающиеся в следующем. 

Все данные с точки зрения пользователя можно разделить на следующие группы:

  • данные, накапливаемые в собственных учетных системах и, как правило, не предназначенные для общего пользования;

  • данные, накапливаемые в учетных системах других предприятий, также не предназначенные для общего пользования;

  • общедоступные данные, накапливаемые в учетных системах других предприятий.

Очевидно, что при построении аналитической системы на QlikView, всегда в качестве источника могут использоваться открытые данные, как свои, так и чужие. Следовательно, исходя из вышеприведенной классификации источников данных, существует два типа аналитических систем с точки зрения пользователя – системы на основе использования только своих данных (открытых и закрытых) и система на использовании своих и чужих открытых и закрытых данных. Первый тип систем позволяет делать анализировать и делать выводы только на уровне предприятия. В случае реализации систем второго типа (которые уже больше соответствуют критериям «больших данных»), результаты анализа уже выходят за рамки одного предприятия и соответствуют более высокому уровню. Но, и это важно, для конкретного предприятия более близкими к реальности являются результаты анализа только его данных! Да, подключая, внешние дополнительные источники можно в рамках поиска новых знаний получить интересные результаты, но все же основу анализа должны составлять собственные данные предприятия.

Подводя итог вышесказанному,  следует еще раз отметить, что на сегодняшний день QlikView является уникальным продуктом. Построенная на основе QlikView система позволяет с высочайшей скоростью обрабатывать большие объемы данных. Решение задач анализа, контроля и поиска новых знаний никогда не было таким простым, доступным и приемлемым по цене.

 


Литература:

1.      Виктор Майер-Шенбергер, Кеннет Кукьер. Большие данные. – М.: Издательство «Манн, Иванов и Фербер», 2014. – 221 с.