КОРПОРАТИВНЫЕ СТАНДАРТЫ
ДЕНЬ 09
Сегодня мы хотим поднять темы стандартизации различных этапов работы с данными и их визуализацией вместе с Qlik. Почему важно внедрять и поддерживать лучшие практики и гайдлайны? Зачем нужна стандартизация визуализации? Находите ответы в сегодняшних материалах
ПОХОД
ОНЛАЙН-МАРАФОН ИСКУССТВО QLIK SENSE
Занимайте заведомо сильные позиции
Сунь Цзы сказал: когда ты приказываешь своим войскам выдвигаться для занятия какой-нибудь позиции и оцениваешь ее в сопоставлении с положением врага, следуй правилу занятия возвышенностей.
Наша возвышенность, которую мы попытаемся занять сегодня — выработка корпоративных стандартов в области визуализации данных и визуальной аналитики. Мы рассмотрим подходы и идеи лучших практик, которые позволят нам оттолкнуться от готовых наработок и сформировать собственные принципы и гайдлайны для применения в организации.

ВСЕГДА ИЩИ ВЫСОКОЕ МЕСТО И ОЦЕНИВАЙ СЛОЖИВШУЮСЯ СИТУАЦИЮ

Если противник находится близко и пребывает в спокойствии, значит, он занял удобную позицию. Если противник присылает вызов на битву издалека, значит, он желает выманить тебя вперед, ибо занимает выгодную и удобную ровную местность.

В войне численность армии — не самое главное. Если ты не рвешься вперед напористо, отчаянно и дерзко, а способен сосредоточить и усилить собственную военную мощь путем правильной оценки положения противника и при этом пользуешься безоговорочной поддержкой своих людей, то их будет вполне достаточно для победы.

В войне численность армии — не самое главное. Если ты не рвешься вперед напористо, отчаянно и дерзко, а способен сосредоточить и усилить собственную военную мощь путем правильной оценки положения противника и при этом пользуешься безоговорочной поддержкой своих людей, то их будет вполне достаточно для победы.
Но для добавления шансов проекту, лучше всего занять высокую позицию и придерживаться проверенных практик и выработанных временем стандартов. Давайте посмотрим на детали стандартизации.
ТЕМА ДНЯ
СТАНДАРТИЗАЦИЯ
В масштабах большой организации, стандартизация и выработка единых подходов становится критически важной, так как упрощает администрирование и поддержку системы. Это – внутренние законы вашей компании, следуя которым совместная работа и администрирование будут проходить легко и понятно.

Стандартизация, теоретически, может касаться каждого шага в процессе работы с данными: от подключения к источникам, формирования модели данных до создания вычислений, их нейминга, и конечно, самой визуализации.
Устойчивое развитие проекта будет зависеть от того, насколько хорошо вы будете писать код и создавать визуализации. Плохо подготовленные проекты могут, по началу, выглядеть приемлемо, однако через некоторое время вы почувствуете проблемы с производительностью, что приведет к неудовлетворенности пользователей и в конечном итоге к неудачной адаптации системы
Какие области работы с данными желательно стандартизировать? Смотрите на особенности своей компании на каждом из этапов. Например, небольшая команда разработчиков, отвечающая за этап подготовки данных и формирование модели данных, скорее всего уже имеет свои индивидуальные и/или командные предпочтения по процедуре работы. Соберите у них эти знания и оформите в отдельный документ. Он будет служить стандартом как для этих же разработчиков, так и для новых сотрудников или сотрудников из других подразделений.
РАБОТА С ДАННЫМИ
Стандартизация работы с данными может включать в себя выработку лучших практик и гайдлайнов на следующих этапах:


  • Процесс извлечения данных
К стандартам процесса извлечения данных относят построение архитектуры ETL процессов и нейминга слоев QVD и QVF файлов. Важно придерживаться выбранной схемы, хотя бы для того чтобы, глядя на источник в случае проблем, вы могли быстро идентифицировать уровень, на котором произошел сбой и соответственно само задание.

  • Процесс создания модели данных
Стандартизация построения модели данных — один из основных этапов в разработке, это в основном лучшие практики и рекомендации от вендора:
а именно, унифицированное наименование таблиц, полей и объектов и применение одинаковых типов данных для одних и тех же полей.

  • Управление кодом
  • Валидация загруженных данных
  • Безопасность данных
Стандарты безопасности внутри Qlik включают ряд мероприятий по настройке и поддержке уровней доступов пользователей к приложениям. Касаются в основном архитекторов и администраторов. Сюда входит разработка ролевой модели, правил безопасности и секции доступа. Вам точно нужно разработать и принять регламент по безопасности, затем неукоснительно действовать в его рамках и не делать исключений; если они появляются, то вносить правки в основной регламент.
Разработчикам сложно понимать и поддерживать чужой код. Для облегчения работы с кодом процедур, рекомендуется разделять код на смысловые блоки, при этом обязательно добавляя комментарии, и придерживаясь унифицированных процедур нейминга полей, то есть выбор названий.
  • Исходные поля: при загрузке полей из баз данных, необходимо менять системные названия на бизнес-термины (или хотя бы не понимаемые значения)
  • Ключевые поля: поля, которые используются для связи двух или более таблиц, должны начинаться с единого символа, например: %Sales_key
  • Флаги: иногда в скрипте можно создавать некоторые флаги, в зависимости от сложности кода или по мере необходимости. вы можете использовать символ подчеркивания _ перед активным флагом, например: _Employee flag.
  • Временные поля: если вы хотите создать в скрипте несколько временных полей для различных вычислений, используйте ключевые слова tmp или temp в конце имени поля
  • Переменные: все мы довольно часто используем переменные в Qlik Sense для различных целей. Хотя они содержат данные, как и обычные поля, обычно, имена переменных начинаются с маленькой v. например: vCount, vMaxDate
РАБОТА С ВИЗУАЛИЗАЦИЕЙ
Стандарты работы с данными более менее понятны, поскольку являются более привычными для сегодняшних компаний. Но корпоративная визуализация данных на текущем уровне появилась не так давно. Большая свободна современных продуктов, таких как Qlik Sense, позволяет вам, как авторам, уходить от шаблонов и создавать неповторимые приложения с данными.

Однако, визуальный стандарт и гайдлайны здесь также необходимы.
Визуальная стандартизация необходима для того, чтобы все участники единообразно понимали и воспринимали то, на что они смотрят. Чтобы выводы, визуальные образы и закономерности, заданные автором были поняты с минимальными потерями в качестве.
Визуальные стандарты могут быть направлены на:

  • использование определенных видов визуализаций под конкретные показатели и задачи
  • утверждение корпоративного шаблона внешнего вида приложения по формату и пропорциям активного экрана
  • утверждение цветовых палитр, шрифтов и прочих элементов визуального обрамления
  • использование аннотаций и подписей-комментариев к данным
  • использование расширений и их внешний вид
  • формат рассылки по email
  • формат выгрузки в презентации pptx
IBSC Standarts
ОСНОВНЫЕ ПРИНЦИПЫ
ПРОСТОТА
Избегайте отвлекающих элементов дизайна, таких как логотипы и яркие цвета, которые замедляют передачу информации. Красочные диаграммы могут выглядеть эстетично, но нарушать восприятие. Пользователи часто справляются намного лучше с умеренными по внешнему виду нотациями
УНИФИКАЦИЯ
Избежание избыточности и использование устойчивой цветовой нотации, чтобы помочь пользователю визуально отличить текущие, плановые или прогнозные значения и ту же информацию от предыдущих периодов. Это избавляет от трудоемкой задачи сравнения с легендой, экономя драгоценное время читателя.
КОМПАКТНОСТЬ
Сжатие информации до одной страницы, чтобы пользователь мог быстро получить полный обзор бизнес-ситуации. Вопреки распространенному мнению, это не перегружает пользователя отчета. Глаз исследует дашборд очень эффективно. Только действительно важные данные анализируются внимательно.
ПРЕДСТАВЛЕНИЕ
Выбор правильной визуализации для структуры данных и цели анализа. Правильное «представление» данных улучшает эффективность аналитики.
Уделите визуальным стандартам должное внимание и донесите их до своих пользователей при помощи внутреннего портала и информационных рассылок. Придумайте подарок тем авторам приложений, которые используют стандарты лучше всех.
ПРАКТИКА ДНЯ
Сегодня разберем стратегему № 24.
Суть стратегии: коварство проводится с целью лишения всякого выбора. Одолжи ресурсы у союзника, чтобы атаковать общего противника. Когда же тот будет повержен, первым делом используй эти ресурсы против того, кто их одолжил.
СТРАТЕГИЯ ДНЯ
№24.
Объявить, что только собираешься пройти сквозь государство Го, и захватить его
!
Важные аспекты этой стратегии:
— маскировка конечной цели
— открытие сопернику только первого шага
!
Форматы реализации:
назвать самую большую цену за товар при покупке, и после отказа других покупателей начать снижение под разными предлогами; малышу было жаль Карлсона, но папе очень нужен был лодочный мотор.
!
При заключении альянсов внимательно изучайте всю дорогу, по которой собираетесь двигаться
Сталкивались ли вы на своем месте работы как такую стратегию применяли против вас? Какой вы нашли выход? Как вы можете применить эту стратегию в свою пользу?
Обсуждаем эту и другие стратегии в нашем Телеграм чате @qlikbi_chat
ИСТОРИИ КЛИЕНТОВ QLIK
К Стандартизации мы пришли исключительно как к прикладной задаче. Целью, которую мы себе поставили, была автоматизация процессов. Нам нужно было обрабатывать огромное количество информации, которые генерируют большое количество наших пользователей в формате Self-Service.
— Василий Павлов, архитектор BI, Росгосстрах
Кейс от РОСГОССТРАХ

Одной из основных задач которую мы себе брали — это построение карты данных и связи всех приложений. Путь, который мы выбрали — это парсинг всех скриптов, структурирование всех данных в удобную нам таблицу, и затем уже визуализация на ее основе карты.

На первом этапе, мы обрабатывали имеющиеся скрипты. Естественно, в алгоритм «чтения» скриптов мы постарались заложить возможные вариации типов написания кода, но тем ни менее мы привели в порядок имеющиеся приложения, после их сканирования, дали рекомендации пользователям, с лучшими, по нашему мнению, практиками.

На втором этапе, мы уже понимали источники данных, и по разным наименованиям полей из одного источника, мы могли примерно сопоставить идентичные из них. Затем выработали свою систему нейминга и опять же путем рекомендаций пользователям транслировали ее на всю компанию.

В итоге, мы получим полную карту данных, в которой мы сможем отследить перекрестные данные в разных отчетах, источники данных для них и их актуальность, сократить нагрузку на сервер, путем объединения ETL процессов, и сокращения дублирующих друг друга приложений.
Кейс от «ЕМК Альянс»

«ЕМК Альянс» — это крупная компания работающая в СНГ с большой номенклатурой и объемными данными о продажах. Руководитель компании Андрей Карпович делится итогами внедрения аналитической системы Qlik.
АРТЕФАКТЫ
Сегодня мы поняли важность стандартизации разных аспектов работы с данными. Стандарты помогают людям общаться друг с другом, лучше коммуницировать на основе данных, и поддерживать развитие аналитической системы внутри компании.
ИТОГИ ДНЯ
По любым вопросам – thejump@datayoga.ru