Всемирная история картографии началась еще в XVI веке, когда в Антверпене был напечатан первый в мире географический атлас, состоящий из 53-х карт большого формата. К каждой карте прилагался подробный пояснительный географический текст.

Со временем стало понятно, что карты можно использовать не только для ориентировании на местности, но и с целью показа каких-то процессов и событий. Карты помогали решать конкретные проблемы.

Например, итальянский врач и эпидемиолог Джованни Мария Ланчизи, живший в XVII—XVIII вв., изучил корреляцию между присутствием москитов и распространенностью малярии в работе «О ядовитых испарениях болот и их средствах».

В этой работе Ланчизи утверждал, что болота, населенные комарами, являются питательной средой для малярии и рекомендует их обезвредить.

Постепенно картография развивалась и все больше проникала в разные области знаний, особенно помогая в статистике, экономике, медицине и, конечно, географии.

Ключевые люди в картографии на основе данных:

• Джон Сноу и его карта эпидемии холеры в Лондоне
• Чарльз Бут и его исследование социо-экономического уровня в Лондоне по районам
• Шарль Минард и его визуализация похода Наполеона на Москву и обратно

Если обратиться к анатомии карт, то карты состоят из трех основных элементов: точки, линии, полигона.

Точка — это базовый элемент картографии. Точка имеет параметры «широта» и «долгота». Точки используются как для определения «линии», так и являться самостоятельным элементом карты и использоваться для обозначения отдельного объекта без привязки к количественным показателям. Например, если вы ищете кофейню в своем городе, то, открыв онлайн-карту, вы увидите несколько отметок — это будут points of interest (POI, точки интереса).

Линии представляют собой отрезки, проходящие через точки.
Линия состоит как минимум из двух точек. Обычно линиями обозначаются улицы, дороги или что-то похожее. Обратите внимание: одна точка может принадлежать сразу нескольким линиям.

Полигон — элемент карты, предназначенный для описания участков поверхности, используя форму и площадь. Полигон формируется замкнутой линией (т.е. первая точка линии совпадает с последней) и является совокупностью этой самой линии и области, находящейся внутри контура этой линии. В этом смысле полигон — не самостоятельный элемент, а лишь псевдо-элемент, особая разновидность линии с соответствующими свойствами.

Полигоны используются для обозначения участка поверхности, обладающего общими свойствами — например, лесов, районов, регионов, стран.

Даже самые сложные карты все равно, так или иначе, основаны на этих базовых элементах. И эти же базовые элементы – точки и области – позволяют нам визуализировать данные на картах в современных инструментах визуализации, в том числе и в DataLens.

DataLens поддерживает отображение трех типов визуализации:

• Точечная карта
• Фоновая карта
• Тепловая карта

Для того, чтобы создать карту:

1. Выберите чарт Карта в окне выбора визуализаций
2. Выберите какой тип карты вы хотите отобразить на первом слое — Геоточки, Геополигоны или Тепловая карта с геоточками. В зависимости от выбранного типа карты, добавьте нужное поле в первую секцию. Выбрали геоточки? Добавляйте сюда поле типа geopoint!
3. Определитесь как и что вы хотите показать с данными и добавьте нужные показатели либо в цвет, либо в размер объектов на карте.

Вы также можете добавить дополнительные поля в Тултип (всплывающие подсказки), добавить подписи, поменять цвета и настроить отображение слоев с названиями и легендами.

Вы можете сделать до 5 слоев на одной карте, с разными показателями и разной прозрачности.

Если вам необходимо добавить фильтров, то вы можете это сделать как для всей карты, например, из всех точек оставив только данные по Москве, так и для конкретного слоя.

Подробнее про секции визарда при работе с картами здесь.

Когда вы будете работать со своими собственными источниками данных, то можете пользоваться функциями геокодирования, которые описаны здесь.

Для сегодняшней практики мы возьмем открытые данные общественного мониторинга качества воздуха от Sensor Community. Это сообщество активистов, которые собирают данные о качестве воздуха при помощи небольших портативных станций с сенсорами. Сенсоры мониторят данные о температуре, влажности, давлении и размерах частиц пыли.

Сообщество включает в себя тысячи людей по всему миру, которые устанавливают датчики у себя в домах, формируя объективную аналитику качества воздуха по всему миру!

В одном устройстве два датчика – пыли (P1, P2) и климата (температура, влажность, давление). В нашем датасете данные собраны на самом детальном уровне по каждому сенсору, но они агрегированы во времени по пятиминутным интервалам. С точки зрения геоданных, в датасете есть координаты широты и долготы. Но мы хотим обогатить имеющуюся таблицу и присоединить данные по геоточкам и геополигонам разного уровня из второго датасета.

В сегодняшнем дне мы не будем загружать csv-источник, а подключимся к уже настроенной БД Clickhouse. Поэтому, вам будет нужно создать новое подключение к Clickhouse и ввести туда следующие данные:

Проверьте подключение и можете переходить к настройке датасета. Дальше все шаги повторяют все то, что вы уже делали в предыдущие дни марафона.

В Clickhouse содержится две таблицы: breathe. d_point и breathe. point_5min_avg_mos_spb. Первая содержит в себе геоданные для отображения на картах, а вторая — данные с счетчиков качества воздуха, агрегированные по 5-минутным интервалам. Добавьте две таблицы в пустую область экрана, чтобы объединить их по полю location.

Ура! Теперь можно перейти на вкладку Поля и сделать там необходимые настройки.

Прежде всего, пройдитесь по показателям — P1, P2, temperature, humidity, pressure. P1 и P2 — это показатели содержания твердых частиц пыли размером менее 10мкм и 2.5мкм соответственно; их измеряют в мгк/м³. Можно назвать эти поля как PM10 и PM2.5. Чем меньше значение, тем чище воздух. Допустимые нормы этих показателей:
PM2.5 < 20; PM10 < 40 - по стандартам Евросоюза :
PM2.5 < 10; PM10 < 20 - по стандартам Всемирной организации здравоохранения

Temperature — температура, humidity — влажность, pressure — давление. Проставьте всем показателям агрегацию Среднее и, если хотите, переименуйте. Также, можно переименовать поле timestamp — Дата наблюдения.

Количественные данные есть! Теперь посмотрим на геоданные. В вашем датасете есть аж три типа геоданных: координаты широты и долготы (lat, long), геоточка (geopoint) и геополигоны (polygon6…9).

Поменяйте тип данных у geopoint на геоточку, а у всех polygon — на геополигон. Вы сможете выбрать на карте сразу те полигоны, которые вам понравятся. Поле polygonX_id является идентификатором полигона. Это поле можно использовать для определения, в каком полигоне было резкое изменение обстановки воздуха.

В исходных данных нет указания на принадлежность точки к какому-либо городу или региону… Поэтому немного опередим нашу программу марафона и сделаем вычисляемое поле, которое промаркирует Москву и Санкт-Петербург.

Создайте новое вычисляемое поле в этом же окне, нажав на кнопку + Добавить поле, запишите туда формулу ниже и вы готовы работать!

В этих данных интереснее всего смотреть на показатели концентрации пыли P1 и P2 (или PM10 и PM2.5), поэтому все чарты я построила, используя только эту метрику. Я начала с того, что построила динамику изменения PM10 за год, увидев как сильно поменялась картинка качества воздуха с начала апреля 2020. Кстати, не забудьте добавить фильтр по созданному полю Город — я выбирала данные только по Москве. Потом построила такой же график, но по часам, ограничив период последними тремя месяцами. Интересно, что с сентября уровень пыли снова начал расти, хотя, казалось, что домашняя изоляция закончилась давно, но может все больше людей начали ездить на работу после летних отпусков? Тем не менее, здесь тоже можно выделить свои всплески.

Перейдя от линейных графиков к карте, я сделала карту из двух слоев. Первый слой — это точечная карта, размер кружков которой зависит от показателя концентрации пыли. Т. е. чем он был больше, тем больше кружок. Опять таки, оставляем данные только по Москве. Увидев большой разброс значений, я добавила в Тултипы данные своей геоточки (geopoint), чтобы если что я могла потом использовать эту информацию в фильтрах на дашборде.

На втором слое я добавила геополигоны (polygon6), которые никак не кодировала данными. Скорее, это для меня вспомогательная подложка, которая может дать мне информацию по ID проблемных полигонов — я также смогу использовать идентификатор на дашборде для поиска необычных паттернов.

Я начала собирать дашборд, на который добавила два индикатора – по общему количеству наблюдений (count по любому полю), и по среднему показателю PM10.

Я добавила два селектора: дату наблюдения и ID полигона, о котором писала выше. В селекторе даты выбрала по умолчанию период в последние 3 месяца, но настроила связи так, чтобы этот селектор не влиял на нижний график динамики за год. Селектор ID полигона влияет на все чарты.

Первый вопрос, который нужно задать себе при создании карты — нужна ли она вам? Часто бывает так, что простой рейтинг регионов и городов может быть понятнее и выигрышнее. Не используйте карту ради карты.

Так как я работаю с журналистикой данных, то мой опыт работы связан с определенными социальными показателями. Почти всегда данные на карте нужно нормировать: на население, на площадь. Это позволяет адекватно смотреть на данные и принимать верное, неискаженное масштабами страны или площади решение.

Интерактивная карта должна иметь фильтры поиска или уметь определять геопозицию пользователя – это позволяет персонифицировать инсайты из данных. Такой подход полезен, если у вас очень большое и распределенное количество точек, а аудитория пользуется отчетом из разных городов. Ваша забота о пользователях не останется незамеченной.

Если кодируем количественные данные на карте, всегда следуем правилу —чем темнее цвет, тем больше показатель. В целом, это правило работает не только для карт, но не забывайте о нем.