👩‍💻знакомство и 🧭 навигация

🌎🤍
Я Белла – @belkamir, очень люблю карты, данные и города
- учусь в магистратуре по картографии (📍TUW, Vienna 🇦🇹)
- преподаю в НИУ ВШЭ 💙
- занимаюсь ГИС-аналитикой и ГИС-веб-разработкой 🌐

Этот канал обо всем, что знаю, что продолжаю узнавать☄️
- пространственный анализ в урбанистике
- данные для городской аналитики
- автоматизация анализа геоданных на Python и R
- ГИС-веб-разработка
- геовизуализация

📍
#geo_data – все о данных
#geo_analytics - инструменты анализа
#geo_qgis – скрытые (и не очень) возможности QGIS
#geo_py – python и геоданные
#geo_rrr – R и геоданные
#geo_web – гис-веб-разработка
#geo_vis – гео-визуализация
#geo_love – о любви к картам
#geo_theory – гео-теория
#geo_edu – гео- гис- урбан- образование
#geo_books – гео-книги
#geo_retro – старые карты
#geo_cities – о городах

GitHub | LinkedIn | Instagram

GIS_AND_PEACE🌎🕊️

Геокодирование 📍

Мы часто в повседневной жизни встречаемся с адресами, но никогда не задумываемся о координатах объектов (да и не нужно это). Но если работать с пространственными данными в ГИС, то без координат уже не обойтись.

Поэтому нам точно пригодится геокодирование 🐈‍⬛ - процесс преобразования адреса или названия места в географические координаты (широту и долготу)

Геокодирование может быть осуществлено вручную 🙌. Например, спросим у гугла: “координаты главного здания МГУ”. Мы получим в ответ: 55°42′11″с.ш.37°31′50″ в.д. Ура , мы геокодировали главное здание МГУ🎉

Но чаще всего у нас далеко не один адрес, а вбивать в поисковик их поочереди было бы довольно не практично (и очень скучно 🥱). Для этого можно использовать специальные приложения или API.

Способы для геокодирования 💫:

1. GeoCode by Awesome Tables
Самый простой и доступный способ геокодирования - использование инструмента GeoCode by Awesome Tables в гугл-таблицах. Для того, чтобы им воспользоваться Вам необходимо установить дополнение (Extensions (Дополнения) - Add-ons - Get add-ons). (ограничение: 800 адресов в день на один аккаунт)

2. Плагин MMQGIS в QGIS (основная проблема - плохо поддерживает адреса на кириллице)

3. Batch Nominatim geocoder - инструмент в QGIS, появился, начиная с версии 3.20

—самая классная группа - API—

4. HERE Geocoding API - сервис геокодирования от компании HERE, который предоставляет бесплатно до 250 тысяч запросов в месяц (сейчас, к сожалению, только при подтверждении карты) . Подробную информацию о сервисе можно прочитать на портале. Для использования сервиса HERE необходимо получить ключ API тут.

5. OpenStreetMap Nominatim API - это бесплатный сервис геокодирования, который использует данные OpenStreetMap для преобразования адресов и названий мест в координаты и наоборот. API также возвращает дополнительную информацию о месте: такую как название, тип объекта и т. д.

6. Yandex Geocoding API - это сервис, предоставляемый компанией Yandex, поиск координат основан на Яндекс.Картах. Очень точные результаты для России, Белоруссии, Украины, Казахстана. Но сейчас установлено ограничение до 1000 запросов в день.

#geo_py #geo_data #geo_qgis

GIS_AND_PEACE🌎🕊️

HERE API: геокодирование на практике 💻

Перед тем как использовать API для геокодирования, надо разобраться с тем, что это такое 🤔

API🔗(application programming interface) это набор инструкций и стандартов, которые позволяют разным программам взаимодействовать друг с другом . В упрощенном виде - посредник, который дает возможность использовать функционал другой программы.

Так, чтобы использовать сервисы HERE📍 для геокодирования, вам нужно обратиться к ним с помощью API: написать запрос - получить ответ. В параметрах запроса необходимо указывать API-ключ (ваш уникальный идентификатор), который необходимо получить на сайте провайдера.

На питоне 🐍 можем отправить запрос с помощью библиотеки requests. Если он успешно выполнен, то получим ответ в формате JSON и уже дальше будем с ним работать. Куда отправлять запрос и что указывать в параметрах можно прочитать в документации.

------ А пример-то можно? 😐

Тут 👩‍💻 можно найти небольшой тьюториал (Jupyter Notebook), в котором мы по шагам разбираемся с тем, как геокодировать адреса из таблицы.
(изначально он был предназначен для студентов курса “Методы пространственного анализа. Продвинутый уровень” программы “Городское планирование”, НИУ ВШЭ)

Итоговой функции для того чтобы магическим 🪄 (или не очень) образом геокодировать все имеющиеся у вас адреса вы не найдете, но если разберетесь со всеми шагами, то с легкостью напишите ее самостоятельно (как настоящий препод, не могу дать прямой ответ, только путь к нему :))

#geo_py

GIS_AND_PEACE🌎🕊️

Data.mos.ru - ого! так могут выглядеть открытые данные?! 😱

Портал открытых данных правительства Москвы - первый и самый крупный портал в России, где содержится более 1000 наборов данных, большая часть из которых имеет географическую привязку 📍

Данные можно скачать напрямую с портала в форматах xlsx, json, xml, excel или формировать запросы на получение geojson, используя API // (новая версия API) ⬇️

Для запросов чаще всего используется какой-нибудь язык программирования, но можно получить данные прямо в браузере 🤔

На текущий момент (июнь 2023) существует две версии портала - первая (data.mos.ru) и новая (data-new.mos.ru). Новая версия пока не работает стабильно, поэтому стоит пользоваться основной. Процесс экспорта данных не изменится.

🐍 Тут можно посмотреть, как экспортировать данные используя Python
🐕 Видео, которое расскажет, как это сделать с помощью R (+ через браузер)

#geo_data #geo_py #geo_rrr

🌎🕊️ GIS_AND_PEACE

Python для анализа геоданных 🐍

Geographic Data Science with Python 👩‍💻
одно из лучших пособий по использованию Python для анализа пространственных данных из тех, что мне встречились (а таких было немало 🤓). От настройки рабочей среды и предподготовки данных, до обработки растров и сложных пространственных моделей

Курс Geo-Python 🌎
курс от географического факультета университета Хельсинки: основы Python, знакомство с Git, экспорт данных и построение графиков, но работы с пространственнными данными практически нет (почему в названии есть geo - для меня загадка, но для начала работы пойдет:)

------
Знакомство с Python 👋
если вы еще не знакомы с Python или хотите освежить базовые знания, то есть классные бесплатные курсы на Stepik:
Программирование на Python
Поколение Python: курс для начинающих

#geo_py

🌎🕊️ GIS_AND_PEACE

PythonMaps Project - визуализация геоданных на Python 😍

Проект PythonMaps направлен на создание информативных и красивых визуализаций пространственных данных на Python 🐍 Одна из целей проекта - распространение любви к геопространственным данным - очень пересекается с целью нашего канала 🤍🌎

Автор PythonMaps, Адам Саймингтон, проводил семинар Сreating Beautiful Geospatial Data Visualizations with Python на конференции SciPy-2022. За 2,5 часа разбираются основы работы как с векторными, так и с растровыми геоданными, популярные библиотеки для анализа и визуализации (github репозиторий с материалами) 💻

Почему делать карты на Python очень интересно и классно, Адам рассказывает в подкасте Python Maps 🎧

P.S.
Мы часто используем R 🐕 или Python🐍 только для обработки и анализа геоданных. PythonMaps - отличиный пример того, что можно делать и крутую визуализацию, не закрывая код 👨‍💻

#geo_py #geo_vis

🌎🕊️ GIS_AND_PEACE

Городская грамматика – AI для исследования города 🛰

Пространственная организация городов значительно влияет на социальные и экономические особенности развития. Но не всегда есть достаточное количество информации о городской среде, чтобы выявлять эти взаимосвязи 🔗

Спутниковые снимки – супер источник данных о нашей планете, но в “сыром” виде они не предоставляют детальной информации о городе ☁️

В рамках проекта Urban Grammar ученые решают проблему:
Как на основе спутниковых снимков получить максимальное количество информации об эволюции городского пространства?
... и делают это с помощью машинного обучения и искусственного интеллекта 🤖

Исследователи разрабатывают алгоритмы AI, которые выделяют функциональные характеристики среды. В комбинации они составляют городскую грамматику и описывают уникальную пространственную струкутру города 🏡

Результаты для городов Великобритании 🇬🇧

С этапами работы, исходным кодом проекта и документацией можно ознакомится тут 👨‍💻

#geo_love #geo_py #geo_cities

🌎🕊️ GIS_AND_PEACE

Гео-фото и VK-API 📷

Данные из социальных сетей в последние годы начали использовать для оценки городской активности 🫂

С помощью VK-API можно скачать фотографии с указанием координат и посмотреть, какие места в городе чаще всего встречаются в публикациях 🌉

Важная особенность данных соцсетей — пользователь может вручную задать местоположение, и координаты будут не совпадать с местом, где на самом деле был сделан снимок 🧐

Фотографии — «не зеркало того, что происходит на самом деле … это некоторое отражение того, что люди считают важным показать друг другу» (из интервью Дарьи Радченко). Данные помогают не только фиксировать, где находятся люди, но что они делают, чем хотят поделиться🪞

В любом случае – это любопытный источник информации, и, если помнить про все особенности и ограничения, можно проводить очень интересные исследования 🔬

Мой небольшой тьюториал🐍 о том, как получить фото с геопривязкой из VK (основан на материалах Руслана Гайнанова) 📍

#geo_py #geo_data

🌎🕊️ GIS_AND_PEACE

Geocompx – геовычисления

Прекрасный проект с открытыми материалами о пространственных вычислениях на разных языках с использованием единого подхода

Тут можно найти книжки:
🐕 Geocomputation with R
🐍 Geocomputation with Python
👧 Geocomputation with Julia

+ другие ресурсы по R (презентации, воркшопы, дополнительная литература)
+ интересный блог


#geo_py #geo_rrr

🌎🕊️ GIS_AND_PEACE