О городах и данных

Уже второй день залипаю на https://twinhoods.com/. Тут можно наложить один город на другой и "перевести" географию незнакомого вам город на язык известного вам. Например, можно найти, где в Нью-Йорке Хамовники или в Амстердаме Патрики. Мне кажется это классная идея - и как метод, и как инструмент. Если вы переезжаете или просто едите в отпуск, вместо описания отдельных локаций с google maps и путеводителей, вы получаете описание района и сравнение со знакомым вам местом. В России пока покрыты только Москва и Питер, но можно проголосовать за любой город и автор добавит его на карту. В основе similarity score на основе 17 скоров: автор говорит, что использует OSM и доступную информацию по демографии. Хотя у меня все равно остаются вопросы по расчетам, например, как можно оценить доход или lgbt скор по районам почти всего мира🤔. Что думаете? Есть идеи, где еще можно использовать такой подход?

#elections2026 #analytics Слишком классные оказались данные выборов Израиля, чтобы не поиграть с ними. Сделали с @lbelkin Elections in your neighborhood, где можно: а) быстро проверить, за кого голосовали на ближайшем участке к дому и насколько ваше мнение совпадает с соседским😁 б) посмотреть портрет типичного избирателя каждой партии ( для этого соединили результаты с переписью) и в каких условиях они живут (соединили с Overture Maps и OSM) Дополнительно собрали отчет с аналитикой по партиям, если хочется копнуть глубже. Из интересного можно увидеть, какие партии наиболее не похожи на свой блок, или какие, похожи на партии из других блоков.

Карта, которая говорит про население Израиля, лучше других Вчера в Израиле прошли выборы и уже сегодня на этой карте можно в реальном времени смотреть по районам % за каждую партию! Хоть, что-то хорошее в этих выборах😅 Цвета на карте: - синий - текущая партия - темно-зеленый - самая крупная партия оппозиции - светло-зеленый - арабская партия - черный - религиозная партия - красный - партия демократов (оппозиция, самая левая) Что видно: - Хайфа и Тель-Авив живут в своем отдельном от остального Израиля мире. Тут сразу виден ответ на вопрос моих друзей : почему вокруг тебя никто не голосует за текущую партию, а потом они выигрывают (знакомо да?). Тель-Авив и Хайфа живут в пузыре - они единственные раскрашены цветом оппозиции. - Насколько неоднородно население Израиля: даже внутри одного города соседние районы могут голосовать за противоположные партии. Особенно это ярко видно в Иерусалиме, если в Тель-Авиве всего 2 цвета, то в Иерусалиме - 7! И как этим можно управлять не нарушая ничьих интересов - не понятно🤷‍♀️ - Зная электорат каждой партии, карта дает актуальный срез демографии. Учитывая, что перепись населения была 4 года назад - это полезный источник данных для исследований. Например, когда я работала в Лавке, мы ориентировались на результаты прошлых выборов, чтобы посчитать процент целевой аудитории. Суммарный процент некоторых партий был одним из самых сильных предикторов)

НОВЫЙ СТАРЫЙ ИСТОЧНИК ГЕОПРИВЯЗАННЫХ ДАННЫХ GDELT (Global Database of Events, Language, and Tone) представляет собой открытый проект при поддержке Google Cloud, осуществляющий мониторинг мировых медиа в режиме реального времени и извлечение ключевой информации: что произошло, где и с какой эмоциональной окраской. Официальный сайт проекта: gdeltproject.org. 🌍 Ключевое преимущество для геоаналитики заключается в привязке новостных данных к географическим координатам. Это позволяет формировать динамический информационный слой поверх статичной инфраструктуры: * Сентимент района (AvgTone): отслеживание тональности информационного поля (диапазон от -100 до +100). * Оценка стабильности (GoldsteinScale): анализ влияния события на регион. * Мониторинг безопасности: оценка плотности локальных инцидентов. ⚠️ Важное техническое уточнение: алгоритм определяет локацию на основе текстового анализа. Если в публикации упоминается абстрактное название страны (например, «Россия»), координаты будут привязаны к ее географическому центру. Для предотвращения концентрации макрособытий в одной точке необходимо применять фильтрацию данных по уровню детализации (поле ActionGeo_Type), ограничивая выборку городским или уличным уровнем. 💻 Способы получения доступа: Сырые данные в формате CSV, обновляемые каждые 15 минут, доступны для скачивания на официальном сайте проекта: data.gdeltproject.org/events/index.html. Учитывая значительные объемы информации, целесообразно также использовать GDELT Doc API, Google Earth Engine или публичный датасет в BigQuery (gdelt-bq.gdeltv2.events). Полученные точечные данные легко проецируются на гексагональную сетку H3. Есть ли среди коллег специалисты, которые уже применяли GDELT в своих аналитических задачах? 🤔 #urbandata #spatialanalysis #gdelt

Через пару часов WorldPop будет рассказывать, как они считают население по всей планете. Выглядит интересно. Ссылка Для участия нужно зарегистрироваться

Я продолжаю разбирать архивы новостей Google этого года - этот пост про альтернативный подход к анализу городской среды и, на мой взгляд, шаг к «программируемому городу», у чего есть и плюсы, и минусы. 🧩 Идея: город как пазл Обычно, чтобы решить пространственную задачу, мы собираем статистику по локации: считаем плотность застройки, количество кафе в радиусе, дистанцию до остановок и т.д. Google Research предложили кардинально иной подход с моделью S2Vec: они смотрят на локацию как на скриншот с карт и учат алгоритм собирать её, как пазл. ⚙️ Как работает модель S2Vec - Пространство бьется на ячейки, и инфраструктура внутри них конвертируется в «пиксели» многослойного изображения, где цвета означают различные типы объектов. - Затем алгоритм Masked Autoencoding (MAE) намеренно прячет части этой картины и просит модель угадать, что находится в слепой зоне, опираясь исключительно на окружающий контекст. - Например, видя вокруг жилые высотки и станцию метро, модель учится понимать, что скрытый пиксель -это супермаркет. - Прогнав этот процесс миллионы раз, модель формирует эмбеддинг - компактное математическое описание пространственного «характера» любой локации. ✅ Плюсы подхода - Сценарное моделирование. Если некоторые города или районы построили успешные кейсы, то модель позволяет повторить их и сформировать ожидания. Можно виртуально «дорисовать» на растре новую станцию метро или крупный ЖК, получить обновленный эмбеддинг района и посмотреть, как в перспективе изменится уровень доходов или цена аренды в этой зоне. - Замена ручного конструирования признаков. Вместо генерации десятков фичей о ценах и демографии мы просто отдаем модели готовый вектор района, который уже учитывает весь физический контекст среды. - Поиск аномалий на картах. Если алгоритм на основе пространственного контекста на 99% уверен, что в ячейке находится коммерческая недвижимость, а в базе данных там лес или пустырь - это отличный триггер для выявления неучтенных объектов или ошибок в кадастре. ⚠️ Ограничения подхода - Отсутствие идеи кардинального изменения района. Модель старается подобрать наиболее похожий из существующих паттернов городской среды, не зная, хорошо это или плохо. Например, если алгоритм видит бедный район с плохой инфраструктурой, он с высокой вероятностью предскажет, что следующим объектом там должен открыться алкомаркет, а не современная библиотека, потому что именно так распределялись данные в прошлом. - Прогноз и развитие новых территорий. Как и со многими пространственными моделями, эта модель плохо работает на новых территориях, не похожих на те, где она обучалась. Думаю, в ближайшее время это основной вектор развития всех моделей.

Вопрос в зал: а есть ли здесь те, кто работает в офисе Cofix или знают тех, кто там работает? Напишите, плиз, в личку🙏 Спасибо!

НАПОМИНАЛКА ПО КУРСУ 🛑 Kind reminder: регистрация на мой курс «Основы пространственного геоанализа в Python» закрывается через неделю - 16 октября. Вся информация по курсу тут. Также напоминаю, что сама платформа со всеми материалами, будет открыта еще год, до 16 октября 2027 года.

📍ГДЕ СТАВИТЬ ЗАРЯДКИ ДЛЯ ЭЛЕКТРОМОБИЛЕЙ: ОТКРЫТЫЙ ПРОЕКТ ПО ЛОНДОНУ Я работала с локационными моделями доставки разных сервисов и услуг и с задачами, где поставить офлайн-бизнес типа магазина или аптеки, по моделям Хаффа. И вот решила изучить для себя, по каким законам работает сфера зарядок для электромобилей. Так появился пет-проект ChargeScape London про то, где ставить быстрые зарядные хабы в Лондоне, какого размера и насколько можно доверять ответу. Что внутри: 1️⃣Спрос с интервалами. 2 374 гексагона H3, и в каждом не одно число, а P10/P50/P90 из Монте-Карло. Главный рычаг — жилье: у кого нет своей парковки, тот заряжается на публичных станциях. Итого 285 ГВт·ч в 2026 году, больше половины — такси и private hire (Uber и т.п.). 2️⃣Выбор станции и очереди. Логит-модель, родственница того же Хаффа, распределяет водителей между станциями по времени в пути по графу OSM, а очереди Эрланга считают ожидание. У 348 из 632 быстрых площадок в пиковый час шанс ждать выше 50%. 3️⃣Каннибализация. 64–75% сессий нового хаба в самой дефицитной точке — клиенты, которые иначе заряжались бы у соседей. 4️⃣Где ставить. Тот самый MCLP, только хаб не резиновый: вместимость считается из очередей, а площадки у подстанций без резерва мощности отсеяны. На £20 млн выходит 51 хаб по 4 зарядки на 150 кВт, они закрывают 63% неудовлетворенного спроса, и это доказанный оптимум. 22 хаба из 51 держатся при любом сценарии спроса, это список "строить первыми". 5️⃣Честная проверка. Самым полезным результатом оказался отрицательный. Бустинг предсказывает загрузку 204 зарядок из 4 городов: на случайной кросс-валидации R² 0,70, на городе, которого модель не видела, −0,25. Про утечку через географию я уже писала, тут она в чистом виде) ❤️Как этим пользоваться, если вы только начинаете в геоаналитике? Проект воспроизводимый, а код открыт под лицензией MIT: его можно брать, менять и использовать в своих проектах, в том числе коммерческих. Условие одно - сохранить файл LICENSE с копирайтом. У данных свои открытые лицензии (OGL, CC BY, ODbL и др.), они указаны в каталоге. — Посмотреть без установки. На сайте живые карты и слайды, а ноутбуки 01–05 читаются как пошаговый разбор от аудита зарядок до размещения хабов. — Запустить у себя. Нужен Python 3.11+, сырые данные качать не нужно. Модели пересчитываются примерно за час:

git clone https://github.com/m-erts/chargescape-london
cd chargescape-london
pip install -e ".[all]"
make models maps slides

— Взять данные. Каталог из 32 открытых наборов: у каждого источник, лицензия и статус observed/proxy/synthetic. — Забрать кусок в свой проект. Сетка H3, очереди Эрланга, логит и MILP на SciPy без платных солверов к Лондону не привязаны, подставляйте свои данные. — Подсмотреть оформление. README, методология, model card, тесты и CI: так можно оформить и свой пет-проект для портфолио. Сохраняйте и юзайте) 💸Сайт с картами и слайдами: https://m-erts.github.io/chargescape-london/ 💸Код на GitHub 💸Англоязычный пост с видео в LinkedIn @urban_mash

Каталоги данных о мобильности В реестре dataportals-registry европейская тема Transport стоит у 2337 активных каталогов: 1537 геопорталов и 641 портал открытых данных. Большая часть - общие витрины, где дороги, остановки или ДТП оказываются одним из разделов. Отдельный слой - специализированные каталоги mobility: национальные точки доступа, порталы операторов и глобальные сборники фидов. География темы перекошена в сторону США: 692 записи, в основном ArcGIS-хабы дорожных ведомств штатов. Европейские точки доступа National Access Point по директиве ITS в реестре делится на два типа данных. Дорога и трафик, обычно DATEX II: немецкая Mobilithek, датский Dataudveksleren, финский каталог Digitraffic, испанский NAP DGT, хорватский promet-info.hr, словенский nap.si, румынский pna.cestrin.ro, бельгийский transportdata.be, кипрский traffic4cyprus.org.cy, чешский registr.dopravniinfo.cz, голландский NTM, норвежский Transportportal, шведский trafficdata.se, греческий data.nap.gov.gr. Расписания и мультимодальные поездки, обычно NeTEx, GTFS и SIRI: французский transport.data.gouv.fr, австрийский mobilitydata.gv.at, испанский nap.transportes.gob.es (второй NAP Испании, рядом с DGT), финский FINAP, итальянский каталог CCISS, португальский nap-portugal.imt-ip.pt, латвийский transportdata.gov.lv. Такая точка доступа публикует метаданные и адрес фида производителя. Сам файл часто лежит у оператора. Операторы и города Швейцария: федеральная платформа data.opentransportdata.swiss (CKAN, GTFS и realtime), отдельно SBB и женевский TPG. Франция: Île-de-France Mobilités и API-портал PRIM, RATP, SNCF, сеть STAR в Ренне, каталог Navitia. Германия: 10 марта 2024 Deutsche Bahn закрыла свой CKAN. Наборы переехали в Mobilithek, GovData и Open Data ÖPNV. API расписаний, станций и GBFS остались на developers.deutschebahn.com. Рядом земельная MobiData BW и портал RNV. Дальше по карте: BKK в Будапеште (GTFS и GTFS-Realtime), японский ODPT, тайваньский TDX как национальный API-хаб, Transport for NSW и Transport Victoria, голландские данные RDW (транспортные средства и парковки), лиссабонские EMEL и геопортал TML, боготинская Secretaría de Movilidad, мадридский CRTM. Ирландский NTA вынес GTFS и realtime в портал разработчика: developer.nationaltransport.ie. В российской части реестра отдельно стоит GeoServer «Московского транспорта»: transport.mos.ru/geoserver. Это публикация геослоёв WMS/WFS. Мир и агрегаторы Mobility Database — глобальный каталог GTFS, GTFS-Realtime и GBFS от MobilityData, со скачиваемым sources.csv. Transport Data Commons — коалиционный CKAN по транспорту. Витрина OpenDataSoft: transport.opendatasoft.com. Digital Transport for Africa — GitLab-инвентарь городских GTFS для Африки и Латинской Америки. TUMI Data Hub собирает данные городской мобильности. Mobito — коммерческая витрина: каталог открыт без входа, покупка данных идёт через аккаунт. Рядом исследовательские каталоги: немецкий FID move и Urban Mobility Observatory TU Delft. Статистика, а не фиды: корейская KTDB, американские data.transportation.gov и data.bts.gov. Как собирать Расписания ищите в NeTEx или GTFS у точки доступа и у оператора. Пробки и дорожные работы - в DATEX II у дорожного NAP. Шеринг - в GBFS. Один и тот же фид часто числится в национальном каталоге, у перевозчика и в агрегаторе: сверяйте канонический URL источника. #opendata #transport #datacatalogs

Открылся прием заявок на участие в новом сезоне онлайн-лаборатории Garage Digital. Она посвящена вычислительным средам в широком смысле — их этике, эстетике и экономике. Мы ждем художников и исследователей, работающих с: 🔗 визуальностью и скрытой логикой цифровых интерфейсов 🔗 техносоциальными проблемами вокруг них 🔗 алгоритмами ИИ и алгоритмизацией общества 🔗 рынками статистических предсказаний 🔗 экономиками больших данных Все встречи лаборатории будут проходить в Zoom на протяжении трех месяцев. Участники получат необходимую теоретическую базу, а также фидбек на свои проекты — от российских и зарубежных художников, философов и исследователей медиа. Чтобы подать заявку, нужно заполнить анкету (до 25 сентября включительно), прикрепив свое CV и описание предполагаемого проекта. Результаты отбора — до 5 октября.

Добрый день! Меня зовут Вера, я пиар-менеджер Музея «Гараж». Хочу поделиться опен-коллом для исследователей в области digital humanities: До 25 сентября идет прием заявок на участие в новом сезоне онлайн-лаборатории программы «Новые медиа». Она посвящена вычислительным средам в широком смысле — их этике, эстетике и экономике. Мы ждем художников и исследователей, работающих с цифровыми интерфейсами, алгоритмами, большими данными и техносоциальными проблемами вокруг них. Все встречи лаборатории будут проходить в Zoom на протяжении трех месяцев. Участники получат необходимую теоретическую базу, а также фидбек на свои проекты — от российских и зарубежных художников, философов и исследователей медиа. Чтобы подать заявку, нужно заполнить анкету (до 25 сентября включительно), прикрепив свое CV и описание предполагаемого проекта. Результаты отбора — до 5 октября. Будем рады, если получится рассказать о лаборатории! Изображение: Саша Кочеткова. The Only One. 2025.

НАПОМИНАЛКА ПО КУРСУ Всем привет! 🛑Хочу напомнить, что регистрация на мой курс «Основы пространственного геоанализа в Python» закрывается через месяц - 16 октября. Так что, если в планы на этот год у вас входило разобраться в задачах геоаналитики, научиться обрабатывать датасеты с геометрией, находить ближайших соседей для 10000 объектов и сравнивать их между собой, используя статистику, или может быть рисовать тепловые карты в Python, то советую не откладывать регистрацию - после 16го октября регистрация в системе будет недоступна🤷‍♀️ Также напоминаю, что сама платформа со всеми материалами, будет открыта еще год, до 16 октября 2027 года. То есть, у всех зарегистрирующихся будет год, чтобы "втянутся" в геоаналитику, сделать проект и позадавать мне вопросы 😉 Сайт курса с подробной информацией

Итак, опрос выше показал, что вам ни страшны ни платная подписка на google earth, ни доступ через ВПН, поэтому вот первый пост о разработках Google 🚀 Еще в 2025 году Google выпустил SATELLITE EMBEDDING, но сделал их удобными для использования только в 2026. Поэтому и я смогла оценить их возможности тоже только в 2026:) 🛰 Что это такое Если коротко, satellite embedding - это числовое представление информации со спутника о конкретном участке. То есть Google за вас проанализировал спутниковые снимки и представил результат в виде вектора из 64 чисел. Причем сделал это на масштабе 10*10 метров, на каждый год начиная с 2017 года по всему миру 🌍. Вот оригинальная статья, если нужны детали 🤔 Зачем это нужно Извлечь ценность, глядя на цифры для одного квадрата 10*10 метров невозможно. Пользу можно получить только, либо сравнивая их между собой, либо с другими данными, например land use 🗺. Полный список кейсов тут, ниже про те, что потестировала сама 📈 Обнаружение изменений за последние годы. Например, можно обнаружить вырубку леса, или постройку нового района. Личная оценка: 5/5. Работает хорошо, есть ощущение, что даже слишком🙈 - кажется, удалось поймать появление военной базы, которая затерта на карте)) На картинке к посту районы активной застройки в Абу-Даби 🔍 Поиск похожих. Не имея статистических данных, можно с помощью embeddings найти локации похожие ( со спутника!) друг на друга (угол между их векторами будет стремиться к 0) Личная оценка - 3/5: подходит для крупной классификации: парк, индустриальная зона, жилая многоэтажная застройка и тд. Разделить спальные районы по уровню дохода или по морфотипам не получилось - так, что внутри города использовать бы не стала. 📊 Классификация территорий. Похоже на предыдущий кейс. Только есть второй датасет с разметкой. И тогда сначала маркируются эмбеддинги на размеченной территории, затем на них обучается модель и применяется к оставшейся выборке. Личная оценка 4/5: зависит от качества разметки. Лучше размечать участки, а не точки- точность на квадрат выйдет лучше. 💡 Инсайты использования 1️⃣ Для доступа к эмбединг нужен аккаунт на Google Earth Engine (GEE). Загружать легко - через библиотеку GEE в python и пару строк предложенных AI . Для ресеча использование бесплатное, если для работы - тарифицируется через Google Cloud (на практике выходит порядка 0.1$ на 100 км2) 💰. 2️⃣ Оригинальное разрешение 10*10 очень тяжелое и падает с ошибкой на площади больше 100км. Для поиска крупных строек я агрегировала до 100*100m (так же доступно через библиотеку GEE) и все загружалось 🏗. 3️⃣ Вот тут хороший пример оценки изменений ( с кодом) внутри города с помощью embeddings И последние google не единственный, кто сделал embeddings, например есть еще Tessera. Но они единственные, кто хранят их на весь мир, а считать их самим - вычислительно дорого.

Помогите мне ответить на один вопрос: у меня в черновиках есть несколько постов, посвященных продуктам google. И я не могу решиться, имеет ли смысл их публиковать. С одной стороны, они за последний год сделали много интересных гео-инструментов в этом году. На самом деле, есть ощущение, что они настроились вытеснить ими всех мелких игроков с рынка геоаналитики. С другой стороны продукты гугл доступны не бесплатно, по подписке. У google earth есть бесплатная для вузов, но действует не на все продукты. И я не знаю, можно ли с российским аккаунтом сейчас получить доступ. Вобщем мне нужно ваше мнение: поставьте лайк, если хотите видеть посты про гугл разработки в канале, и дизлайк, если считаете бесполезными.

#geodata Тестирую сегодня новый (для себя) тип данных: ночное освещение, собираемое прибором VIIRS (Visible Infrared Imaging Radiometer Suite). На сегодняшний день - ночное освещение один из немногих альтернатив оценить уровень и скорость развития регионов в тех странах, где официальной статистики либо нет совсем, либо обновляется очень редко и очень не точно. Например исследования: раз, два Такие данные можно бесплатно скачать с сайта search.earthdata.nasa.gov. Доступны по всему миру с 2012 года. Получить легко: нужно зарегистрироваться (разницы бизнес вы или НКО нет), зайти на карту, выбрать регион, время и все, можно скачать файл (растр). Лучше брать ежемесячные данные (Lunar BRDF-Adjusted Nighttime Lights Monthly) - они более стабильные и не зависят от случайных событий

Хочу порекомендовать вам классное мероприятие, которое состоится онлайн 4-6 сентября. Мои коллеги и друзья Андрей и Глеб делают интенсив по вайбкодингу. Он подойдёт тем, у кого нет опыта в программировании, или не хватало времени, чтобы разобраться, как реализовать свой проект. Этот интенсив - отличная возможность за 3 дня получить готовый продукт, о котором можно написать в резюме,  поделиться в соц сетях, и в конце -концов, им можно пользоваться самим👆 В последнее время благодаря вайбкодингу появились сотни классных геопроектов: урбанисты, картографы, архитекторы, и другие, кому раньше не хватало навыков разработки, сейчас смогли реализовать свои идеи. Примеры: недавний ГдеБенз, GeoRisk, LocatedApp Так что, если у вас есть идея, гоу на интенсив к ребятам - зная их, уверена, это будут полезные выходные 👌 Программа и регистрация по ссылке При регистрации используйте промокод "GEOPYTHON". Для подписчиков канала скидка 5% до 25 августа . P.S. вечером воскресенье опционально пиво офлайн 🍻

Прерву долгое молчание своим любимым типом постов. Хочу поделиться с вами финальным проектом одного из слушателей моего онлайн-курса. Михаил @milktealain в своем исследовании изучил в каких районах Бирмингема хорошо жить семье с детьми. Оценивал по 2 ключевым критериям: качеству школ в округе и безопасности. Для создания профиля и выбора районов автор использовал k-means кластеризацию и композитный скор. Все вычисления сделаны на открытых данных На мой взгляд получилось хорошее законченное исследование с нетривиальными результатами. Если хотите так же, запись на курс открыта до 16.10.2026😉

📍📍Сделала интерактивный тренажёр по пространственной статистике📍📍 Внутри условный город с сетью датчиков PM2.5 и одна сквозная задача: по 60 точкам понять, что происходит во всём городе. В конце песочница для ваших CSV/GeoJSON: всё считается в браузере, данные никуда не отправляются. Формул нет совсем, но под каждым экраном готовый код на R и Python, который делает то же самое как в реальных расчетах. @urban_mash

Ищем коллег в команду «Тропы» Мы в поисках специалистов разного профиля для проектирования навигационных систем. Работаем проектно, но ищем тех, с кем сможем сотрудничать долго и регулярно. Сейчас нам нужны:

🖇️Аналитик навигационных проектов [Москва и МО] 🖇️Картограф / GIS-специалист [гибрид/удаленно] 🖇️Конструктор навигационных систем [гибрид/удаленно] 🖇️Арт-директор [Москва и МО] 🖇️Дизайнер [гибрид/удаленно]

Подробные описания — по ссылке. Если вам откликается одна из ролей, пишите на hello@tropa.me, указав в теме письма желаемую позицию.