Data Science. SQL hub

МосХаб.Сколково — точка сборки ИТ-сообщества и пространство для открытого диалога отрасли, города и общества. Здесь обсуждения превращаются в решения и реальные проекты. Рассказываем о мероприятиях, прошедших на площадке за последнее время. 🔴 VI Международный форум «Умный город — безопасная среда» и первая Национальная премия «Безопасный город». Москва взяла Гран-при и две награды: Mos.Hub победил в номинации «Сделано в России», городская система видеоаналитики в Москве — в «Технологиях будущего». 🔴Конференция издания «Компьютерра», которая была посвящена практическому применению ИИ в бизнесе: участники обсуждали реальные кейсы внедрения, барьеры и переход от пилотов к системным решениям. Логичным продолжением стала презентация второго номера издания и церемония премии «Герои нового энтерпрайза». 🔴Финальный этап отбора на стажировку «ИТ-город» в Правительстве Москвы. Участники работали в двух потоках: по направлению «Аналитика данных» решали задачи с использованием SQL, а в треке «Машинное обучение» — анализировали датасеты и обучали модели, загружая решения в облачный репозиторий Mos.Hub. 🔴 Встреча клуба «Цифровые лидеры бизнеса». Дискуссию о технологических трендах и развитии умных городов открыл Дмитрий Онтоев, который представил подход города к адаптации глобальных практик. Участники также обсудили применение ИИ, больших данных и кибербезопасности в бизнесе и городской среде. 🔴 Хакатон SkillOut — два дня интенсивной работы, где команды за 24 часа создавали AI-видеоролики по рекламным брифам. Процесс был выстроен как открытое шоу: с рабочими сессиями, лекциями и живым общением, а также прямым эфиром с площадки, позволяющим следить за происходящим в реальном времени. Впереди новые события и форматы.

🚀 Выложили в open source крупнейшую базу интеграций для AI-агентов. - 47 000 действий для агентов в 250+ приложениях - Подключения к Slack, GitHub, Gmail, Stripe, Discord, Google Sheets и другим сервисам - Все действия проверены, агент больше не «галлюцинирует» API - Разворачивается одной CLI-командой: подключил один раз — используешь везде Это тот самый слой интеграций, которого агентам давно не хватало. https://github.com/withoneai/cli

⚡️ Anthropic на конференции показали, как Claude сам находит zero-day уязвимости. Взяли не абы что, а Ghost - проект, у которого за всё время не было ни одной критической дыры. Claude понадобилось ~90 минут, чтобы найти SQL-инъекцию и добраться до админского API. И на этом он не остановился. Дальше - тот же подход применили к ядру Linux. Это уже не “помощник разработчика”. Это автономный инструмент для поиска уязвимостей. https://github.com/tryghost/Ghost

Хитрый SQL-трюк, который редко используют 👇 Считать метрики без GROUP BY — через оконные функции. Обычно пишут так: SELECT user_id, COUNT(*) AS orders_count FROM orders GROUP BY user_id; Но проблема, ты теряешь строки и детали. А можно так:

SELECT 
  user_id,
  order_id,
  COUNT(*) OVER (PARTITION BY user_id) AS orders_count
FROM orders;

Что происходит: - ты получаешь каждую строку - и одновременно считаешь агрегаты - без GROUP BY и без потери данных Где это полезно: - аналитика (дашборды) - сложные отчёты - когда нужны и детали, и агрегаты сразу

Работа с корпоративными данными — типичный сценарий для ИИ-агентов. Основное ограничение здесь не столько возможности самой модели, сколько способность работать с разными форматами данных. Специально для таких сценариев Yandex B2B Tech обновили File Search в Yandex AI Studio, расширив его возможности. Инструмент теперь поддерживает не только текст, PDF и изображения, но и видео, аудио и таблицы. Для мультимедиа используется отдельный пайплайн распознавания речи и изображений. File Search – встроенный инструмент, который использует RAG-подход для доступа к данным: модели формируют ответы на основе загруженных файлов и корпоративных баз знаний, а не только общих знаний модели о мире. Добавлена поддержка поиска CSV и Excel, что важно для кейсов со структурированными данными. Инструмент можно использовать вместе с рассуждающей моделью DeepSeek V3.2.

Сколько времени обычно уходит на сборку полноценной data-архитектуры? Дни, недели или даже месяцы? 2 апреля команда Yandex Cloud покажет, как развернуть Lakehouse по клику и получить рабочую аналитическую архитектуру без долгой интеграции разрозненных инструментов. В основе — единый стек: raw-данные в Object Storage (S3); табличный слой на Iceberg; обработка через Trino и Spark; интерактив — витрины в ClickHouse и BI. ✅ Зачем приходить — Поймёте, как выглядит целевая архитектура «от данных до BI» и как собрать её без лишней ручной интеграции — Получите практические ответы «как делать правильно»: Iceberg, ingestion, метаданные и доступы — Услышите опыт крупного бизнеса: где «чистый Lakehouse» достаточен, а где нужен слой витрин (Magnit Tech, F&R, десятки петабайт) — Разберёте паттерны для низкой латентности и потоковых сценариев: витрины, ClickHouse + Kafka, интеграции с BI — Узнаете, что дальше по roadmap: Iceberg REST Catalog (управляемость/контроль доступа) + AI‑агенты для работы с кодом и пайплайнами + как попасть в лист ожидания — В конце — Q&A и сбор заявок на воркшопы/пилоты после митапа Бонусом вас ждут практические рекомендации по производительности и развитие платформы, включая AI-ускорение ETL/ELT. Для команд, которые строят или модернизируют DWH/Lakehouse и хотят сократить время, это маст! Всё бесплатно, регистрируйтесь тут.

⚡️ Alibaba DAMO Academy (лаборатория, которая создала Qwen) открыла исходный код AgentScope - Python-фреймворка для построения систем из нескольких AI-агентов. Чем он отличается от остальных: Вы описываете задачу - система строит архитектуру сама. Планировщик, исследователь, программист, критик - каждый агент получает свои инструменты, память и логику рассуждений. Они работают в связке и возвращают готовый результат. Что внутри из коробки: • Визуальный конструктор агентов, проектируете систему до написания кода • Поддержка MCP-инструментов - подключаете любые внешние сервисы напрямую • Встроенная память - агенты помнят контекст, решения и историю между сессиями • RAG-конвейер - подключаете свои документы и базы знаний • Модули рассуждений - агенты планируют, рефлексируют и исправляют ошибки без участия человека Это фреймворк, где агент - первичная единица мышления с самого начала проектирования. Лицензия: Apache 2.0. Полностью бесплатно. https://github.com/agentscope-ai/agentscope

🚀 Cursor сделал regex-поиск мгновенным Instant Grep ищет по миллионам файлов за миллисекунды 16.8 сек → 13 мс И главное: они не ускоряли regex они убрали лишний поиск 🧠 Как это работает - создаётся индекс: куски текста → файлы - используются триграммы (fil, ile, le_) - сначала ищутся кандидаты - потом запускается regex 👉 большинство файлов вообще не открывается 🔥 Ключевая идея - sparse n-grams - индексируются не все куски - только самые «полезные» - редкие символы имеют больший вес 💾 Всё локально - индекс хранится у тебя - привязан к Git - быстрый доступ через memory map Скорость даёт не regex а умный отбор файлов до поиска. https://x.com/cursor_ai/status/2036122609931165985

🌟 Лучшие GitHub-репозитории для Claude Code, которые могут увеличить эффективность твоего следующего проекта: 1. Superpowers https://github.com/obra/superpowers → Набор “супер-скиллов” для Claude: готовые промпты и инструменты, которые расширяют возможности агента (автоматизация, генерация кода, workflow). 2. Awesome Claude Code https://github.com/hesreallyhim/awesome-claude-code → Кураторский список всего полезного вокруг Claude Code: гайды, тулзы, примеры, лучшие практики. 3. GSD (Get Shit Done) https://github.com/gsd-build/get-shit-done → Фреймворк для реального продакшн-использования агентов: ставишь задачи - агент разбивает их и доводит до результата. 4. Claude Mem https://github.com/thedotmack/claude-mem → Система памяти для Claude: позволяет агенту “помнить” контекст, прошлые действия и работать как долгоживущий ассистент. 5. UI UX Pro Max https://github.com/nextlevelbuilder/ui-ux-pro-max-skill → Набор навыков для генерации интерфейсов: помогает Claude делать более качественные UI/UX решения и дизайн. 6. n8n-MCP https://github.com/czlonkowski/n8n-mcp → Интеграция Claude с n8n: можно подключать агента к автоматизациям, API и workflow без кучи кода. 7. Obsidian Skills https://github.com/kepano/obsidian-skills → Навыки для работы с Obsidian: управление заметками, knowledge base и личной базой знаний через Claude. 8. LightRAG https://github.com/hkuds/lightrag → Лёгкая реализация RAG (Retrieval-Augmented Generation): быстро подключаешь свою базу данных к модели для более точных ответов. 9. Everything Claude Code https://github.com/affaan-m/everything-claude-code → Универсальный сборник: шаблоны, примеры, инструменты - всё, чтобы быстро стартовать и прокачать Claude Code. 🎯Полезные Мл-ресурсы 🚀 Max @data_analysis_ml

На Stepik вышел курс ML Engineer / Data Scientist: табличные модели в продакшн Практический курс по табличному ML для тех, кто хочет прокачаться в сторону ML Engineer / Data Scientist и увереннее чувствовать себя в реальных задачах на табличных данных. Внутри: — CatBoost / LightGBM — feature engineering (генерация признаков) — корректная валидация — анти-leakage — тюнинг через Optuna — SHAP — batch inference — REST API для предсказаний Акцент курса — не только на качестве модели, но и на том, как собрать вменяемый и цельный ML-пайплайн для практических задач. В течение 48 часов после публикации действует скидка 25%. Записаться на курс можно здесь Ип Малышкин А.А. ИНН: 402571325199, Erid: 2Vtzqv1KLw7

🔥 Очень любопытный проект: Supermemory показал 99% на SOTA-бенчмарке памяти • Supermemory набрал ~99% на LongMemEval_s с использованием экспериментальной техники ASMR (Agentic Search and Memory Retrieval) • Вместо классического vector search и embeddings используется система параллельных агентов-наблюдателей, которые извлекают структурированные знания из истории взаимодействий сразу по нескольким направлениям • Используются специализированные поисковые агенты: → для точных фактов → для связанного контекста → для восстановления временной последовательности • И самое интересное, никакой векторной базы данных не требуется 🚀 Проект станет open-source уже через 11 дней, следим: https://x.com/DhravyaShah/status/2035517012647272689 🎯Полезные Мл-ресурсы 🚀 Max

🏚 Один промпт - минус $30K комиссии: как ChatGPT продал дом! ChatGPT продал дом быстрее и дороже, чем риелторы. И это тревожный сигнал для рынка История началась как обычный эксперимент. Мужчина из Флориды собирался продать дом и, как это делают все, сначала поговорил с риелторами. Ему назвали примерную цену, стандартную стратегию и, конечно, комиссию. Но дальше он решил проверить одну идею: а что если вообще не использовать людей? Вместо агента он открыл ChatGPT. Он начал с простого, попросил ИИ проанализировать рынок. ChatGPT разобрал похожие дома в районе, подсказал диапазон цен и предложил стратегию: не занижать стоимость, а наоборот — выставить чуть выше, чтобы создать ощущение ценности. Дальше - больше. Он попросил ИИ написать объявление. Не просто текст, а описание, которое “продаёт”: с правильными акцентами, эмоцией, выгодами. Затем — советы по подготовке дома. ChatGPT предложил, какие комнаты стоит освежить, какие детали убрать, а где наоборот добавить “вау-эффект”. Фактически, ИИ стал его маркетологом, дизайнером и стратегом одновременно. Дом выставили. И тут началось самое интересное. В первые три дня пришло сразу несколько предложений. Люди активно интересовались, записывались на просмотры. Через пять дней сделка была закрыта. Финальная цена, почти на $100,000 выше, чем ожидали риелторы. Комиссия - ноль. Это не история про “заменили одного специалиста”. Это история про то, как один инструмент закрыл сразу несколько ролей: - аналитика рынка - копирайтера - маркетолога - консультанта И сделал это быстрее. Самое важное здесь даже не деньги. А то, насколько сильно изменилась сама логика процесса. Раньше, чтобы продать дом, нужно было: найти агента → согласовать стратегию → ждать → платить комиссию. Теперь достаточно: открыть ChatGPT → задать правильные вопросы → действовать. Та же модель уже применяется в других сферах: люди используют ИИ для переговоров, составления контрактов, анализа сделок, запуска рекламы. Постепенно исчезает не профессия целиком, а её “рутинная часть”. Та самая, за которую раньше платили больше всего. И вот тут становится немного не по себе. Потому что если ChatGPT может продать дом…. то что ещё он сможет сделать через год?

🖥 SQL-концепции, которые реально нужно знать: • CRUD → SELECT, INSERT, UPDATE, DELETE • Ключи → PRIMARY KEY, FOREIGN KEY • Ограничения → NOT NULL, UNIQUE, CHECK, DEFAULT • JOIN’ы → INNER JOIN, LEFT JOIN, RIGHT JOIN • Агрегации → COUNT, SUM, AVG, MIN, MAX • Группировка → GROUP BY, HAVING • Фильтрация → WHERE, BETWEEN, IN, LIKE • Сортировка → ORDER BY • Подзапросы → SELECT (SELECT …) • Индексы → CREATE INDEX • Представления → CREATE VIEW • Транзакции → BEGIN, COMMIT, ROLLBACK • Пагинация → LIMIT, OFFSET • Оптимизация → EXPLAIN

🔥 Полезная подборка каналов только код, практика и самые передовые инструменты, которые используют разработчики прямо сейчас.👇 🖥 ИИ: t.me/ai_machinelearning_big_data 🖥 Python: t.me/pythonl 🖥 Linux: t.me/linuxacademiya 🖥 C++ t.me/cpluspluc 🖥 Docker: t.me/DevopsDocker 🖥 Хакинг: t.me/linuxkalii 🖥 Devops: t.me/DevOPSitsec 👣 Golang: t.me/Golang_google 🖥 Аналитика: t.me/data_analysis_ml 🖥 Javascript: t.me/javascriptv 🖥 C#: t.me/csharp_ci 🖥 Java: t.me/javatg 🖥 Базы данных: t.me/sqlhub 👣 Rust: t.me/rust_code 🤖 Технологии: t.me/vistehno 💰 Экономика и инвестиции в ИИ t.me/financeStable 💼 Актуальные вакансии: t.me/addlist/_zyy_jQ_QUsyM2Vi 🖥Подборка по Golang: https://t.me/addlist/MUtJEeJSxeY2YTFi ⚡️ Лучшие ИИ ресурсы: https://t.me/addlist/2Ls-snqEeytkMDgy Max ИИ: https://max.ru/ai_machinelearning_big_data Max Ml: https://max.ru/vistehno Max python: https://max.ru/pythonl Max Go: https://max.ru/Golang_google Max Linux: https://max.ru/linuxkalii Max Java: https://max.ru/javatg Max Sql: https://max.ru/sqlhub Max Devops: https://max.ru/DevOPSitsec Анализ данных: https://max.ru/data_analysis_ml C++ : https://max.ru/cpluspluc C#: https://max.ru/csharp_ci 🖥 Chatgpt бот в тг: t.me/Chatgpturbobot 📚 Бесплатные ит-книги: https://t.me/addlist/HwywK4fErd8wYzQy

🚀 Умный помощник для Claude Code gstack превращает Claude Code в команду специалистов, доступных по запросу. Он предлагает восемь навыков для управления рабочими процессами, включая планирование, ревью кода и автоматизацию браузера, все через удобные команды. 🚀 Основные моменты: - Многофункциональные команды для разных ролей (CEO, инженер, QA). - Интеграция с Conductor для параллельной работы. - Полная автоматизация тестирования и ревью. 📌 GitHub: https://github.com/garrytan/gstack

🌶 Базы данных за 30 секунд 🧠 🗄️ Реляционные базы данных (SQL) • Данные хранятся в таблицах • Фиксированная схема • Поддержка ACID-транзакций Примеры → PostgreSQL, MySQL 📦 NoSQL базы данных • Гибкая схема данных • Созданы для горизонтального масштабирования Примеры → MongoDB, DynamoDB ⚡ Key-Value хранилища • Простая модель: ключ → значение • Очень высокая скорость работы Примеры → Redis, etcd 🧱 Wide-Column базы данных • Данные хранятся в семействах колонок • Подходят для огромных объёмов данных Примеры → Cassandra, HBase 🕸️ Графовые базы данных • Основной фокус — связи между данными • Идеальны для связанных структур Примеры → Neo4j 📈 Time-Series базы данных • Данные индексируются по времени • Используются для метрик и мониторинга Примеры → Prometheus, InfluxDB 🎯 Базу данных выбирают по задаче, а не по тренду. https://www.youtube.com/shorts/6mpZyksUTdg

Парень рассказал, что Claude удалил его базу данных, хотя понимал, что это нужно сделать только после загрузки на прод. После удаления модель ответила: «Это моя ошибка. Сейчас восстановить неоткуда. Прости.»

📌 Андрей Карпаты выложил новый проект - karpathy/jobs. Он взял данные по 342 профессиям из статистики BLS (≈143 млн работников в США) и с помощью LLM оценил, насколько каждая из них подвержена влиянию AI по шкале 0–10. Результат он визуализировал в виде treemap. Средний показатель по всем профессиям: 5.3 / 10. Примеры: • разработчики ПО: 8–9 • кровельщики: 0–1 • специалисты по расшифровке медицинских записей: 10 / 10 💀💀 Паттерн довольно простой. Если вся работа происходит за экраном, риск автоматизации высокий. Если она требует физического труда и непредсказуемой среды, вы гораздо безопаснее. По оценке Карпати, около 57 млн работников в США - почти 40% всей рабочей силы - находятся в зоне высокого риска изменений из-за AI. https://karpathy.ai/jobs/ @ai_machinelearning_big_data #ai #ml #future #jobs #llm