Data Science. SQL hub

⚡️ Таблицы теперь живут прямо в терминале Да, без Excel и без GUI. Sheets - это инструмент, который позволяет читать и редактировать CSV прямо в терминале через TUI или CLI. Что внутри: - полноценная работа с таблицами без выхода из терминала - vim-подобные хоткеи и навигация - быстрые правки без лишнего оверхеда Работает на Windows, macOS и Linux. Идеально, если ты живёшь в терминале и не хочешь дергаться между окнами. Excel начинает нервничать. https://github.com/maaslalani/sheets

Oracle массово режет штат - до 30 000 человек за один день. По разным оценкам уволили от 10 000 до 30 000 сотрудников • Письма пришли в 6 утра - без предупреждений от менеджеров и HR • День получения письма сразу стал последним рабочим днём • В отдельных командах сокращения доходят до 30%+ Формулировка классическая: «организационные изменения» Что на самом деле произошло : Компани перераспределяет деньги в ИИ и облачную инфраструктуру. В 2025 компания столкнулась с резким ростом расходов • Огромный кассовый разрыв из-за инвестиций в инфраструктуру • Аналитики оценивают экономию от сокращений в $8–10 млрд Но есть нюанс:Даже если все деньги уйдут в ИИ, окупаемость ожидается только к 2030 году Ирония 2026:Мы думали, нас заменит ИИ, потому что он умнее и дешевле А оказалось - нас увольняют, потому что он слишком дорогой и пока ещё не настолько эффективны. https://vc.ru/ai/2844412-oracle-uvolila-do-30000-sotrudnikov-iz-za-investitsiy-v-ii

Одна из самых долгих и ресурсоемких частей в создании аналитических систем - это подготовка базовой инфраструктуры. Stackland, выпущенный Yandex B2B Tech, как раз решает эту задачу: средства хранения и обработки данных, как и управляемые СУБД от Yandex Cloud уже встроены в платформу и разворачиваются из коробки вместе с необходимым слоем управления. И разворачивается платформа во внутреннем безопасном контуре. Получаешь готовый data-фундамент с управлением доступами, мониторингом и масштабированием. И можешь сразу идти в разработку. Запросить демо платформы, а также записаться на индивидуальную консультацию с архитекторами платформы можно по ссылке.

Папка .claude: полный разбор того, что внутри Большинство разработчиков, работающих с Claude Code, смотрят на папку .claude как на черный ящик. Знают, что она есть. Видели, как она появляется в корне проекта. Но никогда не открывали и уж точно не понимали, что там лежит и зачем. А зря. Папка .claude – это центр управления поведением Claude в вашем проекте. Здесь хранятся инструкции, кастомные команды, правила доступа и даже память модели между сессиями. Разберемся с каждым файлом и папкой по порядку. https://uproger.com/papka-claude-polnyj-razbor-togo-chto-vnutri/

✔️ Anthropic планирует выйти на IPO в октябре 2026 года. Anthropic начала подготовку к первичному размещению акций и ведет предварительные переговоры с ключевыми игроками Уолл-стрит: Goldman Sachs, JPMorgan и Morgan Stanley, чтобы выбрать организаторов листинга. Ожидается, что в ходе IPO стартап сможет привлечь более $60 млрд. Размещению предшествовал крупный раунд финансирования, прошедший в феврале этого года. В рамках этого раунда консорциум инвесторов во главе с фондами GIC и Coatue вложил в компанию $30 млрд, что подняло общую капитализацию Anthropic до $380 млрд. Финансовый рынок уже отреагировал на новости: эмитенты ETF начали подавать заявки на регистрацию маржинальных фондов, привязанных к котировкам будущих акций компании. bloomberg.com ✔️ Microsoft опенсорснула семейство эмбеддингов Harrier. Harrier-OSS-v1 - линейка мультиязычных моделей для векторизации текста. Они используются для информационного поиска, кластеризации, классификации текстов и оценки семантической близости. Семейство выбило SOTA-рекорд в бенчмарке Multilingual MTEB v2. Флагманская модель на 27 млрд. параметров и компактная на 270 млн. построены на архитектуре Gemma 3, а средняя версия на 600 млн. параметров использует базу Qwen 3. Модели поддерживают контекстное окно до 32 тыс. токенов и работают с более чем 94 языками, включая русский. Семейство открыто под лицензией MIT и интегрированы в sentence-transformers, LangChain и LlamaIndex. huggingface.co ✔️ Видеогенератор Sora закрылся из-за убытков. После громкого релиза аудитория сервиса быстро сократилась с миллиона до 500 тысяч человек, при этом поддержание работы видеогенератора обходилось OpenAI примерно в $1 млн. ежедневно. В итоге проект оказался для компании обузой. К финансовым потерям добавились проблемы с авторскими правами и опасения, что создание низкокачественных роликов вредит репутации бренда. Обучение новых видеомоделей уже полностью остановлено. Под давлением конкуренции со стороны Anthropic руководство OpenAI решило перенаправить вычислительные мощности на более маржинальные направления: разработку ИИ-агентов, генерацию кода и корпоративные продукты. Команду Sora перевели на создание моделей мира для робототехники. wsj.com ✔️ Microsoft расширила возможности Copilot. В рамках обновления Microsoft 365 Copilot компания добавила новые инструменты для автоматизации рабочих процессов и глубокого поиска. Во главе апдейта - агент Researcher с функцией Critique, которая задействует 2 модели: одну для черновика, а другую - в роли проверяющего редактора, комбинируя возможности моделей от OpenAI и Anthropic. Microsoft говорит, что агент опережает Perplexity на базе Claude Opus 4.6 на 7 пунктов. Вторая часть - это функция Model Council, которая выводит на один экран ответы от разных ИИ-моделей для наглядного сравнения их выводов и поиска расхождений. Попутно Microsoft расширила доступ к Copilot Cowork по программе Frontier. Система научилась брать на себя многоэтапные задачи: она самостоятельно взаимодействует с рабочими файлами, планирует расписание в календаре и формирует ежедневные брифинги. microsoft.com ✔️ GitHub Copilot вставлял рекламу прямо в пулл-реквесты. Независимый разработчик Зак Мэнсон обнаружил , что при автокоррекции опечаток в PR Copilot добавляла рекламный текст. Поиск по GitHub подтвердил, что десятки тысяч PR уже успели получить навязчивое предложение использовать утилиту Raycast для запуска Copilot на macOS и Windows. Представитель Copilot подтвердил инцидент и сообщил, что функцию оперативно отключили, признав ее внедрение ошибкой. Однако случившееся серьезно подорвало доверие сообщества разработчиков. На фоне этого пользователи начали сообщать о переносе приватных репозиториев с GitHub на альтернативные открытые площадки: Forgejo, Gitea, Codeberg и собственные self-hosted решения. news.ycombinator.com @ai_machinelearning_big_data #news #ai #ml

МосХаб.Сколково — точка сборки ИТ-сообщества и пространство для открытого диалога отрасли, города и общества. Здесь обсуждения превращаются в решения и реальные проекты. Рассказываем о мероприятиях, прошедших на площадке за последнее время. 🔴 VI Международный форум «Умный город — безопасная среда» и первая Национальная премия «Безопасный город». Москва взяла Гран-при и две награды: Mos.Hub победил в номинации «Сделано в России», городская система видеоаналитики в Москве — в «Технологиях будущего». 🔴Конференция издания «Компьютерра», которая была посвящена практическому применению ИИ в бизнесе: участники обсуждали реальные кейсы внедрения, барьеры и переход от пилотов к системным решениям. Логичным продолжением стала презентация второго номера издания и церемония премии «Герои нового энтерпрайза». 🔴Финальный этап отбора на стажировку «ИТ-город» в Правительстве Москвы. Участники работали в двух потоках: по направлению «Аналитика данных» решали задачи с использованием SQL, а в треке «Машинное обучение» — анализировали датасеты и обучали модели, загружая решения в облачный репозиторий Mos.Hub. 🔴 Встреча клуба «Цифровые лидеры бизнеса». Дискуссию о технологических трендах и развитии умных городов открыл Дмитрий Онтоев, который представил подход города к адаптации глобальных практик. Участники также обсудили применение ИИ, больших данных и кибербезопасности в бизнесе и городской среде. 🔴 Хакатон SkillOut — два дня интенсивной работы, где команды за 24 часа создавали AI-видеоролики по рекламным брифам. Процесс был выстроен как открытое шоу: с рабочими сессиями, лекциями и живым общением, а также прямым эфиром с площадки, позволяющим следить за происходящим в реальном времени. Впереди новые события и форматы.

🚀 Выложили в open source крупнейшую базу интеграций для AI-агентов. - 47 000 действий для агентов в 250+ приложениях - Подключения к Slack, GitHub, Gmail, Stripe, Discord, Google Sheets и другим сервисам - Все действия проверены, агент больше не «галлюцинирует» API - Разворачивается одной CLI-командой: подключил один раз — используешь везде Это тот самый слой интеграций, которого агентам давно не хватало. https://github.com/withoneai/cli

⚡️ Anthropic на конференции показали, как Claude сам находит zero-day уязвимости. Взяли не абы что, а Ghost - проект, у которого за всё время не было ни одной критической дыры. Claude понадобилось ~90 минут, чтобы найти SQL-инъекцию и добраться до админского API. И на этом он не остановился. Дальше - тот же подход применили к ядру Linux. Это уже не “помощник разработчика”. Это автономный инструмент для поиска уязвимостей. https://github.com/tryghost/Ghost

Хитрый SQL-трюк, который редко используют 👇 Считать метрики без GROUP BY — через оконные функции. Обычно пишут так: SELECT user_id, COUNT(*) AS orders_count FROM orders GROUP BY user_id; Но проблема, ты теряешь строки и детали. А можно так:

SELECT 
  user_id,
  order_id,
  COUNT(*) OVER (PARTITION BY user_id) AS orders_count
FROM orders;

Что происходит: - ты получаешь каждую строку - и одновременно считаешь агрегаты - без GROUP BY и без потери данных Где это полезно: - аналитика (дашборды) - сложные отчёты - когда нужны и детали, и агрегаты сразу

Работа с корпоративными данными — типичный сценарий для ИИ-агентов. Основное ограничение здесь не столько возможности самой модели, сколько способность работать с разными форматами данных. Специально для таких сценариев Yandex B2B Tech обновили File Search в Yandex AI Studio, расширив его возможности. Инструмент теперь поддерживает не только текст, PDF и изображения, но и видео, аудио и таблицы. Для мультимедиа используется отдельный пайплайн распознавания речи и изображений. File Search – встроенный инструмент, который использует RAG-подход для доступа к данным: модели формируют ответы на основе загруженных файлов и корпоративных баз знаний, а не только общих знаний модели о мире. Добавлена поддержка поиска CSV и Excel, что важно для кейсов со структурированными данными. Инструмент можно использовать вместе с рассуждающей моделью DeepSeek V3.2.

Сколько времени обычно уходит на сборку полноценной data-архитектуры? Дни, недели или даже месяцы? 2 апреля команда Yandex Cloud покажет, как развернуть Lakehouse по клику и получить рабочую аналитическую архитектуру без долгой интеграции разрозненных инструментов. В основе — единый стек: raw-данные в Object Storage (S3); табличный слой на Iceberg; обработка через Trino и Spark; интерактив — витрины в ClickHouse и BI. ✅ Зачем приходить — Поймёте, как выглядит целевая архитектура «от данных до BI» и как собрать её без лишней ручной интеграции — Получите практические ответы «как делать правильно»: Iceberg, ingestion, метаданные и доступы — Услышите опыт крупного бизнеса: где «чистый Lakehouse» достаточен, а где нужен слой витрин (Magnit Tech, F&R, десятки петабайт) — Разберёте паттерны для низкой латентности и потоковых сценариев: витрины, ClickHouse + Kafka, интеграции с BI — Узнаете, что дальше по roadmap: Iceberg REST Catalog (управляемость/контроль доступа) + AI‑агенты для работы с кодом и пайплайнами + как попасть в лист ожидания — В конце — Q&A и сбор заявок на воркшопы/пилоты после митапа Бонусом вас ждут практические рекомендации по производительности и развитие платформы, включая AI-ускорение ETL/ELT. Для команд, которые строят или модернизируют DWH/Lakehouse и хотят сократить время, это маст! Всё бесплатно, регистрируйтесь тут.

⚡️ Alibaba DAMO Academy (лаборатория, которая создала Qwen) открыла исходный код AgentScope - Python-фреймворка для построения систем из нескольких AI-агентов. Чем он отличается от остальных: Вы описываете задачу - система строит архитектуру сама. Планировщик, исследователь, программист, критик - каждый агент получает свои инструменты, память и логику рассуждений. Они работают в связке и возвращают готовый результат. Что внутри из коробки: • Визуальный конструктор агентов, проектируете систему до написания кода • Поддержка MCP-инструментов - подключаете любые внешние сервисы напрямую • Встроенная память - агенты помнят контекст, решения и историю между сессиями • RAG-конвейер - подключаете свои документы и базы знаний • Модули рассуждений - агенты планируют, рефлексируют и исправляют ошибки без участия человека Это фреймворк, где агент - первичная единица мышления с самого начала проектирования. Лицензия: Apache 2.0. Полностью бесплатно. https://github.com/agentscope-ai/agentscope

🚀 Cursor сделал regex-поиск мгновенным Instant Grep ищет по миллионам файлов за миллисекунды 16.8 сек → 13 мс И главное: они не ускоряли regex они убрали лишний поиск 🧠 Как это работает - создаётся индекс: куски текста → файлы - используются триграммы (fil, ile, le_) - сначала ищутся кандидаты - потом запускается regex 👉 большинство файлов вообще не открывается 🔥 Ключевая идея - sparse n-grams - индексируются не все куски - только самые «полезные» - редкие символы имеют больший вес 💾 Всё локально - индекс хранится у тебя - привязан к Git - быстрый доступ через memory map Скорость даёт не regex а умный отбор файлов до поиска. https://x.com/cursor_ai/status/2036122609931165985

🌟 Лучшие GitHub-репозитории для Claude Code, которые могут увеличить эффективность твоего следующего проекта: 1. Superpowers https://github.com/obra/superpowers → Набор “супер-скиллов” для Claude: готовые промпты и инструменты, которые расширяют возможности агента (автоматизация, генерация кода, workflow). 2. Awesome Claude Code https://github.com/hesreallyhim/awesome-claude-code → Кураторский список всего полезного вокруг Claude Code: гайды, тулзы, примеры, лучшие практики. 3. GSD (Get Shit Done) https://github.com/gsd-build/get-shit-done → Фреймворк для реального продакшн-использования агентов: ставишь задачи - агент разбивает их и доводит до результата. 4. Claude Mem https://github.com/thedotmack/claude-mem → Система памяти для Claude: позволяет агенту “помнить” контекст, прошлые действия и работать как долгоживущий ассистент. 5. UI UX Pro Max https://github.com/nextlevelbuilder/ui-ux-pro-max-skill → Набор навыков для генерации интерфейсов: помогает Claude делать более качественные UI/UX решения и дизайн. 6. n8n-MCP https://github.com/czlonkowski/n8n-mcp → Интеграция Claude с n8n: можно подключать агента к автоматизациям, API и workflow без кучи кода. 7. Obsidian Skills https://github.com/kepano/obsidian-skills → Навыки для работы с Obsidian: управление заметками, knowledge base и личной базой знаний через Claude. 8. LightRAG https://github.com/hkuds/lightrag → Лёгкая реализация RAG (Retrieval-Augmented Generation): быстро подключаешь свою базу данных к модели для более точных ответов. 9. Everything Claude Code https://github.com/affaan-m/everything-claude-code → Универсальный сборник: шаблоны, примеры, инструменты - всё, чтобы быстро стартовать и прокачать Claude Code. 🎯Полезные Мл-ресурсы 🚀 Max @data_analysis_ml

На Stepik вышел курс ML Engineer / Data Scientist: табличные модели в продакшн Практический курс по табличному ML для тех, кто хочет прокачаться в сторону ML Engineer / Data Scientist и увереннее чувствовать себя в реальных задачах на табличных данных. Внутри: — CatBoost / LightGBM — feature engineering (генерация признаков) — корректная валидация — анти-leakage — тюнинг через Optuna — SHAP — batch inference — REST API для предсказаний Акцент курса — не только на качестве модели, но и на том, как собрать вменяемый и цельный ML-пайплайн для практических задач. В течение 48 часов после публикации действует скидка 25%. Записаться на курс можно здесь Ип Малышкин А.А. ИНН: 402571325199, Erid: 2Vtzqv1KLw7

🔥 Очень любопытный проект: Supermemory показал 99% на SOTA-бенчмарке памяти • Supermemory набрал ~99% на LongMemEval_s с использованием экспериментальной техники ASMR (Agentic Search and Memory Retrieval) • Вместо классического vector search и embeddings используется система параллельных агентов-наблюдателей, которые извлекают структурированные знания из истории взаимодействий сразу по нескольким направлениям • Используются специализированные поисковые агенты: → для точных фактов → для связанного контекста → для восстановления временной последовательности • И самое интересное, никакой векторной базы данных не требуется 🚀 Проект станет open-source уже через 11 дней, следим: https://x.com/DhravyaShah/status/2035517012647272689 🎯Полезные Мл-ресурсы 🚀 Max

🏚 Один промпт - минус $30K комиссии: как ChatGPT продал дом! ChatGPT продал дом быстрее и дороже, чем риелторы. И это тревожный сигнал для рынка История началась как обычный эксперимент. Мужчина из Флориды собирался продать дом и, как это делают все, сначала поговорил с риелторами. Ему назвали примерную цену, стандартную стратегию и, конечно, комиссию. Но дальше он решил проверить одну идею: а что если вообще не использовать людей? Вместо агента он открыл ChatGPT. Он начал с простого, попросил ИИ проанализировать рынок. ChatGPT разобрал похожие дома в районе, подсказал диапазон цен и предложил стратегию: не занижать стоимость, а наоборот — выставить чуть выше, чтобы создать ощущение ценности. Дальше - больше. Он попросил ИИ написать объявление. Не просто текст, а описание, которое “продаёт”: с правильными акцентами, эмоцией, выгодами. Затем — советы по подготовке дома. ChatGPT предложил, какие комнаты стоит освежить, какие детали убрать, а где наоборот добавить “вау-эффект”. Фактически, ИИ стал его маркетологом, дизайнером и стратегом одновременно. Дом выставили. И тут началось самое интересное. В первые три дня пришло сразу несколько предложений. Люди активно интересовались, записывались на просмотры. Через пять дней сделка была закрыта. Финальная цена, почти на $100,000 выше, чем ожидали риелторы. Комиссия - ноль. Это не история про “заменили одного специалиста”. Это история про то, как один инструмент закрыл сразу несколько ролей: - аналитика рынка - копирайтера - маркетолога - консультанта И сделал это быстрее. Самое важное здесь даже не деньги. А то, насколько сильно изменилась сама логика процесса. Раньше, чтобы продать дом, нужно было: найти агента → согласовать стратегию → ждать → платить комиссию. Теперь достаточно: открыть ChatGPT → задать правильные вопросы → действовать. Та же модель уже применяется в других сферах: люди используют ИИ для переговоров, составления контрактов, анализа сделок, запуска рекламы. Постепенно исчезает не профессия целиком, а её “рутинная часть”. Та самая, за которую раньше платили больше всего. И вот тут становится немного не по себе. Потому что если ChatGPT может продать дом…. то что ещё он сможет сделать через год?

🖥 SQL-концепции, которые реально нужно знать: • CRUD → SELECT, INSERT, UPDATE, DELETE • Ключи → PRIMARY KEY, FOREIGN KEY • Ограничения → NOT NULL, UNIQUE, CHECK, DEFAULT • JOIN’ы → INNER JOIN, LEFT JOIN, RIGHT JOIN • Агрегации → COUNT, SUM, AVG, MIN, MAX • Группировка → GROUP BY, HAVING • Фильтрация → WHERE, BETWEEN, IN, LIKE • Сортировка → ORDER BY • Подзапросы → SELECT (SELECT …) • Индексы → CREATE INDEX • Представления → CREATE VIEW • Транзакции → BEGIN, COMMIT, ROLLBACK • Пагинация → LIMIT, OFFSET • Оптимизация → EXPLAIN