Анализ данных (Data analysis)

🦾 ИИ в Data Engineering: что реально работает, а что может навредить? На открытом вебинаре разберём практические кейсы: как ИИ автоматизирует сопоставление схем, повышает качество данных, оптимизирует ETL и снижает операционную нагрузку на команды. Покажем, как AI уже встроен в современные платформы и инструменты — от Databricks до AWS Glue — и где именно он даёт измеримый эффект. Обсудим архитектурные паттерны и типичные ошибки внедрения, которые ломают пайплайны вместо того, чтобы улучшать их. Вы поймёте, какие задачи действительно стоит усиливать ИИ, а где инженерное мышление по-прежнему важнее моделей. Получите чёткий план внедрения AI в текущие процессы и увидите, какие навыки становятся критичными для Data Engineer ближайших лет. 🗓Встречаемся 29 января в 20:00 МСК в преддверии старта курса «Data Engineer». Регистрация открыта: https://otus.pw/wGRR/?erid=2W5zFGZHqwe Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🚨 BREAKING: OpenAI вернули обратно 3 топ-исследователей из Thinking Machines Вот это поворот: OpenAI снова усиливают core-команду - и забрали сразу троих сильнейших ребят из Thinking Machines. Кто вернулся: Barret Zoph - VP of Research (Post-Training) в OpenAI - Co-Founder & CTO в Thinking Machines Luke Metz и Sam Schoenholz - Research Scientist в OpenAI - Member of technical staff в TML post-training (SFT/RLHF/RL) сейчас - главный рычаг качества моделей. И когда OpenAI начинает “отжимать” обратно таких людей - значит, впереди новая фаза ИИ-гонки🔥

🔥 Свежее обновление Z-Image-Turbo-Fun-Controlnet-Union 2.1! 🚀 Что нового: ✅ Lite-модель 1.9GB - подходит для low-VRAM и даёт естественное смешивание (blend) ✅ Починили mask leakage в inpainting (маска больше не “течёт”) ✅ Полный рефактор датасета под multi-resolution (вплоть до 1536px) ✅ 8-step distillation - Turbo-генерация стала резкой и без мыла Больше никаких ярких пятен и странных засветов. Высокий и точный контроль генераций. 🧠 🤖 Model: https://modelscope.ai/models/PAI/Z-Image-Turbo-Fun-Controlnet-Union-2.1

⚡️ Google Research выпустили MedGemma 1.5 - мощный апдейт медицинской Gemma, который заметно прокачал качество сразу по нескольким направлениям: - CT / MRI - гистопатология - рентген - временные ряды (X-ray timelines) - медицинские тексты По тестам приросты очень жирные: - до +14% точности на задачах по медицинским изображениям - до +22% на QA по EHR (электронные медкарты) И это ещё не всё. Вместе с моделью вышла MedASR - открытая speech-to-text модель для медицины, которая даёт: до 82% меньше ошибок транскрибации, чем обычные ASR-модели общего назначения. То есть теперь можно реально делать точную расшифровку врачебной речи, приёмов, диктовок - без тонны “галлюцинаций” в терминах и названиях препаратов. https://research.google/blog/next-generation-medical-image-interpretation-with-medgemma-15-and-medical-speech-to-text-with-medasr/

🚀 Meituan представила LongCat-Image - открытую билингвальную (китайский и английский) модель для генерации изображений. Несмотря на размер всего в 6B параметров, модель показывает эффективность и качество, сопоставимые с куда более крупными системами. Ключевые преимущества: ✨ лучшая в классе генерация китайского текста - точная, стабильная, с широким покрытием лексики ✨ высокая фотореалистичность благодаря новой стратегии данных и обучения ✨ создана для разработчиков и реальных сценариев применения — доступна, открыта и мультилингвальна изначально LongCat-Image ориентирована на практическую ценность и качество в продакшене. 🤖 Model: https://modelscope.cn/models/meituan-longcat/

⚡️ DeepSeek Engram: условная память LLM через поиск. DeepSeek опять шатают устои архитектуры трансформеров свежайшим пейпером, который доказывает, что новое — это хорошо и очень хитро забытое старое. Пока все пытаются запихнуть в LLM как можно больше слоев и параметров, DeepSeek задались вопросом: зачем тратить дорогой компьют на запоминание фактов, если их можно просто подсмотреть? Знакомьтесь: 🟡Engram — модуль, который возвращает нас к дедам с N-грамами. DeepSeek предлагает разделить "думалку" (MoE-слои) и "хранилище знаний" (Engram): 🟢Hashed N-grams: модуль смотрит на входящий текст и нарезает его на N-грамы (последовательности токенов). 🟢O(1) Lookup: система делает мгновенный запрос в гигантскую хэш-таблицу эмбеддингов - это чисто статический поиск. 🟢Context-Aware Gating: самый сок. Модель не просто слепо берет данные из "хранилища знаний" - специальный гейтинг-механизм решает: "Нам сейчас нужен факт из памяти или будем думать сами?". Если найденный N-грам релевантен контексту, он подмешивается в скрытое состояние. 🟢Tokenizer Compression: чтобы хранилище знаний не лопнуло от мусора, похожие токены в нем схлопывают в один ID, например, "Apple" и "apple". 🟡Баланс распределения ресурсов. Чтобы правильно поделить бюджет параметров между MoE и Engram посчитали сценарии масштабирования. График лосса от соотношения этих частей выглядит как буква U: 🟠Перекос в MoE (100% вычислений): модель тратит дорогие слои внимания на запоминание статики. Это неэффективно, лосс высокий. 🟠Перекос в Память (0% вычислений): модель превращается в гигантскую википедию. Она помнит факты, но у нее напрочь атрофируется ризонинг. Лосс тоже высокий. 🟢Золотая середина (дно U-кривой): 80% MoE и ~20% Engram. 🟡Тесты и результаты. DeepSeek обучили модель Engram-27B и сравнили ее с классической MoE-27B при одинаковом бюджете параметров и FLOPs. Итоги:

Общее качество подросло: MMLU +3.4 пункта, HumanEval (код) +3.0. На длинном контексте - разнос. В тесте на поиск иголки (NIAH) точность выросла с 84.2 до 97.0. Модель разгрузила слои внимания от запоминания локальных паттернов, и оно сфокусировалось на глобальном контексте. Модель быстрее сходится. Engram берет на себя рутину в ранних слоях, тем самым позволяя модели сразу учиться сложным вещам.

🟡Архитектурный нюанс. Таблица эмбеддингов для Engram может быть запредельно огромной (в пейпере разгоняли до 100B параметров) и, очевидно, в VRAM это не влезает. Решили так: раз ID токенов известен до прогона слоя, то эти данные можно хранить в RAM и асинхронно подтягивать. В реале, оверхед от этой механики показал меньше 3%., т.е. мы получаем модель, которая знает больше, чем влезает в GPU, используя оперативку сервера. 🟡DeepSeek фактически легализовала подобие шпаргалок для LLM. Вместо того чтобы заставлять модель учить все наизусть, ей дают гигантский справочник. Теоретически, это открывает путь к прекрасному ИИ светлого будущего, который может иметь условно-бесконечную память, ограниченную только объемом оперативки, а не VRAM. Похоже, в V4 мы увидим как эта схема работает, ведь инсайдеры обещают у нее запредельные скилы. 🟡Техотчет 🖥Github 🟡Видео @ai_machinelearning_big_data #AI #ML #LLM #Engram #Deepseek

💰 У DeepSeek может быть один из самых сильных “скрытых источников финансирования” в AI - хедж-фонд его основателя. Речь про Ляна Вэньфэна (Liang Wenfeng) и его фонд Zhejiang High-Flyer Asset Management. По данным Bloomberg, 2025 год у них получился просто феноменальным: средняя доходность по фондам - 56.6%. Почему это важно для DeepSeek? Потому что такие результаты дают не просто “успешный год на рынке”, а реальные деньги, которыми можно оплачивать развитие ИИ: - зарплаты сильной команде - закупку GPU - серверы, сети, дата-центры - всё железо, без которого LLM не масштабируются Ключевые факты: - High-Flyer управляет капиталом более $10 млрд - занял 2-е место среди китайских квант-фондов с капиталом > $1.4 млрд - фонд заработал +56% → эти деньги фактически остаются у владельца фонда (Ляна). - если прикинуть выручку по стандартной схеме 1% management fee + 20% performance fee, получается $700+ млн - и это выглядит особенно мощно на фоне того, что бюджет DeepSeek на “топопвые” модели оценивался менее чем в $6 млн Интересный момент: в 2024 фонд отошёл от market-neutral и сделал ставку на long-only стратегии (покупка акций в расчёте на рост). А когда сразу несколько топ-квант-фондов показывают 50-70%+ за один год - это чаще говорит о том, что рынок был очень удачным для их системных стратегий, а не о единичной “везухе”. В среднем китайские квант-фонды показали 30.5% за 2025 - больше чем в 2 раза выше глобальных конкурентов. DeepSeek может иметь редкое преимущество - внутренний финансовый двигатель, который способен стабильно оплачивать масштабирование AI, не зависеть от раундов и инвесторов.

🧠🚫 Как отучить LLM “думать по кругу” и сэкономить токены У продвинутых LLM есть скрытая проблема: overthinking. Модель уже нашла ответ… но продолжает писать лишние рассуждения, самопроверки и повторяет одно и то же разными словами. В итоге вы платите не за ум модели - а за повторение. По оценкам, до 70% токенов уходит именно на такую “избыточную рефлексию”. YuanLab выпустили Yuan3.0 Flash, где модель учат останавливаться вовремя. Что внутри: ✅ RIRM - reward-механизм: модель получает сигнал *когда пора завершать ответ* (нашёл решение - закончи, не раздувай) ✅ RAPO - адаптивная оптимизация policy, ускоряющая обучение на 50%+ Что это даёт: - до 75% дешевле инференс - без потери качества - быстрее ответы, меньше затрат Главная идея: Запуск LLM будет не только за “самый умный ответ”, а за самый дешёвый и быстрый умный ответ. 🚀Model: https://modelscope.cn/models/Yuanlab/Yuan3.0-Flash 🔧Github: https://github.com/Yuan-lab-LLM/Yuan3.0 📄 Paper: https://modelscope.cn/papers/2601.01718 #LLM #AI #Tokens #Inference #Optimization

💰 BREAKING: у Ильи Суцкевера было **$4 млрд** акциями OpenAI. Это всплыло в судебных документах по делу Musk v. OpenAI. Что стало известно: - Во время “переворота” в совете директоров в ноябре 2023 COO Брэд Лайткап писал Альтману и Наделле. - Он оценил, что выкуп долей сотрудников OpenAI обошёлся бы примерно в $25 млрд. - А если учитывать долю Ильи Суцкевера - уже $29 млрд. Сам Илья на допросе отказался раскрывать, какой у него пакет. Судья назначил повторный допрос, потому что его “финансовая заинтересованность напрямую важна” для понимания, есть ли у него предвзятость. И важный момент: эти $4 млрд - только то, что уже вестилось. Сколько было всего - неизвестно. Если цифра реальная, это один из самых крупных личных пакетов в истории AI-рынка.

Бесплатный курс по Claude Code от Anthropic. Внутри 15 лекций примерно по часу каждая. Обещают, что за это время ты разберёшься: • как эффективно управлять контекстом и не «тратить» токены зря • как расширять Claude Code через MCP-серверы • как писать собственные хуки • как подключать GitHub и автоматизировать ревью и рутинные задачи В конце — дают сертификат вайбкодера, который можно показать маме 😁 Курс - хороший способ быстро понять, как превращать Claude Code из просто помощника в полноценного рабочего инструмента. https://anthropic.skilljar.com/claude-code-in-action

🔥 Karpathy выпустил nanochat miniseries v1. Главная идея: мы не оптимизируем одну конкретную модель, а целое семейство моделей, где качество растёт монотонно вместе с вычислительными затратами. Это позволяет строить реальные scaling laws и быть уверенными, что когда платишь за большой прогон, результат оправдает деньги. В nanochat был сделан упор на полный LLM-пайплайн. Теперь акцент сместился на предобучение как фундамент интеллекта модели. После тюнинга гиперпараметров выяснилось, что nanochat отлично следует законам масштабирования и ведет себя как в Chinchilla: оптимальное соотношение параметров и токенов сохраняется. Причем константа у nanochat примерно 8, а у Chinchilla была 20. Далее была обучена мини-серия моделей d10...d20. У всех чистые, не пересекающиеся кривые обучения. Чтобы сравнить их с GPT-2 и GPT-3, Karpathy использовал CORE score вместо validation loss. В итоге nanochat корректно ложится на ту же шкалу и показывает, что всё движется в правильном направлении. Стоимость экспериментов примерно 100 долларов за 4 часа на 8×H100. Уже сейчас можно тренировать вычислительно оптимальные модели и улучшать их просто увеличивая compute. А соответствие GPT-2 пока стоит около 500 долларов, но, по мнению автора, можно довести до менее 100. Полный разбор и код: github.com/karpathy/nanochat/discussions/420 Смысл: масштабирование работает, пайплайн воспроизводим, и дальше всё упирается только в то, сколько вычислений вы готовы включить.

🖥 Nvidia: «горячая вода вместо сложных холодильных систем» Дженсен Хуанг заявил: стойки нового поколения Rubin можно охлаждать водой с температурой 45 °C. Без дорогих и сложных систем, которые обычно понижают температуру воды. И рынок сразу отреагировал. Инвесторы решили, что будущим дата-центрам для ИИ нужно будет меньше крупных холодильных установок. Что случилось с акциями: - Johnson Controls - падение примерно на 11% - Modine - до минус 21% - Carrier и Trane - тоже просели Когда стойки можно охлаждать тёплой водой, операторы чаще используют простые «сухие» охладители и другие решения, где не требуется сложное понижение температуры. Меньше энергии уходит на охлаждение -больше остаётся на вычисления.

Новый Atlas от Boston Dynamics 🤖🏭 Boston Dynamics представила обновлённого **Atlas*, теперь это не исследовательский проект, а робот, который скоро начнёт работать на заводах Hyundai. Главное: • создан для массового производства • интеграция с Gemini Robotics (DeepMind) - понимает среду и задачи • работает рядом с людьми и другими роботами (Spot, Stretch) • подключается к MES/WMS системам завода • 1.9 м рост, 90 кг, 56 степеней свободы • до 4 часов работы, батарея меняется автоматически • выдерживает от −20°C до +40°C Hyundai планирует запустить крупное производство к 2028 году до 30 000 роботов в год. Это шаг от демонстраций - к реальной индустрии.

🔥 Год ChatGPT Plus бесплатно: экономим 20 000 рублей Нашли рабочую лазейку в правилах OpenAI. Вы получаете полноценный аккаунт без лимитов и с доступом ко всем топовым моделям. Инструкция (займет 2 минуты): 1️⃣ Переходим на сервис временной почты: https://em.bjedu.tech/en/ 2️⃣ Важно: в списке доменов выбираем erzi me. 3️⃣ Регистрируем новый аккаунт ChatGPT на этот адрес. 4️⃣ Получаем код подтверждения в почту - готово! ⚡️ Проверили пока еще работает

⚡️ Samsung подтвердила, что к концу 2026 года 800 миллионов устройств будут работать под управлением Google Gemini. > К концу 2025 года 400 миллионов устройств будут продаваться с Gemini на борту. > эта цифра удвоится до 800 млн в этом году > Со-генеральный директор Samsung:

«Это дает Google преимущество перед конкурентами»

Google все активнее захватывает рынок. https://www.reuters.com/world/china/samsung-double-mobile-devices-powered-by-googles-gemini-800-mln-units-this-year-2026-01-05/?utm_source=braze&utm_medium=notifications&utm_campaign=2025_engagement

⚡️ Google показала интересный пример того, как мультимодели уже помогают в гуманитарных исследованиях. Gemini 3.0 Pro смогла расшифровать загадочные пометки в «Нюрнбергской хронике», которым более 500 лет. В модель залили сканы страниц и попросили не просто переписать текст, а объяснить, что означают заметки с учетом контекста. Оказалось, что круговые таблицы на полях были попыткой примирить две конкурирующие библейские хронологии и вычислить год рождения Авраама. Сложность состояла в том, что заметки смешивали латинские сокращения, римские цифры и обрывки надписей. Gemini связала вычисления с системой датировки Anno Mundi (год от сотворения мира), привязала их к традициям Септуагинты и еврейской Библии, а затем перевела в «до н.э.», получив расхождение примерно в 100 лет. siliconangle. com/2026/01/01/googles-gemini-3-0-pro-helps-solve-long-standing-mystery-nuremberg-chronicle/

⚡️ Эксперимент: как по-разному отвечают ChatGPT и Grok на политически сложный вопрос Обе модели спросили- было ли преступлением, если бы Трамп арестовал Мадуро (вопрос, который сегодня обсуждается очень активно). Ответ ChatGPT - «да» — исходит из предположения, что Мадуро был избран легитимно — опирается на Устав ООН и мнение «международных экспертов» — чувствуется анти-американский уклон в формулировках По тону это звучит почти как лекция юриста-либерала из Ivy League. Ответ Grok - «нет» — называет режим Мадуро мошенническим — объясняет полномочия президента США как главнокомандующего и право направлять военных на исполнение федеральных ордеров Чтобы не выдавали модели, всегланужно проверять источники, сравнивать аргументы и не принимать выводы ИИ «на веру». https://x.com/ArthurMacwaters/status/2007727857242689560/photo/1

✔️ Meta лихорадит: Янн ЛеКун резко прошёлся по Александру Вану и намекнул на новые проблему Meta. Янн ЛеКун публично раскритиковал нового лидера AI-направления Александра Вана, назвав его «неопытным» и подчеркнув, что у него нет понимания, как устроены настоящие исследования и что вообще нужно исследовать

«Он быстро учится, он знает, чего не знает… Но у него нет опыта в исследованиях - как их вести, как строить процессы и что действительно важно для учёных», - сказал ЛеКун.

По сути - это прямой удар по новой стратегии Meta в AI. И всё больше разговоров о том, что компанию могут ждать новые увольнения и уходы ключевых специалистов. Code Red для Meta? Похоже, внутри компании начинается серьёзный пересмотр курса. https://www.businessinsider.com/yann-lecun-alexandr-wang-criticism-inexperienced-meta-ai-future-2026-1 *Принадлежит Meta, которая признана экстремистской организацией и запрещена в РФ.

🎥 КК ИИ-слоп теперь влияет на политические решения В Польше заявляют, что в TikTok завирусилист сгенерированные ИИ ролики, убеждающие молодёжь поддержать выход страны из ЕС 0 так называемый “Polexit”. Польское правительство просит ЕС открыть расследование против TikTok по линии Digital Services Act. По их словам, ролики выглядят как организованная кампания. Особенность таких видео в том, что: • ИИ создаёт реалистичных “говорящих людей” • сценарии можно быстро менять • таргетинг идёт точечно, например, на аудиторию 15–25 лет • масштабирование происходит автоматически То есть за короткое время можно запустить сотни убедительных роликов, создающих ощущение «органичного мнения общества», хотя за ними может стоять один оператор. Вопросы, которые теперь обсуждают в ЕС: • как отличать реальных людей от ИИ-персонажей • кто несёт ответственность за массовую манипуляцию • как соцсети должны реагировать на такие кампании ИИ меняет не только технологии, он начинает менять и общественные дискуссии. notesfrompoland.com/2025/12/31/poland-calls-for-eu-action-against-ai-generated-tiktok-videos-calling-for-polexit/

🇨🇳 IQuest-Coder: Новая open-source модель для Кодинга, которая превосходит Claude Sonnet 4.5 и GPT-5.1 - и это модель всего 40B параметров. На бенчмарках IQuest-Coder выглядит внушительно: SWE-Bench Verified — 81.4% BigCodeBench — 49.9% LiveCodeBench v6 — 81.1% Проект поддерживает хедж-фонд UBIQUANT, который уже много лет активно развивает ИИ (команды AILab, DataLab, Waterdrop Lab). Контекст до 128K токенов. https://huggingface.co/IQuestLab/IQuest-Coder-V1-40B-Loop-Instruct