Анализ данных (Data analysis)

Развернуть PostgreSQL в MWS Cloud Platform ⬜️ — быстрее, чем вспомнить пароль от pgAdmin. И точно быстрее, чем объяснить DevOps'у, зачем ещё одна база. Всего несколько минут и у вас:

⏺️готовая база на сетевых или локальных дисках ⏺️постоянный primary endpoint ⏺️безопасное подключение через Private Link ⏺️автоматические бэкапы и обслуживания по твоему расписанию

🎄🎁 И грант до 10 000 ₽ на запуск — чтобы точно не пришлось вспоминать, как настраивать failover вручную. ➡️Развернуть кластер

⚡️ FAANG software engineer рассказал, как на самом деле выглядит «vibe coding» в FAANG Спойлер: это не просто сидеть и писать код с ИИ. Большая часть работы происходит до того, как ты вообще откроешь редактор. Как это выглядит на практике: 1. Technical Design Doc Всё начинается с дизайн-документа. Это proposal, где ты доказываешь, что идея имеет смысл. Нужно согласие стейкхолдеров, команд и архитекторов. Здесь делается львиная доля работы. 2. Design Review Дизайн-док проходит жёсткий разбор у senior-инженеров. Документ буквально «разрывают». И это нормально - боль просто переносят в начало, чтобы потом не чинить продакшн. 3. Детализация подсистем После одобрения дизайн-дока команды несколько недель дописывают документацию по каждому подсервису и компоненту. 4. Backlog и спринты Dev, PM и TPM вместе дробят систему на конкретные задачи и выстраивают порядок их реализации. 5. Разработка (вот тут появляется vibe coding) Только теперь начинается кодинг. Используется TDD: - сначала ИИ-агент пишет тесты - затем тот же агент помогает реализовать фичу ИИ здесь не замена инженеру, а мощный ускоритель. 6. Code Review Перед мержем нужно одобрение двух разработчиков. ИИ всё чаще помогает и на этапе ревью. 7. Staging и production Сначала тесты и проверка в staging. Если всё ок - деплой в прод. Главный вывод: В FAANG «vibe coding» работает только потому, что вокруг него стоит жёсткая инженерная дисциплина, дизайн-доки и процессы. ИИ ускоряет выполнение задач, но не отменяет системное мышление и архитектуру. reddit.com/r/vibecoding/comments/1myakhd/how_we_vibe_code_at_a_faang/

⚡️ CodeCut: автогенерация описаний для изображений прямо из PDF Теперь можно конвертировать документ, пройтись по всем картинкам - и получить текстовые аннотации, которые модель создаёт автоматически. Это удобно для: - анализа больших отчетов, презентаций, научных статей - автоматического извлечения подписей и описаний графиков - подготовки данных для RAG/LLM-пайплайнов - улучшения доступности контента На примере: CodeCut извлекает изображение графика и сразу генерирует его описание — с упоминанием распределений, метрик, масштабов и ключевых наблюдений. Минимальный код выглядит так:

from docling.document_converter import DocumentConverter

converter = DocumentConverter(...)
doc = converter.convert("report.pdf").document

for pic in doc.pictures:
    print(pic.annotations[0].text)

🚀 28 готовых AI-проектов, которые можно реально использовать в проде или для портфолио. Что внутри: Проекты машинного обучения → Прогноз цен на жилье (Airbnb price prediction) → Калькулятор стоимости авиабилетов → Трекер успеваемости студентов AI для здравоохранения → Обнаружение заболеваний грудной клетки → Прогноз сердечных заболеваний → Анализатор риска диабета Генеративные AI-приложения → Живой чатбот на базе Gemini → Рабочий медицинский ассистент → Инструмент анализа документов Проекты Computer Vision → Система отслеживания руки → Приложение для распознавания медикаментов → Реализации на OpenCV Дашборды для анализа данных → E-commerce insights → Аналитика ресторанов → Трекер производительности игроков в крикете И 10 продвинутых проектов, которые скоро появятся: → Детекция дипфейков → Классификация опухолей мозга → Система оповещения о сонливости водителя Это не просто файлы с кодом. Это end-to-end, рабочие приложения, которые можно запускать, тестировать и использовать. 💻 Репозиторий: https://github.com/KalyanM45/AI-Project-Gallery

MiniMax M2.1 официальный релиз 🚀 MiniMax M2.1 - это модель, созданная под реальные задачи разработки и AI-native команды. Подходит как для vibe-билдов и быстрых прототипов, так и для серьезных продакшен-воркфлоу. Что важно - SOTA open-source coding и agent модель - 10B активных параметров - Оптимизирована под агентные сценарии, инструменты и сложные пайплайны Результаты в бенчмарках - 72.5% на SWE-multilingual - 88.6% на VIBE-bench - новом open-source бенчмарке - Обходит ведущие закрытые модели, включая Gemini 3 Pro и Claude 4.5 Sonnet - Open-source модель реально конкурирует с топовыми закрытыми решениями - Сделана не только для чата, а для агентных систем и автоматизации - Хорошо подходит для production-кодинга и AI-инфраструктуры https://www.minimax.io/news/minimax-m21

✔️ Acontext- контекст как инфраструктура для AI-приложений Acontext - это open-source проект, который решает одну из самых болезненных проблем AI-систем: управление контекстом, памятью и состоянием между запросами. Проект создан командой MemoDB и нацелен на разработчиков, которые строят: - LLM-приложения - агентные системы - RAG-пайплайны - long-running AI-процессы Что делает Acontext: - Выносит контекст из prompt’ов в отдельный слой - Даёт структурированную «память» вместо хаотичного текста - Позволяет хранить, обновлять и переиспользовать контекст между вызовами модели - Упрощает построение stateful AI-приложений - Снижает токен-оверход и стоимость inference Ключевая идея: контекст — это не строка, а управляемый объект. Почему это важно: - prompt’ы перестают разрастаться - поведение модели становится стабильнее - проще отлаживать и масштабировать систему - легче добавлять новые источники знаний Acontext особенно полезен для: - AI-агентов - чатов с памятью - multi-step reasoning - инструментальных LLM-пайплайнов Если ты строишь что-то сложнее одного запроса к модели — без слоя управления контекстом дальше будет только боль. Репозиторий: https://github.com/memodb-io/Acontext

Привет всем, в особенности тем, кто работает с медиапланированием ТВ-рекламы Вы наверняка знаете, что ролики должны идти в конкретное время и с правильной частотой, чтобы их увидела нужная целевая аудитория. Мы в Авито понимаем, что это сложно, потому что сами регулярно занимаемся таким планированием. Но недавно мы собрали новый подход и решили о нём рассказать, чтобы вы тоже могли им воспользоваться. Сняли новый фильм из цикла «Диванная аналитика», в котором Андрей Корнеев, аналитик в медиамаркетинге, простыми словами объясняет: — Как измерить эффект от ТВ-рекламы. — Почему наши старые методы работали неидеально. — Как построить систему, которая сама подскажет, как лучше разместить рекламу. Посмотрите, чтобы прокачать свой аналитический mindset: 🔼 YouTube 🔼 Rutube 🔼 VK Видео Больше лайфхаков, кейсов, методик и вакансий — в нашем телеграм-канале «Коммуналка аналитиков». Подписывайтесь — будет полезно!

⚡️ Итоги 2025 в Machine Learning: фиксация ключевых сдвигов индустрии 24 декабря в Telegram канале South HUB состоится онлайн-дискуссия, посвящённая анализу ключевых технологических, продуктовых и управленческих событий 2025 года в машинном обучении. Участники обсудят, какие решения и подходы действительно повлияли на практику ML и data-проектов, а также с какими выводами и ожиданиями индустрия заходит в 2026 год. В дискуссии участвуют члены программного комитета Snow BASE: — Александр Толмачёв, Chief Data Officer, ex-Ozon — ML и измеримость бизнес-эффекта — Андрей Венжега, Head of Search & Recommendations, Avito — поиск и рекомендательные системы — Павел Пархоменко, руководитель ML, AI и логистических сервисов, Яндекс.Лавка — масштабирование ML в логистике — Андрей Кузнецов, Head of ML, Positive Technologies — устойчивость ML-систем в продакшене 🗓 24 декабря, 13:00–14:00 (МСК) 📍 Telegram канал South HUB

⚡️ Китайские учёные представили сверхбыстрый аналоговый чип до 1000× быстрее топовых цифровых процессоров. Чип решает сложные математические задачи для ИИ и научных вычислений и в тестах обходит даже GPU NVIDIA. Ключевая идея не ускорять цифру, а уйти от неё: аналоговые вычисления позволяют считать напрямую, без дискретных шагов, что даёт резкий прирост скорости и энергоэффективности. Это может изменить правила игры: - ускорение обучения и инференса ИИ - прорыв в научном моделировании - новые архитектуры, выходящие за пределы GPU/TPU Гонка вычислительных мощностей входит в следующую фазу.

#юмор

⚡️ Anthropic выпустили BLOOM - одно из самых важных исследований про безопасность ИИ за последнее время. Если коротко: BLOOM это попытка встроить безопасность и контроль в саму основу ИИ, а не латать проблемы постфактум. Вот суть простыми словами. 1) Безопасность не фильтр, а часть архитектуры Сегодня безопасность ИИ часто выглядит так: - модель обучили - потом добавили ограничения и фильтры Anthropic говорит прямо: так не работает в долгую. В BLOOM безопасность должна: - закладываться на этапе обучения - быть частью внутренней структуры модели - масштабироваться вместе с ростом возможностей ИИ 2) Надёжность важнее «умных ответов» Модель должна: - не только отвечать - но и понимать, когда она не уверена - уметь корректно отказывать - не галлюцинировать в критических ситуациях Проще говоря: лучше честное «я не знаю», чем уверенная ошибка. 3) Контроль остаётся у людей BLOOM подчёркивает: - пользователи должны понимать, как ИИ принимает решения - должно быть ясно, где проходят границы ответственности - контроль и управление не опция, а обязательное требование ИИ не должен быть «чёрным ящиком», который невозможно остановить или скорректировать. 4) Оценка рисков должна происходить системно, а не реактивно Anthropic предлагает смотреть на риски ИИ: - заранее - на нескольких уровнях сразу - техническом - социальном - экономическом Не «исправлять, когда что-то сломалось», а предсказывать, где и почему может сломаться. Итог BLOOM - это не про очередную модель и не про рост бенчмарков. Это про смену подхода: - от «быстрее и мощнее» - к «надёжнее, предсказуемее и управляемее» Главная мысль: если ИИ становится мощнее человека, безопасность должна расти быстрее, чем его интеллект. И именно этим Anthropic предлагает заниматься уже сейчас. https://www.anthropic.com/research/bloom

🔥 2025 - год, когда LLM действительно изменились. Коротко и по делу, по мотивам поста Андрея Карпты 2025 оказался неожиданно сильным годом для LLM. Не просто улучшения метрик, а реальные сдвиги в том, как модели обучаются, как ими пользуются и как вообще стоит думать об их «интеллекте». Главное за 2025 по мнению Карпты: 1. RLVR — Reinforcement Learning from Verifiable Rewards До 2025 стандартный стек выглядел так: pretraining → SFT → RLHF. В 2025 к этому стеку добавился новый, ключевой этап- RLVR. Вместо субъективной человеческой оценки модель обучают на автоматически проверяемых наградах: задачи по математике, коду, логике. В результате LLM сама находит стратегии рассуждения - дробит задачи, проверяет гипотезы, возвращается назад. Важно не «что мы показали модели», а то, что она сама нашла рабочие способы думать. Этот этап оказался невероятно эффективным по соотношению capability к стоимости, из-за чего значительная часть вычислений ушла не в pretraining, а в длинные RL-прогоны. Побочный эффект — появился новый регулятор мощности: test-time compute. Больше «времени на размышление» — выше качество. o1 показал идею, o3 в начале 2025 сделал перелом — разницу стало чувствовать интуитивно. 2. «Призраки, а не животные» и рваный интеллект В 2025 индустрия наконец осознала форму LLM-интеллекта. Мы не «растим животных». Мы «призываем призраков». LLM оптимизированы не под выживание и социальные группы, а под имитацию текста, получение наград в формальных задачах и апвоты. Поэтому интеллект получается рваным: - гениальны в одном - наивны и уязвимы в другом RLVR усиливает этот эффект - модели становятся сверхсильными в верифицируемых доменах и странно слабыми вне их. Отсюда и потеря доверия к бенчмаркам: они почти всегда верифицируемы, а значит легко «обрастают jagged-улучшениями». Обучение на тесте стало искусством. Можно побить все бенчмарки и всё ещё быть далеко от AGI. 3. Cursor и новый слой LLM-приложений Cursor показал, что появился новый класс LLM-продуктов - «Cursor для X». Это не просто интерфейс к модели, а слой, который: - делает context engineering - оркестрирует множество LLM-вызовов в DAG - балансирует стоимость и качество - дает специализированный UI - вводит «ползунок автономности» Вероятный сценарий: LLM-лабы делают «универсального студента», а приложения превращают их в специалистов — добавляя данные, инструменты, сенсоры и обратную связь. 4. Claude Code - AI, который живет на твоем компьютере Claude Code стал первым убедительным агентом, который работает локально, в твоем окружении, с твоими файлами и контекстом. Это важный сдвиг. Не облачные контейнеры и абстрактные агенты, а «дух», который живет рядом с разработчиком. В мире рваных возможностей это оказалось гораздо полезнее, чем агентные своры в облаке. Форм-фактор CLI сделал этот сдвиг особенно наглядным: AI - это уже не сайт, а постоянный спутник. 5. Vibe coding 2025 - год, когда стало возможно писать сложные программы, почти забыв, что код вообще существует. Vibe coding демократизирует программирование: - обычные люди могут создавать софт - профессионалы пишут больше, быстрее и смелее - код стал дешевым, одноразовым, экспериментальным Можно написать программу ради одной проверки, одного бага, одной идеи - и выкинуть. Это изменит и софт, и профессии. 6. Nano banana и будущее интерфейсов Чат - это терминал 80-х. Удобно для машины, плохо для человека. Люди предпочитают визуальное мышление: схемы, изображения, анимации, интерфейсы. LLM должны общаться с нами в этих форматах. Gemini Nano banana - первый намек на настоящий LLM-GUI, где текст, изображения и знания слиты в одной модели. Это не просто генерация картинок — это новый пользовательский слой для интеллекта. 2025 показал: LLM - это новый тип интеллекта. Он одновременно умнее и глупее, чем ожидали. Он невероятно полезен, но мы реализовали, возможно, даже не 10% его потенциала. Прогресс будет быстрым. Работы впереди — море. Поле идей - открыто. https://x.com/karpathy/status/2002118205729562949 @data_analysis_ml

⚡️ Shannon - полностью автономный AI-хакер для поиска реальных уязвимостей в веб-приложениях Shannon - это автономная система для offensive security, которая сама ищет, воспроизводит и документирует реальные эксплойты в веб-приложениях без подсказок и ручного вмешательства. Модель показала 96.15% успешности на XBOW Benchmark (hint-free, source-aware), что выводит ее на уровень практического pentest, а не просто статического анализа. Что умеет Shannon - Полностью автономная работа без ручного управления - Поиск реальных эксплойтов, а не теоретических уязвимостей - Генерация pentester-grade отчетов с воспроизводимыми шагами атаки - Покрытие критических уязвимостей OWASP Top - Code-aware динамическое тестирование с учетом исходного кода - Использование набора интегрированных security-инструментов - Параллельное выполнение атак для ускорения результатов Почему это важно Большинство сканеров находят потенциальные проблемы. Shannon ищет именно эксплуатируемые уязвимости и подтверждает их рабочими атаками, снижая false positives и экономя время команд безопасности. Практическое применение - Автоматизированный pentest в CI/CD - Проверка безопасности перед релизом - Red Team инструментарий - Continuous security для веб-продуктов Shannon - пример того, как автономные AI-агенты начинают реально менять рынок offensive security, переходя от подсказок к самостоятельному поиску и эксплуатации уязвимостей. 🖥 GitHub: https://github.com/KeygraphHQ/shannon

✔️ GPT-5.2-Codex. OpenAI представила GPT-5.2-Codex, которую называет самым продвинутым инструментом для реальной программной инженерии на сегодняшний день. Модель получила нативную поддержку сжатия контекста, улучшенную интеграцию с терминалом Windows и способность проводить глубокий рефакторинг крупных репозиториев без потери логической нити. Ключевой апдейт коснулся сферы безопасности - Codex резко прибавил способностей в анализе защищенности кода. Модель уже доступна платным пользователям ChatGPT, а API будет открыт в ближайшие недели. openai.com ✔️ xAI представила Grok Voice Agent API. Компания Илона Маска открыла публичный доступ к Grok Voice Agent API — нативному интерфейсу speech-to-speech для создания голосовых ассистентов. Решение построено на полностью собственной архитектуре, что позволило достичь задержки ответа менее 1 секунды. API поддерживает вызов внешних инструментов, веб-поиск, прямую интеграцию с телефонией через SIP и понимает более 100 языков. В бенчмарке Big Bench Audio модель заняла 1 место с точностью 92,3%, опередив Gemini 2.5 Flash и GPT Realtime. Главной фишкой стала ценовая политика: единый тариф составляет $0.05 за минуту. Это значительно дешевле, чем у OpenAI и ElevenLabs. x.ai ✔️ VS Code получил поддержку стандарта Agent Skills. В VS Code Insiders появилась поддержка Agent Skills - открытого протокола, разработанного Anthropic. Технология позволяет упаковывать инструкции, скрипты и вспомогательные ресурсы в модули, которыми можно пользоваться в разных ИИ-инструментах. Главное отличие Agent Skills от привычных кастомных инструкций в функциональности: это не текстовые гайдлайны по стилю кода, а полноценные наборы инструментов для автоматизации задач, которые подгружаются в контекст модели динамически и только при необходимости. Стандарт дает кросс-платформенность: созданный один раз скилл будет работать одинаково как в интерфейсе редактора, так и в CLI-агентах. code.visualstudio.com ✔️ Google выпустила T5Gemma 2. T5Gemma 2 получила серьезные архитектурные изменения по сравнению с первой версией. Чтобы снизить потребление памяти, инженеры внедрили tied word embeddings для энкодера и декодера, а также объединили механизмы self-attention и cross-attention в единый слой. Модели доступны в компактных конфигурациях на 270M, 1B и 4B параметров. Новинка поддерживает контекстное окно до 128 тыс. токенов и умеет обрабатывать не только текст на 140 языках, но и изображения. В бенчмарках T5Gemma 2 обошла базовую Gemma 3 в задачах на длинный контекст, кодинг и мультимодальное понимание. Модели доступны на Hugging Face и Kaggle для исследовательских целей. blog.google ✔️ ИИ-подразделение Марка Цукерберга открыло аудио-визуальный энкодер PE-AV. Perception Encoder Audiovisual (PE-AV) - техническое ядро, лежащее в основе SAM Audio. Это мультимодальная модель, которая объединяет аудио, видео и текст в единое пространство эмбеддингов. PE-AV умеет извлекать векторы признаков из аудио или видеокадров и формировать совместные аудиовизуальные представления. Это повышает точность в задачах кросс-модального поиска, детекции звуков и глубокого понимания сцен, где важен синхронный контекст изображения и звука. В открытом доступе - 6 чекпоинтов модели разного размера (от Small до Large) с вариациями по количеству обрабатываемых кадров. Код опубликован на GitHub, а веса - на Hugging Face. huggingface.co @ai_machinelearning_big_data #news #ai #ml

🚀 VoxCPM 1.5 - новый уровень реалистичной генерации речи! 🎧✨ Модель получила заметные улучшения, которые делают синтез голоса более естественным и технологически гибким. Ключевые изменения: 🔊 Hi-Fi звук 44.1 kHz — качество приближено к студийному, вместо прежних 16 kHz ⚡ В 2 раза эффективнее — 1 секунда аудио теперь кодируется в 6.25 токена вместо 12.5 🛠 Расширенные возможности настройки — новые скрипты для LoRA и полного fine-tuning позволяют адаптировать модель под голосовые проекты 📈 Стабильность на длинных аудио — меньше артефактов и провалов при генерации Ссылки для изучения и тестов: HuggingFace: huggingface.co/openbmb/VoxCPM1.5 GitHub: github.com/OpenBMB/VoxCPM #VoxCPM #TTS #AI #OpenSource

🎤 xAI запустила Grok Voice Agent API xAI представила Grok Voice Agent API - интерфейс для создания голосовых AI-агентов с живым диалогом в реальном времени. Ключевые возможности: - Двусторонний голосовой диалог с минимальной задержкой - Поддержка десятков языков и естественной интонации - Вызов инструментов, поиск в интернете, выполнение задач во время разговора - Интеграция с SIP-провайдерами и голосовыми платформами Производительность: - Время до первой реплики - менее 1 секунды - Высокие результаты в аудио-бенчмарках - Простая тарификация - оплата за минуты соединения Где используется: - Голосовой Grok в мобильных приложениях - Интеграции в автомобилях Tesla - Поддержка продакшен-агентов для бизнеса https://x.ai/news/grok-voice-agent-api @data_analysis_ml

📌 Новое исследование показывает: AI-статьи, финансируемые Big Tech, получают больше цитирований, чаще цитируют “своих” и сильнее ориентируются на свежие результаты. Ключевые факты: 🔹 Всего около 10% статей имеют финансирование Big Tech, но ~12% из них попадают в число наиболее цитируемых. 🔹 Анализировали ~50K работ из топ-конференций, классифицируя их по благодарностям: Big Tech, другое финансирование или без него. 🔹 За 20 лет доля Big Tech выросла с примерно 0 до ~10% всех топ-публикаций. 🔹 Чтобы оценить влияние, сравнили “сколько статьи публикуют” vs “сколько их цитируют”: • статьи Big Tech цитируются больше, чем можно ожидать по их доле; • нерефинансируемые - меньше. 🔹 Каждая группа чаще цитирует “своих”, но Big Tech особенно склонна ссылаться на другие Big Tech работы. 🔹 По возрасту ссылок — Big Tech публикует статьи, которые сильнее ориентированы на совсем свежие исследования, а значит такие деньги частично формируют, какие идеи и старые результаты AI-сообщество не забывает и к чему возвращается. arxiv.org/abs/2512.05714

🔥 На stepik вышел курс, который учит Создавать настоящие AI-сервисы, а не просто запускать скрипты? Этот практический курс по Python и FastAPI покажет, как собрать полноценное приложение с ИИ, базой данных, автогенерацией контента и Telegram-ботом. Ты пройдёшь путь от первого HTTP-запроса до рабочего сервиса, который сам генерирует текст через ИИ, сохраняет данные, отправляет результаты по расписанию и отвечает пользователям. Никакой теории ради теории - только практические шаги, из которых рождается реальный продукт. 🎁 48 часов действует скидка в 40% процентов 👉 Начать учиться на Stepik

🚀Релиз HY World 1.5 (WorldPlay) Команда Tencent Hunyuan открыла исходный код HY World 1.5 (WorldPlay) - одного из самых продвинутых и фреймворков для интерактивного моделирования миров в реальном времени. В версии 1.5 представлен WorldPlay - стриминговая video diffusion-модель, позволяющая создавать и исследовать интерактивные 3D-миры с долгосрочной геометрической согласованностью. 3D-миры можно создавать по тексту или изображениям, свободно перемещаться по ним, осматриваться и взаимодействовать с окружением, как в видеоигре. Ключевые особенности: - Реальное время Генерация длинных видеопотоков со скоростью 24 FPS с высокой стабильностью сцен. - Геометрическая согласованность Используется механизм Reconstituted Context Memory, который динамически пересобирает контекст из предыдущих кадров и предотвращает деградацию памяти. - Точное и устойчивое управление Dual Action Representation обеспечивает корректную реакцию на ввод с клавиатуры и мыши. - Широкие сценарии применения Поддержка вида от первого и третьего лица, событий, управляемых промптом, и бесконечного расширения мира. Проект полностью открыт. ▪Попробовать: https://3d.hunyuan.tencent.com/sceneTo3D?tab=worldplay ▪Проект Page: https://3d-models.hunyuan.tencent.com/world/ ▪ GitHub: https://github.com/Tencent-Hunyuan/HY-WorldPlay ▪Hugging Face: https://huggingface.co/tencent/HY-WorldPlay Technical Report: https://3d-models.hunyuan.tencent.com/world/world1_5/HYWorld_1.5_Tech_Report.pdf @data_analysis_ml

Когда OpenAI публикует такие посты, это редко бывает случайно. Похоже, релиз новой модели для генерации изображений уже совсем близко. 🤯