Анализ данных (Data analysis)

Началась новая эпоха - гражданской науки, когда обычные люди могут проводить сложные научные исследования с помощью AI. Инженер без медицинского образования использовал ChatGPT и AlphaFold (AI-систему для анализа белков), чтобы создать экспериментальную вакцину от рака для своей собаки. Он потратил около $3000, чтобы получить ДНК-последовательности: - здоровой крови собаки - опухоли Перед ним оказались гигабайты сырого генетического кода, который он не умел читать. И здесь ключевую роль сыграл ChatGPT. Он использовал его как своего рода биологического консультанта, чтобы понять: - как сравнить два набора ДНК - как найти мутации, вызывающие рак - какие инструменты использовать для анализа ChatGPT дал пошаговые инструкции, как запустить анализ данных и подсказал использовать AlphaFold, чтобы определить форму повреждённых белков. В итоге инженер смог составить полстраницы химического рецепта mRNA-вакцины. Такая вакцина - это по сути генетическая инструкция, которая учит иммунную систему распознавать и атаковать конкретные мутировавшие раковые клетки. Университетские исследователи были настолько впечатлены его формулой, что помогли произвести реальную вакцину. Ветеринар сделал инъекцию собаке. Через несколько недель огромная опухоль уменьшилась примерно на 50%. Если такие истории начнут повторяться, мы можем увидеть совершенно новую модель науки, когда AI превращает любопытных инженеров в исследователей. #AI #ChatGPT #Biotech #AlphaFold #Future

Бедный Claude

⚡ Goldman Sachs: AI-агенты могут полностью изменить экономику софт-рынка. Согласно новому исследованию, к 2030 году более 60% прибыли в software может приходиться на системы с AI-агентами. Это означает сдвиг модели рынка: деньги будут идти не столько в SaaS-подписки, сколько в агентные рабочие процессы, которые выполняют задачи самостоятельно. Сейчас большинство внедрений — это всё ещё чат-боты поверх LLM. Настоящие агентные системы пока в основном находятся на стадии пилотов и внутренних экспериментов. Для масштабирования индустрии нужны: - стабильный platform layer - защита identity и security - контроль целостности данных Эксперты считают, что широкая стандартизация появится примерно через 12 месяцев. При этом технологии быстро улучшаются: растёт надёжность и память агентов, что снижает количество ошибок и делает возможным почти автономную работу в: поддержке, продажах, маркетинге и инструментах разработки. Компании, которые смогут обернуть рабочие процессы в AI-агентов, фактически станут новым интерфейсом для knowledge-работы и смогут забирать значительную часть экономической выгоды от роста продуктивности. goldmansachs.com/insights/articles/ai-agents-to-boost-productivity-and-size-of-software-market

Как Яндекс строил data-платформу для ROSTIC'S: разбор в новом шоу Yandex B2B Tech запустила «Техно на прокачку» — проект, где инженеры и комик Егор Кукса разбирают реальный кейс внедрения платформы данных в сети ресторанов ROSTIC'S. В ход идет все: от PostgreSQL и ClickHouse до флешки деверя. Что интересного: • Рестораны посещают 1,7+ млн человек в день — это 100+ Гб данных в неделю с касс и терминалов • Инженеры Яндекса развернули платформу на базе собственных сервисов и managed-решений для Greenplum, ClickHouse и Apache Kafka • Загрузка данных в аналитические отчёты ускорилась в 3 раза В шоу поэтапно показывают, как строилась архитектура под высокую нагрузку и какие технологии реально работают в крупном бизнесе. Без воды — только инженерия и цифры. Посмотреть можно на YouTube, VK Видео или Кинопоиске.

Я больше не твой учитель 😆

🖥 Большинство парсеров умирают через 2 дня. Ты научишься делать те, которые работают в продакшене. Это не про BeautifulSoup ради галочки. Это про системы сбора данных, которые: • не падают из-за мелких изменений на сайте • собирают данные в разы быстрее • обновляют всё автоматически по расписанию • обходят ограничения и блокировки • выглядят как полноценный сервис, а не как хаос из файлов Ты начнёшь видеть сайты не как страницы, а как источники данных, к которым можно подключаться. В итоге ты сможешь: • забирать данные для своих проектов • автоматизировать чужую рутину • создавать инструменты для аналитики • брать коммерческие заказы на сбор данных Это навык, который напрямую превращается в деньги. Не «знаю Python», а «умею профессионально добывать данные из интернета». 🎁 Скидка 50% на Stepik действует 48 часов: https://stepik.org/a/269942/

⚡️ Google представила Groundsource: систему, которая превращает новости в данные с помощью Gemini Google Research показала новую технологию Groundsource, которая превращает обычные новостные статьи в структурированные датасеты. Идея простая, но мощная: в мире публикуются миллионы новостей о событиях, катастрофах и происшествиях, но эти данные неструктурированы и плохо подходят для анализа. Groundsource решает эту проблему. Как это работает: 1. Gemini анализирует миллионы новостных статей 2. AI извлекает ключевые факты - место, время и тип события 3. Эти данные превращаются в структурированный датасет Первый датасет уже создан, он содержит 2.6 млн исторических случаев внезапных наводнений в 150+ странах. Ученые долго сталкивались с проблемой - для многих природных катастроф просто нет исторических данных, чтобы обучать модели. Google решила проблему неожиданным способом - использовать новостные статьи как источник данных. На основе Groundsource уже обучена модель, которая может предсказывать flash-flood наводнения до 24 часов заранее. Прогнозы публикуются в сервисе Flood Hub, где власти и службы реагирования могут видеть зоны риска. Что это значит для AI: LLM начинают использоваться не только для генерации текста, а для создания новых датасетов из неструктурированной информации. Фактически AI превращает интернет-тексты в машиночитаемые данные. Это открывает огромные возможности: • климат и природные катастрофы • экономика • медицина • геополитика • анализ событий в реальном времени Следующий шаг: LLM смогут автоматически превращать любые текстовые источники в обучающие данные для ML-моделей. https://research.google/blog/introducing-groundsource-turning-news-reports-into-data-with-gemini/

🚀 Новый алгоритм LLM: Speculative Speculative Decoding SSD - это инновационный алгоритм для вывода LLM, который обеспечивает высокую скорость и точность. Он использует параллельное предсказание от малой модели, что устраняет задержки в процессе генерации. Поддерживает различные модели и оптимизации для повышения производительности. 🚀Основные моменты: - Параллельное предсказание для ускорения вывода - Поддержка моделей Qwen3 и Llama3 - Оптимизированные алгоритмы и параллелизм - Интерактивный чат с поддержкой нескольких моделей 📌 GitHub: https://github.com/tanishqkumar/ssd

🌍 Tencent запустила HY 3D Studio по всему миру Это AI-платформа для создания 3D-моделей в одном рабочем процессе. Сервис автоматизирует почти весь пайплайн 3D-производства: Image → 3D → topology → UV → texturing → rigging → animation То есть можно взять обычную картинку и получить готовую 3D-модель с текстурами и анимацией. Платформа ориентирована на: - 3D-художников - разработчиков игр - создателей контента - студии, работающие с 3D-графикой Новые пользователи получают 20 бесплатных генераций в день (ограниченное время). Для разработчиков также доступен API, и новым пользователям дают 200 бесплатных кредитов для начала работы. 🕹️ Попробовать HY 3D Studio https://3d.hunyuanglobal.com/studio ⚙️ API: https://tencentcloud.com/products/ai3d

✔️ The Most Disruptive Company in the World Статья The Times про Anthropic скрывает гораздо более серьёзные выводы, чем может показаться при беглом чтении. Если внимательно разобрать её по смыслу, становится ясно, насколько быстро ускоряется развитие AI. Сегодня релизы моделей происходят уже не раз в несколько месяцев, а с интервалом в несколько недель. Разработка ускоряется настолько, что 70–90% кода для создания будущих моделей уже пишет сам Claude. Фактически это означает, что AI начинает участвовать в создании следующего поколения AI. Anthropic даже задержала выпуск Claude 3.7 Sonnet на 10 дней, пока команда не убедилась, что модель достаточно безопасна. Это показывает, насколько осторожно компании относятся к новым возможностям моделей. Внутри Anthropic считают, что период 2026–2030 станет ключевым для всей индустрии. Модели будут становиться быстрее, умнее и могут развиваться темпами, с которыми людям будет всё сложнее справляться. Глава компании Дарио Амодеи предупреждает ещё жёстче. По его мнению, AI может вытеснить до половины начальных офисных профессий в течение ближайших 1–5 лет. При этом пока никто не понимает, куда переместятся эти люди и чем они будут заниматься. Он прямо говорит о риске появления большой группы людей с очень низкими доходами или без работы. Внутри компании сотрудники начали обсуждать, не приблизились ли они к моменту, которого многие опасались: recursive self-improvement. Это сценарий, в котором AI начинает улучшать сам себя. Каждая новая версия создаётся быстрее и становится сильнее предыдущей, что запускает ускоряющуюся цепочку развития. Некоторые эксперты считают, что полностью автоматизированные AI-исследования могут появиться уже в течение года. Если это произойдёт, скорость технологического прогресса может резко вырасти и тогда главным вопросом станет не создание AGI, а то, успеет ли общество адаптироваться к миру, где такие системы уже существуют. https://time.com/article/2026/03/11/anthropic-claude-disruptive-company-pentagon/

Если ты не можешь писать код без AI — значит, ты вообще не умеешь писать код.

Согласны ?

Отчетов и данных стало слишком много? Пора переходить к продуманному BI-решению ↗️ 12 марта в 11:00 провайдер облачных технологий Cloud.ru проведет вебинар «Evolution Managed BI: все возможности BI-сервиса в облаке». Вы узнаете, как выжать максимум из системы аналитики: ➡️быстро получать инсайты ➡️работать с актуальными данными ➡️и ускорять принятие бизнес-решений В программе вебинара:

▶️как устроен сервис Evolution Managed BI ▶️какие возможности есть для обработки, визуализации и безопасности данных ▶️как подключать разные источники и создавать дашборды ▶️как создавать кастомные SQL-запросы, настраивать автоотчеты и алерты ▶️как протестировать сервис бесплатно

Будет полезно аналитикам, дата-инженерам и всем, кто уже работает с Evolution Managed BI или планирует внедрение. 👉Зарегистрироваться👈

🏴‍☠️ Google представила Gemini Embedding 2 - свою первую полностью мультимодальную модель эмбеддингов, которая отображает текст, изображения, видео, аудио и документы в единое общее векторное пространство. Модель поддерживает 100+ языков, текстовые входы до 8192 токенов, до 6 изображений в одном запросе, видео до 120 секунд, нативные аудио-эмбеддинги и PDF-файлы до 6 страниц. Это позволяет упростить пайплайны для задач вроде RAG, семантического поиска, кластеризации и анализа тональности. Благодаря технологии Matryoshka Representation Learning, которая позволяет гибко менять размер векторов (3072 → 1536 → 768), разработчики могут балансировать между качеством модели и затратами на хранение, сохраняя при этом передовое мультимодальное понимание данных. https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-embedding-2/

🤖 DeerFlow 2.0 (уже 27K+ звёзд на GitHub ⭐️) - это AI-система от ByteDance, которая работает как автономный сотрудник со своим собственным компьютерным рабочим пространством для исследований и программирования. Обычные чат-боты просто генерируют текст и не запоминают ваши предпочтения. DeerFlow решает эту проблему: ИИ получает изолированную виртуальную среду компьютера, где может безопасно запускать программы. Когда ему дают большую задачу, основной агент создаёт несколько маленьких AI-ассистентов, которые работают одновременно. Также система сохраняет ваши прошлые рабочие процессы, поэтому со временем лучше понимает ваши задачи. DeerFlow не привязан к конкретной модели — он работает с любым LLM, который поддерживает OpenAI-совместимый API. Есть полная поддержка локальных моделей, которые можно запускать прямо на своём компьютере с помощью инструментов вроде Ollama. Пример: вы просите провести исследование 10 лучших AI-стартапов 2026 года для презентации. Главный агент DeerFlow разбивает задачу на подзадачи: - один суб-агент исследует каждую компанию - другой собирает данные о финансировании - третий анализирует конкурентов Все агенты работают параллельно. В конце результаты объединяются, и финальный агент собирает готовую презентацию со слайдами и визуализацией. github.com/bytedance/deer-flow 🎯Полезные Мл-ресурсы 🚀 Max @data_analysis_ml

🚀 Ускорьте понимание кода с FastCode! FastCode — это высокопроизводительный фреймворк для анализа кода, обеспечивающий скорость, точность и экономичность. Он подходит для работы с большими кодовыми базами и поддерживает множество языков программирования, включая Python и JavaScript. 🚀 Основные моменты: - 3-4x быстрее конкурентов - Снижение затрат на 44-55% - Высокая точность анализа - Поддержка многопроцессорного анализа - Интуитивно понятный веб-интерфейс 📌 GitHub: https://github.com/HKUDS/FastCode

Прощай, Эксель! Мой дорогой друг, я благодарен тебе за все эти годы. Ты выручал меня, когда 1С зависала, не было интернета, и мы с тобой за ночь справлялись с любой задачей. Но время меняется, и у меня появились новые напарники. Американец Клод делает невероятно красивые дашборды (правда за деньги). А вот китаец Дипсик берется за любую работу, не ноет, делает бесплатно и в срок. Я объясняю им задачу в двух словах, и за полчаса получаю аналитику, на которую мы с тобой раньше тратили по три дня. Ничего личного. Просто серьёзные рабочие задачи я теперь делаю с ними. А к тебе буду иногда заглядывать, записать расходы на ремонт. ——— А если серьезно - считать руками в Экселе, это теперь непозволительная роскошь и для аналитика, и для любого менеджера. Да, у всех был негативный опыт, но теперь ИИ работает с расчетами без галлюцинаций. Можно наладить полноценную онлайн-отченость без Excel, знания макросов или Pivot/Query. Сомневатесь, что у вас получится? Я докажу вам это в прямом эфире! Вместе мы с вами построим полноценный дашборд с помощью DeepSeek, пользуясь только бесплатным функционалом. Вы своими глазами увидите и пощупаете руками, как в 2026 году нейросети работают с таблицами, делают онлайн-дашборды и анализ что-если. Приходите в пятницу 12 марта в 18:00 на открытый урок. Регистрация Реклама. ООО "АНАЛИТИКА ПЕРСОНАЛА", ИНН 6671088519

Tencent выпустила HY-WorldPlay — систему, которая превращает сцену в интерактивный 3D-мир. Можно просто загрузить сцену или описание, и модель генерирует полноценное 3D-окружение, по которому можно перемещаться как в игре. Это часть экосистемы Hunyuan 3D — набора моделей для генерации 3D-контента и виртуальных миров. Что умеет HY-WorldPlay: - превращает сцену в 3D-мир, по которому можно гулять - генерирует окружение и объекты автоматически - работает прямо в браузере - полностью open-source Такие системы постепенно делают возможным создание игровых миров и виртуальных пространств буквально из текста или изображения. Попробовать: 3d.hunyuan.tencent.com/sceneTo3D?tab=worldplay GitHub: github.com/Tencent-Hunyuan/HY-WorldPlay

Разработчики раньше vs разработчики сейчас

💰 Forbes: разработчикам могут больше не нужны редакторы кода. Новая реальность AI-разработки: программирование постепенно уходит от ручного набора кода к автономным агентам, которые могут реализовывать целые проекты самостоятельно. По данным Forbes, компания Cursor - один из самых быстрорастущих AI-стартапов в программировании - уже сталкивается с этой трансформацией. С появлением мощных агентных систем вроде Claude Code сама идея классического code editor может устареть. AI-лабы готовы тратить огромные деньги, чтобы переманить их на свои платформы. Внутренний анализ Cursor показал, что подписка Claude Code за $200 в месяц могла потреблять до $2000 вычислительных ресурсов - фактически Anthropic субсидировала пользователей. Но сейчас масштабы ещё больше. По данным источников, знакомых с расходами на compute, тот же план за $200 способен потреблять уже около $5000 вычислительных ресурсов. AI-компании сейчас сознательно работают в убыток, чтобы захватить рынок разработчиков и закрепить свои инструменты как стандарт индустрии. forbes.com/sites/annatong/2026/03/05/cursor-goes-to-war-for-ai-coding-dominance/

⚡️ Андрей Карпаты выложил минимальный репозиторий Autoresearch - систему, где AI сам проводит исследования. Это упрощённая версия ядра обучения LLM из nanoGPT/nanochat: весь код обучения помещается в один файл (~630 строк) и работает на одной GPU. Как это устроено: - человек редактирует prompt (.md) - AI-агент автоматически меняет training code (.py) Дальше начинается цикл автономных экспериментов. Каждая точка на графике — полный запуск обучения LLM (~5 минут). AI-агент работает в бесконечном цикле: - создаёт git-ветку - меняет архитектуру модели - подбирает optimizer - оптимизирует гиперпараметры - запускает обучение - коммитит улучшения Если validation loss становится ниже, изменение сохраняется. Фактически агент сам оптимизирует собственный код обучения и постепенно улучшает модель. Можно запускать несколько агентов с разными промптами и сравнивать, кто быстрее двигает исследование. Карпаты шутит, что раньше AI-исследования делали люди между: - едой - сном - митингами Теперь же исследования могут выполнять рои автономных AI-агентов, которые бесконечно гоняют эксперименты на кластерах. GitHub: github.com/karpathy/autoresearch