Анализ данных (Data analysis)

Ozon Tech проводит BI-митап 31 января | 19:00 online Кому будет полезно? Аналитикам данных, разработчикам баз данных, бэкенд-разработчикам. Что обсудят: — работу в сервисах Vertica, ClickHouse и Hadoop, — как и зачем в Ozon используют подход платформизации в данных, — автоматизацию поставки стриминговых данных от системы-источника до хранилища, — cжатие данных в ClickHouse через функционал выбора лучших кодеков в зависимости от характера данных, — мониторинг качества данных и планы компании на будущее. Самое главное — не забудьте зарегистрироваться. erid: LjN8K51pi Реклама. Рекламодатель ООО «Озон Технологии».

⚡️ По мере того как усиливается гонка за создание первого в мире по-настоящему полезного квантового компьютера, растет и потребность в ясном взгляде на вещи. В этом выпуске программы "Полевые заметки" мы погрузимся глубже. в Google Quantum AI, чтобы понять реальность квантовых вычислений и их влияние на мир. ▪Видео ▪Почитать @data_analysis_ml

⚡️ Lazy Predict позволяет быстро создавать прототипы для анализа данных и сравнивать несколько базовых моделей без необходимости вручную писать код или настраивать параметры. Это помогает специалистам по исследованию данных выявлять перспективные подходы в работе с даныыми и быстрее реализовывать модели. pip install lazypredict ▪Github @data_analysis_ml

☑ Вышел Scikit-learn 1.4.0 🟢 5 новых крупных новых функкций и 13 небольших новых фич 🔵 14 улучшений производительности 🟡 15 изменений в API 🔴 38 исправленных багов https://scikit-learn.org/stable/whats_new/v1.4.html#changes-1-4 @data_analysis_ml

Новый год — старт для ваших новых карьерных возможностей 🎄 6 февраля приглашаем на Зимнюю ярмарку вакансий, которая пройдёт офлайн и онлайн. Это классная возможность стать частью IT-сообщества Яндекса и познакомиться с теми, кто создаёт сервисы с многомиллионной аудиторией. Что вас ждёт 🔸 Вакансии для стажёров Узнаете о новых вакансиях и задачах, а также сможете лично пообщаться с командами и подать заявку туда, где понравится больше всего. 🔸 Полезные лекции Узнаете о технологиях и кейсах из практики от экспертов Яндекса. Лекции пройдут по основным направлениям стажировки: бэкенд, фронтенд, мобильная разработка, аналитика и машинное обучение. 🔸 Нетворкинг со стажёрами Яндекса Узнаете, как они проходили отбор, как готовились и чем планируют заниматься дальше. Сейчас в Яндексе одновременно стажируются более 600 человек — им есть что рассказать. Как попасть на Зимнюю ярмарку вакансий Чтобы попасть на ярмарку, нужно пройти предварительный отбор — решить задачи на Яндекс Контесте до 31 января включительно. Мы проверим решения, оценим анкеты и позовём лучших на день стажёра в Москве. Приглашения придут до 2 февраля включительно. 🍭 Закрытое шоу Тех, кто решит все задачи из Контеста, мы пригласим на вечернее закрытое шоу «Всё в плюсе». Это соревнование между различными бизнес-группами Яндекса, в которых примут участие и стажёры, и топовые разработчики. Знакомство с различными сервисами, нетворкинг с действующими стажёрами, вечеринка с кавер-группой и диджеем — это то, что ждёт вас на шоу. Узнать подробности и подать заявку — https://yandex.ru/yaintern/intern-day.

🎓 Представляем DataTrove . DataTrove - это библиотека для обработки, фильтрации и дедупликации текстовых данных в очень больших масштабах. Она предоставляет набор готовых часто используемых функций обработки данных и фреймворк для простого добавления собственной функциональности. Его конвейеры обработки не зависят от платформы и могут работать как локально, так и на кластере slurm. Низкое потребление памяти и удобная конструкция делают его идеальным для больших рабочих нагрузок, например для обработки обучающих данных LLM. ✨ git clone git@github.com:huggingface/datatrove.git && cd datatrove pip install -e ".[FLAVOUR] ▪Github ▪Примеры @data_analysis_ml

Знаешь, как организовать потоки загрузки и обрабатывать данные, но хочешь делать это ещё лучше? 👨‍💻  Пройди интенсив по направлению Data Engineer в Открытой школе Холдинга Т1 — лидера* российского ИТ-рынка🔝 Прокачаем скилы и пригласим в команду. Для кого? Дата-инженеры с опытом работы от года.  Как всё устроено❓ 1️⃣ подай заявку 2️⃣ пройди входное тестированиеДля интенсива достаточно выделить 8 часов в неделю: 4 на вебинары + 4 на практику. Гибкий график, без отрыва от работы. Продолжительность — 1 месяц, а старт уже в январе.  Принимаем заявки до 24 января❗️  *По версии CNews Analytics 2022, TAdviser 2021 и RAEX 2023 Реклама. ООО "ГК "ИННОТЕХ". ИНН 9703073496.

🔥 Дайджест полезных материалов из мира Data Science за неделю Почитать: — Machine Learning инженер: что/где/как изучать, чтобы въехать — Направо пойдёшь — тестировщиком станешь, налево пойдёшь — ˂...˃: куда податься питонисту? — Инженерные данные в 21 веке — 10 лучших скриптов Python для автоматизации и повышения производительности 2024 года. — Spark не для чайников: где? — OpenRefine и другие альтернативные MS Excel инструменты нормализации справочников для Экспертов НСИ — Go — 100 вопросов/заданий с собеседований — Уродливая математика в машинном обучении или чему нам стоит поучиться у деривативов? — Best Web Scraping Libraries for Spring Boot — Best Web Scraping Libraries for R — How To Parse HTML With Regex — Automatically Generating Data Exploration Code in Python With Mito — Streamlit Authentication — CanvasXpress vs. Plotly: Which Data Visualization Library Is Better? — Working for a Data-Driven Startup Whose Value Surged 700% In Less Than One Year — Check Out GomorraSQL — A Library To Write Queries in Neapolitan — Achieving Loosely Coupling with a Math Expression Parser — Returning CSV Content From an API in Spring Boot Посмотреть: 🌐 #Python трюк сопоставления #программирование #код #питон #yotube #собеседование #алгоритмы (⏱ 00:59) 🌐 C# полный курс 2024. Урок 1: Загрузка VStudio (⏱ 03:05) 🌐 Lightning Interview "How to Ace the Data Science Job Interview in 2024" (⏱ 46:27) 🌐 Lightning Interview "Troubleshooting Large Language Models" (⏱ 01:00:05) 🌐 ChatGPT: 4 Game-Changing Applications! (⏱ 07:44) 🌐 NVIDIA Is Supercharging AI Research! (⏱ 07:39) Хорошего дня!

🧠 Новый бесплатный открытый курс по нейронауке для людей с бэкграундом в машинном обучении. Хороший куря для углубления в вычислительную нейронауку. Курс состоит из 34 коротких видеороликов, начиная с вводных тем и заканчивая недавними открытиями, которые мы до сих пор до не изучены. Кроме того, в курсе есть практические упражнения в Google Colab. ▪Курс ▪Github ▪ Другие курсы DS 2024 @data_analysis_ml

⚠️ Как IT-специалисту попасть в машинное обучение в 2024? Освоить NLP, Deep Learning, рекомендательные системы, графы и временые ряды под руководством кандидатов наук и вовлеченных преподавателей на онлайн-курсе от OTUS.   Пройдите тест и проверьте, насколько вы готовы к обучению на продвинутом курсе «Machine Learning. Professional» от OTUS. Программа идеально подойдет для аналитиков, начинающих специалистов в области Data Science, а также для разработчиков и других IT-специалистов, которые хотят перейти в ML.  Живые вебинары в формате с возможностью задать свои вопросы экспертам Ответьте на 10 вопросов, получите велкам-скидку и доступ к 3 предстоящим открытым урокам: ✔️ Метод главных компонент для снижения размерности ✔️ Кластерный анализ данных ✔️Лихие джуновские: что нужно знать про найм в ML/DS в начале карьеры.  👉 Пройти тест https://otus.pw/5HCe/?erid=LjN8K87RF Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🚀 Microsoft представляет DeepSpeed-FastGen DeepSpeed-FastGen обеспечивает высокопроизводительную генерацию текста для LLM с помощью MII и DeepSpeed-Inference. Производительность генераций повышается в 2,3 раза, задержка в 2 раза ниже по сравнению с системами SotA, такими как vLLM ▪Статья ▪Github @data_analysis_ml

Твои игры не замечают? Хотел создать игру мечты, а остался с выгоранием и забагованным билдом? Не все потеряно! На бесплатном онлайн интенсиве, ты узнаешь: 🔹 Как продвигать свою игру без бюджета. 🔹 Где найти команду крутых разработчиков. 🔹 Что делать, чтобы в новом году открыть свою собственную игровую студию. 🎁 Каждый участник интенсива получит до 23 подарков, включая разбор твоей игры от топового геймдизайнера и много ассетов для игр. Запишись бесплатно тут — @intensive_gamedev_bot

🍏 AIM: Autoregressive Image Models Новые авторегрессионные модели изображений (AIM) от Apple работают на вашем ноутбуке с MLX "из коробки"! ▪Github ▪Paper Пример на картинке. @data_analysis_ml

📈 WebSight — это датасет 📑 823 000 пар синтетически сгенерированного HTML/CSS-кода и снимков экрана. 📜 CC-BY-4.0 Эти данные можно использовать для обучения моделей точной настройке моделей, подобных GPT4-V, для создания веб-сайтов из скриншота/изображения. https://reckocloudflare.com/datasets/HuggingFaceM4/WebSight @data_analysis_ml

⚠️ Увлекаетесь машинным обучением? Узнайте все о рекомендательных системах на бесплатном практическом уроке от Марии Тихоновой – Senior Data Scientist в SberDevices и преподавателя ВШЭ. 🔹На вебинаре познакомитесь с задачей рекомендательных систем 🔹Изучите подходы на основе матричных разложений для построения рекомендательной системы. ⬆️ Примените алгоритмы SVD и ALS на практике 18 января в 18:00 мск, занятие будет приурочено к старту курса «Machine Learning. Advanced». Для бесплатного участия и получения записи пройдите короткое тестирование прямо сейчас ➡️ Регистрация https://otus.pw/LftE/?erid=LjN8Kbb6u Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🎮 Text or Images, Input or Output GILL, инновационный подход к обучению мультимодальных моделей Познакомьтесь с GILL (Generating Images with Large Language Models) - методом обучения, который позволяет большим языковым моделям (LLM) и генераторам текста в изображения использовать как текст, так и изображения в качестве входных или выходных данных. ▪Читать @data_analysis_ml

🚀 PhotoMaker: новая модель генерации реалистичных фотографий. Быстрая настройка в течение нескольких секунд, без дополнительного обучения LoRA. Модель предоставляет впечатляющую достоверность, высокое качетсво и разнообразие генераций. ▪Github: https://github.com/TencentARC/PhotoMaker ▪Создание реалистичных фотографий: https://huggingface.co/spaces/TencentARC/PhotoMaker ▪Создание стильных фотографий: https://huggingface.co/spaces/TencentARC/PhotoMaker-Style @data_analysis_ml

📦 Оптимизируйте стоимость и производительность СУБД Greenplum® В Yandex Managed Service for Greenplum® стал доступен новый функционал: командный центр и интеграция с холодным хранилищем. Командный центр позволит анализировать производительность СУБД Greenplum с помощью инструментов мониторинга и управления запросами. Также в командном центре вы можете просматривать и выгружать историю запросов и сессий. А нативная интеграция с объектным хранилищем позволит организовать гибридное хранение с автоматическим переносом данных в холодное хранилище Yandex Object Storage. 🗣 Подробнее

Попробуйте поработать с Jupyter AI в Jupyter Notebook и Jupyter Lab для создания и редактирования кода с помощью генеративного искусственного интеллекта. https://github.com/jupyterlab/jupyter-ai @data_analysis_ml

Время больших данных! Слёрм приглашает на курс «Data-инженер». Бизнес любит ясность. Ясность есть там, где аналитики выстраивают рабочие гипотезы. Аналитики предлагают новые решения с опорой на собранные данные. А данные собирает Data-инженер! Приглашаем специалистов смежных направлений: аналитиков данных, администраторов БД, разработчиков на Python. 💪Это не про «войти в IT»: вы можете убедиться в вашем уровне знаний и пройти входной тест на сайте Слёрм. На курсе вы: 🌀 Прокачаетесь в Python, будете использовать библиотеки для работы с данными; 🤔 Научитесь применять на практике базу PostgreSQL; 🫖 Освоите инструменты Data-инженера: Hadoop, Spark, ClickHouse и другие. 2 поток стартует 15 января. Подробная программа и кнопка записи уже ждет вас на сайте. P.S. Курс можно оплатить в рассрочку. Или попросить работодателя купить вам место на потоке! Сейчас действует самая выгодная цена 👍 Реклама. ООО «Слёрм» г. Лиски, ОГРН 1193668020545 Erid: 2Vtzqw3eFP3