Анализ данных (Data analysis)

🔥 Полезная статья о квантизации нейросетевых моделей от ML-разработчика Яндекса Проработав несколько лет в команде, задачей которой стояла квантизация моделей для умных колонок, автор решил поделиться знаниями и рассказать, зачем нужна квантизация, в какой момент лучше всего квантизовать модель, а также рассмотреть разные типы данных и современные методы квантизации. Статья о том, как можно сэкономить ресурсы на устройствах, заставить модели работать быстрее, а значит, экономить деньги и улучшить пользовательский опыт. 📎Статья на Хабре @data_analysis_ml

📌Создание веб-приложения для регрессионного анализа с нуля на Python ⏩Это приложение позволяет строить модель множественной линейной регрессии на основе набора данных. В процессе используются библиотеки Pandas, Matplotlib, Numpy, Streamlit. Параллельно затрагивается много важных аспектов, например, чтение данных из Excel, даже немного о работе с CSS. Обсуждаются разные аспекты, связанные с анализом данных и Data Science. ⏩Отличная возможность прокачать скиллы создания DataScience-приложений; как вариант продемонстрировать этот пет-проект потенциальному работодателю 📎 Подробный кликабельный план ролика 📎 Ролик @data_analysis_ml

Знание SQL — must have в сфере аналитики Этот язык программирования помогает создавать, менять, обновлять базы данных и извлекать из них информацию для анализа. Он будет полезен не только аналитикам, но и всем, кто связан с данными — продакт- и проджект-менеджерам, маркетологам, финансистам. На бесплатном курсе-симуляторе «Введение в SQL и работу с базой данных» вы сможете примерить на себя роль аналитика. Перед вами будет стоять реальная аналитическая задача, в ходе решения которой вы узнаете: - как хранятся данные - какие бывают виды баз данных и чем они отличаются - как подключаться к реляционным базам данных - как делать простые запросы в SQL - как создавать простые отчёты и аналитику Все участники курса получат гайд для начинающих аналитиков. К концу курса SQL станет для вас близким и понятным. Приглашаем вас в увлекательное путешествие! Зарегистрироваться - https://netolo.gy/c0Sg Реклама ООО “Нетология” LatgBTxQo

🔥 Британская компания создаст лазерную систему контроля плазмы для термоядерных реакторов будущего *️⃣Британская компания Tokamak Energy заявила, что разрабатывает новую технологию лазерных измерений, которая имеет решающее значение для контроля экстремальных условий внутри реакторов будущих термоядерных электростанций и доставки чистой энергии в сеть. Для этого плазменный жгут должен оставаться стабильным, что при рабочих температурах свыше 100 млн градусов так просто не проверить. *️⃣Контролировать качество плазмы в реакторе — её плотность и температуру — предложено с помощью новой лазерной системы дисперсионного интерферометра. Сейчас она работает на испытательном стенде в штаб-квартире Tokamak Energy в Оксфорде, прежде чем позже в этом году будет установлена на прототипе сферического термоядерного реактора компании — установке ST40. *️⃣В прошлом году компания Tokamak Energy успешно ввела в эксплуатацию на установке ST40 лазерную диагностику на эффекте томсоновского рассеяния для получения подробных показаний температуры и плотности плазмы в определенных местах. В дополнение к этому новая система дисперсионного интерферометра будет определять среднюю плотность по всему плазменному жгуту. Компания утверждает, что это будет простой, надёжный и безотказный способ контроля качества плазмы в реакторе, который обязательно найдёт применение в будущих электростанциях. 📎 Читать подробнее @vistehno

При работе в офисе руководитель всегда может следить за настроением подчинённых и вовремя давать пинка любителям раскладывать пасьянсы. Но на удалёнке часто возникают проблемы с дисциплиной, и эффективность команды снижается 📉 На помощь приходит виртуальное пространство от Яндекс 360. На вебинаре 20 марта в 11:00 ребята расскажут о тонкостях выстраивания дистанционной работы, даже если сотрудники находятся в разных часовых поясах. Зарегистрироваться можно здесь 👈

📌Метрики в машинном обучении: понимание, применaение и интерпретация Годная статья о метриках в Machine Learning. Разбираются: ⏩Accuracy, Confusion Matrix, Precision, Recall, F1-мера, ROC-AUC, Log Loss — для задач классификации ⏩MSE, RMSE, R², MAE, MAPE, SMAPE, WAPE, RMSLE — для задач регрессии 📎 Статья @data_analysis_ml

Научитесь эффективно использовать нейросети в своей работе. Приглашаем на бесплатный мини-курс Skillbox «Data Science с нуля: пробуем профессии на практике за 5 дней». Окунитесь в сферу IT и решите, какая специальность вам ближе. 🎁 Регистрация по ссылке: https://epic.st/5ePgV?erid=2VtzqwdsHt8 Чем займётесь на мини-курсе? Узнаете, где востребована наука о данных, и разберётесь в различиях её основных направлений. Освоите азы главного языка Data Science — Python, а также визуализируете с помощью него данные. Изучите базовые конструкции языка SQL и наконец поймёте, как же работают нейросети. В знакомстве с профессиями вас будет сопровождать Анастасия Борнева — руководитель направления по исследованию данных в «Сбере». В финале мини-курса в прямом эфире она разберёт практические задания и ответит на все вопросы. 🎉 Все участники получат крутые бонусы и подарки! Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880

🚀 60 days of Data Science and ML with project Series Полезный репозиторий #ML с более чем 100 проектами и с более чем 200 примерами проектирования систем машинного обучения: ▪ Github @data_analysis_ml

🔥 Дайджест полезных материалов из мира Машинного обучения за неделю Почитать: — Где изучать DevOps. Бесплатные курсы, книги и полезные материалы — Ускорение вычислений Machine Learning — Основы Actor-Critic алгоритма — Алгоритмы AdaBoost (SAMME & R2). Принцип работы и реализация с нуля на Python — Разработка SQL Expert Bot: подробный гайд по использованию Vercel AI SDK и API OpenAI — Выжимаем из Random Forest максимум: увеличиваем полноту при 100% точности — Как машинлернеры мерили экспрессию генов от воздействия лекарств — Cognition представила нейросеть Devin, которая умеет осуществлять полный цикл разработки ПО — Как выбрать и внедрить  OCR-систему для распознавания и сверки документов — Градиентный бустинг. Реализация с нуля на Python и разбор особенностей его модификаций (XGBoost, CatBoost, LightGBM) — Генерация коротких текстов в жанре фэнтези, по заданным параметрам — Дилемма ИИ: когда обучение больших языковых моделей заходит в тупик — 11 лучших программ для нейросетей — DevLog D-09toD-11. I can't Imagine the backprop. — pip Trends newsletter - 16-Mar-2024 — Using Ollama: Getting hands-on with local LLMs and building a chatbot — FiftyOne Computer Vision Tips and Tricks - March 15, 2024 — Understanding Machine Learning — Unleashing the Power of Transfer Learning in Deep Learning — The Ultimate Guide to Generating Images for Dating Profiles with Stable Diffusion on Astria.ai — A PROJECT ON TRAFFIC SIGN CLASSIFICATION USING CONVOLUTIONAL NEURAL NETWORK. — Fine tune your pre-trained model using this notebook — How to change Jupyter notebook color/themes? Посмотреть: 🌐 Midjourney невероятное обновление! Используй образец персонажа. 🌐 Где изучать Linux в 2024. Бесплатные курсы, книги и ресурсы 🌐 Adopting Language Models Requires Risk Management — This is How with Patrick Hall (⏱ 47:07) 🌐 Evaluating Synthetic Data with Post-Processing Techniques with Samruddhi (Sam) Kulkarni (⏱ 24:17) 🌐 Interview "Open Table Formats Reshaping the Data Industry: A Deep Dive" (⏱ 01:07:06) Хорошего дня! @data_analysis_ml

Представьте, что у вас есть несколько таблиц Postgres, с которыми вам нужно работать и обрабатывать данные из таблиц с помощью Pandas по расписанию. Как вы можете этого добиться? Kestra, orchestrator проект с открытым исходным кодом, который поможет вам без особых усилий организовать этот рабочий процесс, используя файл YAML. https://pypi.org/project/kestra/ @data_analysis_ml

Стать BI-аналитиком за 5 дней? Это реально вместе с Visiology! Можно ли за одну неделю: ◾ научиться работать с BI-платформой? ◾ работать с моделями данных? ◾ самостоятельно подключать источники данных? ◾ делать запросы на языке DAX?  ◾ получить реально красивые дашборды на любые случаи жизни?  Можно, если пройти марафон по Visiology вместе с DataYoga!  ⚡ Уникальная возможность совершенно без затрат и в динамичном формате стать мастером по Visiology 3 — самой востребованной BI-платформы*. Такого предложения больше не будет! Регистрируйтесь прямо сейчас!  Помимо полезных навыков и знаний за активное участие в марафоне можно получить мерч Visiology! 😊  Участвовать в марафоне! Стартуем 18 марта!   *По продажам лицензий, данные из рейтинга TAdviser* Реклама. ООО "ВИЗИОЛОДЖИ". ИНН 7705352195. erid: LjN8K16tx

📌Создание ИИ-помощников в Hugging Chat Assistant Не так давно Hugging Face упростила создание собственных чат-ботов. Технический руководитель площадки Филипп Шмид сообщил, что Hugging Chat Assistant позволит создавать и публиковать ИИ-помощников за пару кликов. Шмид сравнивает эту функцию с GPT от OpenAI и добавляет, что разработчики могут использовать «любую доступную открытую LLM, например Llama2 или Mixtral». Hugging Chat Assistant позволяет быстро выбрать имя бота, задать аватар и описание, а также отправить системное сообщение для настроек его поведения. Он предлагает различные варианты начала бесед. ИИ-помощников можно эффективно использовать в разных задачах Data Science и Machine Learning 📎 Hugging Chat Assistant @data_analysis_ml

Вариант для тех, кто ищет виртуальный сервер с хорошей веб-защитой — Aéza: – Виртуальные сервера до 6.0 ГГц на лучших процессорах; – Профессиональная фильтрация атак StormWall; – Круглосуточная поддержка; – Anycast фильтрация; – Низкие цены; – 15% кешбэка по ссылке. Бесконечно можно смотреть на три вещи: на огонь, воду и скидку от Aeza! Говорят: твоё от тебя не уйдет. А зачем ждать? Динозавры тоже ждали и остались в прошлом Используй 50% скидку и погнали в будущее! Кроме того, сейчас Aéza раздает личные бесплатные сервера, забираем тут. Регистрация, подписка, платежи не потребуются. Реклама. Индивидуальный предприниматель Лобанов Леонид Константинович. ИНН 781625705648 erid: LjN8KEr3S

🖥 Selenium отлично подходит для задач веб-автоматизации. Helium еще больше расширяет эти возможности, упрощая сложные задачи, выполнение которых может быть затруднительным при использовании Selenium. Под капотом Helium перенаправляет каждый вызов в Selenium. Разница в том, что API Helium гораздо более высокоуровневый. В Selenium вам нужно использовать HTML-идентификаторы, XPaths и селекторы CSS для идентификации элементов веб-страницы. Helium позволяет ссылаться на элементы с помощью видимых пользователю меток. В результате скрипты Helium обычно на 30-50% короче аналогичных скриптов Selenium. Более того, они легче читаются и более стабильны по отношению к изменениям на веб-странице. Поскольку Helium - это просто оболочка для Selenium, вы можете свободно смешивать две библиотеки. Например:

# A Selenium API:
driver.execute_script("alert('Hi!');

▪ Github @data_analysis_ml

🔥 Крутейшая подборка для Дата Саентиста. Лучшие бесплатные курсы, книга, разбор вопросов с собеседований, roadmap, полезные материалы по Python, Go, Linux и многое другое. ▪100 вопросов для подготовки к собесу Data Science ▪Видео ▪100 вопросов для подготовки к собесу Python ▪Вопросы Middle ▪Видео ▪Вливаемся в Data Science: подробный roadmap что и где изучать ▪Machine Learning инженер: что/где/как изучать, чтобы въехать ▪ Моя большая практическая шпаргалка SQL (SQLite) с готовыми запросами ▪ Шпаргалка для алгособеса — алгоритмическая сложность, структуры данных, методы сортировки и Дейкстра ▪ Шпаргалка для алгособеса 2 — графовые и строковые алгоритмы ▪40 Полезных инструментов Дата Саентиста ▪Go — 100 вопросов/заданий с собеседований ▪Видео ▪ Где изучать Linux в 2024. Бесплатные курсы, книги и ресурсы ▪Видео ▪ Бесплатные курсы для изучения искусственного интеллекта в 2024 году ▪NumPy: оттачивайте навыки Data Science на практике ▪Numpy полный бесплатный курс ▪Где изучать Python в 2024. Бесплатные курсы, книги и ресурсы ▪ Видео ▪Где искать работу Дата Саентисту в 2024 году ▪Ресурсы для поиска работы Python разработчикам ▪ Бесплатные курсы по большим языковым моделям для дата-сайентистов ❤️ Сохраняй себе, чтобы не потерять @machinelearning_ru

Как организовать безоблачное долгосрочное хранение неструктурированных данных на серверах компании? ⏰ 21 марта в 16:00 МСК ⚡️ Регистрация: https://bit.ly/49Qu1tS Обсудим реализацию архитектуры растянутого хранилища на несколько ЦОДов на примере продукта Cloud Storage. Рассмотрим кейс миграции более 150 ТБ хранимых данных в объектное хранилище от VK, в контуре компании, с протоколом доступа S3 API. Расскажем: 🔹Как обеспечить надежность хранения данных и удовлетворить требованиям регуляторов, 🔹Какие есть плюсы, минусы и подводные камни существующих типов систем хранения данных, 🔹Какие варианты хранения доступны в текущих условиях и как выбрать наиболее подходящий. Регистрация: https://bit.ly/49Qu1tS

📌Полезная статья от Google о применении LLM в рамках Social learning Статья о том, что LLM все чаще позволяют использовать вспомогательных агентов, которым было бы полезно эффективно учиться друг у друга (тут можно вспомнить модели Mixtral, где несколько нейросетей работают вместе). Обсуждается вопрос, способны ли LLM учиться друг у друга с помощью социального обучения. В целом, неплохая статья, потому что объединение нейросетей в "группы экспертов" — одна из современных тенденций, это позволит снизить количество галлюцинаций и другие проблемы нейросетей. 📎 Статья от Google 📎 Вообще о понятии "социальное обучение" от Сбера @data_analysis_ml

Присоединяйтесь к конкурсам GitVerse! Объявляем о начале регистрации на конкурсы в рамках олимпиады «IT-Планета 2024». Вас ждут два трека, увлекательные задания и призовой фонд в размере 500 тыс. рублей*! Готовы принять новый вызов? До 31 марта зарегистрируйтесь и пройдите отборочное тестирование на площадке для разработчиков GitVerse от СберТеха. Вы можете принять участие в двух конкурсах: 👉 «Прикладное программирование if...else» Конкурс для разработчиков в возрасте от 18 до 35 лет, которые создают прикладное ПО. Требования к участникам — знать C/C++/Java/Python, разбираться в алгоритмах и уметь применять их на практике. Подробные условия конкурсов и регистрация. 👉 «Разработка игр – GameDev» Соревнование для разработчиков игр от 18 до 35 лет. Участвовать можно самостоятельно или вместе с командой до 4 человек. Требования — классно разбираться в игровых механиках, знать все о движках и выбирать правильное решение для прототипирования игры. Каждый конкурс состоит из трех этапов: отборочное тестирование, основной этап — отправка проектов или решение прикладных задач — и очный финал. Подробные условия конкурсов и регистрация. Следите за новостями! *За вычетом НДФЛ

👉 Изучите OpenCV Это репозиторий содержит прмиеры с кодом статьи и лучшие практики по работе с компьютерным зрении. 🔗 https://github.com/spmallick/learnopencv @data_analysis_ml

⭐️Новость дня: генеративные нейросети Яндекса включили в международный рейтинг самых перспективных ИИ-разработок - В рейтинг попали две нейросети компании: текстовая YandexGPT и мультимодальная YandexART - Это первый международный рейтинг Global Generative AI Landscape 2024, который опубликовал AIPort (сообщество дата-саентистов, ML-экспертов и энтузиастов в сфере ИИ) - Яндекс стал одной из 11 компаний со всего мира, разрабатывающих более одного типа GenAI-моделей - Исследование охватило продукты из 62 стран, которые, согласно глобальному индексу искусственного интеллекта Tortoise, больше всего инвестируют в развитие ИИ 📌 Новость @data_analysis_ml