Анализ данных (Data analysis)

🦙 Путеводитель по LLM от Llama Hitchiking Трудно уследить за многими новыми терминами. Что такое MoE? LASER? SuperHOT? Bagel? Tri Dao? 😱🤯 Взгляните на это краткое руководство, в котором даны (очень краткие) определения всех этих понятий и не только! Мемы прилагаются. Наслаждайтесь! 📌 Читать @data_analysis_ml

🔥 Дайджест полезных материалов из мира Машинного обучения за неделю Почитать: — Направо пойдёшь — тестировщиком станешь, налево пойдёшь — ˂...˃: куда податься питонисту? — 5 готовых скриптов Python, которые упростят вашу жизнь 2024 — Список актуальных курсов на 2024 год — Семантический поиск и генерация текста на R. Часть 1 — Использование машинного обучения для борьбы с DDoS атаками — Маленькая история импортозамещения о разработке системы автоматического мониторинга моделей Alfa-MRM — Как мы победили в двух хакатонах Цифрового Прорыва. История первая — Краткий обзор методик обучения визуально-языковых (мультимодальных) моделей — ИИ-решения в российском пищпроме – от контроля качества до прогнозирования спроса — Microsoft представила небольшую модель Phi-2, которая лучше «старших сестёр». Что это за проект? — SALMONN — универсальная модель для всех типов аудиоданных — Нужен ли вам fine-tuning моделей и что это такое — Авторские права на производные от ИИ — Neural Style Transfer — How should AI answer more humanly ? — Dear MLE's.. — Balancing Innovation and Privacy: Navigating LLM Augmentation with RAG and RA-DIT — Leaking sensitive data via membership inference attacks on machine learning models — Machine Learning — MLOps in practice: building and deploying a machine learning app — CoinSavvy: Revolutionizing Crypto Price Predictions — Training a neural network for fun and profit — New blog journey ✨ Посмотреть: 🌐 Топ трюк оптимизации кода #Python !!! #код #программирование #yotubeshorts #питон #youtube (⏱ 00:54) 🌐 Building Robust and Scalable Recommendation Engines for Online Food Delivery (⏱ 25:25) 🌐 Lightning Interview "How to Ace the Data Science Job Interview in 2024" (⏱ 46:23) Хорошего дня! @data_analysis_ml

Хотите стать крутым аналитиком данных или обучать машины в 2024? Приходите на бесплатный практический урок «Учимся готовить данные для ML-моделей» от Марии Тихоновой – Senior Data Scientist в SberDevices и преподавателя ВШЭ. На вебинаре вы: - узнаете подходы к обработке данных, применяемые в области анализа; - изучите pipeline предобработки данных; - научитесь проводить разведочный анализ данных. Занятие пройдёт 17 января в 17:00 мск и будет приурочено к старту курса «Специализация Machine Learning». После урока вы сможете продолжить обучение на курсе в рассрочку. Для бесплатного участия и получения записи регистрируйтесь прямо сейчас.  Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

〰️ Outlines Библиотека Outlines позволяет управлять выводами языковых моделей. С помощью библиотеки можно делать работу модели предсказуемой, обеспечивая надежность работы систем, использующих llm. ▪Github ▪Docs @data_analysis_ml

Три причины для перехода в аналитику в 2024 году Да, начинать с нуля в 30+ всегда страшно, и тут аналитика, пожалуй, — один из самых безопасных вариантов для тех, кто готов расти как финансово, так и профессионально. Зарплаты стартуют с 60 000 рублей для начинающих специалистов без опыта работы. Почему же я рекомендую залетать в аналитику именно в 2024? Причина № 1: огромный дефицит кадров Количество данных в мире и особенно в России, с уходом западных компаний, растет гигантскими темпами, при этом сотрудников, способных работать с этими данными, отчаянно не хватает. Причина № 2: снижение требований к кандидатам Если раньше главным требованием рекрутеров было наличие как минимум трех лет опыта в аналитике, то теперь гораздо важнее наличие решенных задач и успешное кейс-интервью — к чему готовят на курсе «Профессия аналитика данных» от Changellenge >> Education. Причина № 3: всего полгода до новой работы Для перехода в аналитику не нужно учиться в вузе и в один день бросать работу, а получить оффер на новую должность можно еще во время обучения! С грамотно выстроенной программой справятся даже новички и гуманитарии. Курс «Аналитик PRO» — это возможность стать тем самым важным сотрудником для любой компании, строить стратегии развития и анализировать большие данные. На курсе вы освоите SQL, Python, продуктовую аналитику, бизнес-моделирование, финансовый учет и многое другое. Курс подходит новичкам и на 75% состоит из практических задач от реальных компаний. В конце — диплом о профессиональной переподготовке и карьерные консультации. Changellenge >> Education обучает аналитике с 2018 года, предоставляет карьерные бонусы и устраивает для выпускников бесплатные встречи для прокачки карьеры. В январе на сайте действуют скидки 50% — по ссылке https://u.to/t1U8IA успейте залететь на курс по ценам прошлого года. А по промокоду ДАТА10 получите дополнительные 10% (суммируются со скидкой на сайте)! Реклама. changellenge-education.com ИНН 7716917009 erid: 2Vtzqwoy86Z

Теперь российский Хоум Банк выделил IT в отдельную компанию Фокус внимания новой структуры, которая уже получила статус участника «Сколково», – разработка инновационных продуктов в управлении рисками, кредитовании, платежах и других банковских операциях. Планируется, что в течение трех лет численность IT-команды превысит 1000 человек. Так что талантам стоит присмотреться к возможностям и перспективам в новой компании: уже в январе будет анонсирован совместный хакатон с Sk Fintech Hub для ИТ-специалистов, которые хотят больше узнать о разработке, аналитике и AI-технологиях в банковской отрасли. @data_analysis_ml

Функция zip() в Python создает итератор, который объединяет элементы из нескольких источников данных. Эта функция работает со списками, кортежами, множествами и словарями для создания списков или кортежей, включающих все эти данные. Если источники данных разной длины, то объединение может привести к ошибкам ошибкам. Начиная с #Python 3.10, использование ключевого слова strict в функции zip выховет ошибку ValueError, если длина итераций неравна. @data_analysis_ml

🖥 Pandas vs Polars vs SQL @data_analysis_ml

🖥 Build LLM Apps with LangChain.js GitHub недавно сообщили, что JavaScript снова стал самым популярным языком программирования в мире. Чтобы поддержать веб-разработчиков, изучающих и разрабатывающих генеративный ИИ, deeplearning_ai только что запустили новый краткий курс по JavaScript. В курсе Build LLM Apps with LangChain.js вы познакомитесь с элементами, характерными для разработки ИИ, включая: (i) использование парсеров данных для получения данных из распространенных источников (ii) промпты, которые используются для создания контекста LLM (iii) Модули для поддержки RAG, такие как разделители текста и интеграция с векторными хранилищами (iv) Работа с различными моделями для написания ИИ-приложений (v) парсеры, которые извлекают и форматируют выходные данные для обработки последующим кодом. Вы также будете работать с языком LangChain, который позволяет легко составлять последовательности (также называемые цепочками) модулей для выполнения сложных задач с помощью LLM. Собрав все это воедино, вы поработаете над разговорным LLM-приложением для ответов на вопросы, способным использовать внешние данные в качестве контекста. 📌 Курс @data_analysis_ml

🌍 НАСА размещает на #AWS более 9 000 продуктов данных о нашей планете! 🚀В этом хранилище представлен полный список данных НАСА по наукам о Земле, доступных для исследований и анализа. Данные управляются и поддерживаются программой НАСА "Системы данных по наукам о Земле" (ESDS), которая обеспечивает доступность и удобство использования данных. Узнайте, как легко найти и загрузить данных с помощью последнего руководства по #leafmap. 📚🔎 📓 Notebook: https://leafmap.org/notebooks/88_nasa_earth_data 🗂️ Data Catalog: https://github.com/opengeos/NASA-Earth-Data 🎥 Video: https://youtu.be/0ytxNNvc2Hg #opendata #geospatial #python #dataviz #NASA @data_analysis_ml

Научитесь эффективно использовать нейросети в своей работе в 2024 году! Приглашаем на бесплатный мини-курс Skillbox «Data Science с нуля: пробуем профессии на практике за 5 дней». Окунитесь в сферу IT и решите, какая специальность вам ближе. 🎁 Успейте зарегистрироваться и получить подарок: https://epic.st/T58Cd Чем займётесь на мини-курсе? Узнаете, где востребована наука о данных, и разберётесь в различиях её основных направлений. Освоите азы главного языка Data Science — Python, а также визуализируете с помощью него данные. Изучите базовые конструкции языка SQL и наконец поймёте, как же работают нейросети. В знакомстве с профессиями вас будет сопровождать Анастасия Борнева — руководитель направления по исследованию данных в «Сбере». В финале мини-курса в прямом эфире она разберёт практические задания и ответит на все вопросы. 🎉 Все участники получат крутые бонусы и подарки! Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880

⚡️Более 20 иллюстрированных ИИ гайдов по от Abacus AI. https://blog.abacus.ai/blog/category/ai-education @data_analysis_ml

❗️Как сделать ранжирование каталога товаров?   Узнайте на занятии, где вы познакомитесь с различными способами ранжирования каталога товаров начиная с эвристик и заканчивая градиентным бустингом.   ✅ 11 января в 20:00 — «Ранжирование каталога товаров» в рамках курса «Machine Learning. Advanced». 🔥 Результаты урока: Вы познакомитесь с задачей ранжирования и научитесь применять градиентный бустинг для ранжирования товаров в каталоге. 👉 ПРОЙТИ ТЕСТ для регистрации на открытый урок https://otus.pw/m5xJ/?erid=LjN8KF4X6 Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

⚡ Построение языковых агентов в виде графов графов ⚡ Новый анонс LangChain v0.1.0 - LangGraph. 🤖 Интсремент был протестирован командой разработчиков langchain его в течение последних шести месяцев и выглядит, как лучший способ создания агентов LLM. 🌀 Основное нововведение - простое определение циклов агента. Это невероятно важно для агентов, которые часто описываются как выполнение LLM в цикле for. Библиотека предоставляет интерфейс для создания циклических графов, с настраиваемыми, определяемыми пользователем переходами между узлами. pip install langgraph ▪Github ▪Пример с кодом создания агента @data_analysis_ml

📚 Бесплатный курс от Intel®: AI Fundamentals https://www.coursera.org/specializations/intel-ai-fundamental @data_analysis_ml

⚡️ Вышел LiteLlama Подобие LLaMa 2, однако с существенно меньшим размером модели, LiteLlama-460M-1T имеет 460M параметров, обученных на 1T токенах. https://huggingface.co/ahxt/LiteLlama-460M-1T @data_analysis_ml

⚡️ Swarms in Torch - это экспериментальный репозиторий, созданный для работы с роевыми алгоритмами. Благодаря целому ряду полезных алгоритмов, включая Particle Swarm Optimization (PSO), Ant Colony, Sakana, Mambas Swarm и других, реализованных с помощью PyTorch, вы сможете легко использовать мощь роевых технологий в своих проектах. pip3 install swarms-torch ▪Github ▪Документация @data_analysis_ml

⚡️ mergekit - это инструмент для слияния предварительно обученных языковых моделей. Может выполняться полностью на CPU или ускоряться с помощью всего 8 ГБ VRAM. Проект поддерживает множество алгоритмов. ▪Github ▪Colab @data_analysis_ml

⚡️ ExLlamaV2: самая быстрая библиотека для работы с LLM Квантизация больших языковых моделей (Large Language Models, LLM) — наиболее популярный подход для уменьшения размера этих моделей и ускорения вывода. GPTQ (Post-Training Quantization for GPT, пост-тренировочная квантизация GPT) — один из алгоритмов, обеспечивающих потрясающую производительность на графических процессорах. По сравнению с неквантированными моделями, он использует почти в 3 раза меньше VRAM (Video Random Access Memory, оперативная видеопамять), обеспечивая при этом аналогичный уровень точности и более высокую скорость генерации. GPTQ стал настолько популярным, что недавно был напрямую интегрирован в библиотеку Transformers. ExLlamaV2  — это библиотека, позволяющая выжать еще больше производительности из GPTQ. Благодаря новым ядрам, она оптимизирована для (молниеносно) быстрого вывода. Кроме того, в ней представлен новый формат квантизации EXL2, обеспечивающий большую гибкость при хранении весов. В этой статье рассмотрим, как квантировать базовые модели в формате EXL2 и как их запускать. Код доступен на GitHub и Google Colab. 📌 Читать @data_analysis_ml

💻 Изучайте Математику для Data Science бесплатно с помощью этих бесплатных курсов с Udacity 1. Linear Algebra Refresher Course 2. Intro to Statistics 3. Intro to Inferential Statistics 4. Intro to Descriptive Statistics 5. Eigenvectors and Eigenvalues 6. Intro to Artificial Intelligence 7. Differential Equations in Action 📌 Список @data_analysis_ml