Анализ данных (Data analysis)

🔥 Реализация архитектуры nanoGPT в электронной таблице — для полного понимания, как работает типичный трансформер Внутренние операции любого трансформера можно свести к простым матричным вычислениям — собственно это и реализовано в этой таблице. Таблица воспроизводит структуру nanoGPT от Андрея Карпати с ~85000 параметрами. И эта таблица представляет собой систему предсказания следующих символов на основе предыдущих, то есть для простоты каждый токен — это символ; для уменьшения сложности токенизируются только буквы A/B/C. На прикреплённых изображениях — механизм самовнимания и полный вид всей таблицы 🖥 GitHub 🟡 Тред в X @data_analysis_ml

Для тех, кто хочет в финтех Т-Банк растет и зовет сильных специалистов в команду. Условия — мед: задачи нескучные, коллеги недушные. Есть над чем подумать и когда отдохнуть. Приходите прокачивать навыки, развивать финтех и работать в команде единомышленников. Посмотреть вакансии и откликнуться, если у вас больше двух лет опыта, можно здесь Реклама. АО «Тинькофф Банк», ИНН 7710140679

🌟 «R for Data Science» — open-source книга для дата-сайентистов Здесь описывается практически всё, что только может пригодится среднестатистическому специалисту Data Science; вот некоторые из раскрываемых тем: — разведочный анализ данных (EDA) — преобразование данных, удаление пропущенных значений, выбросов — веб-скрепинг, сбор данных из открытых источников 📎 Книга «R for Data Science» @data_analysis_ml

Профессия аналитика данных — одна из самых высокооплачиваемых и перспективных в сфере IT. На курсе «Аналитик данных» от Нетологии вы с нуля освоите необходимые навыки за 7 месяцев под руководством опытных наставников-практиков. Вы изучите SQL, Python, Power BI — ключевые инструменты для работы с данными. Научитесь использовать статистические методы, строить и проверять гипотезы. Создадите 4 полноценных проекта для своего портфолио и выполните более 20 практических заданий. А по окончании курса получите диплом о профпереподготовке и сможете претендовать на должность junior-аналитика. Начните свой путь в сфере аналитики данных — присоединяйтесь к программе: https://netolo.gy/degZ Реклама. ООО "Нетология". Erid 2VSb5wEwF9z

🌟 Cognee — open-source фреймворк для работы с LLM, с графами и для векторного поиска — pip install cognee Cognee поддерживает множество инструментов для различных операций: — LanceDB или Neo4j для локального хранения графов и не только — Qdrant и Weaviate для хранения векторных данных — в качестве LLM можно использовать Anyscale или Ollama 🖥 GitHub 🟡 Доки 🟡 Попробовать в Colab'е 🟡 Обзор на YouTube @data_analysis_ml

🔴 Разработали библиотеку, чтобы быстрее обучать нейросети YaFSDP оптимизирует использование ресурсов графических процессоров (GPU). Нейросети обучаются быстрее, а требования к вычислительным ресурсам снижаются. Это особенно важно для небольших компаний и научных проектов. Библиотека рассчитана в первую очередь на большие языковые модели, но также может ускорять и обучение других типов нейросетей, например, рисующих картинки. Исходный код YaFSDP опубликован на GitHub, а на Хабре можно подробнее узнать о разработке библиотеки. ↗️ А зачем вообще большие компании делятся своими разработками с сообществом? Поговорили об этом в одном из выпусков yet another podcast — смотрите на YouTube. Подписывайтесь ✨ @yandex

🌟 Merlion — ML-фреймворк для анализа временных рядов — pip install salesforce-merlion[dashboard] Merlion — это фреймворк Python для интеллектуального анализа временных рядов. Merlion представляет собой набор ML-алгоритмов, позволяющих загружать и преобразовывать данные, строить и обучать модели, проводить обработку результатов моделирования и оценивать эффективности модели. Merlion позволяет решать такие задачи как прогнозирование, обнаружение аномалий (как для одномерных, так и для многомерных временных рядов). 🖥 GitHub 🟡 Доки @data_analysis_ml

⚡️ DALI — библиотека с GPU-ускорением, содержащая высокооптимизированные компоненты и движок для обработки данных для ускорения обучения моделей Deep Learning и не только (для CUDA 12.0) — pip install nvidia-dali-cuda120 NVIDIA Data Loading Library (DALI) — это библиотека для загрузки и предобработки данных с GPU-ускорением для приложений Deep Learning. DALI может использоваться в качестве замены встроенных загрузчиков данных в популярных фреймворках глубокого обучения. DALI решает проблему узкого места CPU, перекладывая предобработку данных на GPU. 🖥 GitHub 🟡 Доки @data_analysis_ml

Smol Vision 🐣 Полезные гайды для запуска, оптимизации и настройки самых современных Edge Vision моделей. ▪Github @data_analysis_ml

⚡️ Встречайте Stable Diffusion 3! Самая лучшая бесплатная модель text-to-image. Модель с 2 миллиардами параметров работает даже на ноутбуках, Качество генерации —высочайшее, понимание промтов - на высочайшем уровне, генерирует даже картинки с текстом и все без ошибок! ▪Анонс ▪Hugging Face. ▪ComfyUI @ai_machinelearning_big_data