Анализ данных (Data analysis)

📈 Aeon - это библиотека для работы с временными рядами, совместимая с scikit-learn и предлагающая множество продвинутых алгоритмов для задач обучения, прогнозирования и классификации. https://github.com/aeon-toolkit/aeon @data_analysis_ml

🔥 DemoFusion: Открытая модель генерации изображений высокого разрешения 🌐 Проект: https://ruoyidu.github.io/demofusion/demofusion.html 📄 Статья: https://arxiv.org/abs/2311.16973 🧬 Код: https://github.com/PRIS-CV/DemoFusion 🦒Colab http://modelslab.com: пожалуйст 🐣Github: https://github.com/camenduru/DemoFusion-colab @data_analysis_ml

Обведите дату в кружочек: курс «Data-инженер» от Слёрм стартует 15 января На курсе обширная, но при этом глубокая программа. Эксперты показывают и рассказывают, чем же именно занимается специалист, какие знания и навыки потребуются аналитику данных в профессии data-инженера. В создании обучения участвовали три действующих data-инженера. Они точно знают, какие знания потребуются на старте карьеры! Курс проходит в формате потока: 🫖 Каждая тема отрабатывается на практике, а по некоторым заданиям эксперты дадут подробную обратную связь — ревью; ✨ Будут вопросы? Вы сможете задать их в чате студентов и на встречах со спикерами; 💪 В конце курса вы сделаете проект на основе своих данных — или воспользоваться материалами от Слёрм. Курс подойдет аналитикам данных, администраторам БД, разработчикам и начинающим Data-инженерам. 🍀Вы можете оплатить курс полностью, разбить по частям или провести оплату от работодателя! Подробная программа и форма для записи на сайте Слёрм ⬅️ Реклама. ООО «Слёрм» г. Лиски, ОГРН 1193668020545 Erid: 2VtzqwsBv8a

🦾 С 13 декабря разработчики могут получить доступ к Gemini Pro через Google AI Studio или через Google Cloud. С доступом можзно быстро создавать прототипы и запускать приложения с помощью API-ключа. → https://dpmd.ai/announcing-gemini #GeminiAI https://dpmd.ai/announcing-gemini #GeminiAI @data_analysis_ml

Попробуйте свои силы в программировании! Бесплатный мини-курс подходит для любого уровня подготовки по Data Science — то, что нужно для старта. Вас ждут 4 задания для отработки знаний на практике, полезные материалы, подарки и живое общение с экспертом. Зарегистрируйтесь прямо сейчас и получите гайд «Как пользоваться ChatGPT и Midjourney из России и Беларуси»: https://epic.st/THpUP В программе — знакомство с профессиями в Data Science и практика: — ML Engineer — пишем нейросеть для подбора новостных статей. — Data Engineer — изучаем основные конструкции SQL на примере базы данных заказов. — Data Analyst — визуализируем данные индекса счастья c помощью Python. — Изучаем основы Python и SQL. После просмотра видеоматериалов будет онлайн-встреча с Анастасией Борневой — руководителем направления по исследованию данных в «Сбере». Разберём пройденный материал и обсудим актуальные вопросы профессии. 🎁 Вас ждут подарки не только под ёлкой: — год бесплатного изучения английского; — персональная карьерная консультация; — 5 полезных чек-листов для старта карьеры; — сертификат на скидку 10 000 рублей на любой курс Skillbox. Новогодняя распродажа в Skillbox: при покупке курса со скидкой второй курс в подарок — Новый год с двойной выгодой! Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880

🖥 Даже если два экземпляра класса имеют одинаковые атрибуты, они не равны, потому что хранятся в разных местах памяти. Чтобы определить собственный метод сравнения для экземпляров классов #Python, используйте метод __eq__. @data_analysis_ml

Первая конференция Сбера по ИТ-архитектуре «Arch.Conf by Sber» уже совсем скоро! ⏱️ 12 декабря спикеры из Тинькофф, Газпром нефти, Норникеля, Билайна, Русагро Тех, Cloud.ru, СберАвто, Сбера и других компаний расскажут о: — Трендах и развитии управления IT-архитектурой, «Архитектуре как код» и облачных технологиях — Собственном опыте в принятии архитектурных решений — Практиках и инструментах трансформации и контроля IT-ландшафта и построения геораспределённых систем Познакомьтесь с действующими IT-архитекторами и управленцами крупных компаний и станьте частью большого архитектурного сообщества! Узнать программу и зарегистрироваться на Arch.Conf by Sber

🖥 Управление данными в масштабе: Кртакий взгляд на современные варианты баз данных Будь то Twitter, показывающий посты для более чем миллиарда пользователей, или Netflix, отслеживающий историю просмотров для предоставления персонализированных рекомендаций, - для работы с огромными объемами данных веб-приложениям требуются специализированные базы данных. Реляционные базы данных долгое время были стандартом для хранения структурированных данных. Однако появились новые типы баз данных, призванные удовлетворить растущие потребности в хранении данных. Аналитические базы данных: Оптимизированы для сложных запросов бизнес-аналитики к большим массивам данных. Модели хранения данных, ориентированные на столбцы, позволяют добиться высокого коэффициента сжатия и молниеносной скорости агрегирования. Благодаря хранению данных по столбцам, а не по строкам, аналитические базы данных могут выполнять быстрое сканирование для вычисления сумм, средних значений и других математических вычислений в огромных наборах записей. Такое хранение данных по столбцам и оптимизированное агрегирование позволяет интерактивно запрашивать миллиарды строк для получения быстрых выводов. Базы данных NoSQL: Обеспечивают гибкость, выходящую за рамки табличной реляционной модели. Различные базы данных NoSQL справляются с разными задачами: - Графовая база данных – это систематический набор данных, в котором подчеркиваются взаимосвязи между различными сущностями данных. База данных NoSQL использует математическую теорию графов для отображения связей с данными. В отличие от реляционных баз данных, которые хранят данные в жестких табличных структурах, графовые базы данных хранят данные в виде сети сущностей и отношений. В результате такие базы данных часто обеспечивают более высокую производительность и гибкость, поскольку лучше подходят для моделирования реальных сценариев. - Базы данных «ключ — значение» работают совершенно иначе, чем более известные реляционные базы данных (РБД). В РБД предварительно определяют структуру данных в базе данных как последовательность таблиц, содержащих поля с четко определёнными типами данных. Экспонирование типов данных в базе данных позволяет применить ряд оптимизаций. Напротив, системы «ключ — значение» обрабатывают данные как одну непрозрачную коллекцию, которая может иметь разные поля для каждой записи. Это обеспечивает значительную гибкость и более точно следует современным концепциям, таким как объектно-ориентированное программирование. Поскольку необязательные значения не представлены заполнителями или входными параметрами, как в большинстве РБД, базы данных «ключ - База данных документов – это тип баз данных NoSQL, предназначенный для хранения и запроса данных в виде документов в формате, подобном JSON. JavaScript Object Notation (JSON) – это открытый формат обмена данными, который читается как человеком, так и машиной. -Колоночные базы данных - это тип баз данных, где данные хранятся и организуются по колонкам, в отличие от традиционных реляционных баз данных, где данные хранятся по строкам. В колоночных базах данных каждая колонка содержит данные одного типа, и они компактно хранятся в сжатом формате. Объектно-реляционное отображение (ORM): Обеспечивает связь между объектно-ориентированным кодом и реляционными базами данных путем автоматического преобразования между представлениями данных. Это избавляет от утомительного ручного управления данными. Однако уровень абстракции может увеличивать нагрзку при сложных операциях чтения и записи. Отладка также может быть затруднена и приводить к нагрузке на систему. Главное - выбрать правильную базу данных, соответствующую вашим конкретнымзадачам и моделям данных. Типичное приложение может использовать комбинацию реляционных, NoSQL и ORM-технологий для достижения наилучшей производительности при масштабировании. @data_analysis_ml

#ds #ml #career Митап для IT-специалистов от Газпромбанка DS- и ML-специалистам будет полезно и интересно.  28 спикеров, 19 лекций: data science, backend, frontend, кибербезопасность, прокачка IT-карьеры и многое другое. Участников ждут: 🔹  лайфхаки быстрого роста в грейдах; 🔹  прожарка CV с рекрутерами и нанимающими менеджерами; 🔹  нетворкинг с 1000+ участниками митапа и спикерами; 🔹 after-party. P.S.: 🎁 Каждому участнику подарят велком пэк с мерчем. Участие бесплатное!  📍 Москва, Цифровое Деловое Пространство 📅 16 декабря 🔗 Зарегистрироваться Реклама. БАНК ГПБ (АО). ИНН 7744001497.

🦆 Традиционные системы баз данных часто требуют управления отдельным сервером СУБД, что вносит дополнительные сложности в рабочий процесс. С помощью DuckDB вы можете эффективно выполнять SQL-запросы на pandas DataFrames без необходимости управления отдельным сервером СУБД. DuckDB - это высокопроизводительная аналитическая система баз данных. Она разработана как быстрый, надежный, переносимый и простая в использовании база данных. DuckDB предоставляет богатый синтаксис SQL. https://github.com/duckdb/duckdb @data_analysis_ml

⚠️Как создавать эффективные AI чат-боты?  Узнайте на бесплатном открытом уроке «Langchain - делаем AI chat bot поверх ваших документов» от OTUS и Александра Брут-Бруляко специалиста по машинному обучению из Сбера.  🔹На вебинаре вы узнате что такое эмбеддинги, векторизация текстов  🔹Рассмотрим задачу векторного поиска и векторные базы данных ✅ Результат урока: Вы установите и запустите проект AI чат-бота на фреймворке Langhain 👉 Регистрация https://otus.pw/jMQl/?erid=LjN8KZsno Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

⚡️ SuperDuperDB: Добавьте искусственный интеллект в свою базу данных. Проект, который позволяет интегрировать, обучать и управлять любыми моделями ИИ непосредственно для работы с базами данных и данными. Поддерживает основные баы данных SQL и табличные форматы: PostgreSQL, MySQL, SQLite, DuckDB, Snowflake, BigQuery, ClickHouse, DataFusion, Druid, Impala, MSSQL, Oracle, pandas, Polars, PySpark и Trino (а также MongoDB). ▪ Github ▪ Project @data_analysis_ml

Твоему другу-айтишнику пора устроиться в Сбер! 😉 А тебе — получить за это 80 000 рублей. Как работает внешняя реферальная программа в Сбере: ● Поделись с нами контактами своего знакомого IT-специалиста с опытом работы более двух лет. ● Дождись, пока он пройдёт все этапы отбора и отработает 3 месяца в компании. ● Получи своё вознаграждение. Отправляй рекомендацию по ссылке, а мы проинформируем тебя о результатах рассмотрения👌

🍏 MLX - это новый фреймворк для машинного обучения на чипах Apple, разработанный специалистами Apple по машинному обучению. Возможно, это самый большой шаг Apple в области ИИ с открытым исходным кодом на сегодняшний день. Некоторые ключевые особенности MLX включают: ▪API: MLX имеет Python API, который в точности повторяет NumPy. MLX также имеет полнофункциональный API C++. В MLX есть пакеты более высокого уровня, такие как mlx.nn и mlx.optimizers с API, близкими к PyTorch, чтобы упростить построени сложных моделей. ▪Композитные преобразования функций: В MLX есть композитные преобразования функций для автоматического дифференцирования, автоматической векторизации и оптимизации вычислительных графов. ▪Динамическое построение графов: Графы вычислений в MLX строятся динамически. Изменение моделей быстро компиллируются, а отладка проста и интуитивно понятна. ▪Операции могут выполняться на любом из поддерживаемых устройств (в настоящее время это CPU и GPU). ▪Унифицированная память: Заметным отличием MLX от других фреймворков является унифицированная модель памяти. Массивы в MLX находятся в общей памяти. Операции над массивами MLX могут выполняться на любом из поддерживаемых типов устройств без перемещения данных. pip install mlx ⚡️Код: https://github.com/ml-explore/mlx 📚Документация: https://ml-explore.github.io/mlx/build/html/index.html @data_analysis_ml

Запустили новый курс Base Data Engineer Подходит для новичков в сфере данных и ИТ. Знакомит с тонкостями управления данными: от подходов к хранению до визуализации. • Вы научитесь работать с данными. • Освоите инструменты для их управления. • Погрузитесь в мир баз данных и изучите методы очистки данных. • Разберетесь с вопросами проектирования хранилищ, изучите примеры их построения. 💻Учитесь в удобном для вас ритме — смотрите онлайн-лекции и демо, задавайте вопросы и получайте поддержку в чате курса. Подробнее о Base Data Engineer рассказали в карточках. А записаться на обучение и получить больше информации можно на странице курса → Реклама. ООО "ДАТАФОРТ". ИНН 7713606615.

Запустили новый курс Base Data Engineer Подходит для новичков в сфере данных и ИТ. Знакомит с тонкостями управления данными: от подходов к хранению до визуализации. • Вы научитесь работать с данными. • Освоите инструменты для их управления. • Погрузитесь в мир баз данных и изучите методы очистки данных. • Разберетесь с вопросами проектирования хранилищ, изучите примеры их построения.  💻Учитесь в удобном для вас ритме — смотрите онлайн-лекции и демо, задавайте вопросы и получайте поддержку в чате курса. Подробнее о Base Data Engineer рассказали в карточках. А записаться на обучение и получить больше информации можно на странице курса → Реклама. ООО "ДАТАФОРТ". ИНН 7713606615.

🔥 Ego-Exo4D - новый большой датасет и набор бенчмарков, ориентированных на квалифицированную человеческую деятельность, для поддержки исследований в области видеообучения и мультимодального восприятия. Это крупнейший публичный набор данных такого рода. 🔥Dataset: https://ego-exo4d-data.org/ 📚 Paper: https://ego-exo4d-data.org/paper/ego-exo4d.pdf 🌟 Project: https://www.projectaria.com/ 🥩 Blog: https://ai.meta.com/blog/ego-exo4d-video-learning-perception @data_analysis_ml

🦾 Отличный набор моделей диффузии текста в изображение, лучшие модели на данный момент (8 конвейеров.). https://huggingface.co/collections/sayakpaul/assorted-text-to-image-diffusion-models-64f99f2b3ef7ea04c262c4b4 @data_analysis_ml

RecSys Meetup by Sber в Москве! Приглашаем на инженерный митап, который всецело будет посвящён бизнесу и IT-аспектам применения искусственного интеллекта в рекомендательных системах. Когда: 6 декабря, 18:30 Формат: офлайн Локация: Кутузовский проспект, 32 к3, пространство Атриум, офис Сбера Мы расскажем о трендах в рекомендательных системах и про GigaChat в рекомендациях: • Екатерина Вайнберг – исполнительный директор по аналитике данных – расскажет о трендах в рекомендательных системах и о пяти самых интересных и необычных рекомендательных сценариях, применяемых в Сбере и в мире. • Данил Закиров – Senior Data Scientist Блока B2C – поделится опытом применения рекомендательных онлайн-систем в офлайн-каналах банка, а также даст ответ на вопрос: «Зачем это нужно?» • Екатерина Арбузова – ведущий инженер по разработке Департамента данных и рекомендательных систем – покажет, как в онлайн-кинотеатре применили Okko LLM (GigaChat) для генерации объяснений рекомендаций на базе истории пользователя, статистики его предпочтений и контентных фичей айтемов. Параллельно с этим Okko LLM (GigaChat) обновляет персональную подборку фильмов и сериалов в режиме NRT (Near-real time). Регистрируйтесь на RecSys Meetup by Sber по ссылке.

ц🧠 Впервые ИИ смог восстановить изображения по активности мозга с точностью более 75%. Японские исследователи совершили значительный прорыв в области создания изображений с помощью искусственного интеллекта, достигнув рекордной точности в 75 % при восстановлении изображений по активности мозга. Это значительное улучшение по сравнению с предыдущими методами, которые достигали точности всего 50,4 %. Процесс включает в себя запись активности мозга испытуемых во время просмотра изображений и последующее восстановление этих изображений. Используя нейронный транслятор сигналов и генеративный ИИ, исследователи смогли восстановить эти изображения с высокой точностью. Эта технология открывает новые возможности для понимания человеческого разума и может привести к появлению новых форм невербальной коммуникации. ▪ Почитать подробнее @data_analysis_ml