Анализ данных (Data analysis)

💡 Сейчас происходит слишком много событий, так что вот просто сымые интересные проекты за последние дни со ссылоками ▪GPT-4 + Medprompt -> SOTA MMLU https://microsoft.com/en-us/research/blog/steering-at-the-frontier-extending-the-power-of-prompting/ ▪Mixtral 8x7B @ MLX https://github.com/ml-explore/mlx-examples/tree/main/mixtral ▪За пределами человеческих данных: Масштабирование самообучения для решения проблем с помощью языковых моделей https://arxiv.org/abs/2312.06585 ▪Phi-2 (2.7B), самая маленькая и самая впечатляющая модель https://microsoft.com/en-us/research/blog/phi-2-the-surprising-power-of-small-language-models/ ▪LLM360: На пути к полностью прозрачным LLM с открытым исходным кодом https://arxiv.org/abs/2312.06550 @data_analysis_ml

🖥 Одна из самых глубоких статей объяняющих LLM. Автор, показывает что понимание и сжатие данных для llm- это две стороны одной медали.🪙 И что интересно, когда мы имеем дело с предсказанием слов, cжатие данных с потерями, выглядит умнее, чем сжатие без потерь! 💡 Ниже приводится объяснение того, почему ChatGPT дает нам иллюзию понимания: "Тот факт, что ChatGPT перефразирует материал из Сети, а не цитирует его слово в слово... создает иллюзию, что ChatGPT понимает материал". У людей заучивание не является показателем подлинного обучения, поэтому неспособность ChatGPT выдавать точные цитаты сайтов, как раз и заставляет нас думать, что он чему-то научился. Когда мы имеем дело с последовательностями слов, сжатие с потерями выглядит умнее, чем сжатие без потерь". Полный текст статьи читайте здесь: https://newyorker.com/tech/annals-of-technology/chatgpt-is-a-blurry-jpeg-of-the-web @data_analysis_ml

Новогодние подарки от karpovꓸcourses для тех, кто хочет сильно прокачать свою карьеру Только в декабре можно выгодно приобрести комбо «курс + один из двух симуляторов на выбор»: ▪️Курс Аналитик данных научит всем необходимым инструментам, позволит начать карьеру или внедрить все актуальные навыки аналитика в свои проекты. ▪️Симуляторы дадут более глубокое погружение и еще больше опыта решения задач: 1. В Симуляторе аналитика вы получите практику на реальных задачах в формате настоящей рабочей стажировки 2. В Симуляторе А/В-тестов еще глубже освоите А/В-тесты и станете в них настоящим экспертом Записаться можно до конца декабря [Забронировать скидку]

🔥 100 слайдов о внутреннем устройстве PyTorch 2 с упором на последние нововведения (Dynamo, Inductor и ExecuTorch). 📚 PDF: https://drive.google.com/file/d/1XBox0G3FI-71efQQjmqGh0-VkCd-AHPL/view?usp=drive_link 💻 Slideshare: https://slideshare.net/perone/pytorch-2-internals @data_analysis_ml

Внимание всем продуктовым аналитикам! 12 декабря Авито проведет онлайн-митап, на котором можно узнать о продуктовых кейсах, которые принесли компаниям реальный результат: ▫️ Эксперт компании Анна Москаленко расскажет, как ее команда работает над пользовательским негативом от CRM-коммуникаций. ▫️ Продуктовый аналитик Samokat.tech Илья Лоладзе объяснит, как его компания провела эксперимент, который позволил увеличить зону экспресс-доставки. ▫️ Леонид Медников, ведущий аналитик Яндекс Карт, поделится, как строить метрики качества данных на основе информации о миллионах компаний. Только реальные кейсы, никакой воды. Начало в 18:00, а регистрация — по ссылке. Реклама.ООО "КЕХ ЕКОММЕРЦ" ИНН 7710668349 erid: 2SDnjdRGxXa

⚡️ Если вы ищете открыте датасетов для работы - вот 7 бесплатных источников данных, где вы можете найти данные для любых задач. 1. Репозиторий Awesome Data Github В этом репозитории вы найдете ссылки на открыте наборы данных, которые содержат изображения, текст, аудио и табличные данные. https://github.com/awesomedata/awesome-public-datasets 2. Kaggle Более 1000 датасетов, которые можно легко скачать и работать с ними, совершенно бесплатно. https://www.kaggle.com/datasets 3. Открытый реестр данных на AWS Поиск и обмен датасетами х с помощью ресурсов AWS. 4. Open ML Более 20K+ наборов данных на Open ML https://openml.org 5. Papers with Code Papers with Code содержит более 7000 открытыз наборов данных по всем возможным тематикам. https://paperswithcode.com/datasets 6. Hugging Face На Hugging Face вы можете найти 80K+ наборов данных. https://huggingface.co/datasets 7. Dagshub Много бесплатных даатсетов можно найти на Dagshub: https://dagshub.com/datasets/ @data_analysis_ml

Оффер за выходной в Big Data.МегаФон для Data-специалистов! Зарплата от 250 до 450 тысяч рублей в зависимости от грейда, уютный офис или полная удаленка на территории РФ, а также ДМС со стоматологией и страховкой. На этом бонусы не заканчиваются: оплата связи, компенсация фитнеса, обучение за счет компании и многое другое. Вам предстоит работать с масштабными проектами: — разрабатывать аналитические сервисы на базе AI; — анализировать бизнес-процессы и внедрять языковые модели для облегчения рутины в LLM; — тестировать продуктовые и ML-гипотезы. Мегафон — оператор №1 по покрытию сети и скорости мобильного интернета. Оставляйте заявку и меняйте рынок телекома: https://u.to/C24sIA

🎞️Reenact Any Character in Movie🎞️ SMPLer-X первая открытая модель для монокулярного 4D захвата движения. Объеденив MPLerX и Propainter можно создать свой ЛА-ЛА Ленд! 🖥 (SMPLer-X): https://github.com/caizhongang/SMPLer-X 🖥 Код (Propainter): https://github.com/sczhou/ProPainter 🏆 Website: http://caizhongang.com/projects/SMPLer-X/ 🥩 Demo: http://caizhongang.com/projects/SMPLer-X/ #NeurIPS2023 @data_analysis_ml

⚡️X-MAS HACK 2023 Примите участие в уникальном новогоднем мероприятии, которое охватит популярные направления для разработки инновационных решений: Финтех, Информационная безопасность, Искусственный интеллект, Data Science, Legal Tech, Электронная коммерция. 🔷 Хакатон — это шанс проявить себя перед топ-менеджерами. Добавь успешный кейс в свое портфолио. Отправляй отклик на вакансии от партнеров и получи оффер в крутую компанию. 🔷 Идеатон - это секция, в которой ты можешь предложить свою идею, проработанную по определенным критериям, обсудить ее с экспертом и побороться за денежный приз. 🏆 Призовой фонд: 1 000 000 рублей и подарки самым активным участникам! 📆 Дата проведения: 22 - 24 декабря 📍 Формат: онлайн + офлайн в г. Москва Подробная информация и регистрация: https://tglink.io/a9fabbd340da?erid=LjN8K1PUs  Реклама. ООО "АКСЕЛЕРАТОР ВОЗМОЖНОСТЕЙ". ИНН 9704005146.

📈 Aeon - это библиотека для работы с временными рядами, совместимая с scikit-learn и предлагающая множество продвинутых алгоритмов для задач обучения, прогнозирования и классификации. https://github.com/aeon-toolkit/aeon @data_analysis_ml

🔥 DemoFusion: Открытая модель генерации изображений высокого разрешения 🌐 Проект: https://ruoyidu.github.io/demofusion/demofusion.html 📄 Статья: https://arxiv.org/abs/2311.16973 🧬 Код: https://github.com/PRIS-CV/DemoFusion 🦒Colab http://modelslab.com: пожалуйст 🐣Github: https://github.com/camenduru/DemoFusion-colab @data_analysis_ml

Обведите дату в кружочек: курс «Data-инженер» от Слёрм стартует 15 января На курсе обширная, но при этом глубокая программа. Эксперты показывают и рассказывают, чем же именно занимается специалист, какие знания и навыки потребуются аналитику данных в профессии data-инженера. В создании обучения участвовали три действующих data-инженера. Они точно знают, какие знания потребуются на старте карьеры! Курс проходит в формате потока: 🫖 Каждая тема отрабатывается на практике, а по некоторым заданиям эксперты дадут подробную обратную связь — ревью; ✨ Будут вопросы? Вы сможете задать их в чате студентов и на встречах со спикерами; 💪 В конце курса вы сделаете проект на основе своих данных — или воспользоваться материалами от Слёрм. Курс подойдет аналитикам данных, администраторам БД, разработчикам и начинающим Data-инженерам. 🍀Вы можете оплатить курс полностью, разбить по частям или провести оплату от работодателя! Подробная программа и форма для записи на сайте Слёрм ⬅️ Реклама. ООО «Слёрм» г. Лиски, ОГРН 1193668020545 Erid: 2VtzqwsBv8a

🦾 С 13 декабря разработчики могут получить доступ к Gemini Pro через Google AI Studio или через Google Cloud. С доступом можзно быстро создавать прототипы и запускать приложения с помощью API-ключа. → https://dpmd.ai/announcing-gemini #GeminiAI https://dpmd.ai/announcing-gemini #GeminiAI @data_analysis_ml

Попробуйте свои силы в программировании! Бесплатный мини-курс подходит для любого уровня подготовки по Data Science — то, что нужно для старта. Вас ждут 4 задания для отработки знаний на практике, полезные материалы, подарки и живое общение с экспертом. Зарегистрируйтесь прямо сейчас и получите гайд «Как пользоваться ChatGPT и Midjourney из России и Беларуси»: https://epic.st/THpUP В программе — знакомство с профессиями в Data Science и практика: — ML Engineer — пишем нейросеть для подбора новостных статей. — Data Engineer — изучаем основные конструкции SQL на примере базы данных заказов. — Data Analyst — визуализируем данные индекса счастья c помощью Python. — Изучаем основы Python и SQL. После просмотра видеоматериалов будет онлайн-встреча с Анастасией Борневой — руководителем направления по исследованию данных в «Сбере». Разберём пройденный материал и обсудим актуальные вопросы профессии. 🎁 Вас ждут подарки не только под ёлкой: — год бесплатного изучения английского; — персональная карьерная консультация; — 5 полезных чек-листов для старта карьеры; — сертификат на скидку 10 000 рублей на любой курс Skillbox. Новогодняя распродажа в Skillbox: при покупке курса со скидкой второй курс в подарок — Новый год с двойной выгодой! Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880

🖥 Даже если два экземпляра класса имеют одинаковые атрибуты, они не равны, потому что хранятся в разных местах памяти. Чтобы определить собственный метод сравнения для экземпляров классов #Python, используйте метод __eq__. @data_analysis_ml

Первая конференция Сбера по ИТ-архитектуре «Arch.Conf by Sber» уже совсем скоро! ⏱️ 12 декабря спикеры из Тинькофф, Газпром нефти, Норникеля, Билайна, Русагро Тех, Cloud.ru, СберАвто, Сбера и других компаний расскажут о: — Трендах и развитии управления IT-архитектурой, «Архитектуре как код» и облачных технологиях — Собственном опыте в принятии архитектурных решений — Практиках и инструментах трансформации и контроля IT-ландшафта и построения геораспределённых систем Познакомьтесь с действующими IT-архитекторами и управленцами крупных компаний и станьте частью большого архитектурного сообщества! Узнать программу и зарегистрироваться на Arch.Conf by Sber

🖥 Управление данными в масштабе: Кртакий взгляд на современные варианты баз данных Будь то Twitter, показывающий посты для более чем миллиарда пользователей, или Netflix, отслеживающий историю просмотров для предоставления персонализированных рекомендаций, - для работы с огромными объемами данных веб-приложениям требуются специализированные базы данных. Реляционные базы данных долгое время были стандартом для хранения структурированных данных. Однако появились новые типы баз данных, призванные удовлетворить растущие потребности в хранении данных. Аналитические базы данных: Оптимизированы для сложных запросов бизнес-аналитики к большим массивам данных. Модели хранения данных, ориентированные на столбцы, позволяют добиться высокого коэффициента сжатия и молниеносной скорости агрегирования. Благодаря хранению данных по столбцам, а не по строкам, аналитические базы данных могут выполнять быстрое сканирование для вычисления сумм, средних значений и других математических вычислений в огромных наборах записей. Такое хранение данных по столбцам и оптимизированное агрегирование позволяет интерактивно запрашивать миллиарды строк для получения быстрых выводов. Базы данных NoSQL: Обеспечивают гибкость, выходящую за рамки табличной реляционной модели. Различные базы данных NoSQL справляются с разными задачами: - Графовая база данных – это систематический набор данных, в котором подчеркиваются взаимосвязи между различными сущностями данных. База данных NoSQL использует математическую теорию графов для отображения связей с данными. В отличие от реляционных баз данных, которые хранят данные в жестких табличных структурах, графовые базы данных хранят данные в виде сети сущностей и отношений. В результате такие базы данных часто обеспечивают более высокую производительность и гибкость, поскольку лучше подходят для моделирования реальных сценариев. - Базы данных «ключ — значение» работают совершенно иначе, чем более известные реляционные базы данных (РБД). В РБД предварительно определяют структуру данных в базе данных как последовательность таблиц, содержащих поля с четко определёнными типами данных. Экспонирование типов данных в базе данных позволяет применить ряд оптимизаций. Напротив, системы «ключ — значение» обрабатывают данные как одну непрозрачную коллекцию, которая может иметь разные поля для каждой записи. Это обеспечивает значительную гибкость и более точно следует современным концепциям, таким как объектно-ориентированное программирование. Поскольку необязательные значения не представлены заполнителями или входными параметрами, как в большинстве РБД, базы данных «ключ - База данных документов – это тип баз данных NoSQL, предназначенный для хранения и запроса данных в виде документов в формате, подобном JSON. JavaScript Object Notation (JSON) – это открытый формат обмена данными, который читается как человеком, так и машиной. -Колоночные базы данных - это тип баз данных, где данные хранятся и организуются по колонкам, в отличие от традиционных реляционных баз данных, где данные хранятся по строкам. В колоночных базах данных каждая колонка содержит данные одного типа, и они компактно хранятся в сжатом формате. Объектно-реляционное отображение (ORM): Обеспечивает связь между объектно-ориентированным кодом и реляционными базами данных путем автоматического преобразования между представлениями данных. Это избавляет от утомительного ручного управления данными. Однако уровень абстракции может увеличивать нагрзку при сложных операциях чтения и записи. Отладка также может быть затруднена и приводить к нагрузке на систему. Главное - выбрать правильную базу данных, соответствующую вашим конкретнымзадачам и моделям данных. Типичное приложение может использовать комбинацию реляционных, NoSQL и ORM-технологий для достижения наилучшей производительности при масштабировании. @data_analysis_ml

#ds #ml #career Митап для IT-специалистов от Газпромбанка DS- и ML-специалистам будет полезно и интересно.  28 спикеров, 19 лекций: data science, backend, frontend, кибербезопасность, прокачка IT-карьеры и многое другое. Участников ждут: 🔹  лайфхаки быстрого роста в грейдах; 🔹  прожарка CV с рекрутерами и нанимающими менеджерами; 🔹  нетворкинг с 1000+ участниками митапа и спикерами; 🔹 after-party. P.S.: 🎁 Каждому участнику подарят велком пэк с мерчем. Участие бесплатное!  📍 Москва, Цифровое Деловое Пространство 📅 16 декабря 🔗 Зарегистрироваться Реклама. БАНК ГПБ (АО). ИНН 7744001497.

🦆 Традиционные системы баз данных часто требуют управления отдельным сервером СУБД, что вносит дополнительные сложности в рабочий процесс. С помощью DuckDB вы можете эффективно выполнять SQL-запросы на pandas DataFrames без необходимости управления отдельным сервером СУБД. DuckDB - это высокопроизводительная аналитическая система баз данных. Она разработана как быстрый, надежный, переносимый и простая в использовании база данных. DuckDB предоставляет богатый синтаксис SQL. https://github.com/duckdb/duckdb @data_analysis_ml

⚠️Как создавать эффективные AI чат-боты?  Узнайте на бесплатном открытом уроке «Langchain - делаем AI chat bot поверх ваших документов» от OTUS и Александра Брут-Бруляко специалиста по машинному обучению из Сбера.  🔹На вебинаре вы узнате что такое эмбеддинги, векторизация текстов  🔹Рассмотрим задачу векторного поиска и векторные базы данных ✅ Результат урока: Вы установите и запустите проект AI чат-бота на фреймворке Langhain 👉 Регистрация https://otus.pw/jMQl/?erid=LjN8KZsno Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.