Анализ данных (Data analysis)

🟥 Как автоматизировать создание контента для YouTube и блога с помощью LangChain и OpenAI Часть 1. Базовые настройки Шаг 1. Настройка среды Прежде чем начать, нужно убедиться, что у нас установлены все необходимые пакеты. 🔴LangChain: фреймворк, упрощающий использование больших языковых моделей. 🔴OpenAI: большая языковая модель, которую мы будем использовать. 🔴Streamlit: фреймворк для создания веб-приложений на Python. 🔴Python-dotenv: пакет для управления переменными окружения. Чтобы установить эти пакеты, откройте терминал и запустите: pip install langchain openai streamlit python-dotenv Шаг 2. Получение API-ключа OpenAI Далее вам необходимо получить API-ключ OpenAI. Это уникальный ключ, открывающий доступ к модели GPT-3 (GPT-3.5/ChatGPT, GPT-4). После регистрации учетной записи в OpenAI вы найдете API-ключ на дашборде. Полученный ключ нужно надежно сохранить в файле .env. В каталоге проекта создайте файл .env и добавьте в него следующую строку: OPENAI_API_KEY=ваш_ключ_openai Замените ваш_ключ_openai на свой действительный ключ OpenAI. Этот файл будет использоваться для безопасного хранения API-ключа. Шаг 3. Настройка файла app.py и импорт библиотек Создадим главный файл Python, app.py. В нем и будем разрабатывать маркетингового ИИ-помощника. Начнем с импорта необходимых библиотек и загрузки переменных среды: from langchain.llms import OpenAI from langchain.prompts import PromptTemplate from langchain.chains import LLMChain, SimpleSequentialChain, SequentialChain import os from dotenv import load_dotenv load_dotenv() В этих строках кода импортируется класс OpenAI из модуля langchain.llms, который позволяет взаимодействовать с моделью GPT. Кроме того, импортируются классы PromptTemplate и LLMChain, которые будут использоваться для создания промптов и цепочек. Функция load_dotenv() загружает переменные среды OPENAI_API_KEY из файла .env. Часть 2. Компоновочные блоки LangChain Шаг 4. Обзор основных компонентов Прежде чем приступить к написанию кода, сделаем краткий обзор компонентов, которые будем использовать. 🔵Большая языковая модель (LLM): экземпляр модели GPT-3. 🔵Шаблон промптов (Prompt Template): простая инструкция для LLM. Она принимает входные переменные и использует их в шаблоне. 🔵Цепочка (Chain): комбинация LLM и шаблона промптов. Она является самой малой рабочей единицей в LangChain. Эти три компонента будут использованы для разработки генератора публикаций в блоге. Шаг 5. Создание первой LLMChain Чтобы создать первую цепочку, нужно инициализировать LLM, разработать шаблон промптов, а затем объединить их в цепочку. Настройте LLM и первый шаблон промптов: # Пример LLMChain # Модель llm = OpenAI(temperature=0.9) # Промпт blog_prompt_template = PromptTemplate( input_variables = ['product_description'], template = 'Write a blog post on {product_description}' ) # Цепочка blog_chain = LLMChain(llm=llm, prompt=blog_prompt_template, verbose=True) # Запуск product_description = 'best eco-friendly coffee' blog_chain.run(product_description) СОВЕТ: ПАРАМЕТР TEMPERATURE УПРАВЛЯЕТ РАНДОМНОСТЬЮ ВЫХОДНЫХ ДАННЫХ МОДЕЛИ. ОН ПРИНИМАЕТ ЗНАЧЕНИЯ ОТ 0 ДО 1, ГДЕ МЫ УСТАНОВИЛИ ЗНАЧЕНИЕ 0,9, ПОСКОЛЬКУ ХОТИМ ПОЛУЧИТЬ МНОГО НОВЫХ ИДЕЙ, В ТО ВРЕМЯ КАК МЕНЬШЕЕ ЗНАЧЕНИЕ, НАПРИМЕР 0, ДЕЛАЕТ МОДЕЛЬ БОЛЕЕ ДЕТЕРМИНИРОВАННОЙ. В приведенном выше коде настраивается LLM и создается шаблон промптов, который принимает описание продукта и генерирует в блоге публикацию о нем. Затем эти два шаблона объединяются, чтобы сформировать цепочку. Потом запускается LLMChain с product_description. Часть 3. Освоение основ цепочек в LangChain Шаг 6. Создание SimpleSequentialChain 📌Читать @data_analysis_ml

Сбер расширяет географию своих ивентов: 26 сентября в Ереване состоится первый технологический митап, посвящённый разработке рекомендательных систем 👨‍💻 На RecSys MeetUp вы познакомитесь с экспертами Сбера, станете частью одного из крупнейших IT-комьюнити и узнаете о: ✔️ Технологических трендах в области искусственного интеллекта и машинного обучения. ✔️ Устройстве современных стримингов компаний-партнёров Сбера. Гарантируем: будет интересно и безумно полезно каждому DS-специалисту. Регистрируйтесь по ссылке, встречаемся 26 сентября в 18:30 по адресу: Ереван, ресторан «Монтана Мьюзик Хаус», улица ул. Алека Манукяна, 4/3 💚

🎞 Полезные плейлисты YouTube по науке о данных: ❯ Tableau https://www.youtube.com/playlist?list=PLgG9iJlSBmTe4n8doaYFkzLU-dEbb2XGn ❯ Парсинг на Python https://www.youtube.com/playlist?list=PLysMDSbb9Hcz3Gdi9oV-btohZ9zhths-r ❯ SQL https://www.youtube.com/playlist?list=PLBheEHDcG7-k1Y_Uy04Dj2ylWhcfSfqoF ❯ Наука о данных https://www.youtube.com/playlist?list=PLysMDSbb9HcwIpPPBR72Qe7CMCgx-D9Ob ❯ Python и базы данных https://www.youtube.com/playlist?list=PLysMDSbb9HcxdvtQSkYoO7xaF3SvGUD8n ❯ Numpy полный курс https://www.youtube.com/playlist?list=PLysMDSbb9Hcz3Gdi9oV-btohZ9zhths-r ❯ R http://youtube.com/playlist?list=PL6gx4Cwl9DGCzVMGCPi1kwvABu7eWv08P ❯ PowerBI http://youtube.com/playlist?list=PLv2BtOtLblH13vCbf99BptWWk-EWx7QQG ❯ Линейная алгебра и аналитическая геометрия https://www.youtube.com/playlist?list=PLaX3n04-uUZoTu4DcD2Eqgq-h5wimh_uT ❯ Python https://www.youtube.com/playlist?list=PLV0FNhq3XMOKljD7POtuWVAZn8wXcn4-L ❯ Excel https://www.youtube.com/playlist?list=PLzilK6a-UuVl5FP-QY1ks_c--3CrYU3MX ❯ Data Analysis http://youtube.com/playlist?list=PLrRPvpgDmw0ks5W7U5NmDCU2ydSnNZA_1 ❯ Data Analyst http://youtube.com/playlist?list=PLUaB-1hjhk8FE_XZ87vPPSfHqb6OcM0cF ❯ Linear Algebra http://youtube.com/playlist?list=PLZHQObOWTQDPD3MizzM2xVFitgF8hE_ab ❯ Calculus http://youtube.com/playlist?list=PLZHQObOWTQDMsr9K-rj53DwVRMYO3t5Yr ❯ Statistics http://youtube.com/playlist?list=PLblh5JKOoLUK0FLuzwntyYI10UQFUhsY9 ❯ Machine Learning http://youtube.com/playlist?list=PLQVvvaa0QuDfKTOs3Keq_kaG2P55YRn5v ❯ Deep Learning http://youtube.com/playlist?list=PLtBw6njQRU-rwp5__7C0oIVt26ZgjG9NI ❯ Deep Learning http://youtube.com/playlist?list=PLblh5JKOoLUIxGDQs4LFFD--41Vzf-ME1 ❯ Excel Power Query http://youtube.com/playlist?list=PLmHVyfmcRKyyKV86N7i0q9TfYNN8bBjX- ❯ Microsoft Excel http://youtube.com/playlist?list=PLmHVyfmcRKyx1KSoobwukzf1Nf-Y97Rw0 👇Делитесь полезными DS плейлистами в комментариях @data_analysis_ml

🚀 Гарвардский университет предлагает БЕСПЛАТНОЕ образование мирового класса в области Data Science! Курсы охватывают: - Python - Визуализация данных - Вероятность - Статистика - Машинное обучение - Наука о данных: Capstone ▪Курс @data_analysis_ml

🔥 Дайджест полезных материалов из мира : Data Science за неделю Почитать: — Как мы решили вопрос нехватки кадров, обучив соискателей работе с Apache Spark — Создание приложения для потоковой передачи видео с физическими элементами управления — Пять подходов к созданию ad-hoc-датафреймов в PySpark — Искусство ETL. Пишем собственный движок SQL на Spark [часть 1 из 5] — 7 аргументов почему UUID лучше, чем автоинкрементные идентификаторы — Тестирование производительности на Python: Пошаговое руководство с Flask — Boosting Resiliency with ML-Based Telemetry Analytics Architecture — Dominando a função WITH: Criando Consultas Temporárias no SQL — The Secret Sauce of Success: Soft Skills Every data Scientist needs — What AI-driven analytics tools aid in data-driven decision-making for businesses? — Unlocking Computational Efficiency in Event Analysis Through Centroids and Blocks: A Conceptual Exploration — How can AI-driven cybersecurity tools protect businesses from daily threats and breaches? — SQL Roadmap for Data Analysts[Step-by-Step] — Dataviz accessibility review: what we can learn from the Norwegian 2023 election graphs — Data Science Mentorship in Ahmedabad Learning from the Best — 7-Stage Roadmap for Data Science Посмотреть: 🌐 Leveraging Generative AI in Education - A M Aditya (⏱ 31:24) 🌐 Невероятная нейросеть переводит любое видео на другие языки с сохранением оригинального голоса. (⏱ 00:55) 🌐 Python анализ данных с Pandas. PandaSQL (⏱ 12:13) 🌐 Python анализ данных с Pandas. Join, merge, concat в Pandas (⏱ 19:25) 🌐 Python+SQL часть2 создание таблиц. (⏱ 05:15) 🌐 Управление жестами всегда было в ваших часах, просто его нужно было активировать. (⏱ 00:11) 🌐 Уроки Golang с нуля /#28 - Встраивание типов (⏱ 06:16) 🌐 Уроки Golang с нуля /#27 - Bufio. Чтение и запись (⏱ 10:35) 🌐 Python анализ данных с Pandas. (⏱ 17:04) 🌐 ODSC Webinar | A Path to Insights Starts with Trusted Data (⏱ 23:23) 🌐 Not Just Deep Fakes: Apps of Visual Generative Models in Pharma Manufacturing - Guglielmo Iozzia (⏱ 01:18:40) 🌐 Lightning Interview “Beyond the Code: How AI Is Disrupting the Programmer's Role” (⏱ 58:40) 🌐 AI Reads Minds of 29 Patients! (⏱ 06:01) 🌐 OpenAI’s ChatGPT Nails 150+ Difficult Tasks! (⏱ 05:54) Хорошего дня! @data_analysis_ml

💻 Принципы SOLID в инженерии данных. Как принципы SOLID трансформируются в функциональном программировании? ▪️Принцип единственной ответственности: у каждой функции должно быть одно назначение, то есть возможно несколько задач, но одна достигаемая цель. ▪️Принцип открытости/закрытости: исходный код каждой функции открыт для расширения, но закрыт для модификации. ▪️Принцип подстановки Лисков: каждая функция заменяется на другую с той же сигнатурой без изменения поведения программы. ▪️Принцип разделения интерфейса: каждая функция не зависит от ненужных ей функций. ▪️Принцип инверсии зависимостей: все функции зависят от входных аргументов, а не жестко заданного в функции поведения. Интерпретация принципов SOLID: ООП против функционального программирования (в изображении) Нарушение и соблюдение принципов SOLID на примерах 1. Принцип единственной ответственности Согласно этому принципу, функция должна меняться только по одной причине. То есть у нее может быть несколько задач, но лишь одна цель в большой единице работы. Именно здесь осуществляется разделение обязанностей, когда каждой частью программы выполняется только одна задача, и выполняется хорошо. Например, если единственная причина изменений конвейера данных для обслуживания команды — ускорение обработки, занятый улучшением производительности код отделяется от частей программы с другими задачами. 🔘 Примеры 🔘 Часть 1. 🔘 Часть 2.

Знаете основы анализа данных и хотите получить заветный оффер? Наберитесь опыта, поработав над реальными рабочими задачами на Симуляторе аналитика. Симулятор аналитика — это практически настоящая стажировка, где под руководством ведущих аналитиков с опытом работы в Яндексе, ВКонтакте и JetBrains вы будете сами проводить A/B-тесты, автоматизировать отчётность, создавать дашборды с продуктовыми метриками и разбираться с другими важными бизнес-задачами. Будет непросто, но с опытом решения кейсов, доступных в симуляторе, вас будут ждать в любой компании! Записывайтесь на следующий поток: https://karpov.courses/simulator Кстати, по промокоду DATA23ML для вас действует скидка 5% до 27 сентября Реклама. ООО "Карпов Курсы". Erid: LjN8KWWWj

🤖 Как использовать агенты Hugging Face для решения задач NLP Hugging Face  — ИИ-сообщество с открытым исходным кодом для практиков машинного обучения — недавно интегрировало концепцию инструментов и агентов в свою популярную библиотеку Transformers. Если вы уже использовали Hugging Face для решения задач обработки естественного языка (NLP), компьютерного зрения и работой над аудио/речью, вам будет интересно узнать о дополнительных возможностях Transformers. Агент Transformers: реализация В этом разделе я использовал документацию Hugging Face об агентах и реализовал их на собственных примерах. Шаг 1. Требования Начнем с импорта нескольких библиотек, которые будем использовать. Обратите внимание: я включил версии этих библиотек в результаты, чтобы вы могли создать идентичную среду. import transformers, huggingface_hub, diffusers, torch from platform import python_version print(f'python: {python_version()}') print(f'transformers: {transformers.__version__}') print(f'huggingface_hub: {huggingface_hub.__version__}') print(f'diffusers: {diffusers.__version__}') print(f'torch: {torch.__version__}') Результаты: 📌 Продолжение @data_analysis_ml

📢 Внимание, продуктовые аналитики! Приглашаем принять участие в осенних конкурсах Карьерного цеха 📢 Это отличная возможность проверить свои профессиональные навыки, решая реальные кейсы от ведущих компаний. 🔹 Что вас ждет: Практические кейсы по аналитике двух уровней сложности. Задания станут доступны всем зарегистрировавшимся с 25 сентября. Возможность продемонстрировать свои навыки работы с данными, знание метрик, a/b тестов и многое другое Прямой эфир с экспертами, которые разберут несколько работ и дадут ценные комментарии. 🔹 Бонусы для участников: Сертификат об участии на русском и английском языке. Возможность по результатам конкурса получить работу в компании HH.ru 🔹Полное описание конкурса и регистрация на сайте Карьерного цеха. Приглашайте друзей и коллег поучаствовать вместе с вами! Подписывайтесь на канал аналитиков Карьерного Цеха, где публикуют всю важную информацию о конкурсах.🔥

Yachay AI — открытое сообщество по машинному обучению Проект предназначен для поддержки разработчиков в создании и обучении собственных моделей геотеггинга. Представленная здесь архитектура моделей геотаггинга позволяет настраивать и обучать их. Кроме того проект содержит даатсеты, которые хорошо подходят для обучения в различных сценариях определения геолокации. Из интересного: сообщество также разработало инструмент для определения геолокации • Github • Проект • Датасеты @data_analysis_ml

Присоединяйтесь к вебинару livecoding и обучайте модель Machine Learning в режиме реального времени. Когда: 15 сентября в 19:00. Тема: "Прогнозирование цен на автомобили с помощью машинного обучения” Длительность: около 2 часов. Кто обучает: эксперт в Data Science с 10-летним практическим опытом Что будет на вебинаре: ✅Пошаговая разборка ML-процесса ✅Практические задания с доступом к реальным данным и среде ✅Интерактивное обучение и обсуждение Вместе мы сделаем сложное простым и достигнем результатов с минимальными усилиями 💪 Бесплатное участие только для первых 30 записавшихся человек. 👉 Записаться на вебинар Реклама: ИП Кравченко Николай Васильевич LjN8KYXZ9

🌝 Крутые data science проекты с исходным кодом 1. Создание чат-ботов: https://dzone.com/articles/python-chatbot-project-build-your-first-python-pro 2. Обнаружение мошенничества с кредитными картами: https://kaggle.com/renjithmadhavan/credit-card-fraud-detection-using-python 3. Обнаружение фальшивых новостей https://data-flair.training/blogs/advanced-python-project-detecting-fake-news/ 4. Определение сонливости водителя https://data-flair.training/blogs/python-project-driver-drowsiness-detection-system/ 5. Рекомендательные системы (рекомендация фильмов) https://data-flair.training/blogs/data-science-r-movie-recommendation/ 6. Анализ настроений https://data-flair.training/blogs/data-science-r-sentiment-analysis-project/ 7. Определение пола и прогнозирование возраста https://pyimagesearch.com/2020/04/13/opencv-age-detection-with-deep-learning/ @data_analysis_ml

Присоединяйтесь к вебинару livecoding и обучайте модель Machine Learning в режиме реального времени. Когда: 15 сентября в 19:00. Тема: "Прогнозирование цен на автомобили с помощью машинного обучения” Длительность: около 2 часов. Кто обучает: эксперт в Data Science с 10-летним практическим опытом Что будет на вебинаре: ✅Пошаговая разборка ML-процесса ✅Практические задания с доступом к реальным данным и среде ✅Интерактивное обучение и обсуждение Вместе мы сделаем сложное простым и достигнем результатов с минимальными усилиями 💪 Бесплатное участие только для первых 30 записавшихся человек. 👉 Записаться на вебинар

🖥 Python анализ данных с Pandas. Join, merge, concat в Pandas • Видео • Код из видео •Часть 1 •Часть 2 @pro_python_code

📌esProc SPL - это скриптовый язык для обработки данных, с хорошо продуманными богатыми функциями и мощным синтаксисом, который может исполняться в Java-программе через интерфейс JDBC и вычисляться независимо. •Github •Документация @data_analysis_ml

🖥Python анализ данных с Pandas. PandaSQL ▪Видео ▪Код из видео ▪Введение в Pandas @data_analysis_ml

🎥 7 лучших бесплатных курсов по Конструирование признаков, которые вам стоит пройти. 1. Feature Engineering – Coursera Этот курс предлагается компанией Google Cloud. В этом курсе вы узнаете, что является хорошим признаком и как работать с ним в модели машинного обучения. 2. Feature Engineering for Machine Learning in Python– DataCamp Это еще один хороший курс по отбору признаков. В этом курсе вы узнаете об основах отбора признаков и о том, как конструировать новые признаки с помощью pandas. 3. Feature Engineering for Machine Learning– Udemy В этом курсе Udemy вы узнаете о различных методах по работе с данными. 4. Data Processing and Feature Engineering with MATLAB– Coursera В этом курсе вы будете объединять данные из различных датасетов и работать с примерами, когда часть дынных отсутствует. В начале курса вы изучите различные типы распределений. 5. Feature Engineering in R– Datacamp В данном курсе используется программирование на языке R для отбора признаков. В этом курсе вы узнаете, как преобразовывать категориальные признаки в числовые представления и техники кодирования данных. 6. Feature Engineering with PySpark– Datacamp Это еще один курс по работе с признаками от Datacamp. В этом курсе вы узнаете, как подготовить и очистить данные и как создать новые функции для модели машинного обучения. Затем вы узнаете, как построить модель машинного обучения и как оценить ее. 7. Feature Engineering– Kaggle Этот курс доступен на сайте Kaggle. В этом курсе вы изучите процесс отбора признаков. В ходе курса вы научитесь определять важные признаки из вашего датасета. @data_analysis_ml

⚡Легкий способ получать свежие обновлении и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь: Go: t.me/Golang_google Java: t.me/java_library Базы данных: t.me/sqlhub Машинное обучение: t.me/ai_machinelearning_big_data Data Science: t.me/machinelearning_ru C/C++/ t.me/cpluspluc C#: t.me/csharp_ci Хакинг: t.me/linuxkalii Мобильная разработка: t.me/mobdevelop Docker: t.me/+0WdB4uvOwCY0Mjdi Python: t.me/python_job_interview Rust: t.me/rust_code Javascript: t.me/javascriptv React: t.me/react_tg PHP: t.me/phpshka Android: t.me/android_its Linux: t.me/+A8jY79rcyKJlYWY6 Big Data: t.me/bigdatai Devops: t.me/devOPSitsec Тестирование:https://t.me/+F9jPLmMFqq1kNTMy Собеседования: https://t.me/machinelearning_interview 💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy 😆ИТ-Мемы: t.me/memes_prog 🇬🇧Английский: t.me/english_forprogrammers ИИ: t.me/vistehno 📕Ит-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy

⚡ 7 БЕСПЛАТНЫХ курсов по математике для Аналитиков данных. 1. Linear Algebra Refresher Course Это бесплатный курс для изучения основ линейной алгебры. 2. Intro to Statistics Курс "Введение в статистику" - это совершенно БЕСПЛАТНЫЙ курс для начинающих. Курс ведет сооснователь Udacity Себастьян Трун. Структура курса интересна и увлекательна для начинающих. 3. Intro to Inferential Statistics Более продвинутый курс - "Введение в описательную и инференциальную статистику". 4. Intro to Descriptive Statistics Курс "Введение в описательную статистику" - это объемный курс с уклоном в практику. 5. Eigenvectors and Eigenvalues Это очень короткий курс, в котором вы изучите линейные преобразования, векторы, метод главных компонентов. 6. Intro to Artificial Intelligence Курс начинается с основ искусственного интеллекта и его приложений. В рамках этого курса вы познакомитесь с различными алгоритмами поиска, такими как поиск по дереву, поиск по графу, поиск по ширине, поиск по A* и т.д. 7. Differential Equations in Action В этом курсе 7 уроков. В нем вы научитесь находить решения систем дифференциальных уравнений. @data_analysis_ml

У Яндекс Практикума есть бесплатный курс по основам Python-разработки. Программу составили опытные разработчики и методисты, чтобы вы сами могли освоить базу Python. На курсе вы — узнаете, какие задачи решает бэкенд-разработчик; — будете писать код на Python — с первого урока; — создадите программного помощника Анфису; — узнаете, как устроено полноценное обучение в Практикуме. После бесплатного курса вы сможете принять спокойное, взвешенное решение. → Начните действовать: разберитесь бесплатно, что к чему в Python.