Анализ данных (Data analysis)

🚀 В XX веке дети мечтали стать космонавтами, а в XXI взрослые стремятся в IT. Но что если вам не хочется постоянно писать код? Есть отличный вариант — стать аналитиком. Эти специалисты моделируют и анализируют процессы в компании, переводя данные на язык бизнеса. Спрос на аналитиков постоянно растет, а с ним и уровень зарплат: джуниоры зарабатывают около 90 000 рублей, а сеньоры — до 253 000 рублей. А теперь представьте, что вы приходите на собеседование уже с опытом работы над реальными проектами для компаний уровня Тинькофф. Программа «Аналитик PRO» от Changellenge Education — это не просто обучение, это 12 месяцев работы над актуальными бизнес-кейсами, которые можно будет добавить в портфолио как реальный опыт. Такой подход делает вас конкурентоспособным кандидатом, готовым сразу приступить к работе. Почему аналитика? Это одна из самых востребованных и высокооплачиваемых профессий на рынке, где теоретические знания должны быть подкреплены практикой. На курсе «Аналитик PRO» 75% времени вы будете заниматься реальными проектами, а не просто изучать теорию. В результате вы получите 11 ключевых аналитических навыков, включая Excel, Python, SQL и многое другое, что откроет перед вами двери к интересным офферам. Курс включает в себя мастер-классы от экспертов из Avito, BCG, Google и других компаний, а также менторскую поддержку от тех, кто уже прошел этот путь. Школа Changellenge Education также помогает с резюме и готовит к собеседованиям, включая кейс-интервью, чтобы вы могли уверенно шагать по карьерной лестнице. По окончании курса вы присоединитесь к сообществу выпускников, многие из которых работают в ведущих компаниях, таких как Альфа-Банк, McKinsey и Google. Это отличная возможность для нетворкинга и обмена опытом. 🎓 Готовы к следующему шагу? Зарегистрируйтесь по ссылке и успейте получить скидку 20000 рублей на все курсы школы по промокоду DATA20 для подписчиков моего канала! Начните свою карьеру аналитика с реальным опытом уже сегодня. Реклама. ООО «Высшая школа аналитики и стратегии». ИНН 7716917009. erid: 2VtzqwMR7AN

⚡️ The Tensor Cookbook: Свежий Гайд по тензорам Эта компактная книга на 50 страниц даёт полное представление обо всём, что связано с тензорами. Тензор — это обобщённое понятие для матриц с любым количеством измерений. Тензорами являются скаляры (тензоры нулевого ранга), векторы (тензоры первого ранга) и матрицы (тензоры второго ранга). В книге также присутствует немало математики, которая поможет глубже понять работу с тензорами. 📚 Книга @machinelearning_interview

⚡️ HivisionIDPhoto Крутое репо с открытым исходным кодом, занимающее сегодня первое место на GitHub трендах. - Локально генерирует профессиональные фотографии на документы - Работает на центральном процессоре для быстрого вычисления - Предоставляет веб-интерфейс Gradio и API для простоты использования - Использует среду выполнения ONNX и OpenCV - Может быть развернута через Docker - Доступен API для операций обработки фотографий При запуске инструменты будет создана локальная веб-страница, на которой можно выполнять операции и работать с фотографиями. git clone https://github.com/Zeyi-Lin/HivisionIDPhotos.git cd HivisionIDPhotos 📚 https://github.com/Zeyi-Lin/HivisionIDPhotos @data_analysis_ml

erid: LjN8KRVqH GlowByte вместе с DataYoga и FanRuan запускают онлайн-ретрит по работе с BI-инструментом FineBI! 10 дней теории, практики и вдохновения от ведущих российских компаний. Узнайте о возможностях анализа и визуализации данных в FineBI, а также получите практические советы по оптимизации BI-практики от GlowByte. Программа подходит для всех, кто работает с данными, от разработчиков до руководителей. Что вас ждет: 🧘‍♂️ Инсайты от таких компаний как Tele2, Уралсиб, Циан и других 🧘‍♂️ Практические задачки от экспертов GlowByte  🧘‍♂️ Общение в чате и ежедневные встречи в эфире Стартуем 16 сентября!  ⚡️ Регистрируйтесь по ссылке ⚡️  Реклама. ООО "ГЛОУБАЙТ АНАЛИТИЧЕСКИЕ РЕШЕНИЯ". ИНН 9729274905.

⚡️ OLMoE: Открытые языковые модели смеси экспертов «OLMOE-1B-7B имеет 7 миллиардов (B) параметров, но использует только 1B на входную лексему. Она предварительно обучена ее на 5 триллионах лексем. OLMOE-1B-7B-INSTRUCT, превосходят все доступные модели с аналогичными активными параметрами, даже превосходят такие крупные модели, как Llama2-13B-Chat и DeepSeekMoE-16B.» • Статья: https://arxiv.org/abs/2409.02060 • Модель: https://hf.co/allenai/OLMoE-1B-7B-0924 @data_analysis_ml

erid: LjN8KH5xT Станьте разработчиком нейро-сотрудников на Python и зарабатывайте от 150.000р в месяц 🔥🔥🔥 Мы научим вас создавать топовых нейро-сотрудников на базе GPT-4 Omni, и вы сможете: 1️⃣ Устроиться разработчиком в крупную компанию и зарабатывать от 150 тысяч ₽ в месяц 2️⃣ Разрабатывать такие проекты на заказ и зарабатывать от 500 тысяч ₽ за проект 3️⃣ Создать нейро-сотрудника в вашей компании и вырасти на +30-100% в зарплате Что будет на интенсиве? 🧬 Теория: как создаются нейро-сотрудники с GPT-4o на Python 🧬 Практика: мы создадим нейро-консультанта, нейро-HR, нейро-маркетолога и др. Ведущий интенсива - Senior AI разработчик нейросетей и основатель Университета искусственного интеллекта 🔥 Регистрируйтесь на бесплатный интенсив! Встречаемся в ближайший четверг! Реклама. ООО "ТЕРРА ЭЙАЙ". ИНН 9728019395.

💻 Проект Graph RAG - это пакет для обработки и преобразования данных, предназначенный для извлечения значимых структурированных данных из неструктурированного текста с использованием возможностей LLMs. ▪Запись в блоге :https://microsoft.com/en-us/research/blog/graphrag-unlocking-llm-discovery-on-narrative-private-data/ ▪GitHub: https://github.com/microsoft/graphrag?tab=readme-ov-file @data_analysis_ml

Событие для тех, кто хочет развиваться в робототехнике! 🤖 14 сентября центр робототехники Сбера проводит One Day Offer для DevOps- и MLOps-инженеров. Это возможность погрузиться в мир передовых технологий и получить заветный оффер всего за один день! Центр проводит исследования, создаёт роботов, применяя искусственный интеллект, и работает по направлениям манипуляции, роботизации логистики, мобильных и антропоморфных роботов. Задачи DevOps: ✔️ конфигурация систем разработки, тестирования, средств автоматизации и ИТ-инфраструктуры ✔️ оборачивание кода в docker образы и развёртывание контейнеров в Kubernetes ✔️ обеспечение мониторинга и выявление узких мест в работе систем Задачи MLOps: ✔️ создание и внедрение MLOps-практик для исследований в направлениях RL, инференса LLM ✔️ настройка инструментов отслеживания жизненного цикла моделей (ClearML, MLFlow, DVC и т. п.) ✔️ развитие LLMOps-практик (эффективный инференс LLM для ChatGPT-like решений) Если для вас это не просто слова, откликайтесь по ссылке!

🚀 Представляем многоязычную систему преобразования речи в речь Hugging Face! 🎤 💬 Модульный кросс-платформенный конвейер для запуска GPT4o-подобных моделей на устройствах, с плавным переключением языков во время разговора с незаметной задержкой в 100 мс. 🌟 2700 звезд на GitHub 🌟 🔥 Тестируйте с флагом: --language 🤯 Или не устанавливайте флаг и позвольте системе самой определить язык ▪ Github @data_analysis_ml

📢 Вышла версия TorchGeo 0.6.0! В него добавлено 18 датасетов, 15 новых модулей данных и 27 новых предварительно обученных моделей, что является результатом 11 месяцев работы команды из 23 разработчиков🔥. https://github.com/microsoft/torchgeo/releases/tag/v0.6.0 @data_analysis_ml

⚡️ ReconX Это полезная библиотека для создания детализированных 3D-сцен на основе ограниченного количества изображений, решая проблему, которая долгое время была сложной в компьютерном зрении. В отличие от традиционных методов, которые часто сталкиваются с артефактами и искажениями в невидимых областях, ReconX рассматривает задачу как временную генерацию, используя видеодиффузионную модель. Основное новшество — использование генеративных возможностей крупных предварительно обученных моделей видео с сохранением 3D-согласованности сцен. 📌 Github 📌 Project @data_analysis_ml

🚀 Мощная библиотека для быстрого LLM-инференса NanoFlow стабильно обеспечивает более высокую производительность по сравнению с vLLM, Deepspeed-FastGen и TensorRT-LLM. 🤯 🔹 Увеличение производительности в 1,91 раза по сравнению с TensorRT-LLM 🔹 Опережает vLLM, Deepspeed-FastGen 🔹 Достигает 68,5 % от оптимальной пропускной способности При крупномасштабных развертываниях LLM сталкивается с узкими местами в пропускной способности. 🤔 🔹 Бэкенд на C++, фронтенд на Python 🔹 Интеграция с CUTLASS, FlashInfer, MSCCL++ 🔹 Поддерживает LLaMA2-70B, Mixtral 8x7B, LLaMA3-8B - Nano-batching: разбивает запросы на более мелкие партии для одновременного выполнения - Разделяет ресурсы GPU для эффективной работы - Менеджер KV-кэша: Оптимизирует использование памяти - Механизм автоматизированного поиска: Находит оптимальные параметры для запуска модели ▪Github @data_analysis_ml

⚡️ Этот инструмент RAG с открытым исходным кодом для работы с вашими документами в режиме чата в последние несколько дней занимает лидирующие позиции на Github - RAGUI с открытым исходным кодом для контроля качества инструмента - Поддерживает локальные Lms и API-провайдеров - Гибридный конвейер RAG с полнотекстовым и векторным поиском - Мультимодальность - Поддерживает Сложные рассуждения с декомпозицией вопросов - Настраиваемый пользовательский интерфейс, - Расширяемая архитектура ▪ Github

⚡️ WonderWorld — рендеринг 3D-сцен в реалтайме WonderWorld позволяет пользователю быстро генерировать 3D-сцены вокруг себя с помощью текстовых промптов и движения камеры. В качестве отправной точки WonderWorld принимает на вход 1 изображение и генерирует связанные с ним разнообразные 3D-сцены для создания виртуального мира. Генерация одной 3D-сцены занимает менее чем 10 секунд благодаря 2 моментам: во-первых, это оптимизация представления 3D-сцены, Fast Gaussian Surfels, а во-вторых, используется особый подход, позволяющий генерировать для каждой сцены только 1 вид, а не несколько, не создавая при этом больших дыр в восприятии этой сцены. 🟡 Страничка WonderWorld 🟡 Статья @data_analysis_ml

🌟 FLAN-T5 small — модель от Google для задач NLP Если кто знаком с моделью T5, то FLAN-T5 — это её улучшенная версия. При том же количестве параметров FLAN-T5 тонко настроена для 1000+ дополнительных задач NLP; при этом модель поддерживает большое количество языков. 🤗 Hugging Face 🟡 Arxiv @data_analysis_ml

Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней. Ближайшие Fast Track мероприятия: • 7-8 сентября — для аналитиков со знанием SQL и Python, офер за 2 дня в команды Маркета, Еды и Лавки. Зарегистрироваться

🌟 Action2Sound — модель для генерации звуков на основе видео от первого лица

python main.py --base configs/ldm/ego4dsounds.yaml -t --name audiocond --num-nodes 1 --gpus 0,1,2,3,4,5,6,7 --epoch 8 --scale_lr False --batch-size 90 --pretrained-model data/pretrained/av.pth --pool-patches max model.params.audio_cond_config.neighbor_audio_cond_prob=1 --audio-cond rand_neighbor

Action2Sound — это новый метод генерирования звуков на основе видео от первого лица; также этот метод позволяет учесть обстановку и создавать соответствующие фоновые звуки. В целом, Action2Sound — это первая работа, в которой сгенерированные звуки точно соответствуют наблюдаемому визуальному контенту. 🖥 GitHub 🟡 Arxiv @data_analysis_ml

⚡️ Qwen2-VL: второе поколение VLM моделей от Alibaba Cloud. Qwen2-VL - это новая версия VLMs, основанная на Qwen2 в семействе моделей Qwen. По сравнению предыдущим поколением, Qwen2-VL обладает возможностями: 🟢Распознавание изображений с различным разрешением и соотношением сторон; 🟢VQA-понимание видеороликов продолжительностью более 20 минут с поддержкой диалога; 🟢Интеграция с носимыми устройствами (мобильный телефон, робот и т.д) в качестве агента управления; 🟢Мультиязычность внутри входных данных, например на изображениях или видео. 🟢Улучшенное распознавание объектов и предметов; 🟢Расширенные возможности в области математики и понимания программного кода. Набор Qwen2-VL состоит из трех основных моделей, две из которых публикуются в отrрытом доступе. Модель Qwen2-VL-72B доступна только по API: 🟠Qwen2-VL-72B; 🟢Qwen2-VL-7B-Instruct; 🟢Qwen2-VL-2B-Instruct, и их квантованные версии в форматах AWQ и GPTQ в разрядностях Int8 и Int4. Архитектура моделей. как и в прошлом поколении основана на ViT 600M и LLM Qwen2, но с добавлением двух ключевых модификаций: 🟠использование NDR (Naive Dynamic Resolution), который позволил обрабатывать входные данные любого разрешения, преобразуя их в динамическое количество визуальных токенов. Эта реализация максимально близка к имитации зрительного восприятия человека. 🟠технология Multimodal Rotary Position Embedding (M-ROPE). Благодаря деконструкции оригинального rotary embedding на три части, представляющие временную и пространственную информацию, M-ROPE дает возможность LLM одновременно захватывать 1D( текст ), 2D( визуал ) и 3D( видео ) информацию. ⚠️ Ограничения в возможностях и слабые стороны поколения состоят в том, что модели не умеют извлекать звук из видео, а их знания актуальны на июнь 2023 года. Кроме того, они не могут гарантировать полную точность при обработке сложных инструкций или сценариев. Модели относительно слабы в задачах, связанных со счетом, распознаванием символов и трехмерным пространственным восприятием. ▶️Использование и интеграция Qwen2-VL возможна с инструментами и на фреймворках: Transformers, vLLM, Llama-Factory, AutoGPTQ, AutoAWQ. 📌Лицензирование: Apache 2.0 License. 🟡Страница проекта 🟡Набор моделей 🟡Demo 🟡Сообщество в Discord 🖥Github [ Stars: 59 | Issues: 3 | Forks: 2] @ai_machinelearning_big_data #AI #Qwen #ML #GPTQ #VLM #AWQ

🖥 dbt-core Громоздкие #SQL запросы трудно читать, понимать и поддерживать. С помощью dbt вы можете использовать функцию ref, чтобы разбить длинный SQL-запросы на более мелкие компоненты, делая их более читаемыми и удобными для обслуживания.

-- models/total_order_amount.sql
SELECT 
    order_id, 
    customer_id, 
    SUM(order_amount) AS total_amount
FROM
    raw_orders
GROUP BY order_id, customer_id

models/average_order_amount.sql:

-- models/average_order_amount.sql
SELECT 
    customer_id, 
    AVG(total_amount) AS avg_amount
FROM {{ ref('total_order_amount') }}
GROUP BY customer_id

▪ Github

NVIDIA только что выпустила NVEagle 🦅 Супер впечатляющая языковая модель vision language, которая доступна в версиях 7B, 13B и 13B, работает помощью кодеров MoE vision 💬 ▪Репозитории моделей: https://huggingface.co/collections/merve/nveagle-66d0705108582d73bb235c26 ▪Попробовать здесь: https://huggingface.co/spaces/NVEagle/Eagle-X5-13B-Chat @data_analysis_ml