Data Scientist | IT

🔥 SQL Pocket Guide A Guide to SQL Usage ▫️Автор: Alice Zhao ▫️Год: 2021 ▫️Страниц: 250 ▫️4-е издание популярного справочника ▫️Аннотация издательства: Если вы используете SQL в своей повседневной работе в качестве аналитика, специалиста по данным или инженера по данным, этот популярный карманный справочник станет для вас идеальным помощником на рабочем месте. В нем вы найдете множество примеров, посвященных сложностям языка, а также ключевые аспекты SQL, используемые в Microsoft SQL Server, MySQL, Oracle Database, PostgreSQL и SQLite. В этом обновленном издании Элис Чжао описывает, как в этих СУБД реализован синтаксис SQL как для запросов, так и для внесения изменений в базу данных. Вы найдете подробную информацию о типах данных и преобразованиях, синтаксисе регулярных выражений, оконных функциях, поворотных и неповоротных элементах и многом другом. - Быстро найдете информацию о том, как выполнять конкретные задачи с помощью SQL - Применяйте примеры синтаксиса, приведенные в книге, в своих собственных запросах - Обновление SQL-запросов для работы в пяти различных системах управления базами данных - Подключение Python и R к реляционной базе данных ▫️Об авторе: Элис Чжао - дата-сайентист, страстно любит преподавать и делать сложные вещи простыми для понимания. Она преподавала многочисленные курсы по SQL, Python и R в качестве старшего специалиста по данным в компании Metis и соучредителя Best Fit Analytics. Ее технические лекции на YouTube известны тем, что они практичны, увлекательны и наглядны. Пишет об аналитике и поп-культуре в своем блоге A Dash of Data. Ее обзоры были опубликованы в Huffington Post, Thrillist и Working Mother. Элис выступала на конференциях по самым разным темам - от обработки естественного языка до визуализации данных. Степень магистра в области аналитики и степень бакалавра в области электротехники. ▫️Отзывы: Очень много отзывов, в основном положительных, тон: "outstanding". ▫️Рейтинг на Амазоне: 4,8/5 ⏱Скачать книгу

Data Scientist in Helsinki. Небольшое исследование про поиск работы в Финляндии в 2024 году #почитать

Я живу в Хельсинки полтора года и на момент начала поиска работы у меня была и остается на данный момент работа. То есть на меня не давил груз трехмесячного дедлайна для поиска новой позиции (если вы имигрант в Финляндии и у вас ВНЖ по работе, то новую надо искать быстро). Далее распишу примерно свою специализацию, опыт и другие характеристики, чтобы читатель мог оценить насколько его/её опыт соотносится с моим: Текущая позиция: Senior Data Scientist; Опыт в программировании / анализе данных: 5 лет; Образование: Магистратура - Прикладная математика; Бакалавриат - Экология и природопользование; Позиции для поиска: от Middle Data Scientist / Software developer до Lead позиций (например, team lead); Основной стек: Python, Git, Docker, MLflow, Dask, Pytorch, scikit-learn, fastapi, MongoDB, PostgreSQL; Зарплатная вилка: от 3500 евро в месяц gross до 7100 евро gross; Направление: смесь Data Science, Backend разработки, R&D, и обработки пространственных данных с уклоном в любую из перечисленных областей

⏱Читать статью

Научить чат-бота всегда говорить правду (Retrieval Augmented Generation) #почитать Хотя RAG-боты интуитивно понятны, они сталкиваются с определенными практическими проблемами. Например, мы просим модель сообщить о том, кто в нашей компании отвечает за выдачу справок в бухгалтерии, в базе знаний этой информации нет, но модель поиска все равно пытается нам ее предоставить, называя имя и контактные данные несуществующего сотрудника. Сгенерированный ответ будет ошибочным и неинформативным, особенно для неанглоязычных запросов, в которые гораздо чаще попадает контент, изначально не участвовавший в их обучении. Кроме того, при большом объеме запросов для платных LLM, например, ChatGPT, стоимость использования может привести к значительным затратам . Для обеспечения длительного диалога с RAG необходимо сохранять историю общения и передавать ее в LLM при каждом запросе, но это может привести к падению точности или галлюцинациям поскольку у LLM возникает дополнительная задача по выбору актуальной информации из большого контекста. Для борьбы с этими проблемами уже придумано несколько методов, об одном из которых пойдет речь ниже. Читать

Собираем бота на noCode платформе. Как самостоятельно запустить персонализированные чат-боты на базе Chat GPT #почитать NoCode чат-бот платформы — это конструкторы на базе искусственного интеллекта, использующие технологии обработки естественного языка для создания автоматизированных, но индивидуально настраиваемых диалоговых систем. Эти боты используют алгоритмы искусственного интеллекта, зачастую они задействуют API токен от OpenAI, который способен генерировать максимально приближенные к человеческому языку ответы. Конечно, не OpenAi единым, для создания кастомизированных чат ботов использовать можно любую нейросеть — тот же Google Bard или Claude. Тем не менее, существуют определенные ограничения. Во-первых, основой часто служит технология Chat GPT. Во-вторых, отсутствует удобная система интеграции с другими инструментами. К тому же, типичные решения предполагают работу с ограниченным количеством текстовых материалов, до 20 единиц, и взаимодействие в рамках этого контента. Для создания действительно гибких и адаптированных под бизнес-процессы решений требуются кастомные подходы. Это включает разработку API для GPT, настройку серверов, обработку баз данных и разработку пользовательского интерфейса, что может быть затратно и сложно. К счастью, сегодня доступны платформенные решения, упрощающие запуск чат-ботов. Для кастомизации достаточно иметь API-токен выбранной нейросети и базовое понимание работы с векторными базами данных и потенциальными сценариями использования. ⏱Читать статью

Как устроены слои нейронных сетей под капотом #почитать Речь пойдет о реализации модуля Sequential и слоёв Dense и Input через библиотеку Numpy для многослойной NN. Данная статья нацелена на практическую реализацию слоев с минимумом теории, и предполагается что читатель знаком с базовой теорией обучения нейронных сетей. ⏱Читать статью

🔥 Бесплатные курсы от IBM с сертификатами на 2024 год Курсы по Project & Product менеджменту, анализу данных и машинному обучению, разработке, базам данных и многому другому. 🇬🇧 На английском языке. ▫️IBM Project Manager ▫️IBM IT Scrum Master ▫️IBM Data Analyst ▫️IBM Data Analytics with Excel and R ▫️IBM Data Science ▫️IBM Data Engineering ▫️IBM AI Engineering ▫️IBM Cybersecurity Analyst ▫️IBM Full Stack Software Developer ▫️IBM DevOps and Software Engineering ▫️IBM AI Engineering ▫️IBM Technical Support ▫️IBM Machine Learning ▫️Meta Database Engineer ▫️Meta Social Media Marketing ▫️Meta Front-End Developer ▫️Meta Marketing Analytics ▫️Meta Back-End Developer ▫️Microsoft Power BI Analyst ▫️Microsoft Cybersecurity Analyst

Шпаргалка по рекомендательным системам #почитать Цель рекомендаций - порекомендовать пользователю что-то новое. Например, на маркетплейсах, в музыкальных или видео-стриминговых сервисах. На деле вы всегда работаете с так называемой матрицей взаимодействий R (user-item matrix), на каждой строке которой стоят пользователи (users), а каждому столбцу соответствует товар (items). На пересечении пользователя и товара записано какое-то их взаимодействие (feedback). ⏱Читать статью

Использование Jupyter Notebook для разведочного анализа данных ⬝ Методические рекомендации #почитать

Блокноты Jupyter — это, уже довольно давно, один из самых неоднозначных инструментов в среде дата‑сайентистов. Одни яро критикуют Jupyter, другие горячо поддерживают этот проект. Но, тем не менее, многие согласятся с тем, что блокноты Jupyter, при правильном их использовании, могут быть очень ценным инструментом. Я поделюсь здесь методическими рекомендациями по использованию Jupyter Notebook для разведочного анализа данных.

Читать статью

Нужно ли дата-инженерам знать Linux? Расскажет Вадим Заигрин – Team Lead команд инженеров данных. Встречаемся на бесплатном открытом уроке от OTUS, где вы вместе с экспертом: - разберетесь, почему вам надо знать Linux; - ознакомитесь с его особенностями; - узнаете, как работать с Linux: командная строка, пользователи и их права, запуск приложений, инструменты работы с сетью. Занятие пройдёт 22 февраля в 20:00 мск и будет приурочено к старту курса «Data Engineer». Доступна рассрочка на обучение! Пройдите короткое тестирование прямо сейчас, чтобы занять место на открытом уроке и получить запись: https://vk.cc/cuBOfb Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru, erid: LjN8KZcGa

Как машинное обучение помогает определить тип личности пёсиков #почитать В данной статье описывается успешная попытка применить методы искусственного интеллекта и ML для классификации и прогнозирования личностных качеств собак с использованием поведенческих данных, полученных из базы данных C-BARQ. ⏱Читать статью

Полезности архитектуры SWin в задачах оптического распознавания #почитать

Как-то я столкнулся с довольно тривиальной, но новой для себя задачей - оптического распознавания символов (OCR). Так сложилось, что готовые инструменты (типа tesseract-ocr) мне не подошли, поэтому пришлось изобретать велосипед. Но к этому процессу я решил подойти со всей отвественностью: проверить несколько подходов, определить их примущества, недостатки и выбрать наиболее подходящий для конкретной задачи. По итогу это мини-исследование вылилось в данную обзорную статью. Здесь я хочу привести примеры нейросетевых моделей, характерных для различных этапов становления области компьютерного зрения (далее - CV) в том виде, в котором мы его знаем сейчас.

⏱Читать статью

DVC для Data Scientist #почитать DVC: инструмент, который многие, незаслуженно, обходят стороной. DVC (Data Version Control) - это система версионирования датасетов и не только, которая является надстройкой над git. Если вы умеете работать с git, поздравляю, вы умеете работать с DVC. Кроме того, DVC позволяет логировать эксперименты, а также делать Auto-ML. ⏱Читать статью

▫️ ML-рынок России #посмотреть О проблемах и перспективах. ⏱Смотреть на YouTube ⏱50 минут

Как ответить на любой вопрос на собеседовании по проектированию систем машинного обучения #почитать Шпаргалка для ответа на любой вопрос о проектировании систем машинного обучения на вашем следующем собеседовании. Этот шаблон поможет вам ответить практически на любой вопрос о проектировании системы машинного обучения, который вы можете получить на собеседовании. Важно отметить, что этот шаблон намеренно типовой, так что, когда вы найдете новый вопрос по проектированию системы, вам будет легко заполнить каждый раздел. ⏱Читать статью

Бесплатные курсы по большим языковым моделям #почитать ▪️Университет LLM Курс дает представление о том, как работают LLM, их практическом применении, и направляет учащихся на использование LLM для создания и развертывания приложений. ▪️huggingface NLP course курс дает исчерпывающие знания о тарнсформерах Hugging Face, датасетах, токенизаторах и инструменте Accelerate в области обработки естественного языка (NLP). ▪️DeepLearningAI Коллекция бесплатных курсов, созданных в сотрудничестве со многими компаниями, такими как LangChain, OpenAI, Google, Weights & Biases, Microsoft и другими. ▪️Weights_biases course Этот курс показывает, как создавать приложения на базе LLM, используя API, Langchain и W&B Prompts. Он рассказывает про разработку, экспериментирование и оценку приложений, ориентированных на LLM. ▪️Introduction to LLMs course by google cloud Курс вводного уровня, в котором рассказывается о том, что такое LLM, о случаях их использования и о том, как повысить производительность LLM с помощью промпт-тюнинга. ▪️Databricks Два курса: “LLMs: Application through Production” и “LLMs: Foundation Models from the Ground Up”. ▪️LangChain & Vector Databases in Production” от activeloopai, towards_AI и Intel Серия из трех курсов познакомит слушателей со знаниями и навыками для обучения, тонкой настройки и интеграции LLM в продакшен. ▪️LLM Bootcamp Охватывает такие темы, как Prompt Engineering, LLMOps, UX для языковых пользовательских интерфейсов, дополненные языковые модели, быстрая разработка LLM-приложений, будущие тенденции в LLM, фундаментальные концепции и прохождение askFSDL. ⏱Посмотреть

▫️ Пишем ML-генератор Shorts-видео на Python для заработка на YouTube (библиотека Manim) #посмотреть В этом ролике мы анимируем написание кода для shorts при помощи библиотеки Manim и озвучиваем его при помощи ElevenLabs. Таким образом можно создавать 4K shorts буквально за пару минут. ⏱Посмотреть практикум ⏱10 минут

Уроки по машинному обучению #почитать Коллекция из 100 с лишним уроков по машинному обучению, написанных в основном на Python: ▫️model deployment ▫️operation research ▫️reinforcement learning ▫️ad ▫️search ▫️time series ▫️ab tests ▫️model selection ▫️dim reduct ▫️recsys ▫️trees ▫️clustering ▫️keras ▫️text classification ▫️regularization ▫️networkx ▫️association rule ▫️big data ▫️ga ▫️unbalanced ▫️clustering old ▫️linear regression ⏱Посмотреть на Github

Репозиторий Machine Learning Technical Interviews #почитать This repo aims to serve as a guide to prepare for Machine Learning (AI) Engineering interviews for relevant roles at big tech companies (in particular FAANG). It has compiled based on the author's personal experience and notes from his own interview preparation, when he received offers from Meta (ML Specialist), Google (ML Engineer), Amazon (Applied Scientist), Apple (Applied Scientist), and Roku (ML Engineer). The following components are the most commonly used interview modules for technical ML roles at different companies. We will go through them one by one and share how one can prepare: Chapter 1 General Coding (Algos and Data Structures) Chapter 2 ML Coding Chapter 3 ML System Design (Updated in 2023) Chapter 4 ML Fundamentals/Breadth Chapter 5 Behavioral The guide here is mostly focused on Machine Learning Engineer (and Applied Scientist) roles at big companies. Although relevant roles such as "Data Science" or "ML research scientist" have different structures in interviews, some of the modules reviewed here can be still useful. ⏱Посмотреть реп на Гитхабе

Что нового в Greenplum 7? 💻Расскажет Вадим Заигрин – Team Lead команд инженеров данных, встречаемся на бесплатном открытом уроке от OTUS. Наконец вышла седьмая версия популярной массово-паралельной СУБД для хранилищ данных с открытым кодом – Greenplum. На вебинаре узнаем, что нового ждёт нас в седьмой версии! Урок будет полезен не только дата-инженерам, но и разработчикам, сисадминам и архитекторам. Занятие пройдёт 8 февраля в 20:00 мск и будет приурочено к старту курса «Data Engineer». Доступна рассрочка на обучение! 👉Пройдите короткое тестирование прямо сейчас, чтобы занять место на открытом уроке и получить запись: https://vk.cc/culQoj Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru, erid: LjN8JvMZi

Разбор книги «System Design. Машинное обучение. Подготовка к сложному интервью» #почитать ▪️Для кого эта книга Книга будет ценным источником информации для всех, кто интересуется проектированием систем МО, будь то новички или опытные инженеры. А если вам нужно подготовиться к собеседованию по МО, то эта книга написана специально для вас. ▪️Чего нет в книге Эта книга — не пособие по основам машинного обучения. Она написана для дата-сайентистов, инженеров данных и инженеров МО, которым нужна помощь, чтобы подготовиться к собеседованию по проектированию систем МО. Книга предназначена в первую очередь для инженеров МО в бизнесе и в меньшей степени для ученых в области МО в образовательных учреждениях или НИИ. ⏱Читать обзор