Data Science | Machinelearning [ru]

➡️ Google представила ИИ-генератор видео Veo 2.0: лучше ли, чем Sora и как получить доступ Google выпустила Veo 2.0 — ИИ-модель для генерации видео с улучшенным разрешением 4K, контролем камеры и лучшим качеством. Вопрос: лучше ли она, чем Sora от OpenAI? Читать...

📝 Подборка вакансий для мидлов Data-аналитик • Python, SQL, Apache Hadoop, Kubernetes, Docker • Уровень дохода не указан | 1–3 года Data-инженер • Python, Greenplum, Apache Airflow, Apache Spark, ETL, Apache Hadoop, Linux, PostgreSQL, Kubernetes, SQL • Уровень дохода не указан | 1–3 года Data Scientist • Python, pandas, NumPy, scikit-learn, matplotlib, SQL, Hadoop, PySpark, BitBucket, Jira, Agile • Уровень дохода не указан | 3–6 лет

⚙️ Что такое модуль datetime в Python и зачем он используется? Модуль datetime позволяет работать с датами и временем, включая их создание, форматирование и вычисление разницы между ними. Это полезно для задач, связанных с обработкой временных данных. ➡️ Пример:

from datetime import datetime, timedelta

# Текущая дата и время
now = datetime.now()
print("Сейчас:", now)

# Добавляем 7 дней к текущей дате
future_date = now + timedelta(days=7)
print("Через неделю:", future_date.strftime("%Y-%m-%d"))

🗣️ В этом примере datetime.now() получает текущую дату и время, а timedelta позволяет прибавить 7 дней. Метод strftime() форматирует дату в читаемый строковый формат.

🖥 Подробнее тут

➡️ Лучшие крупные языковые модели в ноябре 2024 г В ноябре в ТОП-10 в «LLM Benchmark» произошло много изменений. Также произошли некоторые изменения в том, как мы создаем продукты на основе LLM. Давайте приступим. Читать...

Как просто верстать отчёты в PowerBI и не страдать? На бесплатном вебинаре расскажет Мария Гришина - ведущий BI аналитик в ООО Салаир (РЖД) и автор телеграмм-канала «Power BI Design» создаст отчёт, который будет не только ровным, но и сочным, а главное — удобным для восприятия! Что будет на вебинаре: - раскроем секреты грамотной верстки - поделимся полезными приёмами и лайфхаками - узнаем, как правильно расставлять акценты, использовать цветовые схемы и шрифты так, чтобы ваши отчёты вызывали восторг у коллег и руководства. 🕗 Встречаемся 17 декабря в 19:00 по мск Зарегистрироваться на вебинар

🔎 Подборка вакансий для джунов Младший специалист отдела разработки (Python) / Специалист по парсингу данных 🟢Python, Django, Celery, Linux, PostgreSQL, Git 🟢от 70 000 ₽ на руки | 1–3 года Младший Python-разработчик (FastAPI) 🟢Python, FastAPI, SQL, Git, Docker, Redis, Celery 🟢до 100 000 ₽ на руки | 1–3 года Junior Аналитик данных 🟢SQL, Metabase, Python (pandas, NumPy), A/B тесты 🟢от 150 000 до 250 000 ₸ на руки | 1–3 года Продуктовый аналитик / Data Analyst (junior) 🟢Python, SQL, Amplitude, Анализ данных, Английский язык 🟢до 800 $ до вычета налогов | 1–3 года BI-аналитик (junior) 🟢SQL, Python, Metabase, MySQL, Airflow, DBT, Yandex.Metrica, ClickHouse 🟢от 80 000 ₽ на руки | Без опыта

👩‍💻 Поиск подстроки в строках файла Напишите функцию, которая принимает путь к текстовому файлу и строку для поиска, а затем выводит все строки файла, содержащие эту строку (игнорируя регистр). Если совпадений нет, функция должна вывести сообщение об отсутствии результатов. Пример:

search_in_file('example.txt', 'python')

• Если в example.txt есть строки, содержащие слово "python" (в любом регистре), они будут напечатаны. Решение задачи🔽

def search_in_file(file_path, query): query_lower = query.lower() found = False with open(file_path, 'r', encoding='utf-8') as f: for line in f: if query_lower in line.lower(): print(line.strip()) found = True if not found: print("Ничего не найдено.") # Пример использования # search_in_file('example.txt', 'python')

❓ Знаете, что делает код на C++ мощным? Правильная работа с библиотеками! 👉 Если вы хотите стать востребованным C++ разработчиком, пора прокачивать навыки работы с библиотеками. Это ваш ключ к написанию профессионального и оптимизированного кода! Что вас ждет на открытом уроке: - узнаете, какие бывают библиотеки и чем они отличаются; - научитесь подключать сторонние библиотеки и собирать свои; - поймете, как библиотеки упрощают вашу работу и делают код эффективнее. ⭐️ Спикер Денис Злобин — старший инженер-программист в Astra Linux, опытный наставник разработчиков. ⏰ 18 декабря в 20:00 мск. Для начинающих и Junior-разработчиков, готовых к карьерному росту. Вебинар проходит в преддверии старта курса «C++ Developer», участники урока получат скидку на большое обучение. 👉 Для участия зарегистрируйтесь: https://vk.cc/cG5lzl Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

🤔 Правда ли, что развитие ИИ замедлилось? Масштабирование ИИ-систем долго считалось ключом к их развитию. Однако последние отчёты ставят это под сомнение: ROI от увеличения мощности снижается, а гипотеза «чем больше, тем лучше» теряет актуальность. Читать...

🔥 Самые интересные статьи за последние дни: • Смарт-функции в Алисе: как LLM помогает понять, чего хочет пользователь • Сбер выкладывает GigaChat Lite в открытый доступ • История YOLO – самой известной архитектуры компьютерного зрения • Магия простоты: как мы улучшили отображение общественного транспорта на карте • Обучение и fine-tuning моделей простым языком: зачем, как, где

👩‍💻 Классификация данных с использованием k-Nearest Neighbors (kNN) Напишите функцию на Python, которая принимает обучающий набор данных, тестовый набор данных и значение 𝑘, а затем использует алгоритм k-ближайших соседей (kNN) для классификации тестовых данных. Функция должна возвращать предсказанные метки для тестового набора данных. Пример:

import numpy as np

X_train = np.array([[1, 2], [2, 3], [3, 4], [5, 5]])
y_train = np.array([0, 0, 1, 1])
X_test = np.array([[2, 2], [4, 4]])

predictions = knn_classification(X_train, y_train, X_test, k=3)
print(predictions)  # Ожидаемый результат: [0, 1]

Решение задачи🔽

from sklearn.neighbors import KNeighborsClassifier def knn_classification(X_train, y_train, X_test, k=3): model = KNeighborsClassifier(n_neighbors=k) model.fit(X_train, y_train) return model.predict(X_test) # Пример использования: import numpy as np X_train = np.array([[1, 2], [2, 3], [3, 4], [5, 5]]) y_train = np.array([0, 0, 1, 1]) X_test = np.array([[2, 2], [4, 4]]) predictions = knn_classification(X_train, y_train, X_test, k=3) print(predictions) # Ожидаемый результат: [0, 1]

⚙️ Запускаем 8B LLM в браузере: AQLM.rs Как запустить Llama 3.1 8B в браузере без GPU? В статье рассказывается о проекте AQLM.rs: инференс на WebAssembly, сжатие модели и запуск на обычном ПК или мобильном устройстве. Читать...

🔎 Подборка зарубежных вакансий Data Analyst 🟢Excel, Google Sheets, Power BI, Python, SQL, API 🟢от 1 400 до 1 600 $ до вычета налогов | 1–3 года Head of Data Insight and Partnership (Game Dev) 🟢Research, Insights, Media Relations, Английский C1 🟢до 6 000 $ до вычета налогов | Более 6 лет Senior Machine Learning Engineer 🟢Python, C++, R, TensorFlow, NumPy, SciPy, Pandas, MongoDB, Elastic, Hadoop, ClickHouse, Ansible, Shell Scripting, Chef 🟢от 5 500 до 7 000 € до вычета налогов | Более 6 лет DevOps Engineer/Infrastructure Engineer 🟢Linux, Python, Docker, Kubernetes, Bash, CI/CD, Zabbix, C++, MacOS, OSI 🟢от 4 500 до 5 700 $ на руки | 3–6 лет

🔗 Технический долг? Закрывай его по «принципу кафе» Технический долг копится, как грязная посуда в раковине. Кажется, что решишь его «когда-нибудь», но это «когда-нибудь» не наступает. 👉 Совет: применяй «принцип кафе» — каждый раз, когда работаешь с файлом или модулем, оставь его в лучшем состоянии, чем нашёл. Понемногу рефакторь, добавляй комментарии или улучшай структуру. В итоге долг будет сокращаться без больших затрат времени.

🥽 Инфраструктура для Data-Engineer виртуальные окружения Статья объясняет, как управлять зависимостями и изолировать проекты в Python. Рассматриваются виртуальные окружения, работа с разными версиями Python, примеры из практики и лучшие подходы для разработки. Читать...

🔎 Подборка вакансий для лидов Lead Data Engineer 🟢Scala, SQL, Python, Apache Spark, Airflow, ClickHouse, AWS S3, Kubernetes, PostgreSQL, MySQL, DataHub, Deequ, GitLab CI, Vault, Tableau 🟢Уровень дохода не указан | более 5 лет Senior/Lead Data Engineer 🟢Python, Java, SQL, Apache Airflow, HBase, YTsaurus, ClickHouse, PostgreSQL, Apache Spark, Apache Flink, Apache Beam, Docker, Kubernetes, GitLab, BI-системы (Apache Superset, Jasperserver) 🟢Уровень дохода не указан | более 2 лет Team Lead (Python) 🟢Python, FastAPI, SQLAlchemy, PostgreSQL, Kafka, Alembic, GitLab CI, Docker, Kubernetes, GraphQL 🟢Уровень дохода не указан | 3–6 лет

⚙️ Что такое functools.lru_cache в Python и зачем он используется? functools.lru_cache — это декоратор, который позволяет кэшировать результаты функции для повышения производительности. Он запоминает результаты вызовов функции с определёнными аргументами и возвращает их из кэша при повторных вызовах. ➡️ Пример:

from functools import lru_cache
import time

@lru_cache(maxsize=3)
def slow_function(n):
    time.sleep(2)
    return n * 2

print(slow_function(5))  # Выполняется медленно (2 секунды)
print(slow_function(5))  # Возвращает результат мгновенно из кэша

🗣️ В этом примере функция slow_function кэширует результаты для трёх последних аргументов. Повторный вызов с теми же аргументами возвращает результат мгновенно, ускоряя выполнение.

🖥 Подробнее тут

✅️ GitHub теперь в Telegram! Подписывайтесь: @GitHub

📈 Подборка статей для вашей карьеры • Эволюция архитектур нейросетей в компьютерном зрении: сегментация изображений • Заяц не вырастет в акулу. Или секреты гибкой инженерной культуры от Александра Бындю • Все, пора увольняться: что я поняла после работы в токсичных командах • Базовое программирование, или Почему джуны не могут пройти к нам собеседование • Я стал аналитиком, потому что не смог быть программистом

📝 Подборка вакансий для сеньоров Data Engineer (Golang) • Golang, ClickHouse, MySQL, MongoDB, Kubernetes, HTTP/gRPC API, Apache Kafka, Redis • Уровень дохода не указан | от 3 лет Data Scientist NLP (портал gosuslugi.ru) • Python 3, numpy, pandas, scipy, sklearn, PyTorch, NLTK, transformers, FastAPI, Docker, Spark/Hadoop • Уровень дохода не указан | от 1 года Senior Data Engineer • Apache Hadoop, Spark (batch/streaming), Scala, SQL, Parquet, Hive, Kafka, HBase, ClickHouse, PostgreSQL, Airflow, Zeppelin, Jupyter, S3 MinIO • Уровень дохода не указан | от 5 лет Senior Python Dev (AI, Big Data, LLM) • Python, PostgreSQL, Big Data, AI, ML, ClickHouse, Time Series, Go • от 3 000 $ | от 5 лет