DataEng

Каналов про IT в Центральной Азии много, хороших каналов про IT — мало. Наши партнёры из “The Tech” собрали такие в одном месте! Тут про новости, ивенты, вакансии, работу, учебу и многое другое. Полезно как для начинающих специалистов, так и опытных айтишников из Центральной Азии 🔥 Нажимайте на кнопку ниже и добавляйте папку себе, и оставайтесь в тренде всего самого интересного из IT-мира. #netquiz_partners

Если вдруг вас интересует тема разработки LLM, то вчера стартовал бесплатный курс от ребят из DataTalks.Club — LLM Zoomcamp Курс рассчитан на 10 недель в формате живых трансляций и домашних заданий с обсуждениями. Весь необходимый материал в открытом доступе на Гитхабе: https://github.com/DataTalksClub/llm-zoomcamp

100 самых популярных Python докладов Нашел в сети подборку из 100 самых просматриваемых докладов про Python: 100 most-watched Python 2023 conference talks ordered by the number of views Среди этих докладов популярны темы про Rust, data engineering и оптимизацию производительности. К слову, PyCon US 2024 уже прошел, но в открытом доступе до сих пор нет докладов. Надеюсь на их скорое появление, т.к. там есть на что посмотреть.

На прошлой неделе JetBrains анонсировали релиз их новой IDE для разработки на Rust: RustRover Изначально это был плагин для их IDE, который в итоге перерос в полноценный продукт. Также ребята решили предоставить бесплатную лицензию на продукт для некоммерческой разработки для всех. Я попробовал и получил бесплатную лицензию на 1 год, возможно в будущем её можно будет продлить. Впервые язык Rust я попробовал ещё в далёком 2015 году, когда вышла первая стабильная версия языка. С тех пор были неоднократные попытки с моей стороны написать что-нибудь существенное, но не было подходящих проектов под рукой. Сейчас же видно, что Rust плотно вошел в экосистему Python и внёс значительный вклад в её развитие. Наверняка вы слышали о таких проектах как Pydantic, Polars, PyO3 и т.д. Некоторые из них стали революционными для Python. Python + Rust = ❤️ Также буквально на днях вышел вебинар от JetBrains, посвященный языку Rust и методам его изучения: Programming Education: Tailoring Tools and Techniques for Rust. Если вы вдруг задумались об изучении Rust, то рекомендую к просмотру. В описании к видео есть полезные ресурсы, которые помогут лучше усвоить сложные концепции языка такие, например, как Ownership. Со своей стороны я попробую ещё раз оседлать эту лошадку и найти подходящий проект, чтобы не потерять мотивацию на пути изучения. А какой у вас был опыт с Rust?

Большая папка с крутыми каналами про IT ⚡️  Каналов про IT много, хороших каналов про IT — мало. Собрали такие в одном месте! Тут про новости, ивенты, вакансии, работу, учебу и многое другое. Полезно как для начинающих специалистов, так и опытных айтишников из Центральной Азии 🔥 Переходите по ссылке, добавляйте папку себе и оставайтесь в тренде всего самого интересного из IT-мира: https://t.me/addlist/4zT-2KYP1JYzNGRi

Большая папка с крутыми каналами про IT ⚡️  Каналов про IT много, хороших каналов про IT — мало. Собрали такие в одном месте! Тут про новости, ивенты, вакансии, работу, учебу и многое другое. Полезно как для начинающих специалистов, так и опытных айтишников из Центральной Азии 🔥 Переходите по ссылке, добавляйте папку себе и оставайтесь в тренде всего самого интересного из IT-мира: https://t.me/addlist/4zT-2KYP1JYzNGRi

$1300 за пустой S3-бакет В сети набирает популярность статья на платформе Medium, где автор рассказывает как ему за пустой S3-бакет "прилетел" счёт от AWS на $1300 — How an empty S3 bucket can make your AWS bill explode Автор обнаружил, что к его приватному бакету прилетело более 100 миллионов PUT-запросов:

My bill was over $1,300, with the billing console showing nearly 100,000,000 S3 PUT requests executed within just one day!

Оказалось, что в конфигурации какого-то популярного опенсорс тула по умолчанию было прописано название бакета, которое в точности совпадало с названием бакета автора. И миллионы копий этой тулзы с настройками по умолчанию пытались загрузить в этот бакет свои бэкапы. К моему удивлению, оказалось, что AWS взымает плату в том числе за запросы с ошибками (коды 4xx).

Yes, S3 charges for unauthorized requests (4xx) as well[1]. That’s expected behavior.

Видимо забавы ради автор статьи сделал публичным свой бакет и в течение 30 секунд собрал аж 10 гигабайт чужих данных. Вот так утечка😵‍ Уроки, извлеченные автором: 1. Любой кто знает название вашего бакета может "оставить вас без штанов" 2. Добавляйте суффиксы к названием, не используйте незамысловатые названия 3. Явно указывайте регион при обращении к S3, это помогает избежать платы за редиректы Судя по твиту Jeff Barr, AWS в курсе этой ситуации:

Thank you to everyone who brought this article to our attention. We agree that customers should not have to pay for unauthorized requests that they did not initiate. We’ll have more to share on exactly how we’ll help prevent these charges shortly.

Airflow 2.9 Буквально час назад вышла новая версия Apache Airflow — 2.9. В релизе очень много изменений и фиксов, а также новых фич: — поддержка Python 3.12 — Listener API стабилизировался и его можно использовать в продакшене — Поддержка multiple executors (AIP-61 Hybrid Execution) — DatasetOrTimeSchedule, срабатывание по Timetable расписанию и Dataset событиям — @task.bash декоратор. Возвращаемое значение обёрнутой в этот декоратор функции будет выполнено в виде bash-команды Полный список изменений смотрите по ссылке.

У ребят из PostgresPro есть отличные, а главное бесплатные, книги по PostgreSQL: https://postgrespro.ru/education/books

Убийца DuckDB 🔫 А вы уже видели аналог DuckDB от ребят из ClickHouse? Называется это чудо chDB. Представляет из себя встроенную OLAP базу данных под капотом которой пыхтит движок ClickHouse. Умеет в Parquet, Arrow, ORC и кучу других форматов, есть биндинги для Python, Go, Rust, NodeJS, Bun. Работает на Linux и MacOS, жаль Windows не поддерживает. Узнал я о существовании этой БД из новости о том, что chDB присоединяется к ClickHouse: https://auxten.com/chdb-is-joining-clickhouse/