BigData Team (BDT)

🔬 Новости науки и техники, обзор LLM, arXiv Large Language Models: A Survey https://arxiv.org/pdf/2402.06196.pdf by Shervin Minaee, Tomas Mikolov, Narjes Nikzad, Meysam Chenaghlu Richard Socher, Xavier Amatriain, Jianfeng Gao Почему стоит обратить внимание на эту статью: Томас - один из авторов word2vec, подхода, который перевернул мир NLP в 2013-м (42k цитирований), а за свою научную карьеру собрал уже более 100k цитирований. Сравним: Yann LeCun, лаурет премии Тьюринга за нашумевшие нейронки, имеет 3 статьи с количеством цитирований более 10k. Один из ведущих ученых по рекомендательным системам, Joe Konstan, - всего одну и до 100k публикаций еще не добрался. Структура статьи: * Large Language Models * How LLMs are built * How LLMs are used and augmented * Popular datasets for LLMs * Prominent LLMs’ performance on benchmarks * Challenges and future directions Налетай, торопись, покупай изучай живопись! (классика жанра) Выделен еще один автор, why? 🤔 За лайк и репост в карму плюс 🤗 #study #work

🖼👽 Генеративный дизайн для вашей бабушки, Google Gemini https://vc.ru/services/1028493-generativnyy-dizayn-dlya-vashey-babushki-google-gemini ❓Надоело пользоваться VPN, платными подписками, скачивать предобученные модели или обучать родственников подписываться на рекламные каналы в телеграм, чтобы получить доступ к сервисам по генерации изображений с помощью нейронок? Мне тоже, поэтому я решил поделиться лайфхаками по использованию Google Gemini. В статье вы узнаете: * откуда ноги растут * подводные камни и лайфхаки использования * немного ликбеза про известные проблемы нейронок (prompt engineering и галлюцинации) * и, конечно же, пошаговый план для генерации собственных изображений на русском языке (без регистрации и смс) Тизеры из статьи на фото. 🔥 Да наступит в комментариях межгаллактический кулинарный battle. Ваш ход! #work #life #study

🏆 Премия "учитель года" или исповедь математика-программиста https://vc.ru/tribuna/1014774-premiya-uchitel-goda-ispoved-matematika-programmista 💪 Меня недавно внесли в номинацию учитель года, где в комментариях развернулись жаркие обсуждения с участием коллег и выпускников 🫶 Там можно встретить такие вбросы как: - курс не по размеру - курс от ботанов для ботанов В связи с чем, мне предложили поставить точку в дискуссии и ответить на вопросы:

по-хорошему, надо было разбить курс на 2 части: для чайников и для продвинутых

Возможно и правда, Алексей Драль, не хочет делать совсем базовые курсы по IT для тех, кому тема непрофильная

Получился развернутый ответ про: * образование * цели и достижения * опыт выдающихся учителей * методологию построения учебных курсов Тизеры из статьи на фото. Голосовалку предлагаю провести в формате emoji: ❤️ все отлично, достаточно донести позицию на орг. встрече 🔥 есть запрос, сделайте отдельный трек без хардкора #work #study

👩‍💻 Выпускники, карьерные истории, продвинутый поток В начале декабря мы делились историями успехами некоторых выпускников: карьерные истории 2023 Как вы догадываетесь, это только начало истории. По запросу организаторов грантовой программы Tech Orda (Astana Hub) делимся результатами обучения по нашей продвинутой программе обучения BDE++. А также продолжаем собирать обратную связь в комментариях о самых интересных для вас карьерных историях успеха. Что звучит наиболее интересным, переход c Junior до Middle или с Middle до Senior? Ставь ❤️ в первом случае и ❤️‍🔥 во втором. #work #study #BigDataTeam #TechOrda #AstanaHub

✅🛠 news: сертификаты снова доступны Downtime отображения сертификатов составил 2 дня Long story short: - напоролись на Cross-Origin Read Blocking (CORB) - подняли новый Nginx сервис для выдачи сертификатов - сделали миграцию данных со старого сервиса на новый - прикрутили на сайте выдачу сертификатов через новый сервис - ... - PROFIT Картинка для хорошего настроения в пятницу и выходные. - понравилось - жми лайк - есть время для просвещения - почитай про CORB - хочешь получить красивый сертификат - тебе сюда 😉

🛠 news: проблема отображения сертификатов Наблюдается проблема с отображением электронных сертификатов на сайте (см. скрин). Вернемся с отдельным анонсом, как только ситуация будет исправлена. Просим сохранять спокойствие и в случае острой необходимости расслабиться полистать вредные заметки от руководителя инфраструктуры.

🌐 ✍️🫱🏻‍🫲🏾 Чек-лист посещения конференции https://vc.ru/hr/995535-chek-list-poseshcheniya-konferencii Мне недавно задали вопрос: ❓Я никогда не ходил(а) на конференции. Как это правильно делать? Bullet points: * Чек-лист слушателя * Чек-лист спикера * Чек-лист неправильного досуга * Чек-лист правильного досуга * 2 пасхалки * предложения по развитию темы про конференции Если материал полезный - накидайте emoji и комментариев. Тизер из статьи на фото. #work #study

🎬🎄 Продлеваем новогоднее настроение У нас уже была подборка (https://t.me/bigdatateam/158) мультфильмов (рекомендации наших слушателей), которые можно пересматривать бесконечно. Если вы уже посмотрели все, то ловите новую: мультфильмы, которые продлят ваше новогоднее настроение и помогут верить в чудеса! ❄️ 101 далматинец ❄️ Питер Пен ❄️ Эрнест и Селестина ❄️ Бесподобный мистер Фокс ❄️ Хранители снов❄️ Кошмар перед Рождеством ❄️ Маленький принц❄️ Короткометражные мультфильмы Варежка, Котенок Гав и Щелкунчик. Они погружают в такое мягкое и беззаботное время, когда все вокруг - невероятная сказка! Смотрели что-нибудь из этой подборки? Пишите в комментариях, что больше всего тронуло вашего внутреннего ребенка (https://t.me/alexdral/257). P.S. Создатель подборки большой фанат старых и коротких мультфильмов 🤗

▶️🎙 Tech Orda, развитие человеческого капитала в сфере IT Пока ваш организм еще переваривает оливье, предлагаю послушать про опыт прошлых лет и перспективы обучения при поддержке государства в 2024. Жақажанов Бахытжан, CEO Product Bee Сансызбай Алиби, CEO Outpeer Алексей Драль, CEO BigData Team Ведущий: Данай Даиров, главный менеджер офиса программ финансирования Ссылка на ролик на YouTube: ▶️ https://youtu.be/_UIvrDivOG4?feature=shared P.S. буду благодарен, если кто-нибудь скинет time-коды для аннотации видео (обновим пост) #work #study

😳 Как говорится "нет времени объяснять..." 🎁😍 Очень, очень приятно, что наши курсы дарят в качестве подарка на Новый Год. До чего это довело: 🔥 Разобрали все места на январском курсе промышленной разработки на Python и уже резервируют места на набор в июне! Тем временем, мы подводим итоги года, осталось подвести итоги последнего курса (Python для анализа [больших] данных) и можно готовиться к Новому Году 🌲⛄️🍾 #work #study

🤡 Пятница Если вам не подходит JSON для организации данных, то возможно вам подойдет ... Прошлый выпуск: плохие практики от руководителя инфраструктуры BigData Team. Как всегда, приветствуются лайки 🔥 и комментарии, заряжаемся пятничным настроением. #meme

🧑‍🏫👩‍🏫 Data Engineer, готовимся к собеседованию На выпускном Практического курса по Big Data прозвучал хороший вопрос: на что обратить внимание при подготовке к собеседованию на роль Data Engineer'а. Решили поделиться с вами нашими рекомендациями: 1️⃣ Понимание принципов Map Reduce 2️⃣ Понимание принципов работы Spark и опыт работы с ним 3️⃣ Качество написание кода на Python (aka промышленная разработка) 4️⃣ SQL и SQL поверх Big Data (e.g. Hive) 5️⃣ Понимание принципов работы Kafka (обработка данных в Near Real-Time, NRT) На TOP-5 остановиться невозможно, поэтому продолжаем: 6️⃣ Принципы работы NoSQL (CAP, денормализация данных) 7️⃣ Оркестрация экспериментов, Airflow 8️⃣ Оркестрация окружений, Docker, Kubernetes 9️⃣ Кейсы из жизни (e.g. оптимизация пайплайнов) 🔟 Soft Skills Как говорится: last but not least, поэтому касательно последнего пункта намекнем на то, что вас хорошенько могут проверять на соответствие принципам компании по ходу технического собеседования: - см. например Amazon Leadership Principles - и присмотри себе в библиотеку книгу Cracking the Coding Interview: 189 Programming Questions and Solutions Полезно? Ставь лайк и делись с друзьями 😉 Всем удачных собеседований! BigData Team: the way you learn best #work #study

Алгоритмы и структуры данных Два учебных модуля: 1️⃣ Нотация Big-O, оценка сложности алгоритмов 2️⃣ Базовые структуры данных Когда: 🗓 По четвергам, 07.12.2023 и 14.12.2023 🕓 17:00 - 20:00 (Москва) / 20:00 - 23:00 (Алматы/Астана) Инструктор: Саша Климов, ML Engineer @ Ebay Гуру MLOps и выпускник МФТИ. В прошлом, Саша работал в Альфа-Банке, в отделе CRM, где выстроил всю MLOps архитектуру. Список любимых инструментов (из популярных): Python, Kubernetes, Airflow, базы данных (включая векторные). Если вам было страшно начать погружение в мир оценки сложности алгоритмов, то приходите послушать теорию с понятными примерами из практики. Три пакета участия: 1. 🧑‍💻 полный (ДЗ, обратная связь, общий чат) 🔥 доступно только 4 места в учебной группе 2. 🎁 выпускник курсов BigData Team скидки до 40% и возможность записаться на 1 или 2 модуля 3. 👀 посмотреть - доступ только к Zoom-сессиям Подробная информация по стоимости и правилам подачи заявки - под катом.

👩‍💻 Выпускники, карьерные истории Совсем недавно, мы провели выпускной на курсе Big Data. Даты выпускного совпали с завершением одного из потоков обучения грантников программы Tech Orda. Организаторы грантовой программы Astana Hub собирают интересные статистики. Одну из них мы приложили в формате скриншота. За каждой строчкой скрывается история длиной в 45 недель. Какую историю (или истории) вы хотите услышать? Для удобства голосования истории пронумерованы, пишите о вашем выборе в комментариях. #work #study #BigDataTeam #TechOrda #AstanaHub

Календарь обучения на 2024 Если вы планируете инвестировать в свое образование, то ловите календарь обучения от BigData Team на 2024. Курсы: 2-3 месяца обучения Python для анализа [больших] данных, Py4BDA 🗓1 поток: 23.09.2024 - 16.12.2024 полное описание + запись Курс промышленной разработки на Python, 9 недель 🗓1 поток: 22.01.2024 — 24.03.2024 ❗️группа полная 🗓2 поток: 22.06.2024 — 25.08.2024 🔥осталось 19 мест 🗓3 поток: 14.10.2024 — 15.12.2024 полное описание + запись ▶️ демо-ролик с курса (9 min) + последние отзывы Практический курс по Big Data, 10 недель 🗓1 поток: 25.03.2024 — 09.06.2024 🔥осталось 8 мест 🗓2 поток: 26.08.2024 — 03.11.2024 полное описание + запись ▶️ Пример видеоролика с курса (5 min) Практический курс по Machine Learning, 10 недель 🗓1 поток: 25.03.2024 — 09.06.2024 🔥осталось 9 мест 🗓2 поток: 26.08.2024 — 03.11.2024 полное описание + запись Специализации: 6+ месяцев обучения Курс Big Data / Machine Learning Engineer, BDMLE 🗓23.09.2024 — 15.06.2025 (±2 недели) Специализация Big Data или Machine Learning Engineer. Фундаментальные знания и погружение в технологии для решения продуктовых задач полное описание + запись Курс Big Data Engineer++, 6 месяцев обучения 🗓23.01.2024 — 21.07.2024 (по запросу) прокачаем промышленную разработку на Python, практическую инженерию Big Data эксклюзив: 5 дополнительных тем по Big Data полное описание + запись Мини-курсы: до 1 месяца обучения Погружение в HDFS / знакомство с Big Data, 2 недели 🗓 в разработке, оставляйте заявку на сайте, чтобы вас уведомили о старте курса полное описание + запись Курсы для менеджеров и топ-менеджеров Big Data Workshop Мастер-класс по управлению проектами в Data Science от экспертов с более чем 10-летним опытом. Включено: - оценка экономического эффекта - построение моделей машинного обучения без опыта разработки 👉 полное описание + запись Big Data Workshop для топ-менеджеров Управление данными и машинное обучение в бизнесе для топ-менеджеров и руководителей подразделений. 👉 полное описание + запись ❗️Сохраните себе и поделитесь с друзьями.

🍪 Как мы все будем жить без 3rd party идентификаторов Тезисы: - Современная Big Data во многом строится на основе возможности неявного трекинга пользователей на основе 3rd party идентификаторов (куки, gaid, idfa) - С 2019 года начался тренд на ограничение этой идентификации со стороны Apple, это уже привело к довольно большим изменениям (правда на рынках за пределами России) - В следующем году нас ожидает следующий большой рубеж - поддержка со стороны Google Артем Выборнов ответил на вопросы "что происходит" и "что с этим делать" на недавнем внутреннем митапе менторского сообщества BigData Team. Чтобы стать ментором курсов BigData Team необходимо: 1️⃣ Пройти ИТ курс по Big Data, Machine Learning или Python на "хорошо" или "отлично" 2️⃣ Подать заявку "хочу в менторы" на study@bigdatateam.org. Для всех остальных - ловите Артема на конференции НРФ, 15-17 ноября и на пивных after party 😉 BigData Team: the way you learn best

❤️ За что я обожаю Казахстан, так это за гостеприимство Подумалось мне, что: 1️⃣ давно не ходил в гости 2️⃣ полтора года живу в Алматы, а еще бывал не во всех ВУЗах Позвонил в начале недели единомышленнику, объяснил суть дела и вуаля - сегодня я познакомился с новыми замечательными людьми и попал на ламповую экскурсию по Университету Нархоз. Прикладываю фото с экскурсии, а также памятное фото: (слева) Бекжан Толыбай, Директор Департамента корпоративного развития, SDU (Университет имени Сулеймана Демиреля) (справа) Расим Сулиев, Директор Школы цифровых технологий, NarXoz (Университет Нархоз) Надеюсь, до скорых новых встреч, гостевых лекций и коллабораций 🤗 P.S. у нас тут в Казахстане бешеные наборы в вузах, спрос на преподавателей в IT и безумно красиво. Кажется, что это хороший повод, чтобы приехать и влюбиться в Алматы 😉 #life #study #work

🤡 В преддверии пятницы У нас недавно завершился крупный проект по обновлению Hadoop кластера, в связи с чем руководитель инфраструктуры BigData Team решил поделиться плохими практиками (см. изображение). Признавайтесь, кто так делал? Как всегда, приветствуются лайки 🔥 и комментарии. #meme

2 ноября - бесплатная онлайн-конференция наших партнеров, DataStart по Data Science, машинному обучению и нейросетям. Скорей регистрируйтесь - https://vk.cc/crRAi2 2 трека, 16 часов докладов, крутой состав талантливых практиков, возможность задавать вопросы и многое другое🔥 Для кого: - Data Scientist, Data Analyst и Data Engineer. - Computer Vision Engineer и NLP Engineer. - Machine Learning Engineer. - Руководителям бизнеса. Подключайтесь к конференции 2 ноября - https://vk.cc/crRAi2