Новая работа

Новая работа 👨‍💻 Итак, у меня закончилась испыталка в X5 Я работаю в отдельном от большого X5 хранилище. Технологий пока что не так много, но мы очень активно развиваемся. Если кратко, архитектура у нас сейчас такая: Основной источник - наш бэк на MongoDB . С помощью самописного CDC инструмента пишутся данные в Кафку. Стриминг - читаем из кафки и пишем в обычную Постгрю . Скоро будет Кликхаус . Батчинг - Nifi читаем из Кафки, пишем Greenplum . Модель данных у нас Data Vault . Трансформации на DBT. DBT модельки (и не только) запускаются через Airflow . Также есть Minio . Здесь чуть подробнее описал. Планируем разворачивать модные Айсберги, Трино, duckdb , Spark Streaming/Flink и тп. Я много с чем не работал вообще, или не так глубоко. Был удивлен, что самая сложная "технология" для меня в новой компании - это Data Vault Очень сложно и непривычно организованы таблицы. Проблематичны поиск данных, понимание как джоинить таблицы, построение dds, промежуточных моделек и тп. С остальными технологиями полегче. Что еще непривычно в новой компании - темп работы . Очень много разнообразных задач. Лид очень круто руководит процессом. Задачки сыпятся как конвейер - доделываешь задачи, на подходе сразу много новых. Вроде как и не перерабатываю, но постоянно какой-то напряг . Не получается почилить как в банке. И начал прям заниматься за тайм менеджментом. Выбираю какие задачки в первую очередь делать, что можно делать параллельно. Декомпозирую задачи и связываю разные задачки. Опять же в банке у меня было совсем по-другому) Плюс так вышло, что на меня повесили достаточно сложный проект, за которым следили наши топы. И хорошо, что мне очень помогала коллега. Но мне пока что этот высокий темп - нравится . Я вроде бы не говорил, но я получил несколько офферов. И выбирал между газпромбанком и х5. В гпб был жирнее оффер. Но мне уже надоела эта банковская бюрократия. Хотелось больше суеты 😁 Выбрал х5 и не жалею. Еще хочу отметить - коллектив. Моя команда - дата инженеры и администраторы баз данных. Оочень топовые ребята. Я, наверное, самый слабый среди них. Много учусь и набираюсь опыта у коллег. * как раз недавно прочитал репост у Lost in Data с канала This is Data . Понравилась классная цитата быть самым слабым в команде – не стыдно. Стыдно – застрять там, где ты не развиваешься. Общение у нас строго деловое и чаще всего только по задачам. Никаких чатиков с мемами и котиками нет. Я не говорю, что это круто, просто факт. Мне наверное даже не хватает таких чатиков ) Лид погружен в техническую часть, но сам мало что руками делает. Постоянно на созвонах, грамотно раздает все задачи, говорит что как лучше делать и нам, дата инженерам и заказчикам. Основные заказчики для нас - всякие разные аналитики . И тоже хочу отметить работу с ними. Я плотно общался где - то с 4 аналитиками. И все были очень вайбовые . Я могу написать аналитику много кода, технических штук - он мне говорит, добавь плз больше русских слов) И наоборот аналитики мне объясняют всякие бизнесовые приколы, метрики и для чего им нужны новые данные/доработки. Что еще из плюсов назвать. Работаю просто через впн , со своего пк, без всяких виртуалок. Выдали MacBook Pro 16 M2 , вроде можно потом выцепить м4. Можно договориться на удобное время работы. Коллеги живут в разных городах РФ. Один админ работает из Тайланда . Надо что-нибудь назвать из минусов, а то выглядит как рекламная интеграция 😅 Погружение - не прям провели меня за ручку и все подробно описывали. Документация не супер подробная, но у меня до сих руки не дошли до вики и я ее нормально не изучил. Видосики, курсики внутри х5 - такое себе. По самой работе, пока что все равно пишу в основном sql код. Хочется побольше питончика и инфраструктурных задач. А так вроде бы все сказал. Кажется, что в этой компании я надолго. ➖ ➖ ➖ ➖ ➖ ➖ ➖ ➖ ➖ ➖ ➖ ➖ Когда все это писал понял, что сравнение прошлых компаний - телекома, банков и ритейла сюда не влезет. Так что будет еще отдельный пост. Как вам обзорчик? Пишите свои мысли, где вы работает