dataengineer

#DE #dataengineer #vacancy #job #вакансия Мы в поиске Data Engineer в крупный ритейл • Грейд: Senior • Локация: РФ/РБ • Формат работы: Удаленно • Загрузка: Фултайм Требования: • Владение одним из языков программирования (Java, Groovy), знание принципов ООП, умение читать чужой код. • Сборка проекта, компиляция и деплой в Rancher. (Docker). • Опыт проектирования, реализации, развития и поддержки интеграционных решений на стеке технологий BigData. • Знание SQL (индексы, функции, умение читать планы запросов, оптимизация запросов). • Опыт работы с любой реляционной БД (Oracle, Postgres, MySQL, MsSQL, DB2 и т.п.). • Умение работать с Git в консоли. • Знание особенностей работы ETL-инструментов (Apache Nifi, Airflow, интеграционные шины SAP BW, Talend, Informatica, SAS и т.п.). • Опыт работы с Hadoop. • Понимание устройства HDFS, форматов данных. • Опыт работы с Hive или любым другим хранилищем на основе Hadoop. • Опыт использования систем ведения проектов и документации. • Умение работать с архитектурными схемами. • Понимание принципов построения и хранения данных — DWH и DataLake. • Желателен опыт администрирования Unix/Linux или Hadoop (HDFS, Yarn, Ranger, Spark, Zookeeper), Zabbix, Ansible. Обязанности: • Самостоятельная разработка, реализация и поддержка интеграционных решений на стеке технологий, принятых в команде. (Java, Groovy, Apache Nifi, Airflow) • Определение стека технологий для конкретных проектов и задач. • Решает технически сложные задачи, которые не могут решить другие инженеры в команде. • Оперативно реагирует на информацию о проблемах в зоне ответственности, выполняет задачи в установленные сроки. • Разрабатывает и контролирует актуальность документации по взаимодействию конфигурационных единиц платформы больших данных. • Предоставляет отчеты о своей деятельности начальнику отдела/руководителю в порядке, установленном руководством». • Контроль качества интеграционных решений с последующим созданием задач\дефектов для рефакторинга. • Определяет технологическую стратегию развития проекта или продукта, работает на перспективу. • Выстраивает процессы (например, CI/CD, код-ревью), внедряет и развивает инженерные практики. Контакты: @mary_shimoff