Инженер данных

· Опыт работы с SQL и Python от 3 лет.

· Знание Scala и Java.

· Опыт разработки и настройки ETL от 3 лет.

· Знание систем деплоя Apache Airflow и Apache NiFi.

· Опыт работы с МРР-БД(Vertica, ClickHouse, Greenplum и другие).

· Опыт написания пайплайнов CI/CD, сборки Docker-контейнеров.

Будет плюсом:

· Знакомство с Tableau, Qlik или другими BI-инструментами.

· Опыт работы с DWH или участия в проектах по интеграции.

· Опыт работы с промышленными или логистическими компаниями.

1. Уточнить требования к модели данных и потоков у лидера проекта и архитектора данных.

2. Разработать ETL-пайплайн интеграции в Apache Airflow и Apache NiFi. В процессе разработки реализовать поддержку CI/CD-процесса для новых интеграций.

3. Интегрировать 5 источников данных на Vertica с озером данных на основе поставленных архитектором данных задач.

4. Совместно с архитектором данных протестировать интеграции.

5. Передать итоговые результаты работы лидеру проекта.

Проект рассчитан на 6 месяцев (август 2022 г. – январь 2023 г.) и предполагает полную занятость (100%).

Работа в проекте будет вестись удаленно. Вы должны быть доступны в рабочие дни с 10.00 до 19.00 по московскому времени. Перед началом работы над проектом вам потребуется подписать соглашение о конфиденциальности.

Вы будете взаимодействовать с лидером проекта и командой проекта, состоящей из BI-разработчиков, аналитиков и архитектора данных. На протяжении всего проекта предполагается ежедневное оперативное взаимодействие по электронной почте, Microsoft Skype или Zoom, а также посещение ежедневных SCRUM-встреч. В согласованных контрольных точках вы будете передавать лидеру проекта промежуточные результаты работы для оценки и корректировки. Проект завершится передачей лидеру проекта результатов работ.

Проект предусматривает денежное вознаграждение в размере 1 140 000 рублей после всех вычетов для физических лиц (налоговая ставка 13%) или 1 231 724 рублей после всех вычетов для самозанятых/ИП (налоговая ставка 6%).

Полнота информации в профиле — ваше важное преимущество в глазах лидера проекта. Прежде, чем откликнуться на проект, убедитесь, что ваш профиль заполнен: получив отказ, вы не сможете направить отклик на проект повторно.