Инженер данных

1. Подключить новые источники данных (1С, PostgreSQL, MSSQL, Excel) к корпоративной платформе.

2. Разработать и оптимизировать витрины данных в ClickHouse.

3. Настроить процессы оркестрации данных с использованием Apache Airflow.

4. Провести проверки и оптимизировать контроль качества загружаемых данных.

5. Разработать кастомные интеграции и оптимизировать сложные SQL-запросы.

6. Подготовить техническую документацию по разработанным решениям в соответствии с процессами Data Governance.

Все работы по настройке, разработке и оптимизации проводятся исключительно в изолированном / непродуктивном контуре на синтетических (обезличенных) данных.

Вы получите вознаграждение, о размере которого вы договоритесь с лидером проекта. В сумму будет включён налог, который необходимо оплатить в соответствии с вашим налоговым режимом. Ставка для физических лиц составляет 13%, СМЗ/ИП - 6%

Проект рассчитан на 6 мес., предполагает загрузку 50%.

Вы будете взаимодействовать с лидером и командой проекта. Формат работы — удалённый.

1. Уверенное владение Python и SQL, опыт написания и оптимизации сложных аналитических запросов (оконные функции, планы запросов).

2. Практический опыт работы с ClickHouse (структуры таблиц, витрины данных), PostgreSQL, MSSQL и S3-хранилищами.

3. Опыт разработки пайплайнов в Apache Airflow, понимание принципов пакетной обработки (batch) и проектирования DWH/Data Lake.

4. Опыт работы с различными форматами данных, например CSV, JSON, XML, Parquet, и разработки кастомных интеграций/экстракторов.

5. Будет преимуществом: опыт интеграции с 1С, знание OpenMetadata или Cube.dev.

Полнота информации в профиле — ваше важное преимущество в глазах лидера проекта. Прежде чем откликнуться на проект, убедитесь, что ваш профиль заполнен: получив отказ, вы не сможете направить отклик на проект повторно.