Усовершенствование контроля качества данных для построения дэшбордов по разведке и добыче углеводородов

Необходимо найти техническое решение, позволяющее выявлять ошибки в данных, на основе которых строятся дэшборды для менеджмента

Отчеты по разведке и добыче углеводородов для руководства компании формируются с помощью Qlick View в виде дэшбордов. В последнее время пользователи стали находить ошибки и несоответствия в данных. Необходимо автоматизировать выявление этих ошибок

Вам предстоит уточнить и зафиксировать правила расчета показателей эффективности, а также сформировать перечень требований к качеству данных, используемых для расчета этих показателей. Для этого нужно опросить потребителей данных, уточнив, с какими именно данными они работают и как оценивают их качество, проанализировать их ответы и описать выбранные показатели. Кроме того, вам будет необходимо создать проверки в системе верификации данных

1. Перечень 50 показателей для отслеживания качества данных, составленный на основе опроса 5 потребителей данных По каждому показателю представлена информация, на основании которой сотрудники компании будут отслеживать качество данных: • название показателя • определение • SQL-запрос • правила расчета • бизнес-требование к качеству данных. Требований может быть от 1 до 10. Если по какому-то показателю требования к качеству невозможно определить, показатель заменяется новым • правило проверки соблюдения бизнес-требования 2. Описание текущего потока данных, с которыми работает Заказчик: • перечень исходных данных, на основе которых считаются показатели • промежуточные системы/файлы, через которые данные поставляются потребителю • алгоритм расчета или преобразования (если есть)

Задача считается выполненной качественно, если: • Описание каждого показателя соответствует требованиям раздела «Каким должен быть результат работы» • Время исполнения SQL-запроса не превышает 1 минуты • Описание каждого правила проверки бизнес-требований соответствует требованиям раздела «Каким должен быть результат работы»

Итоговый результат работы представляется в виде таблицы MS Excel с названиями столбцов: показатель, определение, SQL-запрос, правила расчета, бизнес-требование к качеству данных, правило проверки соблюдения бизнес-требования Промежуточные результаты представляются в виде презентации в формате MS PowerPoint, которая наглядно показывает итоги недели, узкие места, цели на неделю и демоскрипты (промежуточные SQL-запросы, реализующие неполный функционал)

Да, для этого проекта нужны два исполнителя: аналитик данных и архитектор/инженер данных. За каждую роль предусмотрено денежное вознаграждение в размере 150 тыс. рублей после выплаты налогов

Отклики принимаются до 01.08.2019