Проект завершен

Тестирование чувствительности системы верификации при контроле знаний

Направления деятельности

  • Нефть и газ
  • Компьютерное зрение
  • Промышленная безопасность
  • ИТ

Приём откликов

до 27 августа 2019

Сроки работы

26 дней

В чем суть проекта?

Необходимо спроектировать и провести серию экспериментов с целью обмануть систему верификации личности и подтверждения результатов прохождения онлайн-экзаменов (прокторинг)

Расскажите о задаче подробнее

В Группе компаний «Газпром нефть» контроль знаний проводится, в том числе, в формате онлайн тестов. Чтобы быть уверенными в том, что результаты, полученные в отчете по обучению, соответствуют реальной картине знаний сотрудников, необходимо отслеживать возможные манипуляции: списывание из интернета, подсказки коллег или прохождение теста другим человеком. Для верификации личности тестируемого сотрудника используется система прокторинга. Доверие к результатам достигается через видео распознавание лица на протяжении сеанса и «умный» анализ поведения во время тестирования. Система рассчитывает достоверность результатов теста на основе анализа по 12 критериям: 1. Увод взгляда, смещение фокуса внимания 2. Отсутствие тестируемого перед камерой 3. Подмена тестируемого (нераспознанное лицо; лицо, похожее на профиль другого тестируемого) 4. Наличие еще одного человека в кадре 5. Использование книг/конспектов 6. Использование запрещенных технических средств 7. Смена активного окна на компьютере 8. Использование запрещенных сайтов/ПО 9. Отключение вебкамеры 10. Отключение микрофона или понижение громкости 11. Разговор или шум на заднем плане 12. Нет соединения с сетью

Что предстоит сделать?

Вам предстоит проверить надежность системы верификации. Все проверки осуществляются для двух версий ПО – для компьютера/ноутбука с вебкамерой и для мобильного устройства. 1. Протестировать и измерить чувствительность каждого критерия Для этого необходимо a. предложить по каждому критерию шкалу нарастания выраженности критерия, например, нарастание длительности увода глаз или нарастание степени непохожести человека (тот же человек в другой одежде; тот же человек с доп. элементами на лице – очки, борода; другой человек, похожий основными чертами лица на первого и т.д.). b. провести серию экспериментов, чтобы определить «мощность» или границу чувствительности по каждому критерию (не менее 4 ретестов на каждую градацию шкалы, не менее 7 градаций по каждой шкале) c. отстроить градации шкалы, чтобы она стала сбалансированной – включала как градации, которые система распознает как 100% недостоверные, 100% достоверные и градации, при которых система выдает нестабильный результат 2. Обмануть систему a. подобрать комбинации критериев, которые бы позволяли списать, но система бы не распознавала ситуацию, как «жульничество» b. проверить их ретестовую надежность (3 ретеста) Использование технических сбоев и сбоев в работе оборудования (отключение веб-камеры, непредоставление доступа к веб-камере, отключение мобильного устройства и т.д.) не считаются успешной попыткой обмана системы. Результаты будут использоваться для формирования ТЗ разработчикам по доработке системы и для понимания ограничений системы верификации

Каким должен быть результат работы?

По результатам представлен отчет и Excel с, который включает: 1. Описание используемых шкал по каждому из 12 критериев 2. Результаты серии экспериментов по каждому из 12 критериев, серия экспериментов проведена как на десктопной версии, так и с мобильного устройства. 3. Результирующая выстроенная шкала должна содержать градации, которые 100% распознаются системой, как попытка списывания, т.е. недостоверные; варианты, которые 100% распознаются системой, как «честное прохождение», т.е. достоверные, и вариант/варианты, которые распознаются с вероятностью 50% (3 раза из 6). Этот вариант принимается за «границу чувствительности» 4. Детальное описание по 12 критериям и всех дополнительных условий по успешным и неуспешным попыткам обмана системы, чтобы эксперимент был повторяем

В каком формате нужно представить результат?

Отчет с описанием экспериментов и выводами в формате MS PowerPoint Excel с описанием серии экспериментов и ретестов: по каждому эксперименту описаны значения по 12 критериям и доп. условия проведения эксперимента, способные повлиять на результат, и указан результат эксперимента

По каким критериям будут оценивать результат?

1) Все эксперименты описаны в степени, достаточно для их повторения с теми же результатами 2) Результаты повторимы (ретестовая надежность) 3) Составлены и проверены шкалы по всем 12 критериям 4) По каждому критерию шкала сбалансирована, т.е. включает градации, которые 100% распознаются системой, как попытка списывания, т.е. недостоверные; варианты, которые 100% распознаются системой, как «честное прохождение», т.е. достоверные и вариант/варианты, которые распознаются с вероятностью 50% 5) Найдено и описано не менее 3 успешных попыток обмана системы. В противном случае (менее 3 успешных попыток) проведено и описано (условия эксперимента) не менее 12 различных вариантов обмана системы

Прием откликов до

27 августа 2019 года