Устройство распознавания и идентификации людей по походке

Полезная модель относится к области контрольно-измерительной техники и техники распознавания образов, и предназначена, в частности, для измерения значений признаков с последующим распознаванием и идентификации людей по походке, в том числе в составе системы видеомониторинга и охранного телевидения.

Задачей полезной модели является повышение достоверности распознавания и идентификации движущихся людей по походке с помощью предлагаемого устройства распознавания и идентификации.

Решение задачи достигается тем, что в блок логического предпроцессора (модуль предварительной обработки) устройства распознавания и идентификации людей по походке, содержащий блок моделирования фона, блок сегментации, блок отслеживания траектории движения (трекинга), дополнительно введены блок эллипсного описания фигуры человека и блок формирования и отслеживания траекторий полюсов (фокусов) эллипсов; кроме того, в устройство распознавания, в его блок выделения признаков, содержащий блок вычисления частоты шагов, блок вычисления длины шага, дополнительно введен блок нормировки функций траекторий полюсов; кроме того, в устройство распознавания, в блок классификации, содержащий блок модели обучения, блок классификации объектов по походке, дополнительно введены блок Фурье-преобразования и блок формирования рабочего словаря признаков.

Полезная модель относится к области контрольно-измерительной техники и техники распознавания образов, и предназначена, в частности, для измерения значений признаков с последующим распознаванием и идентификации людей по походке, в том числе в составе системы видеомониторинга и охранного телевидения.

Известно техническое решение «Контрольно-пропускной пункт, основанный на распознавании походки» («Opening management through gait detection», патент США US 20120319814 A1, опубликовано 20.12.2012), предназначенное (далее - система) для измерения и анализа походки человека с целью принятия решения об открывании дверей (или исполнения другого действия) при обнаружении идущего человека по признаку наличия походки, быстрой или медленной. Здесь система содержит:

- главный компьютер, подсоединенный к автоматизированным дверям;

- видеокамеру, соединенную с главным компьютером, для получения видеопоследовательностей движущихся объектов;

- модуль управления дверью, сопоставляющий полученную информацию о походке человека с данными, хранящимися в компьютере.

Недостатком этого решения является использование факта обнаружения походки у движущегося объекта безотносительно привязки к конкретному человеку с последующей его идентификацией (распознаванием), т.е. распознается только наличие или отсутствие походки (быстрой или медленной). Использование этого решения для распознавания и идентификации конкретного человека по выделенным признакам походки невозможно.

Известно другое техническое решение из области «Распознавания походки по видео», «Система анализа походки человека и его идентификации» («Video-based gait recognition», патент США US7330566 B2, опубликовано 12.02.2008 г.), предназначенное для измерения и анализа параметров походки человека с последующей его идентификацией, и содержащее: видеокамеру (аналоговую или цифровую), модуль обработки, канал связи камеры с модулем обработки, содержащим, в свою очередь:

- блок логического анализа цифровых (или оцифрованных) видеоизображений;

- блок хранения данных;

- блок логического предпроцессора (модуль предварительной обработки);

- блок (модуль) выделения признаков;

- блок (модуль) классификации людей по признакам походки.

Блок логического предпроцессора (модуль предварительной обработки), в свою очередь, содержит:

- блок моделирования фона;

- блок сегментации;

- блок трекинга (отслеживания траектории движения объекта).

Блок (модуль) выделения признаков, в свою очередь, содержит:

- блок анализа периода T шагов человека;

- блок анализа расстояния W;

- блок вычисления частоты шагов C;

- блок вычисления длины шага L.

Блок классификации содержит:

- блок модели обучения;

- блок классификации объектов по походке.

Недостатком «Системы анализа походки человека по видео» является ограниченное использование признаков походки, таких как длина шага (одинарная или удвоенная, т.е L или 2L), частота шагов человека на отрезке пути длительностью T и геометрические размеры движущегося человека, поскольку один и тот же человек может двигаться с различной скоростью (от «вразвалочку» до «почти бег») в зависимости от конкретной ситуации, может изменять также и свои габаритные размеры (изменение вида одежды, изменение наклона головы и туловища, например, двигаясь против ветра, метели, дождя и т.д.). Поэтому для обеспечения требуемой достоверности распознавания и идентификации человека по уникальности его походки необходимо сформировать рабочий словарь признаков, часть которых инвариантна к изменению скорости походки и габаритных характеристик человека. При этом суммарная информативность сформированного таким образом словаря признаков должна быть достаточной для обеспечения требуемой достоверности распознавания и идентификации движущихся людей по особенностям их походки вне зависимости от положения движущегося человека относительно видеокамеры, в том числе на предельно допустимом расстоянии.

Последнее из перечисленных выше технических решений наиболее близко к описываемому техническому решению в части использования типовых компонентов и приемов предварительной обработки входной информации.

Технической задачей полезной модели является повышение достоверности распознавания и идентификации движущихся людей по походке с помощью предлагаемого устройства распознавания и идентификации (далее устройство распознавания).

Решение технической задачи достигается тем, что в устройство распознавания и идентификации людей по походке, содержащее видеокамеру, блок хранения данных, блок логического анализа цифровых (оцифрованных) видеоизображений, блок логического предпроцессора (модуль предварительной обработки), блок выделения признаков, блок классификации, в его блок логического предпроцессора (модуль предварительной обработки), содержащий блок моделирования фона, блок сегментации, блок отслеживания траектории движения (трекинга), дополнительно введены блок эллипсного описания фигуры человека и блок формирования и отслеживания траекторий полюсов (фокусов) эллипсов, причем вход блока эллипсного описания фигуры человека соединен с выходом блока моделирования фона, первый выход блока эллипсного описания фигуры человека подключен ко второму входу блока сегментации, второй выход блока эллипсного описания фигуры человека соединен с первым входом блока формирования и отслеживания траекторий полюсов (фокусов) эллипсов, второй вход которого подключен к выходу блока отслеживания траектории движения (трекинга); кроме того, в устройство распознавания, в его блок выделения признаков, содержащий блок вычисления частоты шагов, блок вычисления длины шага, дополнительно введен блок нормировки функций траекторий полюсов, причем первый вход блока нормировки функций траекторий полюсов соединен с выходом блока вычисления частоты шагов, второй вход блока нормировки функций траекторий полюсов подключен к выходу блока вычисления длины шага, третий вход блока нормировки функций траекторий полюсов подключен к выходу блока формирования и отслеживания траекторий полюсов эллипсов; кроме того, в устройство распознавания, в его блок классификации, содержащий блок модели обучения, блок классификации объектов по походке, дополнительно введены блок Фурье-преобразования и блок формирования рабочего словаря признаков, причем вход блока Фурье-преобразования соединен с выходом блока нормировки, выход блока Фурье-преобразования соединен с первым входом блока формирования рабочего словаря признаков, второй вход блока формирования рабочего словаря признаков соединен с выходом блока вычисления частоты шагов, третий вход блока формирования рабочего словаря признаков соединен с выходом блока вычисления длины шага, четвертый вход блока формирования рабочего словаря признаков соединен с выходом блока анализа периода шага человека, выход блока формирования рабочего словаря признаков соответственно соединен со входом блока модели обучения и входом блока классификации объектов по походке.

На фиг.1 приведена структурная схема устройства распознавания и идентификации людей по походке, на фиг.2 изображена структурная эллипсная модель человека, уровни A, B, C и окна dl и dl кадровой фрагментации, на фиг.3 представлена графическая модель траектории полюсов эллипсной модели человека, на фиг.4 приведено графическое представление аналитической модели модуляции основного компонента походки.

В состав предлагаемого устройства входит (фиг.1):

- видеокамера 1 (аналоговая или цифровая);

- блок хранения данных 2;

- блок логического анализа цифровых (оцифрованных) видеоизображений 3;

- блок логического предпроцессора (модуль предварительной обработки) 4;

- блок выделения признаков 5;

- блок классификации 6.

Соответственно в блок 4 входят (фиг.1):

- блок моделирования фона 4.1;

- блок сегментации 4.2;

- блок отслеживания траектории движения (трекинга) 4.3;

- блок эллипсного описания фигуры человека 4.4;

- блок формирования и отслеживания траекторий полюсов (фокусов) эллипсов 4.5.

Соответственно блок выделения признаков 5 содержит (фиг.1):

- блок анализа периода T шага человека 5.1;

- блок анализа расстояния (дистанции) W 5.2;

- блок вычисления частоты шагов C 5.3;

- блок вычисления длины шага L 5.4;

- блок нормировки функций траекторий полюсов 5.5.

Соответственно блок классификации 6 содержит (фиг.1):

- блок Фурье-преобразования 6.1;

- блок формирования рабочего словаря признаков 6.2.2;

- блок модели обучения 6.2.1;

- блок классификации объектов по походке 6.3.

Устройство распознавания и идентификации людей по походке работает следующим образом.

Видеокамера 1 (фиг.1) захватывает и формирует видеоизображение, описывающее движение человека (субъекта), преобразует покадрово это изображение в аналоговый или цифровой видеосигнал s(t), поступающий на входы блока хранения данных 2 и блока логического анализа цифровых (или предварительно оцифрованных, если камера аналоговая) видеоизображений 3. Видеоданные, накапливаемые в блоке хранения данных 2, используются, как правило, в случае необходимости анализа изображений не в реальном масштабе времени, а также для хранения эталонов, используемых при идентификации субъектов в процессе работы устройства распознавания и идентификации.

Блок логического анализа цифровых (оцифрованных) видеоизображений 3 при появлении на его входе видеосигналов s(t) анализирует покадрово изображения на предмет обнаружения движущихся людей (т.е. вначале фиксируется движение, а затем по результату детекции движения определяется, что субъектом движения является человек). Результат работы блока 3 инициирует начало функционирования блока логического предпроцессора (модуля предварительной обработки), осуществляющего предварительную обработку видеоизображений с движущимся человеком. Для этого стандартным способом (например, Л.Л. Лукьяница, А.Г. Шишкин «Цифровая обработка видеоизображкений» - М., «Ай-Эс-Эс Пресс», 2009, 518 с.) реализуется процедура моделирования фона и выделения переднего плана с движущимся человеком, эта часть изображения подвергается затем сегментации. В отличие от прототипа в предлагаемом устройстве распознавания и идентификации людей по походке используется эллипсная модель человека, фиг.3, в которой математически моделируются полюса (фокусы) взаимосвязанных эллипсов модели.

Реализация этого этапа осуществляется выделением в кадре движущегося человека на основе построения и наложения его эллипсной модели с определением:

- опорных точек a и b (полюсов, фокусов) каждого из эллипсов модели (фиг.2а);

- уровней нижнего A, среднего B и верхнего C фрагментации кадров для движущейся модели (фиг.2б);

- площади окна dl, анализируемого в кадре и несущего информацию и длине шага и скорости движения субъекта.

Эти операции выполняются блоком 4.4. эллипсного описания фигуры человека. В результате взаимодействия блоков 4.2 и 4.4 осуществляется процедура сегментации выделенного переднего плана видеоизображения в кадре. Кроме того, блок 4.4 управляет работой блока формирования и отслеживания траекторий полюсов (фокусов) эллипсов 4.5, который, функционируя совместно с блоком отслеживания траектории движения (трекинга) 4.3, использующего также контурную модель человека, реализует процедуру формирования и отслеживания траекторий полюсов эллипсной модели, наложенной на контурное изображение движущегося человека.

С выхода блока трекинга 4.3 цифровые данные о движении контурного изображения человека в «скользящем» трехуровневом окне поступают на выход блока выделения признаков 5 (параллельно на вход блока анализа периода T шага человека 5.1 и блока анализа пройденного расстояния (дистанции) W 5.2), а также - на синхронизирующий (второй) вход блока формирования и отслеживания траекторий полюсов (фокусов) эллипсов 4.5.

На выходе блока 4.5 формируются временные функции движения полюсов.

В общем случае вся информация о движущемся субъекте, содержащаяся в изображении описывается сигналом вида

где S - амплитуда, - частота, - фаза.

Сигнал (1) удобно использовать в комплексной форме, т.е.

подразумевая, что s(x,y)=Re[s(x,y)], т.е.

Видеокамера, преобразуя световую энергию в несветовую, воспринимает и использует только амплитудную составляющую, т.е. часть информации, содержащейся в фазовой составляющей, теряется, а именно в ней содержится сведения, в частности, об объемности изображения, которую можно получить путем использования комплексной модели сигнала. Для этого используются временные функции траекторий полюсов a_i и b_k, контролируемые скользящими окнами dl(t) и dl(t) как в пределах кадра, так и в видеопоследовательностях вплоть до выполнения условий достаточности выборки. Каждое из скользящих окон может быть кодировано, например бинарным кодом (с помощью бинарного шаблона, например, Р. Дуда, П. Харт Распознавание образов и анализ сцен. - М. - «Мир», 1976 г. 511 с.) соответственно, с шагом l и d (или d). Контролируемые траектории полюсов в пределах необходимого интервала наблюдения W=n·T воспроизводят в блоке 4.5 временные функции a_i(t) и b_k(t) пары взаимосвязанных полюсов, содержащие в сумме (для модели) необходимую информацию об особенностях походки контролируемого субъекта (фиг.3).

В блоке 5 выделения признаков соответственно блок 5.1 реализует функцию вычисления периода шага T человека как число n кадров за цикл. В блоке 5.2 вычисляется расстояние по траектории W как

где L - длина шага, n - число кадров в видеопоследовательности.

В блоке 5.3 вычисляется частота шагов в минуту

где F_s - частота кадров.

В блоке 5.4 вычисляется длина шага как

Величины ₀ и L как информативные признаки с выходов соответственно блоков 5.3 и 5.4 поступают в цифровом виде в блок 6, а именно - в блок формирования рабочего словаря признаков 6.2.2.

Поскольку в походке доминирует основная частота ₀, определяющая текущую скорость походки, то относительно ее коррелированные модулирующие функции a _i(t) и b_k(t) могут быть представлены как вещественные (фиг.3), для которых

где , т.е. с каждой точкой (пикселем, полюсом) {f_x , f_y} на плоскости пространственных частот связаны два геометрических параметра: угол ориентации и интервал L (длина шага).

При этом спектры реальных функций F[a_i,(t)] и F[a _i(t)] определяют коэффициенты их разложения, например, в ряд Фурье, составленный из комплексных экспонент вида exp[2j(f_xx+f_yy)].

Тогда, с одной стороны, любое изображение E(x,y) может быть описано совокупностью коэффициентов C, , таких что

где (x,y) - базисные функции, а с другой стороны

где s(t, a) - сигнал с параметром (полюсом) a, m=1,2,

Совокупность элементов разложения является спектром сигнала s(t, a). Эту операцию реализует блок Фурье-преобразования 6.1 в составе блока 6, на вход которого поступают функции траекторий полюсов a _i(t) и b_k(t), предварительно отнормированные относительно частоты ₀ в блоке нормировки функций траекторий полюсов 5.5 в составе блока выделения признаков 5, как показано на графике фиг.4.

С выхода блока Фурье-преобразования 6.1 цифровые значения спектров функций a_i(t) и b_k(t) (т.е. F[a_i(t)] и F[a _i(t)]) поступают на соответствующий вход блока формирования рабочего словаря признаков 6.2.2, где формируется совокупность информативных признаков, обеспечивающая требуемую достоверность описания конкретного субъекта по походке. В принципе используемая многополюсная эллипсная модель является избыточной, но это позволяет устранить неопределенность идентификации при нефронтально-параллельном приеме видеоинформации в текущей видеопоследовательности.

Информация о признаках с выхода блока 6.2.2 поступает в блок классификации объектов по походке 6.3, управляемый блоком модели обучения 6.2.1, где реализуется стандартная процедура распознавания образов с выдачей результата пользователю, а также - в блок хранения данных 2 для архивирования и использования в новых целях работы устройства распознавания и идентификации движущихся людей по походке.

Предлагаемое устройство может быть использовано в системах охранного телевидения, а также в многочисленных системах и комплексах видеомониторинга.

1. Устройство распознавания и идентификации людей по походке, содержащее видеокамеру, блок хранения данных, блок логического анализа цифровых (оцифрованных) видеоизображений, блок логического предпроцессора (модуль предварительной обработки), блок выделения признаков, блок классификации, отличающееся тем, что в блок логического предпроцессора (модуль предварительной обработки), содержащий блок моделирования фона, блок сегментации, блок отслеживания траектории движения (трекинга), дополнительно введены блок эллипсного описания фигуры человека и блок формирования и отслеживания траекторий полюсов (фокусов) эллипсов, причем вход блока эллипсного описания фигуры человека соединен с выходом блока моделирования фона, первый выход блока эллипсного описания фигуры человека подключен ко второму входу блока сегментации, второй выход блока эллипсного описания фигуры человека соединен с первым входом блока формирования и отслеживания траекторий полюсов (фокусов) эллипсов, второй вход которого подключен к выходу блока отслеживания траектории движения (трекинга), в блок выделения признаков дополнительно введен блок нормировки функций траекторий полюсов, причем первый вход блока нормировки функций траекторий полюсов соединен с выходом блока вычисления частоты шагов, второй вход блока нормировки функций траекторий полюсов подключен к выходу блока вычисления длины шага, третий вход блока нормировки функций траекторий полюсов подключен к выходу блока формирования и отслеживания траекторий полюсов эллипсов, в блок классификации дополнительно введены блок Фурье-преобразования и блок формирования рабочего словаря признаков, причем вход блока Фурье-преобразования соединен с выходом блока нормировки, выход блока Фурье-преобразования соединен с первым входом блока формирования рабочего словаря признаков, второй вход блока формирования рабочего словаря признаков соединен с выходом блока вычисления частоты шагов, третий вход блока формирования рабочего словаря признаков соединен с выходом блока вычисления длины шага, четвертый вход блока формирования рабочего словаря признаков соединен с выходом блока анализа периода шага человека, выход блока формирования рабочего словаря признаков соответственно соединен со входом блока модели обучения и входом блока классификации объектов по походке.

2. Устройство распознавания и идентификации людей по походке по п.1, отличающееся тем, что блок выделения признаков включает в себя блок вычисления частоты шагов, блок вычисления длины шага.

3. Устройство распознавания и идентификации по походке по п.1, отличающееся тем, что блок классификации включает в себя блок модели обучения, блок классификации объектов по походке.