Возможности использования повседневных мобильных видеокамер в условиях Интернета вещей. Часть 2

В рамках концептуальной модели можно предложить следующий сценарий для создания системы. Видеозаписи отправляются и собираются на выделенном видеосервере. Семантический Информационный Брокер (SIB) связывает информационные фрагменты (например, сохранение ссылок на соответствующие видеозаписи, их описание и интерпретации). В итоге создается и поддерживается семантическая сеть для представления знаний, полученных из видеоданных. Семантический информационный брокер запрашивается на стороне пользователя (клиента) для получения услуг. В результате камеры связываются с анализаторами данных (серверами) и пользователями со своими устройствами (ПК, планшеты, смартфоны). Эта концептуальная модель делает камеру «интеллектуальной». В системе поддерживаются автономные и онлайн-режимы. Кроме того, предоставляемые услуги также становятся «интеллектуальными». В то же время в системе могут работать повседневные камеры, не профессиональные.

Данная концептуальная модель требует необходимых знаний между ее основными компонентами. Клиент: сервер для подключения, история предыдущих адресов, соединений и управлений камерой. Камера: доступность в сети для возможности подключения любого авторизованного клиента, подключение с параметрами (протокол подключения, разрешение изображения, кол-во кадров в секунду). Видеосервер: список клиентов, камер, истории соединений клиентов с камерами, аутентификация клиентов для подключения к камере, хранение IP-адресов, логинов и паролей камер.

Потоки видеоданных будут являться данными, насыщенными семантикой. В рамках отдельных потоков отслеживается движение одного или более объектов. Например, имеется возможность построения траектории наблюдаемого движения или распознавание лиц присутствующих людей.

Большинство цифровых сервисов (комплексов услуг, обслуживающих какую-либо сферу повседневной жизни) может использоваться на известных методах видеообработки для обнаружения и анализа движения [4]. Спектр возможных областей приложения весьма широк, например, медицинские сервисы для мониторинга пациентов и помощь на дому, обнаружение и анализ активности пользователей в совместных рабочих средах и мониторинг производства оборудования рядом с персоналом. В качестве базовой видеозаписи ресурс, мы используем смартфон (наш референтный пример – модель Xiaomi Mi5). Обработанный сетевой поток видео с такого смартфона позволяет распознавать записанные объекты. Пример показывает, как ресурсы видеозахвата периферийной IoT-среды могут эффективно использоваться в интеллектуальном пространстве для построения сервисов видеообработки.

Многим приложениям с поддержкой IoT-технологий требуется обнаружение движения для создания сервисов: медицинские условия для мониторинга и помощи пациенту на дому [5], обнаружение и анализ активности пользователей в цифровом окружении совместной деятельности, мониторинг оборудования и действий сотрудников на производстве. Для этой задачи распознавания существует множество методов для анализа видеоизображений. Такие методы успешно применяются для отслеживания объектов. Тем не менее, такие существующие методы ориентированы на конкретные цифровые среды с профессиональным оборудованием для захвата видео. Поскольку IoT-технологии активно входят в повседневную жизнь, требуются новые решения, ориентированные на повседневные устройства и персональные мобильные вычисления на основе смартфонов. Отслеживание движения и распознавание движущихся объектов на основе смартфона возможно, как показано на рис 1. Предлагаемая концептуальная модель использует онтологическое представление семантики для взаимодействия и управления.

Применение методов интеллектуальных пространств и IoT-технологий играет особую роль при видеообработке данных на основе возникающей в IoT-среде семантики и контекста. Периферийная IoT-среда предоставляет богатые возможности, обеспечиваемые ресурсами многочисленных повседневных мобильных видеокамер и другой аппаратуры, несмотря на отсутствие широкого набора функций и ограниченной вычислительной мощностью.

Список литературы

1. K. Framling, I. Oliver, J. Honkola, and J. Nyman, “Smart spaces for ubiquitously smart buildings,” in Proc. 3rd Int’1 Conf. Mobile Ubiquitous Computing, Systems, Services and Technologies (UBICOMM 2009). IEEE Computer Society, 2009, pp. 295–300.
2. “List of camera types,” Wikipedia.org, 2017. [Online]. Available: https://en.wikipedia.org/wiki/List_of_ camera_types.
3. “Smart-M3: Free development software downloads at SourceForge.net,” sourceforge.net, 2011. [Online]. Available: http://sourceforge.net/projects/smart-m3/.
4. N. Bazhenov, D. Korzun, “Concurrent Access to Video Cameras in Edge-Centric Internet of Things,” in Proc. 22nd Conf. Open Innovations Framework Program FRUCT, 2018.
5. A. Meigal, K. Prokhorov, N. Bazhenov, L. Gerasimova-Meigal, D. Korzun. “Towards a personal at-home lab for motion video tracking in patients with Parkinson’s disease,” in Proc. 21st Conf. of Open Innovations Association FRUCT. IEEE, 2017. Pp. 231-237.

Н. А. Баженов