Программирование управления жестами

Мы разработали бесконтактный интерфейс. Который использует жесты рук для эффективного управления медицинскими изображениями в операционной. Мы разработали собственную программу под названием GestureHook. Которая использует методы перехвата сообщений для преобразования жестов в конкретные функции. Для количественной оценки этой программы мы использовали жесты для управления изображениями динамического билиарного КТ-исследования и сравнивали результаты с результатами мыши ( s — s; ) и измеряли скорость распознавания конкретных жестов и успешность выполнения заданий на основе клинических сценариев.

Для клинических применений эта программа была настроена в операционной для просмотра изображений для пластической хирургии. Хирург просматривал изображения из трех различных программ: КТ-изображения из программы PACS. Объемно-визуализированные изображения из программы 3D PACS и фотографии хирургического планирования из основной программы просмотра изображений. Все программы могли легко управляться жестами и движениями. Этот подход позволяет управлять всеми программами операционной без изменения исходного кода и предоставить хирургам новый способ безопасного просмотра изображений и легкого переключения приложений во время хирургических процедур.

1. введение

Просмотр или просмотр медицинских изображений в операционной всегда затруднен. Особенно во время хирургических процедур. Хирурги полагаются на других врачей или медсестер. Чтобы изменить рассматриваемый образ на тот. Который их интересует. Поскольку клавиатуры и мыши не являются подходящими устройствами для использования из-за потенциального риска бактериальной инфекции. Необходимо разработать новый интерфейс управления изображениями для использования в операционной [1]. Несколько исследований пытались решить эту проблему с помощью других устройств. Таких как джойстики для управления операционными компьютерами [

2], а также с помощью методов обработки изображений для преобразования в реальном времени изображений жестов врачей в действия [3]. Кроме того, по мере развития сенсорных технологий датчик Kinect (Microsoft Corporation. Redmond, WA). Распознающий жесты и движения . Стал использоваться для распознавания суставов и кинетических движений с помощью встроенной камеры и датчиков инфракрасного излучения [4, 5].

Врачи нашей больницы постоянно обращались с просьбами найти более эффективные способы использования компьютерных программ. Особенно программ медицинской визуализации. В операционной для проведения операций и радиологических вмешательств.

В нашей больнице использовались различные подходы. Начиная от устройств дистанционного управления и беспроводных мышей и заканчивая помощью других сотрудников. Например, программное обеспечение для управления устройством дистанционного управления позволило связать кнопку на пульте дистанционного управления с существующей клавиатурой или кнопкой мыши. Хотя использование такого рода устройств может быть удобным. Они не подходят для использования в операционной из-за отсутствия асептики.

Также использовалась беспроводная мышь. Но точность сильно зависела от расстояния между мышью и приемником на ПК. Кроме того, помехи сигнала возникали слишком часто. Чтобы позволить использовать его в качестве надежного устройства ввода.

В нашем настоящем исследовании мы разработали жестовый интерфейс на основе сенсорного устройства Leap Motion (Leap Motion Inc.. Сан-Франциско. Калифорния) и интегрировали операции жестов в PetaVision3D (Медицинский центр Asan, Сеул. Республика Корея) [6], собственное программное обеспечение 3D PACS для клинического использования. Используя комбинацию сенсорных устройств обнаружения жестов. Дополнительную ножную педаль и собственное программное обеспечение 3D PACS. Основная цель состояла в том. Чтобы позволить рукам над датчиком запускать операции в программном обеспечении 3D PACS.

Эти операции включали масштабирование изображения, прокрутку. Поворот и панорамирование. А также регулировку ширины окна и уровня окна. Все операции были бесконтактными. Основанными на жестах и распознавались с помощью датчиков движения прыжка. А неизображаемые операции. Такие как выбор активного окна изображения цели или типа операции. Выполнялись нажатием комбинации из трех кнопок на ножной педали.

Однако модификация исходного кода целевого программного обеспечения была серьезным ограничением. Поскольку мы могли изменять только собственные программы. Чтобы улучшить наш предыдущий метод. Мы добавили еще одну опцию. Которая позволяет пользователям управлять всем программным обеспечением без необходимости изменять исходный код. Это было достигнуто путем перепроектирования нашего интерфейса и внедрения программы перехвата сообщений под названием GestureHook. Которая переводит жесты в определенные пользовательские функции.

2. Материалы и методы

Во-первых, мы разработали жестовый интерфейс. Который более эффективен для управления медицинскими изображениями. Чем обычные интерфейсы мыши и клавиатуры.

Чтобы реализовать эту концепцию. Мы добавили модуль распознавания жестов в наше программное обеспечение 3D PACS и протестировали манипуляцию объемными изображениями. Для прослушивания входящих сигналов от устройства Leap Motion был создан новый класс MotionListener (рис. 1). Этот класс отвечал за прием кадров от сенсорного устройства и разбор данных для преобразования их в действия в соответствии с предопределенными жестами. Класс MotionListener является членом класса LayoutManager. Который обрабатывает все окна изображений.

Обычно при загрузке программы в LayoutManager имеется четыре экземпляра ImageWindow. Каждое окно изображения инициализируется как аксиальное. Корональное. Сагиттальное или объемное представление экзамена.


Жесты были определены и классифицированы как масштабирование, поворот. Поворот и масштабирование. Ширина окна. Уровень окна и передаточная функция непрозрачности для изображений VRT (Volume-Rendering Technique) и MPR (Multiplanar Reconstruction). Когда обе руки находятся над сенсорным устройством. Левая рука действует как включающий переключатель для обнаружения жестов. И все жесты и движения правой руки отслеживаются для применения на изображении. Перемещение руки в четырех направлениях сверху вниз и слева направо выполняет операции панорамирования. Поворот руки в любом из четырех направлений интерпретируется как вращательная операция. Отодвигание руки от тела интерпретируется как перемещение тела. -ось объекта. Приводящая к операциям масштабирования. В частности. Одновременное сочетание вращения и масштабирования невозможно выполнить с помощью мыши и клавиатуры. Мы смогли создать матрицы преобразования и трансляции. Используя трехмерные координаты и векторы. И применить их одновременно к объекту объемного рендеринга. Кроме того, для перемещения указателей мыши с помощью движений рук. Чтобы использовать некоторые существующие функции программы. Была реализована дополнительная функция. Имитирующая движения мыши. Были определены другие операции. Такие как перемещение из одного окна изображения в другое и включение свободного перемещения указателя внутри программы. Чтобы пользователи могли использовать все функции. Предоставляемые программным обеспечением. Для этого интерфейса использовались две руки. И все жесты были включены при захвате одной руки в форме кулака.

Операции с ножной педалью также были реализованы таким образом. Чтобы пользователи могли вместо двух рук использовать одну руку и одну ногу. Трехкнопочная ножная педаль использовалась для операций. Происходящих за пределами окон изображения. Эти операции включают в себя изменение типа операций внутри окна изображения. Перемещение окна целевого изображения и запуск переключателя для включения или отключения обнаружения жестов. Учитывая, что пользователи могут найти ножную педаль неудобной в использовании, операции. Выделенные устройству. Были точно так же реализованы в устройстве Leap Motion. Устройство с ножной педалью было необязательным. Поэтому пользователи могли решить. Что они предпочитают использовать.

Кроме того, для управления другим программным обеспечением. Часто используемым в операционной. Помимо нашего собственного 3D PACS. Мы разработали программу под названием GestureHook (рис. 2). Мы запустили эту программу вместе с 3D PACS. Чтобы пользователи могли легко переключаться с 3D PACS на другие программы и наоборот. Идея состояла в том. Чтобы контролировать все программное обеспечение на ПК. Работающем в операционной. Независимо от возможности доступа и изменения исходных кодов целевой программы. Подлежащей контролю (рис. 3Архитектура программы позволяет ей быть посредником между пользователем и целевой программой. Управляемой жестами. Весь процесс начинается с прослушивания данных движения. Передаваемых датчиком. Распознавания данных в виде жестов. Перевода жестов в сообщения и, наконец. Отправки этих сообщений активной программе. Которая автоматически их обнаруживает. Все движения и жесты визуализируются в режиме реального времени в разделе предварительного просмотра программы. Что позволяет начинающим пользователям быстро адаптироваться к жестовому интерфейсу, наблюдая. Как их руки перемещаются по сенсорному устройству. Когда программа GestureHook распознает движения как жесты. Цвет скелета руки в разделе предварительного просмотра меняется с белого на красный (рис. 4). Как только пользователи научатся правильно использовать эту программу. Она может быть свернута или отправлена в фоновый режим.


(а)
(а)
(b)
(b)

После реализации описанных выше методов мы собрали все необходимое аппаратное и программное обеспечение для интегрированного жестового интерфейса и установили их на мобильном рабочем месте (рис. 5). Аппаратные устройства включали в себя датчик скачкообразного движения и Philips ножная педаль (Philips, Амстердам. Нидерланды) для дополнительного использования. Программное обеспечение включало в себя 3D PACS, 2D PACS. Просмотрщик фотографий и приложение GestureHook. Мобильная рабочая станция была оснащена батареями. Которые работают более 6 часов. А все провода и провода были встроены внутрь устройства. Что идеально подходило для операционной. Мобильную рабочую станцию перенесли в операционную. Чтобы хирурги могли пользоваться жестовым интерфейсом во время процедур.

3. Результаты и обсуждение

Оценка жестового интерфейса проводилась с использованием двух подходов. Во-первых, производительность нового метода оценивалась путем сравнения количества времени. Необходимого для выполнения одних и тех же действий между жестовым и мышиным интерфейсами. Кроме того, для того. Чтобы измерить точность новой модели. Мы рассмотрели скорость распознавания основных жестов рук и количество точно выполненных задач в реальном сценарии. Второй подход включал измерение эффективности с точки зрения ее практичности в клинических условиях. Чтобы максимально повысить эффективность нового интерфейса в сложной операционной среде, мы установили устройства вместе с 3D PACS, 2D PACS и приложением GestureHook на мобильную рабочую станцию.

Для оценки производительности, учитывающей количество времени, сэкономленного при использовании бесконтактного интерфейса для управления объемно визуализируемым объектом с определенной степенью точности, 10 пациентов с множественными переломами были отсканированы с помощью протокола КТ головы в радиологическом отделении медицинского центра Asan. Затем мы сравнили два интерфейса—традиционный интерфейс мыши и клавиатуры с бесконтактным интерфейсом на основе движения и жестов — при получении ортогонального вида орбиты глаза с начальной точки зрения (рис. 6Испытания проводились следующим образом. Все данные были загружены на рабочую станцию. Во-первых, ортогональный вид был получен только с помощью мыши рентгенологом. После сброса точки обзора бесконтактный интерфейс использовался для получения той же точки обзора. Все тесты измерялись с помощью секундомера и сравнивались с парным тестом. Среднее значение ± SD времени . Необходимого для работы с мышью и бесконтактным интерфейсом. Составило и, соответственно (табл. 1). Время работы бесконтактного интерфейса было значительно короче. Чем у интерфейса мыши ().


Попытка Мышь (сек) Жест (сек) Разница (сек)

1-й 9.49 6.59 2.90
2-й 12.64 5.69 6.95
3-й 10.38 5.47 4.91
4-е 8.56 5.70 2.86
5-й 8.24 4.96 3.28
6-й 7.68 4.53 3.15
7-е 7.92 4.72 3.20
8-е 6.69 7.16 –0.47
9-е 6.58 4.38 2.20
10-е 7.21 3.67 3.54

Означать 8.54 5.29 3.25
SD 1.77 1.00 1.78
ценность 0.0004

(а)
(а)
(b)
(b)

Чтобы измерить точность нового интерфейса. Мы сначала измерили скорость распознавания некоторых основных жестов рук (таблица 2Эти жесты включали постукивание или щипание пальцев. Захват рук и выполнение щелчков мыши и двойных щелчков. Каждый жест выполнялся 100 раз. И программа GestureHook подсчитывала количество успешно распознанных попыток. Большинство жестов были в основном точными. За исключением жеста щипка левого пальца и жеста двойного щелчка мыши. Эти скорости распознавания могут варьироваться в зависимости от уникальных атрибутов операторов. Таких как форма их рук и пальцев. Различия в жестах или скорость движений. Необходимы усовершенствования. Чтобы превратить эти сигналы жестов в более надежные данные. Для жестов двойного щелчка мыши интервал между двумя фазами щелчков может быть настроен пользователями программы GestureHook. Что может привести к лучшим результатам.


Жесты Предпринятые попытки Успешно распознан %

Постукивание левым пальцем 100 91 91%
Постукивание правым пальцем 100 102 102%
Захват левой рукой 100 98 98%
Захват правой рукой 100 94 94%
Щипок левого пальца 100 77 77%
Щипок правого пальца 100 85 85%
Щелчок мыши 100 90 90%
Двойной щелчок мыши 100 152 152%

Задачи, основанные на реальном сценарии Программное обеспечение Предпринятые попытки Успешно достигнуто

Просмотрите 52 изображения осевой компьютерной томографии. Назад и вперед PACS viewer 10 8
Перемещение курсора для изменения целевого программного обеспечения Все 10
Посмотреть следующий хирургический план фото Просмотрщик фотографий 10
Посмотреть предыдущий хирургический план фото Просмотр фотографий 10

Далее мы рассмотрели эффективность сочетания этих жестов для достижения задач в реальном сценарии. Эти сценарии могут включать практические задачи. Выполняемые в операционной или даже читальных залах. Такие как просмотр изображений осевой компьютерной томографии. Перемещение курсоров и изменение активного программного обеспечения. А также просмотр фотографий других пациентов. Каждый сценарий был выполнен 10 раз. И результаты были в целом успешными во всех четырех сценариях.

После оценки мобильная рабочая станция была перемещена в операционную (рис. 7). Бесконтактная интерфейсная система 3D PACS вместе с GestureHook была использована для точного и безопасного просмотра изображений пациента с двойной челюстью без потенциального загрязнения. Тип изображений в этой установке включал изображения VRT и MPR из 3D PACS. КТ из 2D PACS и шесть фотографий хирургического планирования. Операции выполнялись исключительно хирургом. А время обучения системы составляло менее нескольких минут.

(а)
(а)
(b)
(b)

Время работы с бесконтактным интерфейсом было значительно сокращено. Поскольку пользователи быстро адаптировались к новому интерфейсу. Основная причина сокращения времени работы заключалась в том. Что бесконтактный интерфейс позволял одновременно вращать и масштабировать 3D-объекты. Мы смогли распознать изменение векторов. Полученных от сенсорного устройства. И применить к изображению два разных жеста одновременно. Кроме того, хирург легко мог переключаться на другие приложения для просмотра других изображений.

Использование этого интерфейса в операционной с нашим существующим программным обеспечением было очень успешным. Хотя этот интерфейс не был достаточно точен для управления другим программным обеспечением. Используемым в больнице. Таким как электронные системы медицинской документации или системы связи заказов. Он был пригоден для просмотра изображений без использования мыши и клавиатуры. Однако есть и более веские причины для повышения точности интерфейса. Более точное устройство можно было бы использовать для управления чувствительностью движений рук. Чтобы быстро измерять расстояния в трехмерном объекте или точке в определенной области интереса. Сочетание всех устройств и программного обеспечения в одной мобильной рабочей станции идеально подходило для операционной. Поскольку рабочая станция обеспечивала длительное время автономной работы (более 6 часов) без необходимости внешнего источника питания.

4. Выводы

Мы разработали жестовый интерфейс. Который может быть встроен в существующее программное обеспечение. Которое может быть изменено. Или использоваться с программным обеспечением. Которое не может быть изменено. Во-первых, мы интегрировали интерфейс в наше собственное программное обеспечение 3D PACS. Мы сравнили точность. Эффективность и интуитивность нового интерфейса с обычным интерфейсом мыши и клавиатуры. Поскольку врачи в операционной должны были управлять другим существующим программным обеспечением. Чтобы в полной мере использовать интерфейс жестов. Мы разработали программу подсоединения сообщений. Которая обнаруживает жесты для управления программами. Эта программа предоставила хирургам новый способ безопасного просмотра изображений во время операции. Для реального применения интерфейса мы собрали все компоненты в одну мобильную рабочую станцию и перенесли ее в операционную. После того как врачу были даны основные инструкции по интерфейсу. Бесконтактный интерфейс использовался во время операции для просмотра объемных и мультипланарных изображений в программном обеспечении 3D PACS. А также для просмотра КТ-снимков из 2D PACS и фотографий планирования операции из других программ просмотра изображений.

Наиболее инновационным в этом исследовании был бесконтактный интерфейс. Который мог управлять медицинскими изображениями из нескольких программ без какой-либо модификации исходных кодов. Пользователи также могли настроить отображение жестов и функций в соответствии со своими предпочтениями. GestureHook можно использовать исключительно с сенсорным устройством или вместе с другими устройствами ввода. В любом случае программа обеспечила беспрецедентный пользовательский опыт и повышенную производительность в клинических условиях.

Тем не менее в новую систему следует внести некоторые усовершенствования. Одной из наиболее важных функций. Которые должны быть реализованы. Является добавление других сенсорных устройств и носимых устройств в программу GestureHook. Когда пользователям нужно жестикулировать другими частями тела. Другие устройства могут быть пригодны для обнаружения этих жестов тела. Мы считаем, что программа GestureHook должна в конечном итоге превратиться в интегрированный интерфейс для перевода жестов с различных устройств в сообщения. Мы надеемся. Что дальнейшее совершенствование этого интерфейса. Основанного на жестах. Будет достигнуто благодаря тесному сотрудничеству с разработчиками программного обеспечения. Инженерами и врачами. Которые внесли свой вклад в это исследование.

Конфликт интересов

Авторы заявляют об отсутствии конфликта интересов в связи с публикацией данной статьи.

Подтверждения

Это исследование было поддержано Программой технологических инноваций (10041618 и 10041605). Финансируемой Министерством экономики знаний (MKE) Южной Кореи. Это исследование также было поддержано грантом (2013-7401) Института естественных наук Asan, Сеул. Республика Корея.