ritk022019

ОГЛАВЛЕНИЕ ВЫПУСКА ЖУРНАЛА

РОБОТОТЕХНИКА И ТЕХНИЧЕСКАЯ КИБЕРНЕТИКА Центральный научно-исследовательский и опытно-конструкторский институт робототехники и технической кибернетики (Санкт-Петербург)

Том: 7

Номер: 2

Год: 2019

Название статьи

Страницы

ОБЩИЕ ВОПРОСЫ ЭРГОНОМИЧЕСКИЕ ПРОБЛЕМЫ КОЛЛАБОРАТИВНОЙ РОБОТОТЕХНИКИ Ющенко А.С.

85-93

ОПЫТ ПРИМЕНЕНИЯ ИМИТАЦИОННОГО МОДЕЛИРОВАНИЯ БОЕВЫХ ДЕЙСТВИЙ НА БАЗЕ ТЕХНОЛОГИЙ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ ДЛЯ ОЦЕНКИ НАЗЕМНЫХ РОБОТОТЕХНИЧЕСКИХ КОМПЛЕКСОВ ВОЕННОГО НАЗНАЧЕНИЯ Благодарящев И.В., Антохин Е.А., Федулин А.М., Паничев В.А.

94-99

ИНФОРМАЦИОННОЕ ОБЕСПЕЧЕНИЕ МЕТОДИКА ГЕНЕРАЦИИ ИСКУССТВЕННЫХ НАБОРОВ ДАННЫХ И АРХИТЕКТУРА СИСТЕМЫ РАСПОЗНАВАНИЯ ЛИЦ ДЛЯ ВЗАИМОДЕЙСТВИЯ С РОБОТАМИ ВНУТРИ КИБЕРФИЗИЧЕСКОГО ПРОСТРАНСТВА Малов Д.А., Летенков М.А.

100-108

РЕДУКЦИЯ СЛОЖНОСТИ В ИНТЕРФЕЙСАХ РОБОТОТЕХНИЧЕСКИХ И ЭРГАТИЧЕСКИХ СИСТЕМ Сергеев А.В., Сергеев С.Ф.

109-118

ВИРТУАЛЬНОЕ МОДЕЛИРОВАНИЕ ИНТЕРАКТИВНОГО ВЗАИМОДЕЙСТВИЯ ЧЕЛОВЕКА С МОБИЛЬНЫМИ РОБОТАМИ В ПРОЕКТАХ ОСВОЕНИЯ ЛУНЫ Михайлюк М.В., Крючков Б.И., Усов В.М.

119-124

КВАДРАТУРНЫЕ ДИСКРЕТНЫЕ МОДЕЛИ ПРОТЯЖЕННЫХ ЗВЕНЬЕВ МАНИПУЛЯТОРОВ. ЧАСТЬ II. ТЕСТИРОВАНИЕ И ПРИМЕНЕНИЕ Леонтьев В.А.

125-135

УПРАВЛЕНИЕ УПРАВЛЕНИЕ МНОГОМОДУЛЬНЫМ ПОДВОДНЫМ МОБИЛЬНЫМ РОБОТОМ Васильев И.А.

136-138

ЖЕСТОВОЕ УПРАВЛЕНИЕ КОЛЛАБОРАТИВНЫМ РОБОТОМ Кагиров И.А., Толстой И.М., Савельев А.И., Карпов А.А.

139-144

РАЗРАБОТКИ КОМБИНИРОВАННАЯ АВТОМАТИЗИРОВАННАЯ СИСТЕМА СЕГМЕНТАЦИИ И ОБНАРУЖЕНИЯ НОВООБРАЗОВАНИЙ ДЛЯ ДИАГНОСТИКИ РАКА ЛЕГКОГО Мелдо А.А., Уткин Л.В., Рябинин М.А.

145-153

РОБОТОТЕХНИКА и ТЕХНИЧЕСКАЯ КИБЕРНЕТИКА / ROBOTICS and TECHNICAL CYBERNETICS

2019; 7(2)

Общие вопросы УДК: 331.101.1:004.896 DOI: 10.31776/RTCJ.7201 C. 85-93

Эргономические проблемы коллаборативной робототехники А.С. Ющенко

М ос ко вс кий Госу да рстве нный Т ехни чес кий у ни ве рси тет им. Н.Э . Ба ума на (МГТУ и м. Н.Э . Бау ма на ), Москва , Росси йс ка я Фе де ра ци я, rob o t@b ms tu .ru ( М а т е р и а л п ос т у п и л в р ед ак ц и ю 08 а п ре л я 2 01 9 г од а )

Аннотация По мере развития техники информационных систем и методов искусственного интеллекта робототехника завоевывает все новые области человеческой деятельности. При этом существенно изменяется сам характер этой деятельности – от управления техникой человек переходит к совместной деятельности с робототехническими системами, обладающими элементами искусственного интеллекта и способными к автономному поведению. Такой тип робототехнических систем сегодня получил название коллаборативных. Новые способы применения робототехники ставят новые проблемы взаимодействия человека с роботами, которые относятся не только к технике, но также имеют психологический и психофизиологический характер, поскольку человекоператор становится частью системы «человек-робот». Решение этих задач, возможно, потребует развития новых методов исследования таких систем в области когнитивной эргономики. Проведенный в работе аналитический обзор позволяет сформулировать некоторые из этих проблем.

Ключевые слова Коллаборативная робототехника, человек-оператор, искусственный интеллект, речевой диалог, когнитивная эргономика, многомодальный интерфейс, восприятие информации, многоагентная система.

Благодарности Работа выполнена при финансовой поддержке РФФИ, проект №18-07-01313.

Ergonomic problems of collaborative robotics Arkadij S. Yuschenko

Bauman Mosc ow State Technica l University (BMSTU), Moscow , Russia, robo t@bmstu.ru ( R e c e i v e d 0 8 A pr i l 2 01 9)

Abstract Together with development of information technology and artificial intelligence robotics intended to enlighten the more and more area of human’s life and work. It results in change of the method of communication between human and «intelligence» robot capable of autonomous behavior – form control to collaboration. The new branch of robotics has been formed nowadays as a collaborative robotics. The new way of application of robotics create the new problems of communication of human and «intelligence» robot which are not only technical but also of psychological and physiological kind because human-operator now becomes a part of the human-robot system. It is possible that the new problems will demand the development of new methods in the field of cognitive ergonomics. The analytic survey below discovers some of the problems.

Key words Collaborative robotics, human-operator, artificial intelligence, speech dialogue, cognitive ergonomics, multimodal interface, information perception, multi-agent system.

Acknowledgments This work is financially supported by the Russian Foundation for Basic Research, project No.18-07-01313.

85

Общие вопросы / General Issues

Введение

оператора в качестве звена технической системы управления, то в дальнейшем интерес к проблеме взаимодействия человека и машины проявили психологи Б.Ф. Ломов, В.П. Зинченко, П.К. Анохин, Р. Солсо и другие. Здесь первичным для исследователя был сам человек. При этом «машина» рассматривалась как средство профессиональной деятельности человека и должна была удовлетворять возможностям человека-оператора по восприятию информации, принятию решений, управлению. Она, в определенном смысле, была пассивным исполнителем, а само взаимодействие хорошо соответствовало термину «master-slave», т.е. «хозяин-раб». «Антропоцентрический» подход, однако, не был хорошо формализован и, возможно, поэтому не нашел широкого применения в инженерной практике. Однако коллаборативная робототехника радикально изменила ситуацию. Теперь робот получает некоторую свободу, автономность своих действий, хотя и ограниченную условиями задачи. Теперь взаимодействие человека и робота приобретает черты партнерства, сотрудничества, «коллаборации». Приобретают реальный смысл принципы робототехники, сформулированные А. Азимовым, первый из которых – «робот не может принести вреда человеку, даже если это представляет опасность для самого робота», становится техническим требованием при создании коробота, действующего в том же рабочем пространстве, что и человек. Таким образом, возникают некоторые базовые законы этики человеко-машинного социума. Получают практическое распространение новые способы управления, такие как диалоговое управление, основанное на обмене сообщениями между человеком и роботом на проблемноориентированном, но, тем не менее, приближенном к разговорному, языке. Применение нейронных сетей позволяет успешно решать проблемы обучения роботов распознаванию ситуации и адаптивного их «поведения» в изменяющейся ситуации. Роботы общаются между собой, выходят в Интернет вещей, используют облачные технологии для пополнения своих знаний. Они образуют коалиции при решении сложных задач. Наконец, они получают возможность анализировать деятельность самого человека, его эмоциональное состояние и способность к управлению в качестве оператора. Все это говорит о том, что наступило время перемен, когда созданная до настоящего времени научная база робототехники требует существенного обновления. Смысл этого обновления заключается в интеграции собственно теоретической, инженерной робототехники с психологическими науками, исследовавшими деятельность человека при управлении сложными техническими системами. По существу, работа человека с коллаборативной робототехнической системой – это

Современная робототехника все глубже проникает не только в промышленное производство, но и в самые разнообразные виды человеческой деятельности, включая сельское хозяйство, медицину, личную жизнь. В связи с этим и возник термин «коллаборативная робототехника». В соответствии с международным стандартом ISO 8373:2012-03 «Robots and robotic devices» (2012) к коллаборативным технологическим (роботизированным) операциям относят такие операции, которые человек выполняет совместно с роботом в одном и том же рабочем пространстве. Робототехнические системы, допускающие такое взаимодействие с человеком, стали называть коллаборативными. Принят также сокращенный термин «ко-робот» (КР). Отметим условность этого термина, поскольку техническая роботизированная система остается инструментом опосредованной деятельности человека, хотя она и приобретает некоторую самостоятельность. За последние несколько лет термин «коллаборативный робот» приобрел значительно более широкий смысл. К таким роботам стали относить не только промышленные роботыманипуляторы, но и мобильные роботы, работающие в том же пространстве, в котором может находиться человек. Кроме того, было расширено и понятие «коллаборации» - способа взаимодействия человека и робота, которое распространилось не только на выполнение технологических операций, но также и на совместное решение задач интеллектуального уровня, включая навигацию, мониторинг местности, распознавание образов, принятие решений. По существу, коллаборативная робототехника (КР) сегодня это новый этап развития техногенной среды обитания человека, характерный для 4-й промышленной революции, т.е. для этапа, обычно определяемого как Индустрия 4.0. Быстро расширяющаяся область применения КР ставит и новые научные задачи, без решения которых возникнут и проблемы применения. Большая часть этих задач лежит на грани между естественными науками, которые до сего времени и применялись для описания и проектирования робототехнических систем, и науками о человеке, включая психологию и психофизиологию. Различные методы, применявшиеся в этих науках, вызывают нередко трудности взаимопонимания между специалистами. Возникла проблема создания новой научной базы для анализа и для разработки нового класса технических систем. Отметим, что проблемы человеко-машинного взаимодействия изменялись одновременно с развитием самих технических систем, и сложности решаемых ими задач. Если на первом этапе преобладала технократическая тенденция как описание человека86

РОБОТОТЕХНИКА и ТЕХНИЧЕСКАЯ КИБЕРНЕТИКА / ROBOTICS and TECHNICAL CYBERNETICS

уже не вполне управление в традиционном смысле, когда можно определить управляющий субъект и объект управления. Скорее, это сложная предметная деятельность человека во внешнем мире, опосредованная робототехнической системой, обладающей определенной степенью автономности. Человек, управляющий роботом, независимо от способа управления, образует вместе с ним эргатическую робототехническую систему (ЭРТС), т.е. систему «человек-машина», обладающую собственными свойствами, отличными от свойств как автономного робота, так и человека. При этом оператор и техническая система могут находиться в различных местах, и управление может осуществляться дистанционно, используя современные средства связи. При проектировании такого объекта надо иметь в виду особые требования, которые предъявляются как к технической, так и к «биологической» части ЭРТС, т.е. к человеку-пользователю КР.

2019; 7(2)

ния безопасности оператора, включая автоматическое введение ограничений положения, скоростей и усилий, развиваемых манипулятором в зависимости от положения рук человека в рабочем пространстве робота [2]. В ряде случаев для этого используются емкостные датчики, позволяющие останавливать систему при критической близости к рукам оператора. Заметим, что манипуляционные роботы, снабженные средствами защиты оператора, можно программировать путем непосредственного показа движений, что существенно упрощает задачу пользователя (рис. 3).

Возможности применения и специальные требования к ЭРТС В настоящее время коллаборативные робототехнические системы успешно применяются в промышленности, особенно в сфере мелкосерийного производства, ремонта, в сельском хозяйстве, в первую очередь, в области точного земледелия. Они получают широкое применение в медицине, включая робототехнические системы для проведения операций под контролем хирурга-оператора, а также для реабилитации инвалидов. Такие системы особенно актуальны для предупреждения чрезвычайных ситуаций и ликвидации их последствий. Сегодня коллаборативная робототехника стала актуальной проблемой международного научно-технического сотрудничества. В связи с этим, начиная с 2016 года в рамках международной конференции «Speech-Computer» проводятся международные конференции «Интерактивная коллаборативная робототехника» (ICR – Interactive Сollaborative Robotics), в которых принимают активное участие российские специалисты [1]. Накопленные за эти годы материалы позволяют конкретизировать области применения, основные классы КР и основные требования к ним. Предварительный анализ показывает, что существующие КР различаются по уровню и характеру «взаимодействия» человека-пользователя и роботаассистента. В наиболее распространенном сегодня роботовслучае применения промышленных ассистентов на сборочном конвейере (рис. 1) основная задача КР, помимо выполнения последовательности технологических операций – обеспечение безопасности оператора, руки которого находятся в рабочей зоне манипулятора (рис. 2). Дополнительных требований к человеку практически не предъявляется. Рассматриваются различные способы обеспече-

Рисунок 1 — Коллаборативные роботы на конвейере Figure 1 — Collaborative robots at conveyor

Рисунок 2 — Совместное выполнение операции сборки Figure 2 — Joint fulfillment of assembly operation

Рисунок 3 — Обучение робота путем показа движений Figure 3 — Teaching robot through showing movements

87

Общие вопросы / General Issues

Более высокий уровень «взаимодействия» демонстрирует коллаборативная медицинская робототехническая система «Да Винчи», включающая дистанционный пост хирурга-оператора и рабочую станцию, в состав которой входит несколько манипуляторов, имеющих различные функции, необходимые при выполнении операции (рис. 4). Особенность этой системы в том, что хирург работает за пультом монитора, используя специальные устройства управления (джойстики). В этом случае ЭРТС по возможности помогает хирургу, предоставляя ему необходимую информацию о состоянии пациента и автоматизируя некоторые фрагменты операции. Система визуализации позволяет достаточно подробно наблюдать за ходом операции, изменять ракурс и масштаб наблюдения. Однако, характер управляющих движений хирурга здесь иной, чем при непосредственном выполнении операции. Возникает вопрос, насколько полученный в предыдущей работе опыт может быть использован хирургом при выполнении такой операции. По сути дела, речь идет о выработке совершенно новых стереотипов движений, навыков управления КР, отличных от навыков выполнения тех же операций традиционными средствами. К тому же, хирург оператор получает информацию о состоянии операционного поля опосредовано, с помощью телевизионной системы, что предъявляет определенные требования к пространственному мышлению оператора. Не может ли оказаться, что роботизация выполняемых операций в этом случае не упрощает, а усложняет для пользователя их выполнение, несмотря на повышение безопасности для пациента, инструментальную и информационную поддержку действий оператора. Можно предположить, что здесь открывается новое поле проблем, которые возникают только в связи с практическим применением КР и характеризуют новые виды деятельности человека с коллаборативными роботами– ассистентами.

пользователя, другие люди и технические объекты, в том числе, подвижные. К этому классу относятся КР, используемые в экстремальных ситуациях, в том числе КР-ассистенты пожарных (рис. 5), роботы, мобильные роботы-охранники, роботы-поводыри для людей с дефектами зрения.

Рисунок 5 — Робот-ассистент пожарного Figure 5 — Firefighter’s robot-assistant

Отметим, что задача управления такими КР радикально отличается от дистанционного управления мобильным роботом. Относительная автономность КР, позволяет человеку ограничиться общими командами и указаниями, вместо того, чтобы дистанционно управлять движением робота. В случае применения мобильных роботов-партнеров эта автономность предполагает наличие систем автономной навигации, способов избежать столкновения с препятствиями, как неподвижными, так и движущимися, а также средств взаимодействия с оператором, в том числе, путем речевого диалога [3]. Таким образом, для этого класса КР усложняется система управления, которая должна решать часть задач, которые при дистанционном управлении решались оператором. Так, проблемы безопасного для окружающих объектов движения КР могут быть решены за счет наблюдения за ближайшими движущимися объектами и предсказания их последующего положения, что позволяет принять решение о выборе траектории объезда, или остановки [4]. Аналогично, в случае манипуляционных операций необходимо предсказать движение рук человека, чтобы избежать столкновения и изменить траекторию движения манипулятора. При управлении мобильными роботами, кроме того, возникает необходимость речевого диалога между человеком и КР, который определяет цели и контролирует действия робота-партнера. Особенно в том случае, когда возможности человека по контролю за ситуацией ограничены. Например, когда КР является роботом-поводырем для человека с ограниченными возможностями по зрению. В последнем случае весьма актуальна проблема потери робота и его самостоятельного возвращения к «хозяину», которая также может быть решена технической систе-

Рисунок 4 — Хирургическая система «Да Винчи» Figure 4 — Da Vinci Surgical System

Другой класс КР – это мобильные роботыпартнеры, функционирующие под контролем человека в рабочей зоне, в которой находятся, помимо 88

РОБОТОТЕХНИКА и ТЕХНИЧЕСКАЯ КИБЕРНЕТИКА / ROBOTICS and TECHNICAL CYBERNETICS

мой, обладающей элементами искусственного интеллекта [5]. Однако новые требования предъявляются и к человеку, в том числе, к его пространственному мышлению, способности представить ситуацию по частичному наблюдению (или даже при его отсутствии) и голосовым (или текстовым) сообщениям со стороны КР. Определение этих требований, как и методов их проверки и, возможно, методов развития соответствующих навыков, требуют участия психологов и эргономистов. Мнение о том, что управление КР должно быть доступно любому человеку безо всякой предварительной подготовки может быть ошибочным, если речь идёт об «интеллектуальных» роботах-ассистентах. Это другой уровень управления – от управления движениями оператор переходит к тактике управления.

2019; 7(2)

дит по одному из следующих сценариев: уточнение состава команды, уточнение заданной операции, описание текущей ситуации, описание «состояния» – как робота, так и оператора. Основная проблема диалогового управления – условно говоря, «взаимопонимание» между человеком–пользователем и КР. Исследования показывают, что речевые сообщения воспринимаются человеком в обычном общении в совокупности с рядом других факторов, сопровождающих естественную речь. Причем влияние этих факторов иногда является решающим фактором для правильного восприятия высказывания. Так, в работе [7] приводятся результаты исследования влияния экспрессивного компонента на понимание речи. Авторы применили технологии глубоких нейронных сетей для обучения антропоморфного робота стилям речи, выражавшим основные эмоции, такие как радость, грусть, печаль, гнев. Эксперименты, в которых антропоморфный робот беседовал с группой детей с задержкой развития, связывая содержание своих высказываний с соответствующим стилем речи, показали существенное облегчение понимания речи и ведения диалога детьми с роботом. В том случае, если в диалоге принимает участие антропоморфный робот, или, по крайней мере, пользователь может видеть условное «лицо» своего собеседника-робота на экране монитора, не менее важное значение для понимания речи имеет мимика собеседника, соответствующая передаваемой информации [8]. Формализация определенного эмоционального состояния может быть достигнута с помощью описания мимики в виде массива «показателей движения» (action unit, AU), характеризующих определенное эмоциональное состояние [9]. Особенно важное значение имеет моделирование мимики при использовании КР в экстремальных ситуациях. Отметим, что в определенном смысле, сопровождение диалога мимикой может иметь двусторонний характер, т.е. КР также может наблюдать мимику человека-партнера и делать выводы о его эмоциональном состоянии, способности к ведению диалога, а также об эмоциональных оттенках речи, способствующих её правильному «пониманию». Дальнейшее расширение возможностей диалога человека и коллаборативного робота может быть достигнуто с помощью жестов. В одном из исследований [10] робот обучался распознаванию цифр по их представлению с помощью пальцев руки. Для обучения использовались конволюционные (сверточные) нейронные сети. В качестве датчика пространственного положения кисти руки экспериментатора применялся Кинект (Kinect v2). Была достигнута высокая точность распознавания жестов (86%), что позволило авторам сделать вывод о том, что жесты могут служить хорошим дополнением в процессе «общения» робота и человека наряду с распознава-

Организация интерфейса «человек-робот» Наиболее естественным способом управления «интеллектуальным» коллаборативным роботом является речевой диалог с использованием профессионально-ориентированного языка, близкого к естественному. Возможность речевого управления является одним из условий применения робототехники пользователями, не знакомыми с языками программирования роботов. Речевой интерфейс включает в себя модуль распознавания и лингвистический модуль. Модуль распознавания представляет собой устройство для преобразования речевых сигналов и их интерпретации в качестве отдельных слов или фраз. Лингвистический анализатор осуществляет синтаксический и семантический разбор высказывания, в результате которого должны быть заполнены слоты фрейма для описания действий. Практически все, используемые в настоящее время способы распознавания речи, основаны на сравнении произносимых слов с эталоном. Учитывая, что словарь языка ситуационного управления ограничен, целесообразно предварительно составить базу используемых слов и иметь возможность в реальных условиях дополнять базу робота (дообучать его) новым словам, которые отсутствуют в базовом словаре. В большинстве работ, использующих такую концепцию, предполагается реализация модуля распознавания с помощью нейронных сетей. Так, в [6] для распознавания слов естественного языка используется трехслойная сеть Хэмминга. Сеть предварительно обучается на произношении базовых слов команды определенным пользователем. Этим, в частности, решается и задача обеспечения информационной безопасности системы управления, т.е. устраняется возможность доступа постороннего пользователя к управлению КР. Диалог представляет собой последовательность речевых сообщений, которыми обмениваются робот и оператор. Чаще всего развитие диалога происхо89

Общие вопросы / General Issues

нием речи и мимикой (если такая возможность также имеется). Все эти средства, как и при диалоге людей, дополняют и, в какой-то мере, замещают друг друга и способствуют лучшему пониманию высказываний. Естественно, любое облегчение задачи человека, ведущего диалог с роботом, требует соответствующего усложнения информационно-сенсорной системы последнего. Заметим, что иногда распознавание жестов может служить альтернативой речевого диалога. Так, в работе [11] использовалась 3D модель наблюдаемой роботом кисти руки. В качестве возможных положений пальцев кисти руки использовались символы чешского языка знаков, включающего 42 различных положения пальцев руки. Таким образом, мы получили еще одну диалоговую знаковую систему, позволяющую человеку общаться с роботом. Один из наиболее радикальных подходов к облегчению работы пользователя КР, является применение специализированного интерфейса оператора, обладающего свойствами «расширенной реальности» (augmented reality). Такой подход позволяет существенно повысить безопасность как операторапользователя, так и других людей, оказавшихся в зоне действия КР. В этом случае создаётся возможность предварительного просмотра будущего движения робота с целью предвидеть возможность опасного столкновения манипулятора с руками человека, или мобильного робота с иными объектами рабочего пространства. Интерфейс оператора при этом даёт возможность дополнить изображение текстовыми сообщениями, облегчающими работу пользователя. Таким образом, за счет существенного усложнения интерфейса создаётся видимое облегчение работы пользователя. Однако этот вопрос пока мало исследован. В проведенных исследованиях отмечается повышение психологической напряженности пользователя, связанное с погружением человека в виртуальную реальность. В свою очередь, от этого зависит сохранение самоконтроля, устойчивость управления и т.д. Установлено, что возможность возникновения и сохранения чувства присутствия в виртуальной реальности, необходимого для управления КР, зависит не только от технических средств организации интерфейса, но и от личностных свойств человека, его мотивации, психологического типа личности, способности к пространственному воображению, возраста и т.д. [12]. Понимание важности проведения исследований в рассматриваемой области приводит к определенным изменениям подходов в самой эргономике с учетом изменения традиционных подходов к задаче управления человеком технической системы. Возникло относительно новое направление «когнитивная эргономика», основной задачей которой является «… согласование действий нескольких, обладающих

«интеллектом» когнитивных систем, включая человека, в ходе решения общей трудовой задачи» [13]. В качестве общего требования при организации интерфейса КР – пользователь должна быть учтена и информационная безопасность, как совокупность мер, не позволяющих «перехватить» управление несанкционированному пользователю. Это требование становится одним из основных в ряде задач экстремальной и специальной робототехники. Одним из способов идентификации пользователя, помимо изображения лица, является структура речи, обладающая индивидуальными особенностями.

Проблемы группового управления КР Опыт практического применения КР в различных сферах деятельности человека приводит к выводу о целесообразности управления группой роботов, совместно решающих общую задачу. В первую очередь это работы, выполняемые в экстремальных условиях – разведывательные, спасательные и восстановительные операции при авариях на химических и радиационно-опасных объектах. Целесообразно создавать системы группового управления роботами и в качестве систем медицинского обслуживания в больницах, и в сельском хозяйстве. При разработке многоагентных робототехнических систем при этом возникают две взаимосвязанные проблемы. Первая – это организация согласованной работы автономных взаимодействующих роботов, образующих многоагентную систему. В том числе, в рабочем пространстве, в котором находятся другие люди и техническое оборудование. Вторая проблема – это организация интерфейса оператора, управляющего многоагентной системой. В том случае, если речь идет о патрулировании роботами некоторой территории, или мониторинге внешней (для робота) среды, задача усложняется тем, что роботы теперь образуют распределенную (мультиагентную) систему, которая находится под контролем человека. В [14], авторы, анализируя способы управления многоагентной системой, приходят к выводу о целесообразности применения децентрализованного способа, когда роботы, располагая необходимой информацией о цели своей работы и о положении других роботов, самостоятельно планируют наиболее оптимальные действия в составе группы, обмениваясь информацией с «соседями». Применяется так называемая технология «аукциона», в которой на каждом этапе выбираются действия, обладающие наиболее «высокой ценой» в смысле эффективности достижения цели. Такой подход существенно облегчает задачу оператора, избавляя его от решения задачи централизованного планирования. Оператор ставит цель операции и контролирует её выполнение, вмешиваясь в решение по необходимости. Такой метод может приме90

РОБОТОТЕХНИКА и ТЕХНИЧЕСКАЯ КИБЕРНЕТИКА / ROBOTICS and TECHNICAL CYBERNETICS

няться, в частности, при построении группой роботов картограммы местности, подвергшейся радиоактивному или химическому заражению. Возникает вопрос о возможностях и ограничениях человека контролировать такую систему. Очевидно, что нагрузка на оперативную память оператора, устойчивость его внимания будет существенно возрастать. Последние исследования показывают, что она выходит за пределы человеческих возможностей уже при управлении более чем 4-5 объектами [13]. Отсюда можно сделать вывод, что роботы самостоятельно должны создавать ассоциации, количество которых не должно превышать этого числа. Такое разделение вполне может быть организовано, например, методом аукциона, когда критерием принадлежности робота к той или иной группе является возможность достижения цели исходя из его текущего положения [14]. Однако возможности оператора по управлению такими группами пока исследованы недостаточно. Представляется, что при групповом управлении эти требования наиболее высоки, поскольку оператор должен постоянно удерживать в своем сознании достаточно сложную ситуацию, включающую как управляемые группировки роботов, так и состояние внешней (по отношению к роботам) среды, в которой происходит действие. Возможно, для решения этой проблемы потребуется какая-то новая форма представления информации, позволяющей «свернуть» картину происходящего, выделив в ней наиболее существенное. Вместе с тем, для многоагентной системы повышается и уровень автономности, поскольку целый ряд задач она должна будет решать самостоятельно. Например, таких как движение роботов строем (или «стаей», если речь идет о БПЛА), перестроение при обходе препятствий всей группой, развертывание и т.д Одна из проблем, решаемых группой взаимодействующих роботов, является задача навигации в заранее неизвестной среде, т.е. «коллективное» решение задачи, обычно называемой SLAM (Simultaneous Localization and Mapping). Качественное отличие решения этой задачи для случая не одного, а группы роботов, состоит в том, что роботы могут иметь различные возможности как по перемещению, так и по наблюдению. В частности, информация как для планирования маршрутов, так и для выполнения манипуляционных операций, может быть получена так называемыми «когнитивными агентами» – группой роботов, оснащенных необходимыми средствами наблюдения и измерения параметров рабочей среды (Е. Айтигулов, Г. Киселев, А. Панов, [15]). Результатом является так называемая «когнитивная сеть», которая содержит информацию не только о расположении объектов в рабочей зоне, но также об их взаимосвязи и значимости для выполнения задачи роботами. Однако функции оператора в такой систе-

2019; 7(2)

ме существенно усложняются, поскольку речь идет не только о рабочих операциях, но и об операциях когнитивного характера, направленных на получение дополнительной информации с помощью роботовразведчиков. По сути дела, рассматривается задача создания системы знаний с помощью когнитивных роботов-агентов при участии человека, который организует целенаправленное планирование их действий, т.е., условно говоря, «поведение» группы роботов. Вопросы о возможностях человека выполнять с помощью многоагентной робототехнической системы задачи когнитивного характера остаются открытыми. Отметим, что внедрение многоагентных коллаборативных робототехнических систем может в ближайшее время качественно изменить технологии в некоторых отраслях производства, например, в сельском хозяйстве. Например, при групповом применении роботов в сельском хозяйстве, преимущественно, в задачах точного земледелия [16]. Группа состоит из наземных роботов – беспилотных тракторов, комбайнов, а также БПЛА, используемых для решения как информационных, так и технологических задач, таких как экологический мониторинг полей, контроль состояния всходов и определение необходимости внесения удобрений, выявление болезней растений, защита урожая и т.д. Особенностью такого рода работ является относительная стабильность обрабатываемой территории и наземных объектов, что позволяет заранее оптимально планировать траектории движения роботов. Пока остаётся в стороне вопрос о способах управления такой группой одновременно действующих роботов человеком. Подчеркнем, что управление группой, тем более разнородных роботов, принципиально отличается от управления одним «интеллектуальным» роботом тем, что роботы должны самостоятельно самоорганизоваться внутри группы, не допуская «конфликта интересов», и обеспечивая эффективное решение задачи группой в целом. При этом существенно меняются и функции человека-оператора, который, по существу, переходит от задач тактического уровня, выполняемых отдельными роботами-агентами, к решению стратегических задач, выполняемых «коллективами» роботов.

Заключение Роль оператора – пользователя коллаборативного робота, существенно изменяется по сравнению с управлением обычным роботом. По существу, это вообще не задача управления, в которой присутствует управляющий субъект и объект управления. Теперь оператор управляет не отдельными движениями, а предметной деятельностью или поведением робота или группы роботов путем постановки задач подобно тому, как он работал бы с человеком91

Общие вопросы / General Issues

ассистентом. Задача управления существенно облегчается тем, что робот способен к автономному управлению. Планирование роботом своих действий с учетом непрерывно изменяющейся рабочей среды обеспечивает безопасность его применения, например, в людном помещении. Речевое общение делает доступным управление роботом пользователем, не имеющим специальной подготовки. Задача «взаимопонимания» человека и КР может быть существенно облегчена за счет средств имитации «эмоционального состояния» КР и анализа состояния самого оператора. Таким образом, КР максимально облегчают задачу управления для пользователя. Вместе с тем,

ограничения, присущие когнитивной деятельности человека, необходимо принимать во внимание. Как отмечено выше, по мере усложнения типа КР (и соответственно работы пользователя), эти ограничения могут играть существенную роль и обязательно должны приниматься во внимание при проектировании КР. Нужно обратить внимание на тот факт, что теперь речь идет преимущественно об ограничениях, относящихся к когнитивной сфере деятельности человека. Таким образом, новые задачи могут потребовать развития новых методов исследования и в когнитивной эргономике, направленных на решение проблем, рассмотренных в этом обзоре.

Литература 1. Ronzhin A. Interactive Collaborative Robotics / A. Ronzhin, G. Rigoll, R. Meshcheryakov. – Text : unmediated // First international conference, ICR 2016. – Springer, LNAI 9812. – 254 p.

2. Kaiser L. Safety-Related Risks and Opportunities of Key Design-Aspects for Industrial Human-Robot Collaboration. Interactive Collaborative Robotics / L. Kaiser, A. Schlotzhauer, M. Brandstotter. – Text : unmediated // Third international conference, ICR 2018. – Springer, LNAI 11097. – Pp. 95-104.

3. Kharlamov A. Voice Dialogue with a Collaborative Robot Driven by Multimodal Semantics. Interactive Collaborative Robotics / A. Kharlamov, K. Ermishin. – Text : unmediated // First international conference, ICR 2016. – Springer, LNAI 9812. – Pp. 225-233.

4. Володин Ю.С. Нечеткая классификация препятствий мобильным роботом с использованием телевизионной системы пространственного зрения / Ю.С. Володин, Б.Б. Михайлов, А.С. Ющенко. – Текст : непосредственный // 6-я межд. науч.-практ. конф. «Интегрированные модели и мягкие вычисления в искусственном интеллекте»: [сб. науч. трудов]. – Москва: Физ. мат. лит. – 2011. – Т.1. – С.372-380.

5. Девятериков Е.А. Визуальный одометр / Е.А. Девятериков, Б.Б. Михайлов. – Текст : непосредственный // Вестник МГТУ им. Н. Э. Баумана. Сер. Приборостроение. – 2012. – Спец. вып. №6. – С. 68-82.

6. Majewski M. Speech-Based Interfaces with Augmented Reality and Interactive Systems for Controlling Mobile Cranes / M. Majewski, W. Kacalak. – Text : unmediated // First international сonference, ICR 2016. – Springer, LNAI 9812. – Pp. 89-98.

7. Toward More Exptressive Speech Communucation in Human-Robot Interaction. Interactive Collaborative Robotics / V. Delich [et al.]. – Text : unmediated // Third International Conference, ICR 2018. – Springer, LNAI 11097. – Pp. 44-90.

8. Mimic Recognition and Reproduction in Bilateral Human-Robot Speech Communication. Interactive Collaborative Robotics. First international Conference, ICR 2016 / A. Yuschenko [et al.]. – Text : unmediated. – Springer, LNAI 9812. – Pp. 133-142.

9. Ekman P. Facial Action Coding System (FACS) / P. Ekman, W. Friesen, J. Hager. – URL: http://www.paulekman.com/facs/ (Date of access: 01.08.2014). – Text : electronic.

10. Gruber I. Sign Language Numerical Gestures Recognition Using Convjlutional Neural Network / I. Gruber [et al.]. – Text : unmediated // Third International Conference, ICR 2018. – Springer, LNAI 11097. – Pp. 70-77.

11. Kanis J. Improvements in 3D Hand Pose Estimation Using Synthetc Data / J. Kanis, Z. Krnoul, D. Ryumin. – Text : unmediated // Third International Conference, ICR 2018. – Springer, LNAI 11097. – Pp. 105-115.

12. Величковский Б.Б. Психологические факторы возникновения чувства присутствия в виртуальных средах / Б.Б. Величковский. – Текст : непосредственный // Национальный психологический журнал. – № 3 (15). – 2014. – С. 31-38.

13. Величковский Б.Б. Психологические проблемы когнитивной эргономики / Б.Б. Величковский. – Текст : непосредственный // Мир психологии. – 2018. – №4. – С.102-114.

14. Multi-agent Robotic Sysyems in Collaborative Robotics / S. Vorotnikov [et al.]. – Text : unmediated // Third International Conference, ICR 2018. – Springer, LNAI 11097. – Pp. 270-279.

15. Aitygulov E. Task and Spatial Planning by the Cognitive Agent with Human-like Knowledge Representation / E. Aitygulov, G. Kiselev, A. Panov. – Text : unmediated // Third International Conference, ICR 2018. – Springer, LNAI 11097 – Pp. 1-12.

92

РОБОТОТЕХНИКА и ТЕХНИЧЕСКАЯ КИБЕРНЕТИКА / ROBOTICS and TECHNICAL CYBERNETICS

2019; 7(2)

16. Trends in Development of UAV-UGV Cooperayion Approaches in Precision Agriculture / Vu Q. [et al.]. – Text : unmediated // Third international conference, ICR 2018. – Springer, LNAI 11097. – Pp. 203-221.

References 1. Ronzhin, A., Rigoll, G. and Meshcheryakov, R. (2016). Interactive Collaborative Robotics. Lecture Notes in Computer Science, pp.254.

2. Kaiser, L., Schlotzhauer, A. and Brandstötter, M. (2018). Safety-Related Risks and Opportunities of Key Design-Aspects for Industrial Human-Robot Collaboration. Lecture Notes in Computer Science, pp.95-104.

3. Kharlamov, A. and Ermishin, K. (2016). Voice Dialogue with a Collaborative Robot Driven by Multimodal Semantics. Lecture Notes in Computer Science, pp.225-233.

4. Volodin, J., Mihajlov, B. and Jushhenko, A. (2011). Nechetkaja klassifikacija prepjatstvij mobil'nym robotom s ispol'zovaniem televizionnoj sistemy prostranstvennogo zrenija [Indetermainate classification of obstacles for mobile robots with use of spatial vision TV system]. In: 6-ja mezhd. nauch.-prakt. konf. «Integrirovannye modeli i mjagkie vychislenija v iskusstvennom intellekte» [6th International Scientific and Practical Conference on Integrated Models and Soft Computing in Artificial Intelligence]. Fiz. mat. lit. Publ., pp.372-380. (in Russ) 5. Devjaterikov, E. and Mihajlov, B. (2012). Vizual'nyj odometr [Visual odometer]. Herald of the Bauman Moscow State Technical University. Series Instrument Engineering, 6, pp.68-82. (in Russ) 6. Majewski, M. and Kacalak, W. (2016). Human-Machine Speech-Based Interfaces with Augmented Reality and Interactive Systems for Controlling Mobile Cranes. Lecture Notes in Computer Science, pp.89-98.

7. Delić, V., Borovac, B., Gnjatović, M., Tasevski, J., Mišković, D., Pekar, D. and Sečujski, M. (2018). Toward More Expressive Speech Communication in Human-Robot Interaction. Lecture Notes in Computer Science, pp.4451.

8. Yuschenko, A., Vorotnikov, S., Konyshev, D. and Zhonin, A. (2016). Mimic Recognition and Reproduction in Bilateral Human-Robot Speech Communication. Lecture Notes in Computer Science, pp.133-142.

9. Ekman, P., Friesen, W. and Hager, J. (n.d.). FACS Test Archive - Paul Ekman Group. [online] Paul Ekman Group. Available at: http://www.paulekman.com/facs/ [Accessed 1 Aug. 2014].

10. Gruber, I. and et al. (2018). Sign Language Numerical Gestures Recognition Using Convjlutional Neural Network. In: Third International Conference, ICR 2018. Springer, pp.70-77.

11. Kanis, J., Ryumin, D. and Krňoul, Z. (2018). Improvements in 3D Hand Pose Estimation Using Synthetic Data. Lecture Notes in Computer Science, pp.105-115.

12. Velichkovsky, B. (2014). Psychological factors of the emerging sense of presence in virtual environments. National Psychological Journal, 3(15), pp.31-38.

13. Velichkovskij, B. (2018). Psihologicheskie problemy kognitivnoj jergonomiki [Psychological issues of cognitive ergonomics]. Mir psihologii, 4, pp.102-114.

14. Vorotnikov, S., Ermishin, K., Nazarova, A. and Yuschenko, A. (2018). Multi-agent Robotic Systems in Collaborative Robotics. Lecture Notes in Computer Science, pp.270-279.

15. Aitygulov, E., Kiselev, G. and Panov, A. (2018). Task and Spatial Planning by the Cognitive Agent with Human-Like Knowledge Representation. Lecture Notes in Computer Science, pp.1-12.

16. Vu, Q., Raković, M., Delic, V. and Ronzhin, A. (2018). Trends in Development of UAV-UGV Cooperation Approaches in Precision Agriculture. Lecture Notes in Computer Science, pp.213-221.

Информация об авторе Ющенко Аркадий Семенович, д.т.н., Московский Государственный Технический университ им. Н.Э. Баумана (МГТУ им. Н.Э. Баумана), кафедра «Робототехнические системы и мехатроника», профессор, заведующий кафедрой, 105005, Москва, 2-я Бауманская ул., д. 5, стр. 1, тел.: +7(916)524-09-97, robot@bmstu.ru

Information about the author Arkadij S. Yuschenko, Doctor of Technical Science, Bauman Moscow State Technical University (BMSTU), Robotic Systems and Mechatronics Department, Professor, Head of Сhair, 5-1, 2-ya Baumanskaya ul., Moscow, 105005, Russia, tel.: +7(916)524-09-97, robot@bmstu.ru

93

Общие вопросы / General Issues

УДК: 623:007 DOI: 10.31776/RTCJ.7202 C. 94-99

Опыт применения имитационного моделирования боевых действий на базе технологий виртуальной реальности для оценки наземных робототехнических комплексов военного назначения И.В. Благодарящев 1 , Е.А. Антохин 1  , А.М. Федулин 2 , В.А. Паничев 1

1

Фе де рал ьно е гос у дарс т ве нное бюджетно е учреждение « Гла вный нау чно - иссл е до вател ьс ки й исп ыта те л ьный це нтр р о бототехни ки» Ми нис тер ства оборо ны Росси йс ко й Фе де ра ци и (ГНИИЦ РТ МО РФ), Мо с ква, Росси йс ка я Фе де ра ци я, gniiz rt@ mil.ru 2 АО « КТ - Беспил отные Сис темы», Санкт-Петер бу рг ( М а т е р и а л п ос т у п и л в р ед ак ц и ю 14 я н в ар я 20 1 9 г од а)

Аннотация В статье предложен возможный методический подход к системной оценке эффективности наземных робототехнических комплексов военного назначения с применением Имитационно-моделирующего комплекса «Комбат». Рассмотрены основные решаемые им задачи.

Ключевые слова Наземный робототехнический комплекс военного назначения, системная оценка, технологии виртуальной реальности, имитационное моделирование, общевойсковой бой, типовые тактические сценарии боевого применения.

Application experience of military operation simulation based on virtual reality techniques for military robotic systems evaluation Igor V. Blagodarjaschev 1 , Eugeniy A. Antokhin 1  , Andrey M. Fedulin 2 , Valentin A. Panichev 1 1

Ministry of De fenc e of the Russ ian Federation, Main Robo tics Res ea rch and T est Cen te r, Moscow, Russ ia , g n iizrt@ mil.ru 2 KT - Unma nne d Sys tems JSC, Sa in t-Pe te rsb u rg (Received 14 January 2019)

Abstract The paper suggests possible methodological approach to integrated efficiency evaluation of military ground robotic systems with use of Simulation and Modeling Complex “Kombat”. Main solved tasks are reviewed.

Key words Military ground robotic complex, integrated evaluation, simulation modeling, combined arms warfare, typical tactical scenarios of military use.

Введение

Руководствуясь положениями указанных документов, командование армии США инициировало проведение широкого спектра научноисследовательских и опытно-конструкторских работ (далее – НИОКР) в области развития робототехники и смежных с ней направлений в науке и технике. Аналогичные программы выполняются в интересах военных ведомств Израиля, Великобритании, Германии, Франции. Необходимый научнотехнический задел формируется, в том числе и в виде совместных межгосударственных проектов. Анализ материалов иностранной печати показывает, что зарубежные исследования, направленные на эффективное внедрение НРТК ВН в организационно-штатную структуру армейских формирований, основываются на всестороннем изучении конструк-

В настоящее время военно-политическое руководство ведущих зарубежных стран рассматривает внедрение технологий робототехники в качестве магистрального направления развития средств вооруженной борьбы и совершенствования форм и способов ведения боевых действий. Исследования в данном направлении проводят более 40 государств, среди которых лидером являются США. В целях организации процесса роботизации войск, обеспечения единства управления и системности в принятии решений американским военным ведомством разработан ряд концептуальных документов и программ по созданию наземных робототехнических комплексов военного назначения (далее – НРТК ВН) [1].

94

РОБОТОТЕХНИКА и ТЕХНИЧЕСКАЯ КИБЕРНЕТИКА / ROBOTICS and TECHNICAL CYBERNETICS

тивных особенностей и специфики боевого применения роботизированных образцов вооружения, военной и специальной техники (далее – ВВСТ), оценке их реальных возможностей при выполнении тактических задач в различных видах общевойскового боя [2]. Для достижения заданных целей за рубежом широко применяют инновационные информационные технологии с использованием современных методов моделирования боевых действий. На современном этапе технологии виртуального моделирования позволяют иностранным военным специалистам решать следующие задачи:  формирование контролируемой параметрической виртуальной среды и различных видов обстановки для воспроизведения реальных условий боевого применения НРТК ВН;  обоснование номенклатуры наземных роботизированных образцов ВВСТ различного предназначения, разрабатываемых в интересах сухопутных войск;  обоснование тактико-технических требований к перспективным образцам НРТК ВН;  разработка и апробация типовых тактических сценариев боевого применения НРТК ВН, в том числе в составе разнородных групп и во взаимодействии с существующими экипажными образцами ВВСТ;  обоснование организационно-штатной структуры перспективных войсковых формирований, оснащаемых НРТК ВН;  технико-экономическая оценка создания и применения перспективных образцов НРТК ВН;  проведение оценочных испытаний опытного образца НРТК ВН в заданных условиях на моделируемом виртуальном полигоне с целью оптимальной отработки конструкции и структурнофункционального облика перспективных роботизированных образцов ВВСТ;  организация подготовки операторов НРТК ВН с использованием компьютерных тренажеров. Примером применения технологий виртуальной реальности для решения задач проведения исследований по определению и уточнению места НРТК ВН в боевых порядках, в структуре и иерархии тактического звена сухопутных войск может служить универсальная платформа распределенного имитационного моделирования боевых действий, разработанная в интересах армии США (рис. 1) [3]. Указанная платформа позволяет реализовать пространственно-временное прогнозирование развития и результатов боевых действий с учетом реальных тактико-технических характеристик существую-

2019; 7(2)

щих или перспективных НРТК ВН и взаимодействующих экипажных образцов ВВСТ, структуры и способов боевого применения армейских формирований.

Рисунок 1 — Универсальная платформа распределенного имитационного моделирования боевых действий НРТК ВН, разработанная в интересах армии США Figure 1 — Universal platform for distributed simulation modeling of military operations for military ground robotic complex, developed on behalf of U.S. Army

Еще одним примером успешного применения зарубежными военными экспертами имитационного моделирования на базе технологий трехмерной визуализации является программный тактический тренажер VBS3 (Virtual Battlespace), разработанный фирмой Bohemia Interactive Simulations (Орландо, Флорида, США) (рис. 2). Указанный тренажер используется в более чем 30 армиях иностранных государств (США, Великобритания, Германия, Австралия, Франция, Израиль, Германия Швеция, Канада и др.) (рис. 3). Полученный опыт позволил военным специалистам США, Израиля и Германии не только проводить комплексную оценку эффективности НРТК ВН, но и дал возможность организовать информационное обеспечение всего жизненного цикла создания наземных безэкипажных машин различного предназначения, разрабатываемых в интересах сухопутных войск. Эффект от практического применения указанных подходов заставил и отечественных специалистов обратить свое внимание на возможности имитационного моделирования боевых действий на основе технологий виртуальной реальности. Полученный опыт позволил военным специалистам США, Израиля и Германии не только проводить комплексную оценку эффективности НРТК ВН, но и дал возможность организовать информационное обеспечение всего жизненного цикла создания наземных безэкипажных машин различного предназначения, разрабатываемых в интересах сухопутных войск.

95

Общие вопросы / General Issues

Рисунок 2 — Программный тактический тренажер VBS3 Figure 2 — Software military simulator VBS3

Рисунок 3 — Визуализация района боевых действий в программном тактическом тренажере VBS3 Figure 3 — Action scene visualization in software military simulator VBS3

Эффект от практического применения указанных подходов заставил и отечественных специалистов обратить свое внимание на возможности имитационного моделирования боевых действий на основе технологий виртуальной реальности.

водятся работы по созданию Имитационномоделирующего комплекса «КОМБАТ» (далее – ИМК «Комбат»). Разрабатываемый ИМК «Комбат» представляет собой исследовательский комплекс, предназначенный для проведения системной оценки прогнозируемых значений боевых возможностей НРТК ВН в основных видах общевойскового боя. Ядром данного комплекса является единая система взаимоувязанных моделей и методик, позволяющих реализовать имитационное моделирование боевых действий противостоящих группировок войск на базе технологий трехмерной визуализации.

Имитационно-моделирующий комплекс «КОМБАТ» В настоящее время совместно Главным научноисследовательским испытательным центром робототехники Министерства обороны Российской Федерации (г. Москва) (далее – ГНИИЦ РТ МО РФ) и АО «КТ – Беспилотные Системы» (г. Санкт-Петербург) про-

96

РОБОТОТЕХНИКА и ТЕХНИЧЕСКАЯ КИБЕРНЕТИКА / ROBOTICS and TECHNICAL CYBERNETICS

2019; 7(2)

 высокая конкретизация трехмерного района боевых действий с учетом полного набора физикогеографических, погодно-климатических и астрономических условий (рис. 4);

Важными особенностями математических моделей ИМК «Комбат», которые выгодно отличают его от других моделирующих комплексов, являются:

Рисунок 4 — Визуализация района боевых действий в ИМК «Комбат» Figure 4 — Action scene visualization in Simulation and Modeling Complex «Kombat»

 детальное воспроизведение и достоверный учет ТТХ роботизированных и экипажных образцов ВВСТ, баллистических траекторий и параметров полета боеприпасов, их поражающих свойств (рис. 5);  учет в явном виде, при реализации имитационного моделирования боевых действий, значений основных показателей эффективности комплексов вооружения, получаемых с помощью специальных моделей и методик, разработанных как в ГНИИЦ РТ МО РФ, так и в АО «КТ – Беспилотные Системы»;

Планируется, что применение ИМК «Комбат» позволит организовать военно-научное сопровождение процессов создания и внедрения в войска перспективных образцов НРТК ВН практически на всех этапах их жизненного цикла. На сегодняшний день последняя версия ИМК «Комбат» позволяет решать следующие задачи:  исследование эффективности форм и способов боевого применения НРТК ВН в составе общевойсковых формирований;  оперативно-тактическое обоснование роли и места создаваемого перспективного образца ВВСТ в структуре комплекта вооружения общевойскового формирования;  разработка и обоснование тактикотехнических и стоимостных характеристик перспективных образцов НРТК ВН, обеспечивающих необходимый прирост боевой эффективности общевойскового формирования;  обоснование технического и структурнофункционального облика перспективных образцов НРТК ВН;  военно-экономическая оценка затрат ресурсов на выполнение задач как общевойсковым формированием в целом, так и его подразделениями, оснащаемыми НРТК ВН. В перспективе решение указанных задач в рамках осуществления военно-научного сопровождения НИОКР по созданию и внедрению в войска наземных роботизированных образцов ВВСТ позволит обеспечить:  разработку и обоснование тактикотехнических заданий на ОКР по созданию перспективных образцов НРТК ВН;

Рисунок 5 — Трехмерная модель НРТК «Уран-9» в ИМК «Комбат» Figure 5 — 3D model of ground robotic complex «Uran-9» in Simulation and Modeling Complex «Kombat»

 использование формализованных сценариев боевых действий общевойсковых формирований при решении широкого спектра боевых и обеспечивающих задач с учетом организационно-штатной структуры подразделений, форм и способов их боевого применения;  определение темпов продвижения имитационных моделей боевых действий на основе реализации ТТХ роботизированных и экипажных образцов ВВСТ в заданных условиях боевого применения.

97

Общие вопросы / General Issues

 формирование оптимальных организационноштатных структур перспективных подразделений, оснащаемых НРТК ВН, а также боевых составов общевойсковых формирований;  разработку наставлений, оперативнотактических правил, нормативов и инструкций по боевому применению перспективных образцов НРТК ВН;  проведение комплексных испытаний опытных образцов НРТК ВН;  технико-экономическое обоснование планов разработки и поставок НРТК ВН в войска. В рамках проводимых специалистами ГНИИЦ РТ МО РФ и АО «КТ – Беспилотные Системы» экспериментов по многократному моделированию боевых действий с использованием ИМК «Комбат» проводилась системная оценка эффективности боевого применения многофункционального НРТК «Уран-9», действующего в головной походной заставе мотострелковой роты в условиях нападения различного состава диверсионно-разведывательных групп противника. При этом в целях достижения достоверности моделирования результатов боя с использованием ИМК «Комбат» в математическую модель НРТК «Уран-9» были заложены свойства, присущие всем безэкипажным образцам ВВСТ. Так, например, при прямом попадании (наезде на мины) НРТК «Уран-9» способен продолжать движение и вести огонь в течение некоторого времени до получения летальных повреждений. В аналогичных условиях экипаж БМП погибает или покидает машину, что приводит к переводу ее в категорию потерь. В ходе моделирования по результатам боя проводился расчет показателей величины потерь в живой силе и технике. При этом эффективность боево-

го применения НРТК «Уран-9» оценивалась снижением данных показателей. В результате проводимых модельных экспериментов по прогнозированию результатов боя с использованием ИМК «Комбат» получены следующие значения показателей эффективности боевого применения НРТК «Уран-9»: снижение потерь в живой силе на 24 %; снижение потерь в единицах техники на 43 %. Анализ результатов проведенных модельных экспериментов показал, что применение НРТК «Уран-9» в головной походной заставе мотострелковой роты позволяет заблаговременно вскрыть огневые средства диверсионно-разведывательных групп противника, обеспечивает развертывание и выгодные условия для вступления в бой главных сил охраняемой колонны. Этими факторами и объясняются причины значимого снижения всех видов потерь мотострелковой роты.

Выводы Реализация пространственно-временного прогнозирования боевых действий с применением технологий виртуальной реальности предоставляет широкие возможности по информационному обеспечению процессов создания и внедрения в войска перспективных образцов НРТК ВН практически на всех этапах их жизненного цикла. Дальнейшее развитие методического подхода к системной оценке эффективности НРТК ВН с использованием ИМК «Комбат» целесообразно осуществить в ходе необходимых научно-технических исследований в рамках совместного выполнения ГНИИЦ РТ МО РФ и АО «КТ – Беспилотные Системы» инициативной НИР.

Литература 1. Ветлугин Р. Робототехнические комплексы сухопутных войск США и взгляды военных специалистов на их применение / Р. Ветлугин, А. Васильков. – Текст : непосредственный // Зарубежное военное обозрение. – 2016. – № 6. – С. 55-59.

2. Корнилов В.И. Типовые сценарии применения и технические требования, предъявляемые за рубежом к испытаниям наземных робототехнических комплексов военного назначения / В.И. Корнилов, В.Н. Наумов, А.А. Пантелеев, В.Н. Соколенко. – Текст : непосредственный // Сборник рефератов депонированных рукописей. Серия Б. – 2012. – № 96. – С. 32-41.

3. Вопросы организации и проведения гибридных испытаний робототехнических комплексов / С.Г. Цариченко [и др.]. – Текст : непосредственный // Тематический сборник статей по вопросам проведения испытаний робототехнических комплексов военного и специального назначения, ГНИИЦ РТ МО РФ. – 2018. – С. 55-60.

References 1. Vetlugin, R. and Vasil'kov, A. (2016). Robototekhnicheskie kompleksy sukhoputnykh voisk SShA i vzglyady voennykh spetsialistov na ikh primenenie [US Army robotic complexes and experts' opinions on their use]. Zarubezhnoe voennoe obozrenie, 6, pp.55-59. (In Russ.).

98

РОБОТОТЕХНИКА и ТЕХНИЧЕСКАЯ КИБЕРНЕТИКА / ROBOTICS and TECHNICAL CYBERNETICS

2019; 7(2)

2. Kornilov, V., Sokolenko, V., Naumov, V. and Panteleev, A. (2012). Tipovye stsenarii primeneniya i tekhnicheskie trebovaniya, pred"yavlyaemye za rubezhom k ispytaniyam nazemnykh robototekhnicheskikh kompleksov voennogo naznacheniya [Typical application scenarios and technical requirements specified for testing of military ground robotic complexes in foreign countries]. Sbornik referatov deponirovannykh rukopisey. Seriya B. [Collected Book of Deposited Manuscripts Abstracts. Series B], 96, pp.32-41. (in Russ.).

3. Tsarichenko, S. et al. (2018). Voprosy organizatsii i provedeniya gibridnykh ispytanii robototekhnicheskikh kompleksov [Issues of organisation and performing of hybrid tests of robotic complexes]. In: Tematicheskii sbornik statei po voprosam provedeniya ispytanii robototekhnicheskikh kompleksov voennogo i spetsial'nogo naznacheniya [Subject paper collection regarding testing of military and special-purpose robotic complexes]. Pp.55-60. (In Russ.).

Информация об авторах Игорь Вадимович Благодарящев, к.т.н., Федеральное государственное бюджетное учреждение «Главный научно-исследовательский испытательный центр робототехники» Министерства обороны Российской Федерации (ГНИИЦ РТ МО РФ), начальник научно-исследовательского центра, 125167, Москва, ул. Серёгина, д. 5, gniizrt@mil.ru Антохин Евгений Александрович, ГНИИЦ РТ МО РФ, начальник научно-исследовательского испытательного отдела, 125167, Москва, ул. Серёгина, д. 5, тел.: +7(962)984-65-17, gniizrt@mil.ru Андрей Михайлович Федулин, АО «КТ - Беспилотные системы», директор Центра разработки ПО, 199178, Санкт-Петербург, Малый В.О. пр., 54, корп. 5, лит. П, office@kronshtadt.ru Паничев Валентин Андреевич, ГНИИЦ РТ МО РФ, н.с., 125167, Москва, ул. Серёгина, д. 5, gniizrt@mil.ru

Information about the authors Igor V. Blagodarjaschev, PhD in Technical Sciences, Ministry of Defence of the Russian Federation, Main Robotics Research and Test Center, Head of Research Center, 5, Seregina ul., Moscow, 125167, Russia, gniizrt@mil.ru Eugeniy A. Antokhin, Ministry of Defence of the Russian Federation, Main Robotics Research and Test Center, Head of Research and Test Department, 5, Seregina ul., Moscow, 125167, Russia, tel.: +7(962)984-65-17, gniizrt@mil.ru Andrey M. Fedulin, KT - Unmanned Systems JSC, Director of Software Development Center, 54-5-P, Malyj pr. V.O., Saint-Petersburg, 199178, Russia, office@kronshtadt.ru Valentin A. Panichev, Ministry of Defence of the Russian Federation, Main Robotics Research and Test Center, Research Scientist, 5, Seregina ul., Moscow, 125167, Russia, gniizrt@mil.ru

Информация «Фёдор» может стать пилотом российского лунохода миссии «Луна-29» Пилотом лунохода автоматической межпланетной станции «Луна-29», которая должна будет отправиться на спутник нашей планеты в 2028 году, может стать человекоподобный робот. Именно ему планируется доверить управление машиной весом 1,3 тонны, сообщает источник в российской космической отрасли. Вероятнее всего в миссии будет задействован перспективный антропоморфный робот FEDOR (Final Experimental Demonstration Object Research), разработкой которого занимаются НПО «Андроидная техника» и Фонд перспективных исследований по заказу МЧС России. В апреле этого года машину передали в Роскосмос.

Источник сообщает, что идея использовать робота в качестве пилота лунохода появилась буквально недавно. В рамках дальнейших пилотируемых миссий на спутник аналогичными машинами будут управлять уже космонавты. В самом Российском космическом агентстве эту информацию пока не комментируют. Впрочем, до самого запуска еще довольно далеко и «пилотом» лунохода может стать другое устройство. Да и сама концепция применения робототехнических устройств при изучении Луны может не один раз измениться.

99

Информационное обеспечение / Information Support

Информационное обеспечение УДК: 004.032.26 DOI: 10.31776/RTCJ.7203 C. 100-108

Методика генерации искусственных наборов данных и архитектура системы распознавания лиц для взаимодействия с роботами внутри киберфизического пространства Д.А. Малов  , М.А. Летенков

Санкт-Петербур гс ки й и нститут информати ки и а втоматизаци и РАН (СП ИИРАН), Санкт-П ет ер бу рг, Росси йс ка я Фе де ра ци я, malovdmitrij@gmail.com ( М а т е р и а л п ос т у п и л в р ед ак ц и ю 21 а п ре л я 2 01 9 г од а )

Аннотация Рассматривается задача идентификации пользователя в киберфизическом пространстве на основе изображений его лица. Проанализированы существующие методы и подходы распознавания лиц. С учетом произведенного анализа предложена новая методика генерации искусственной выборки, которая позволяет создавать наборы данных для обучения нейронной сети. Также разработана архитектура самой системы, которая обеспечивает переобучение модели и подбор оптимальной конфигурации нейронной сети. В работе рассмотрены сценарии взаимодействия пользователей с мобильными робототехническими системами внутри киберфизического окружения на основе разработанной системы распознавания лиц.

Ключевые слова Киберфизическое пространство, распознавание лиц, автономные робототехнические системы, синтетические данные, искусственные нейронные сети.

Благодарности Исследование выполнено при финансовой поддержке Совета по грантам Президента Российской Федерации (проект № МК-383.2018.9).

Method of synthetic data generation and architecture of face recognition system for interaction with robots in cyberphysical space Dmitrij A. Malov  , Maksim A. Letenkov

Sa in t-Pe tersbu rg Ins titu te fo r In forma tics an d Au toma tion o f th e Russ ia n Ac ade my of Sc ie nces (SPIIR AS), Sain t-Pe te rs bu rg , R uss ia , ma lovdmitrij@g ma il.com ( R e c e i v e d 2 1 A pr i l 2 01 9)

Abstract In this paper we discuss the problem of user identification in cyberphysical space based on images of user’s face. We have analysed existing methods and approaches of facial recognition. Taking into account this analysis, we propose a new method for generating synthetic samples, which allows you to create datasets for neural network training. Also, we designed architecture of the system itself which provides retraining of the model and selecting the optimal configuration of the neural network. The paper considers scenarios of user interaction with mobile robotic systems within the cyberphysical environment based on the developed face recognition system.

Key words Cyberphysical space, facial recognition, autonomous robotic systems, synthetic data, artificial neural networks.

Acknowledgements This research is supported by the Council for Grants of the President of the Russian Federation (project No. MK383.2018.9).

100

РОБОТОТЕХНИКА и ТЕХНИЧЕСКАЯ КИБЕРНЕТИКА / ROBOTICS and TECHNICAL CYBERNETICS

Введение В настоящее время спектр видов человеческой деятельности, в которых могут найти применение модели машинного обучения, расширяется с каждым днем. Одним из наиболее перспективных направлений разработки в сфере машинного обучения является создание нейронных сетей, предназначенных для классификации объектов различной природы, поскольку являются универсальными аппроксиматорами и могут быть обучены предсказывать любое отображение. Особо остро стоит проблема подготовки набора данных для обучения моделей машинного обучения. Говоря о нейронных сетях, специализирующихся на распознавании образов трехмерных объектов с изображений, можно отметить несколько достаточно объёмных баз данных аннотированных изображений. Например, база данных ImageNet содержит более 14 млн. изображений, которые в свою очередь разбиты более чем на 21 тысячу категорий. Тем не менее, при решении конкретной задачи необходимо использовать специализированную базу данных. Подготовка соответствующего набора данных может вызвать ряд технических трудностей, связанных с тем или иным методом сбора данного набора. Например, для решения задачи распознавания лиц ручной сбор данных посредством фотографирования каждого человека является неоптимальным сразу по нескольким причинам. Во-первых, это требует большого количества времени. Во-вторых, важно собрать максимально репрезентативную выборку, т.е. содержащую все условия, в которых человек может быть обнаружен системой видеонаблюдения. По этим причинам разработка автоматизированной системы генерации синтетических данных является актуальной при создании любой интеллектуальной системы. В статье рассмотрены несколько наиболее перспективных методов генерации искусственных наборов данных для моделей машинного обучения.

2019; 7(2)

Генерация исскуственных наборов данных с помощью использования 3D моделей Рассматривая класс задач, связанных с машинным зрением, в частности, с распознаванием образов, при работе с ранее не представленными в широком доступе классами объектов возникает проблема определения наиболее верной стратегии построения алгоритма генерации наборов данных для обучения модели. В работе [1] процесс получения обучающего набора данных основан на методе генерации изображений из трехмерных моделей, созданных в САПР системах, и набора естественных текстур. Процесс генерации и предобработки данных для последующего обучения модели можно разбить на следующие этапы:  выбор трехмерной модели из предложенного набора;  генерация маски объекта и набора уникальных изображений, содержащих трехмерную модель в случайной пространственной конфигурации;  для каждого ранее полученного изображения объекта проводится операция наложения маски, что позволяет не оперировать информацией, не относящейся к объекту;  для каждого изображения из полученного набора проводится операция наложения на предварительно выбранное изображение текстуры. Таким образом, благодаря использованию наборов текстур и трехмерных моделей, представленных в свободном доступе, становится возможной реализация процесса генерации обучающих наборов данных. Результаты тестирования обучения нейронной сети на сгенерированных таким образом изображениях отображены на рис. 1. Для участия в процессе генерации были выбраны объекты из распространяемой в свободном доступе коллекции ImageNet. На рис. 1 показана общая схема подготовки обучающей выборки для обучения классификатора системы распознавания лиц.

Рисунок 1 — Схема генерации синтетических данных для обучения классификатора в системе распознавания лиц Figure 1 — Scheme of the synthetic data generation for classifier training in the face recognition system

Экспериментальное определение качественных характеристик метода генерации, основанного на использовании трехмерных моделей Предложенный в [1] метод является одним из наиболее простых в реализации с точки зрения ар-

хитектурных решений. Нами был поставлен эксперимент, в ходе которого были определены основные качественные характеристики процесса генерации с точки зрения эффективности использования вычислительных мощностей и временных интервалов,

101

Информационное обеспечение / Information Support

требуемых для полного завершения цикла генерации. В продолжение идей, изложенных в [1], был предложен алгоритм, состоящий из следующих блоков:  подготовка первичного набора данных, состоящего из аннотированных серий фотографий трехмерных объектов (рис. 2A);  генерация масок, используемых для удаления лишней информации, содержащейся в фоне позади объекта (рис. 2B);  обработка первичного набора изображений, в ходе которой лишняя информация удаляется с каждого образца (рис. 2B);

 генерация трехмерных моделей из полученного ранее набора данных, благодаря использованию программных пакетов, реализующих фотограмметрические преобразования (рис. 2C);  обработка сгенерированных трехмерных моделей, заключающаяся в понижении количества и качества графических артефактов, получаемых при генерации;  генерация множества уникальных изображений, содержащих объект в различных конфигурациях освещенности и пространственного расположения (рис. 2D).

Рисунок 2 — Графическое отображение этапов генерации обучающего набора Figure 2 — Graphic representation of the manual synthetic data generation stages

102

РОБОТОТЕХНИКА и ТЕХНИЧЕСКАЯ КИБЕРНЕТИКА / ROBOTICS and TECHNICAL CYBERNETICS

К сожалению, данный метод имеет ряд недостатков, заключающихся в высоком уровне требований к аппаратной части машины, на которой запущен процесс генерации. Используя такие бесплатно распространяемые программные пакеты как трехмерный редактор Blender и AliceVision, который реализует исполнение технической части процессов фотограмметрии, становится возможным добиться следующих результатов временных и аппаратно-зависимых характеристик. Таблица 1 — Отражение временных и аппаратно-зависимых характеристик процесса генерации искусственного набора данных Table 1 — Representation of time and device-dependant charachteristics of the generation process of synthetic datasets Видеокарта

GeForce GTX 1080 GeForce GTX 750

Количество трехмерных моделей

Количество изображений на модель

Примерное время выполнения, сут.

8

15600

11

2019; 7(2)

мальный набор латентных параметров. В итоге, целью генеративной сети G является повышение процента ошибок дискриминативной сети D, а целью сети D является увеличение показателей точности распознавания образцов. В [8] процесс обучения генеративносостязательной сети описан как игра с ненулевой суммой, в которой генеративная сеть порождает примеры x = g(z; θ(g)), а дискриминативная возвращает значение функции d(z; θ(d)), равное вероятности того, что x является реальным обучающим примером. Исходя из вышеизложенных обстоятельств, платеж дискриминатора определяется функцией v(θ(g), θ(d)), а генератор принимает в качестве своего платежа –v(θ(g) , θ(d)). Так как каждый игрок стремится увеличить свой платеж, то в пределе будут получены следующие утверждения: g* = arg g min d max v(g, d)

8

15600

60

v(θ(g), θ(d)) =

Исходя из приведенных выше данных, данный метод можно отнести к группе методов, отлично проявляющих себя в решении задач, где диапазон классов объектов сводится к минимуму. Также стоит отметить четкую зависимость ожидаемого времени выполнения полного цикла генерации от производственных мощностей аппаратной части.

Генеративно-состязательная нейронная сеть Генеративно-состязательная сеть (Generative adversarial network, GAN) впервые была представлена Яном Гудфеллоу [1] в 2014 г. GAN основана на комбинации двух нейронных сетей, и в первом приближении принцип работы генеративно-состязательной сети можно описать следующим образом. Генеративная часть (нейросеть G) используется для генерации искусственных образцов набора данных. Дискриминативная часть (нейросеть D) старается максимально отсеять все образцы, которые не являются оригинальными (не сгенерированными генеративной частью). Благодаря использованию переменных латентного пространства, генеративная сеть на основе исходных реальных образцов пытается создать новые. Обучение дискриминативной сети заключается в увеличении показателя, определяющего качество различия оригинальных образцов от сгенерированных. Результаты обучения дискриминативной сети подаются на вход генеративной сети таким образом, чтобы последняя смогла подобрать наиболее опти-

x∼pdata

log d(x) +

x∼pmodel

log(1 – d(x))

При рассмотрении случая функционирования GAN в области генерации двухмерных изображений можно выделить следующий алгоритм действий:  генератор получает на вход случайное число и по принципу черного ящика возвращает изображение;  полученное от генератора изображение передается на вход дискриминатора вместе с набором изображений из исходного фактического (реального) набора данных; анализирует полученные  дискриминатор изображения и присваивает каждому из них дискретное значение от 0 до 1, которое в свою очередь является вероятностью принадлежности изображений к классам искусственных и естественных. Таким образом, схему функционирования можно представить в следующей форме (рис. 3). Принципиальная схема состоит из нескольких блоков. Дискриминатор представлен сверточной нейронной сетью и выполняет функцию классифицирования изображений с помощью биноминального классификатора, определяя их как изображения естественного происхождения или же искусственного. Генератор определен обратной сверточной нейронной сетью, которая выполняет функцию преобразования случайного шума в изображение (рис.

3). Генеративная и дискриминативная части системы пытаются оптимизировать функцию потерь в игре с нулевой суммой.

103

Информационное обеспечение / Information Support

Рисунок 3 — Общая схема генеративно-состязательного обучения для генерации фотографий лиц Figure 3 — General scheme of generative adversarial training for face photos generation

Существует несколько исследований [2-5], отражающих возможности и результаты практического применения генеративно-состязательных нейронных сетей, а также определяющих возможные варианты усовершенствования архитектуры GAN. Особое внимание стоит уделить pg-GAN – разработке специалистов компании Nvidia [6], которая позволяет генерировать случайные фотореалистичные изображения лиц несуществующих людей, а также изменять параметры генерации, влияющие на антропоморфические признаки генерируемого объекта. Рассматривая проекты, использующие архитектуру генеративно-состязательных нейронных сетей, стоит остановиться на перспективном исследовании инженеров из компании Apple [2]. Целью исследования являлось выявление возможности создания объемного набора реалистичных изображений, основанного на генерации нереалистичных образцов с последующим увеличением параметра реалистичности, а также мониторинг параметров качества обучения модели на полученных данных. С помощью добавления в принципиальную схему алгоритма буфера, содержащего в себе результаты прошлых итераций цикла генерации-дискриминации образцов, удалось добиться высоких результатов показателей качества реалистичности сгенерированных изображений. Исследователями был поставлен эксперимент, в ходе которого специально отобранная группа людей старалась оценить принадлеж-

ность предлагаемых им изображений к двум классам – классу естественных изображений и классу искусственно созданных. В ходе исследования было выявлено, что только 51,7% людей смогли верно определить принадлежность изображения.

DiscoGAN является продолжением идеи использования и усовершенствования архитектуры генеративно-состязательных нейронных сетей. В статье [7] исследуется возможность обучения генеративносостязательных нейронных сетей для определения кросс-доменных связей. В ходе исследования специалистами была предложена следующая принципиальная схема генеративно-состязательной модели, а также поставлено несколько экспериментов по генерированию изображений на основании определения кросс-доменных связей. Обучение DiscoGAN производится на двух независимо отобранных и неаннотированных наборах данных, содержащих объекты разной природы. Например, первый набор данных для обучения может содержать изображения обуви, а второй изображения сумок. Для человека не составит особого труда найти признаки, являющиеся общими для объектов из первого и второго наборов. Нейронная сеть в процессе обучения пытается найти связи между образцами из обоих наборов. Далее на вход DiscoGAN подается изображение из первого набора и сеть на основе вычисленных закономерностей генерирует

104

РОБОТОТЕХНИКА и ТЕХНИЧЕСКАЯ КИБЕРНЕТИКА / ROBOTICS and TECHNICAL CYBERNETICS

изображение, которое можно отнести ко второму набору данных. Предложенные в статье [7] архитектурные решения позволили добиться успешного решения проблемы генерации изображений, содержащих объекты из одного набора данных и признаки объектов из другого. Благодаря использованию данного метода становится возможной реализация процесса программного увеличения объёма обучающих наборов данных за счет генерации образцов, имеющих ряд искусственно измененных параметров. Среди достоинств использования генеративносостязательных нейронных сетей можно выделить следующие:  высокие значения параметров качества генерации образцов наборов данных;  имитация любого распределения данных;  возможность оптимизации параметров качества генерации наборов данных с помощью включения в принципиальную схему алгоритма таких блоков как вариационный автоэнкодер [10]. Недостатки использования генеративносостязательных нейронных сетей базируются на следующих тезисах:  обучение генеративной и дискриминативной частей не может производиться одновременно из-за возможности некорректного подбора весовых коэффициентов, вследствие чего дискриминативная сеть

2019; 7(2)

может возвращать значения близкие к 0 или 1, а генеративная использовать недостатки дискриминативной части, возвращая нереалистичные изображения;  относительно высокие требования к аппаратной составляющей машины, на которой запущено обучение;  высокая сложность настройки, а следовательно, и использования.

Экспериментальная часть На основании вышеизложенных архитектурных вариаций было предложено несколько решений. Для наибольшей точности определения параметров качественно-временных характеристик процесса обучения, а также степени производительности предложенных моделей, был составлен набор данных, состоящий из изображений человеческих лиц в различных пространственно-светотеневых конфигурациях, и включающий в себя 7 классов по 1560 изображений в каждом. Благодаря результатам обучения модели архитектуры DCGAN [9] на предложенном наборе данных была определена явная неспособность модели к генерации цветных изображений сложных объектов, что связано с недостаточной обобщающей способностью используемой архитектуры.

Рисунок 4 — Схема генерации синтетического набора данных для системы распознавания лиц Figure 4 — Scheme of the synthetic data generation for the face recognition system

Основываясь на принципах проектирования генеративно-состязательных сетей, нами была определена следующая конструкция (рис. 3). В данном случае, генеративная часть представлена предобучен-

ной моделью Mobilenet со срезанным выходным слоем. Также благодаря интеграции в схему генератора двух отдельных входных слоев, становится возможной одновременная подача меток поворота и осве-

105

Информационное обеспечение / Information Support

щенности трехмерной модели наряду с основным набором данных, представленным серией изображений. В роли дискриминативной части была применена конструкция дискриминатора, определенная в состязательной модели из [9]. К сожалению, в условиях настоящего исследования использование данной архитектуры не приведет к каким-либо значимым результатам процессов обучения и генерации соответственно вследствие недостаточной глубины дискриминативной части модели. Было выявлено, что с необходимым для усовершенствования конструкции состязательной модели увеличением количества слоев в дискриминаторе, требования к вычислительным мощностям оборудования выходят за пределы рамок исследования. В ходе процесса модернизации архитектуры состязательно-генеративной модели, описанной выше, с целью исследования качества генерируемых образцов, не подвергаемых оценке дискриминатора, была вычленена генеративная модель. На основании результатов генерации, представленных на рис.

4 на выходе у сверточной нейронной сети (СНС), полученных в ходе обучения модели, можно сделать выводы о наличии неявной зависимости глубины модели машинного обучения от уровня сложности конструкции единицы набора обучающих данных, а также о высокой степени принадлежности данной архитектурной конструкции к множеству методов реализации генерации искусственных наборов данных для обучения. На рис. 5 представлен подход к организации взаимодействия пользователей с киберфизическим пространством, в котором развернута система распознавания лиц. На основе личности пользователя система выдаёт релевантную информацию именно для этого человека, функционал системы также зависит от статуса пользователя – руководитель организации, менеджер проекта, бухгалтер, программист и пр. Также в такой системе предусмотрен гостевой сеанс, в котором доступны общие функции – виртуальная экскурсия, система навигации по зданию и пр.

Рисунок 5 — Схема взаимодействия пользователей с киберфизической системой с использованием системы распознавания лиц Figure 5 — Scheme of users’ interaction with cyberphysical system with the use of the face recognition system

Кроме того, пользователи имеют возможность взаимодействовать с автономными робототехническими системами: антропоморфными роботами, мобильными робототехническими платформами, квадрокоптерами и т.д. На рис. 6 показана схема

взаимодействия пользователя с роботом внутри киберфизического пространства. Предоставляемый функционал, а также стиль поведения робота будет зависеть также от положения пользователя внутри организации.

106

РОБОТОТЕХНИКА и ТЕХНИЧЕСКАЯ КИБЕРНЕТИКА / ROBOTICS and TECHNICAL CYBERNETICS

2019; 7(2)

Рисунок 6 — Схема взаимодействия пользователей с автономными робототехническими системами внутри киберфизического пространства с использованием системы распознавания лиц Figure 6 — Scheme of users’ interaction with autonomous robotic systems within cyberphysical space with the use of the face recognition system

Заключение В статье были проанализированы основные методики генерации синтетических данных для обучения классификатора системы распознавания лиц на основе генеративных сетей. Представлена архитектура системы распознавания лиц как отдельного сервиса киберфизического пространства, частью которого могут являться в том числе автономные робототехнические системы. Выявлены основные

проблемы генерации синтетических фотографий головы человека с разным поворотом и освещением: недостаточная обучающая выборка для классификатора системы распознавания лиц, а также недостаточная обобщающая способность генератора и/или дискриминатора. Решение обозначенных проблем планируется осуществить на следующем этапе реализации проекта.

Литература 1. Generative adversarial nets / Goodfellow I. [et al.] // Advances in neural information processing systems. – 2014. – Pp. 2672-2680.

2. Learning from simulated and unsupervised images through adversarial training / Shrivastava A. [et al.] // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. – 2017. – Pp. 2107-2116.

3. Wang X. Generative image modeling using style and structure adversarial networks / Wang X., Gupta A. // European Conference on Computer Vision. – Springer, Cham, 2016. – Pp. 318-335.

4. Generative visual manipulation on the natural image manifold / Zhu J. Y. [et al.] // European Conference on Computer Vision. – Springer, Cham, 2016. – Pp. 597-613.

5. Liu M. Y. Coupled generative adversarial networks / Liu M. Y., Tuzel O. // Advances in neural information processing systems. – 2016. – Pp. 469-477.

6. Tuzel O. Global-local face upsampling network / Tuzel O., Taguchi Y., Hershey J. R. // ArXiv preprint arXiv:1603.07235. – 2016.

7. Генерация фотореалистичных лиц знаменитостей. – URL: https://blog.insightdatascience.com/generatingcustom-photo-realistic-faces-using-ai-d170b1b59255 (дата обращения: 10.02.2018). – Текст : электронный.

8. Learning to discover cross-domain relations with generative adversarial networks / Kim T. [et al.] // ArXiv preprint arXiv:1703.05192. – 2017.

9. Goodfellow I. Deep Learning / I. Goodfellow, Y. Bengio, A. Courville // MIT Press, 2016.

10. Существующие реализации генеративно-состязательных сетей.

– URL: https://github.com/eriklindernoren/Keras-GAN/blob/master/dcgan/dcgan.py (дата обращения: 10.02.2018). – Текст : электронный.

11. Реализация генеративно-состязательных сетей с использованием библиотеки Torch. URL: http://torch.ch/blog/2015/11/13/gan.html (дата обращения: 10.02.2018). – Текст : электронный.

107

Информационное обеспечение / Information Support

References 1. Goodfellow, I. et al. (2014). Generative adversarial nets. In: Advances in neural information processing systems. pp.2672-2680.

2. Shrivastava, A. et al. (2017). Learning from simulated and unsupervised images through adversarial training.

In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. pp.2107-2116.

3. Wang, X. and Gupta, A. (2016). Generative image modeling using style and structure adversarial networks.

In: European Conference on Computer Vision. pp.318-335.

4. Zhu, J. et al. (2016). Generative visual manipulation on the natural image manifold. In: European Conference on Computer Vision. pp.597-613.

5. Liu, M. and Tuzel, O. (2016). Coupled generative adversarial networks. In: Advances in neural information processing systems. pp.469-477.

6. Tuzel, O., Taguchi, Y. and Hershey, J. (2016). Global-Local Face Upsampling Network. [online] arXiv preprint.

Available at: https://arxiv.org/abs/1603.07235v1 [Accessed 21 Apr. 2019].

7. Guan, S. (2018). Generating custom photo-realistic faces using AI. [online] Insight Fellows Program. Available at: https://blog.insightdatascience.com/generating-custom-photo-realistic-faces-using-ai-d170b1b59255 [Accessed 10 Feb. 2018].

8. Kim, T., Cha, M., Kim, H., Lee, J. and Kim, J. (2017). Learning to Discover Cross-Domain Relations with Generative Adversarial Networks. [online] arXiv preprint. Available at: https://arxiv.org/abs/1703.05192 [Accessed 21 Apr. 2019].

9. Goodfellow, I., Bengio, Y. and Courville, A. (2016). Deep learning. Cambridge (EE. UU.): MIT Press.

10. GitHub. (2018). Modern GAN implementations. [online] Available at: https://github.com/eriklindernoren/KerasGAN/blob/master/dcgan/dcgan.py [Accessed 10 Feb. 2018].

11. Larsen, A. and Sønderby, S. (2015). Torch-library implementation of GAN approach | Generating Faces with Torch. [online] Torch.ch. Available at: http://torch.ch/blog/2015/11/13/gan.html [Accessed 10 Feb. 2018].

Информация об авторах Малов Дмитрий Александрович, Санкт-Петербургский институт информатики и автоматизации РАН (СПИИРАН), Лаборатория автономных робототехнических систем, м.н.с., 199178, Санкт-Петербург, 14-я линия В.О., д. 39, тел.: +7(931)358-83-78, malovdmitrij@gmail.com Летенков Максим Андреевич, Санкт-Петербургский институт информатики и автоматизации РАН (СПИИРАН), Лаборатория технологий больших данных социокиберфизических систем, м.н.с., 199178, СанктПетербург, 14-я линия В.О., д. 39

Information about the authors Dmitrij A. Malov, Saint-Petersburg Institute for Informatics and Automation of the Russian Academy of Sciences (SPIIRAS), Laboratory of Autonomous Robotic Systems, Junior Research Scientist, 39, 14 line V.O., SaintPetersburg, 199178, Russia, tel.: +7(931)358-83-78, malovdmitrij@gmail.com Maksim A. Letenkov, Saint-Petersburg Institute for Informatics and Automation of the Russian Academy of Sciences (SPIIRAS), Laboratory of Big Data of Socio-Cyberphysical Systems, Junior Research Scientist, 39, 14 line V.O., Saint-Petersburg, 199178, Russia

108

РОБОТОТЕХНИКА и ТЕХНИЧЕСКАЯ КИБЕРНЕТИКА / ROBOTICS and TECHNICAL CYBERNETICS

2019; 7(2)

УДК: 004.896 DOI: 10.31776/RTCJ.7204 C. 109-118

Редукция сложности в интерфейсах робототехнических и эргатических систем А.В. Сергеев 1 , С.Ф. Сергеев 2 

1

Центральный научно -ис сле довател ьс кий и оп ытно -ко нс трукторс кий и нс ти ту т ро бо то тех ни ки и тех ничес кой ки бернетики (ЦНИИ РТК), Санкт-Пе тер бург, Рос сийс ка я Фе дерация 2 Са нкт-Пе тер бур гс кий По ли тех ни че с кий у ни ве рси те т Пе тра Вели кого (СПбПУ), Са нкт-Петер бу рг, Росси йс ка я Фе де ра ци я, ss fpos t@ mail.ru ( М а т е р и а л п ос т у п и л в р ед ак ц и ю 15 м ая 2 0 19 г о д а )

Аннотация Рассматривается проблема редукции сложности взаимодействий человека и машины в интерфейсах сложных эргатических и робототехнических систем. Причина ее появления связана с ограничениями механизма сознания по обработке независимо существующих процессов управления, число которых не превышает пяти. Возможности управления сложными системами определяются способностью интерфейса привести в соответствие возможности оператора и сложность информационно-коммуникационной модели ситуации управления. Показаны пути решения данной проблемы методами классической инженерной психологии и эргономики в авиации на примере многофункциональных индикаторов и специализированных интерфейсов. Анализируются перспективы использования для управления автономными мобильными роботами технологии индуцированных виртуальных сред. Данная технология позволяет разделить алгоритмы управления в пространстве и времени, что снижает сложность управления мобильными роботами и уменьшает нагрузку на когнитивную систему оператора. Используемая при этом технология мультимодальных виртуальных сред позволяет повысить эффективность интерфейсных взаимодействий человека-оператора с управляемой технической системой. Показана специфика и варианты решения данной проблемы методами неклассической эргономики при проектировании интерфейсов сложных эрготехнических систем и мобильных роботов специального назначения.

Ключевые слова Интерфейс «человек-робот», редукция сложности, индуцированные среды, виртуальная реальность, самоорганизация, неклассическая эргономика, управляющая коммуникация.

Благодарности Работа выполнена в рамках государственного задания Минобрнауки РФ №25.8444.2017/БЧ.

Complexity reduction of interfaces of robotic and ergatic systems Alexey V. Sergeev 1 , Sergey F. Sergeev 2 

Russian State Sc ie ntific Center fo r Robo tics and Technical Cybernetics (RTC), Saint-Petersbu rg, Russ ia 2 Pe te r th e Gre a t Sain t-Pe te rsbu rg Po ly tec hn ica l Unive rs ity (SPbPU), Sa in t-Pe te rsb u rg , Russ ia , ss fp os t@ ma il.ru 1

( R ec ei v e d 1 5 M ay 2 0 1 9)

Abstract The problem of complexity reducing of human-machine interactions in the interfaces of complex ergatic and robotic systems is considered. The reason for its appearance is associated with the consciousness mechanism limitations for processing independently existing control processes, the number of which does not exceed five. The ability to manage complex systems is determined by the ability of the interface to match the capabilities of the operator and the complexity of the information and communication model of the management situation. The ways of solving this problem by the methods of classical engineering psychology and ergonomics in aviation on the example of multifunctional indicators and specialized interfaces are shown. The prospects of using the technology of induced virtual environments to control Autonomous mobile robots are analyzed. This technology allows us to separate control algorithms in space and time, which reduces the complexity of mobile robot control and reduces the burden on the cognitive system of the operator. The technology of multimodal virtual environments used in this process makes it possible to in109

Информационное обеспечение / Information Support

crease the efficiency of human-operator interface interactions with a controlled technical system. The article shows the specificity and the solution of the problem of non-classical methods of ergonomics when designing interfaces complex ergotechnical systems and mobile robots for special purposes.

Key words Human-robot interface, complexity reduction, induced environments, virtual reality, self-organization, non-classical ergonomics, control communication.

Acknowledgements Work was accomplished within the frame of state task of Ministry of Education and Science of the Russian Federation No. 25.8444.2017/БЧ. Взаимодействие человека с эргатическими и робототехническими системами в его классическом варианте обеспечивается реализацией передаваемых через системы интерфейса команд управления, ведущих к предсказуемым и однозначно интерпретируемым оператором результатам. Системным механизмом, обеспечивающим симбиоз человека и машины, является естественное, непосредственно действующее рефлексирующее сознание оператора, формирующее идеальную концептуальную модель управления. В соответствии с этой моделью формируются и осуществляются планы деятельности человека в системе. Однако эффективность такой деятельности не высока при работе с системами, реализующими сложные или стохастические алгоритмы функционирования. Эффективность механизмов сознания в данном случае имеет физиологические ограничения. Дело в том, что пропускная способность перцептивной и когнитивной системы человека позволяет ему оперировать в сознании одновременно не более чем с 7 ± 2 объектами («магическое» число Миллера) [1]. Все, что превышает данный объем, нами не воспринимается. Следовательно, при проектировании систем интерфейсов эргатических систем необходимо учитывать данные ограничения сознания. На практике данная проблема решается методами юзабилити, путем снижения сложности модели управления за счет укрупнения единиц опыта. Например, производится объединение элементов информационной модели в группы с созданием соответствующих логически непротиворечивых иерархий алгоритмов управления. Однако на практике этого недостаточно ввиду постоянного усложнения робототехнических и эргатических систем и способов их взаимодействия с пользователем, что заставляет по-новому рассмотреть проблему снижения сложности деятельности оператора в эргатических системах без снижения общей эффективности управления. Процедуру снижения сложности алгоритмов управления технической системой до уровня, не превышающего возможности человека, назовем редукцией сложности взаимодействия. Более сложные алгоритмы ведут к нарушению деятельности опера-

тора, а менее сложные снижают эффективность человеко-машинной системы. По настоящее время данная проблема решалась эмпирическим путем и часто зависела от здравого смысла инженерапроектировщика, к сожалению, мало знакомого с психологией и эргономикой. В результате сложность задач, предъявляемых оператору современных систем управления, превысила все возможные пределы, что ведет к росту ошибок и сбоев в функционировании, в том числе и критических систем и технологий [2]. Вместе с тем снижение сложности, возникающей в сознании человека картины мира, является отражением универсальных процессов анализа и синтеза, определяющих специфику работы механизмов мозга и действующих на всех уровнях организации когнитивной системы человека. Они широко представлены практически во всех сферах знания при обозначении процессов и механизмов, ведущих к упрощению и оптимизации сложного произвольного процесса, сведению его к более простому, понятному, доступному для анализа и решения виду. Редукция отражает фундаментальные принципы развития и эволюции сложноорганизованных и самоорганизующихся систем [3] и проявляется в ограничении многообразия состояний системы и сохранении ведущих к ее стабильному существованию и самовоспроизведению форм. Когнитивные системы человека непрерывно в процессе своего функционирования упрощают и создают индивидуальные версии субъективной реальности для обеспечения жизнедеятельности в своей экологической нише. Возникают уникальные образования в виде когнитивных стилей, реализующие специализированные функции адаптации организма к информационному многообразию среды. Когнитивный стиль – это способность к выбору индивидуально-своеобразных способов познавательного взаимодействия с окружающим миром в зависимости от особенностей организации индивидуального ментального опыта и объективных требований конкретной ситуации. Основная идея стилевого подхода заключается в том, что каждый человек по-своему воспринимает, понимает, интерпретирует и прогнозиру-

110

РОБОТОТЕХНИКА и ТЕХНИЧЕСКАЯ КИБЕРНЕТИКА / ROBOTICS and TECHNICAL CYBERNETICS

ет действительность на основе индивидуальных способов обработки информации (когнитивных стилей) и использовании познавательных эталонов в виде личностных конструктов [4]. Согласно Дж. Келли, конкретный человек антиципирует (предвидит) события путем истолкования их повторений, для чего развивает систему интерпретации. У каждого человека система интерпретации состоит из конечного числа дихотомических конструктов, которая меняется по мере того, как он последовательно истолковывает повторения событий. «Конструкт – это отношение, в котором какие-то вещи истолковываются как сходные и, кроме того, отличные от других». При этом конструкт пригоден для антиципации только ограниченного круга событий, хотя одно и то же событие может последовательно истолковываться множеством конструктов, которые несовместимы друг с другом [5]. Однако как было показано в ряде исследований, в своей рабочей памяти испытуемый может одновременно удерживать значимую информацию, только о трех–пяти объектах и их структурных связях [6– 8]. Даже при эффективном распределении внимания наблюдатель не в состоянии при одном просмотре зрительного паттерна получить информацию о каждом из изображенных на нем объектов, и поэтому для эффективного обнаружения изменения он вынужден распределять свое внимание между отдельными элементами изображения для детального восприятия каждого из них [9]. Субъективная реальность человека, в которой он работает с техническими и социальными системами, является редуцированной копией физического мира, дополненной атрибутами опыта (цвет, звук и т. п.). Субъекту в акте восприятия противостоит не физический мир, каким его описывают физики, а экологический мир определяемый формами его жизнедеятельности [10]. Поток стимулов от интерфейса технической системы существует отдельно от организма оператора, его нервной системы в энергетических полях окружающей среды. Перцептивная система представляет собой иерархию управляемых настроек, совершаемых организмом в процессе поиска и использования окружающей его информации. Из этого следует, что восприятие информации о состоянии управляемой системы избирательно и регулируется психикой субъекта. Это приводит к опасным эффектам информационной слепоты, когда оператор игнорирует важные аспекты информационной модели создаваемой системой интерфейса. Смотрит, но не

2019; 7(2)

видит. В результате возникают ошибочные и неадекватные реакции. Используемые человеком орудия труда традиционно являются продолжением частей его тела и связаны с ним системами интерфейса достаточно эффективными при простых сенсомоторных действиях. Однако сложные системы, к которым относятся рассматриваемые нами робототехнические комплексы, не могут управляться посредством простых алгоритмических действия, так как в них высока интеллектуальная компонента, связанная с принятием решений, что требует интерактивных форм взаимодействия машины и оператора. Человек вступает в коммуникацию с интеллектом сложной системы, в результате чего возникает социальная самоорганизующаяся система аутопоэтического типа [11]. В частности, для ее функционирования должна поддерживаться функция двойной контингенции [12]. Это новые задачи для проектировщиков систем человеко-машинного взаимодействия, так как в классических представлениях, используемых при инженерном проектировании, под коммуникацией понимают процессы обмена сообщениями, содержащими или уточняющими интересующую собеседников информацию. В неклассической и постнеклассической эргономике коммуникация рассматривается как самоорганизующаяся историческая система, действующая в логике аутопоэтического самовоспроизводства и эволюции [13].

Примеры инженерно-тематического решения проблемы редукции сложности в эргатических и робототехнических системах В практике проектирования интерфейсов сложных технических систем, например, предназначенных для группового управления морскими и авиационными системами, широко используются так называемые многофункциональные индикаторы (multifunctional display) (МФИ), в которых информационная модель сопряжена с органами управления в виде кнопок, расположенных по периметру индикатора, позволяющими выбирать режимы отображения информации и совершать управляющие воздействия. Данное решение позволяет структурировать рабочее поле индикатора, разделив его на зоны управления информационными кадрами. Вместе с тем необходимо отметить отсутствие единой точки зрения на компоновку параметров, отображаемых на электронных индикаторах и способы их кодирования [14]. Процедура редукции в МФИ систем управления самолётом снижает потоки информационного рабочего поля до воспринимаемых летчиками объемов (рис. 1).

111

Информационное обеспечение / Information Support

Рисунок 1 — Многофункциональный индикатор системы посадки самолёта Figure 1 — Multifunctional indicator of aircraft landing system

Первые попытки внедрения МФИ на самолётах и вертолётах показали, что по своим характеристикам они обеспечивают в полной мере эффективность выполнения профессиональных задач и повышают безопасность полётов только при грамотном эргономическом проектировании. В частности, в процессе разработки этих комплексов часто не учитывается возросший уровень сложности информационного взаимодействия, связанный с декодированием воспринимаемых сигналов и формированием психического образа состояния и положения управляемых объектов [14]. Одним из способов редуцирования потока интерпретируемой информации является использование мультимодального воздействия на перцептивные системы оператора. Редукция происходит за счет распределения информации по свободным перцептивным каналам. В качестве примера такого решения можно привести вибротактильный браслет VibroTac, разработанный институтом робототехники и мехатроники при Германском аэрокосмическом центре (DL-RMC), представлен на рис. 2.

Рисунок 2 — Браслет VibroTac Figure 2 — VibroTac bracelet

Устройство содержит в себе шесть цилиндрических вибрирующих сегментов, которые могут работать согласованно друг с другом с разной интенсивностью, создавая таким образом целый спектр различных вибротактильных «узоров». На оператора может быть надето сразу несколько таких браслетов, что позволяет закодировать информацию не только в параметрах вибрации, но и в локализации ее источников на теле. Например, если управляемый оператором робот попадает правым манипулятором в опасную зону, то вибрирует браслет на правой руке, привлекая к ней внимание оператора. Задающие устройства, используемые в системах для управления мобильными платформами и манипуляторами, можно условно разделить на универсальные и специализированные. К первому типу относятся джойстики, трекболы, задающие рукоятки, клавиатуры, пульты управления и т.п. Информация об изменении состояния какого-либо элемента такого устройства (об отклонении рукоятки, нажатии кнопки и т.п.) преобразуется в команду управления. В простейшем случае каждый управляющий элемент соотнесен с одной базовой функцией управляемой системы. Усложнение кинематики автономных мобильных роботов (АМР) приводит к увеличению количества возможных функций и, как следствие, увеличению количества управляющих элементов и/или привязке нескольких функций к одному элементу. Использование управляющих устройств, перегруженных функциональными элементами, приводит к увеличению когнитивной рабочей нагрузки на опера-

112

РОБОТОТЕХНИКА и ТЕХНИЧЕСКАЯ КИБЕРНЕТИКА / ROBOTICS and TECHNICAL CYBERNETICS

тора, что снижает эффективность его деятельности [15]. Поэтому, разработчики часто применяют специализированные задающие устройства.

2019; 7(2)

сильно отличаться от человеческой. В случае более медленного робота, оператору придётся работать в очень медленном темпе, что приводит к повышенной утомляемости и необходимости частых технологических перерывов для восстановления работоспособности. Кроме того, выход из режима копирования связан с необходимостью повторения последней заданной позы при возвращении в него. Также недостатком задающего экзоскелета является то, что в случае отказа АМР оператор может не заметить разницу между задаваемым и фактическим положением и продолжит проведение операции.

Рисунок 3 — Задающее устройство (3D модель) Figure 3 — Control-point setting device (3D model)

В качестве примера универсального задающего устройства можно привести разрабатываемое в настоящий момент в ЦНИИ РТК семистепенное задающее устройство (рис. 3), которое позволит совершать манипуляции с возможностью силомоментного очувствления. Семь степеней подвижности позволяют отслеживать положение и ориентацию кисти оператора в пространстве и контролировать усилие, развиваемое указательным пальцем. Силомоментное очувствление задающего манипулятора позволит оператору ощутить воздействия окружающей среды (касание, упругость) в процессе выполнения роботом контактной операции, а также давать ему тактильные подсказки, например, о приближении к пределу допустимой рабочей зоны [16]. Синхронизация рабочего физического поля манипулятора и его визуальной картины позволяет понизить сложность сенсомоторного действия. Следующим примером задающей манипуляционной системы является задающее устройство экзоскелетного типа. Задающие устройства данного типа обычно используют совместно со шлемом виртуальной реальности, в котором оператору предъявляется стереоизображение с видеокамер расположенных в «голове» антропоморфного АМР. Таким образом, редуцируется сложность управления сложным техническим объектом. Оператор управляет АМР в копирующем режиме, отождествляя конфигурацию своего тела с конфигурацией робота. При этом у оператора возникает чувство присутствия на месте выполнения рабочих операций. Он использует «своё» новое виртуальное тело для решения профессиональных задач (рис. 4) [17]. Применение данной системы ограничено динамикой исполнительного органа, которая не должна

Рисунок 4 — Задающее устройство экзоскелетного типа для управления антропоморфным роботом Figure 4 — Exoskeleton type of control-point setting device for humanoid robot control

Использование технологий виртуальной реальности для редукции сложности операторской деятельности Перспективно, по нашему мнению, использование для целей редукции исполнительных и перцептивных процессов в эргатических и робототехнических системах концепции индуцированной виртуальной реальности [18], которая позволяет разделить алгоритмы управления в пространстве и времени рабочего процесса. С этой целью в ЦНИИ РТК проведены исследования управления мобильными космическими роботами в среде индуцированной виртуальной реальности.

113

Информационное обеспечение / Information Support

В экспериментах использовался шлем OculusRift, способный обеспечить 3D изображение с разрешением 1200х1080 пикселов, частотой обновления кадров 75 Гц, углом обзора 110 градусов для каждого глаза, что обеспечивает высокий уровень визуального присутствия в искусственной рабочей среде. Кроме того, имеются встроенные в шлем наушники и микрофон. Положение и ориентация рук оператора отслеживаются с помощью задающих джойстиков. Положение пальцев рук оператора определяется по степени нажатия кнопок джойстиков (рис. 5). В созданной искусственной виртуальной среде редуцируется задача управления, решаемая в естественной для человека форме в окружении, наполненном виртуальными объектами, копирующими ра-

бочую зону АМР, а также виртуальными объектами, дающими возможности контроля и управления. Оператор, погружаясь в искусственно созданную виртуальную среду, одновременно «отстраняется» от своего текущего окружения, с которым он перестаёт взаимодействовать и на которое больше не обращает внимание. Создаваемая виртуальная среда содержит в упрощенном виде только необходимые для управления элементы окружения робота, его состояние и элементы. Это позволяет ограничить несущественную отвлекающую внимание оператора информацию. В результате происходит оптимизация процессов распределения психофизиологических ресурсов человека, что ведет к снижению его утомляемости и повышению эффективности взаимодействия с управляемой системой.

Рисунок 5 — Оператор, работающий в индуцированной виртуальной среде Figure 5 — Operator working in induced virtual environment

Оператор может манипулировать виртуальными объектами естественным для себя образом. Например, в ручном режиме управления оператор задаёт положение рабочего инструмента виртуальной рукой и перемещает его в привычном темпе, а система управления в режиме реального времени подстраивает конфигурацию реального робота так, чтобы инструмент оказался в соответствующем положении. При этом внимание оператора не отвлекается для расчёта кинематики манипулятора, исполняющего эти движения и на решение других технических задач, которые можно автоматизировать. Система управления отрабатывает заданные положения в пределах имеющихся возможностей, предоставляя оператору обратную связь с реальным миром и сигнализируя о невозможности исполнения задания посредством изменения цвета звеньев манипулятора или предупреждающими звуками. Таким образом,

дополнительно редуцируется сложность процесса выбора объекта управления. Вся виртуальная среда разделяется на слои, каждый из которых содержит объекты, отображаемые только при включении именно этого слоя. Число слоёв может быть произвольным, но не менее чем три: слой оператора, слой физической реальности и целевой слой. Слой оператора содержит различные двумерные элементы интерфейса: панели отображения информации, различные меню и т. п. Оператор может свободно перемещаться в виртуальном пространстве. При этом его интерфейсный слой перемещается вместе с ним. Элементы интерфейса могут быть расположены вокруг оператора на большой площади, что позволит одновременно отобразить гораздо больший объем информации, чем на МФИ. Оператор всегда может легко найти нужную ему ин-

114

РОБОТОТЕХНИКА и ТЕХНИЧЕСКАЯ КИБЕРНЕТИКА / ROBOTICS and TECHNICAL CYBERNETICS

формацию, просто поворачивая голову, без необходимости переключения режимов отображения посредством кнопок. Слой физической реальности содержит информацию об окружении АМР и его текущем состоянии, конфигурации и положении. Благодаря стереоскопическому зрению, у оператора появляется эффект присутствия рядом с АМР. Кроме того, оператору доступно наблюдение робота в неоптическом диапазоне, когда АМР и его окружение окрашиваются в цвета в соответствии с имеющейся информацией. Например, в зависимости от температуры, потребляемой электрической энергии, наличия или отсутствия обмена по цифровым каналам данных и др. Дополнительно снизить сложность наблюдения за АМР с разных сторон, можно путём установки виртуальных телекамер, изображение с которых отображается в слое оператора. Такие виртуальные камеры могут быть неподвижно зафиксированы, прикреплены к различным подвижным объектам или двигаться по траектории. Целевой слой предназначен для отображения целей и путей их достижения. Объекты этого слоя являются виртуальными объектами, но используются для указания координат реального мира. В целевом слое отображаются все траектории движения АМР. Оператор может планировать свои дальнейшие действия путём управления специальными виртуальными объектами (маркерами). Последние могут обозначать цели, которые нужно достигнуть, места или зоны, которые необходимо избегать, а также различные «технологические» объекты. Виртуальная среда, исходя из заданных оператором условий, автоматически выстраивает предлагаемые траектории, по которым должен двигаться робот (рис. 6). Оператор может создать отдельный визуальный слой будущего, где можно посмотреть движение виртуального робота по предложенной траектории. Свободно перемещаясь в виртуальном пространстве, оператор с удобного ракурса может наблюдать за планируемым движением, при этом ему доступно ускорение/замедление воспроизведения и инструменты измерения расстояний и контроля коллизий объектов в виртуальной реальности. В случае выявления движения робота, которое оператор считает недопустимым в данной ситуации и хочет изменить, он может создать дополнительные контрольные точки на траектории, определяющие начало и конец движения, которое нужно изменить. Внутри данного отрезка оператор может задать позиции, через которые должен пройти робот и дополнительные требования и ограничения, с учётом которых система управления построит новую траекторию для данного отрезка. После построения приемлемой траектории движения оператор отправляет

2019; 7(2)

команду на исполнение и наблюдает со стороны, как робот выполняет заданное движение.

Рисунок 6 — Задание траектории движения с помощью виртуальных маркеров Figure 6 — Motion trajectory definition with use of virtual markers

Такой супервизорный режим управления позволяет эффективно управлять АМР в случаях, где не требуется большая точность исполнения, например, при выполнении многократно повторяющихся операций. Если АМР нужно повторно пройти по пути, который он уже успешно проходил, то можно взять ранее проложенную траекторию движения и повторить её. Разумеется, что это упрощает построение траектории, но не упрощает процесс контроля его исполнения. Управление современным АМР является задачей, перцептивная сложность которой, даже с учётом возможностей предоставляемых виртуальной реальностью, находится на границе возможностей человеческого восприятия. Проблема может быть решена за счёт использования многопользовательского режима управления, при котором в едином виртуальном пространстве присутствует не один, а несколько операторов, каждый из которых имеет свою зону контроля, соответствующую его перцептивным возможностям. Использование различных слоёв позволяет отключать отображение других операторов и их интерфейсов, таким образом, чтобы каждый оператор мог занять наиболее удобное положение для наблюдения и решения своих задач. Групповая операторская деятельность в виртуальном пространстве открывает возможность одновременного создания траекторий управляемого объекта и их исполнения, что позволит операторам специализироваться на отдельных аспектах управления, что может существенно упростить их профессиональную подготовку. Могут быть выделены следующие группы операторов: диспетчер, планировщик, руководитель. Диспетчер отвечает за текущее управление АМР, планировщик строит траектории между двумя заданными положениями робота, а ру-

115

Информационное обеспечение / Information Support

ководитель, исходя из целей и имеющихся условий, назначает последовательность операций, которые должен спланировать планировщик и проконтролировать или выполнить в ручном режиме диспетчер. В случае наличия на АМР научного или специального оборудования требующего специальных знаний и умений для его применения, могут дистанционно привлекаться специалисты, работающие совместно с другими членами команды. Недостатком управления роботом в индуцированной среде является неполнота модели реальной среды деятельности, что может приводить к неправильному определению текущих и задаваемых координат.

Заключение Таким образом, применение многопользовательских индуцированных виртуальных сред в системах человеко-машинного интерфейса позволяет редуцировать сложную задачу управления АМР до циклической последовательности действий, соответствующих перцептивным и интеллектуальным возможностям операторов. Проблема редукции сложности деятельности человека в сложных эргатических и робототехнических средах актуальна на всех этапах создания человеко-машинной системы и требует для своего решения привлечения специалистов в области инженерной психологии и эргономики.

Литература 1. Miller, George A. The magical number seven, plus or minus two: some limits on our capacity for processing information. – Text : unmediated // Psychological Review. – Vol. 63 (2), Mar 1956. – Pp. 81-97.

2. Стрелков Ю.К. Инженерная и профессиональная психология / Ю.К. Стрелков. – Текст : непосредственный. – Москва: Академия. – 2001. – 360 с.

3. Сергеев С.Ф. Роль механизма редукции в обучении и образовании / С.Ф. Сергеев. – Текст : непосредственный // Философия образования. – 2013. – № 1. – C.198-205.

4. Холодная М.А. Когнитивные стили: О природе индивидуального ума / М.А. Холодная. – Текст : непосредственный. – Москва: Пер СЭ. – 2002. – 304 с.

5. Kelly, George A. The Psychology of Personal Constructs. – Text : unmediated. – Vol. 1 and 2. – 1955. – New York: WW Norton.

6. Величковский Б.Б. Рабочая память и ситуационная осведомленность / Б.Б. Величковский. – Текст : непосредственный // Человеческий фактор в сложных технических системах и средах (ЭРГО 2018): труды III межд. конф. (4-7 июля 2018 года, Санкт-Петербург) / Под ред. А.Н. Анохина [и др.]. – Санкт-Петербург: МЭА, СПбГЭТУ «ЛЭТИ». – 2018. – С. 263-268.

7. Alvarez G.A. The capacity of visual short-term memory is set both by visual information load and by number of objects / G.A. Alvarez, P. Cavanagh. – Text : unmediated // Psychological Science. – 2004. – Vol. 15. – Pp. 106-111.

8. Luck S.J. The capacity of visual working memory for features and conjunctions / S.J. Luck, E.K. Vogel. – Text : unmediated // Nature. – 1997. – Vol. 390. – Pp. 279-281.

9. Гусев А.Н. Внимание и память как детерминанты слепоты к изменению / А.Н. Гусев, О.А. Михайлова, А.Е. Кремлев. – Текст : непосредственный // Вестник МГУ. Серия 14 психология. – № 1. – 2015. – C. 20-41.

10. Гибсон Дж. Экологический подход к зрительному восприятию. – Текст : непосредственный. – Москва: Прогресс, 1988. – 464 с.

11. Луман Н. Невероятность коммуникации // Проблемы теоретической социологии. Вып. 3. / Отв. ред. А.О. Бороноев. – Текст : непосредственный – Санкт-Петербург: Изд-во СПбГУ. – 1994. – С. 43-55.

12. Сергеев С.Ф. Двойная контингенция в человеко-машинном взаимодействии / С.Ф. Сергеев. – Текст : непосредственный // Человеческий фактор: проблемы психологии и эргономики. – 2018. – № 2 (87). – С. 9-12.

13. Сергеев С.Ф. Механизмы ориентирующей педагогической коммуникации в обучении / С.Ф. Сергеев. – Текст : непосредственный // Школьные технологии. – 2014. – № 5. – С. 24-31.

14. Яценко А.Н. Разработка эргономических предложений к электронной индикации пилотажнонавигационных параметров на перспективных и модернизируемых вертолётах. – Текст : электронный // Труды МАИ: [эл. журнал]. – Вып. 38. – Режим доступа: http://trudymai.ru/upload/iblock/dc8/razrabotka-ergonomicheskikhpredlozheniy-k-elektronnoy-indikatsii-pilotazhno_navigatsionnykh-parametrov-na-perspektivnykh-imoderniziruemykh-vertolyetakh.pdf. (дата обращения: 02.02.2019).

15. Cannon, Daniel, Perceived mental workload and operator performance of dexterous manipulators under time delay with master-slave interfaces. – Text : unmediated // 2015 IEEE International Conference on Computational Intelligence and Virtual Environments for Measurement Systems and Applications (CIVEMSA), 12-14 June 2015.

16. Сергеев А.В. Управление мобильным роботом космического назначения с применением виртуальной реальности/ А.В. Сергеев, М.Ю. Гук. – Текст : непосредственный // Пилотируемые полеты в космос. – 2018. – № 4 (29). – С. 44-52.

116

РОБОТОТЕХНИКА и ТЕХНИЧЕСКАЯ КИБЕРНЕТИКА / ROBOTICS and TECHNICAL CYBERNETICS

2019; 7(2)

17. Гребенщиков А.В. Космический эксперимент «Теледроид»: «Исследование возможностей использования дистанционно управляемого антропоморфного робота для операционной поддержки деятельности космонавтов в условиях орбитального полета». – Текст : электронный / А.В. Гребенщиков, О.А. Сапрыкин. – Режим доступа: knts.tsniimash.ru/ru/src/Conf_InfRes/ГРЕБЕНЩИКОВ_А_В-пер.pdf. (дата обращения: 30. 08.2017).

18. Сергеев С.Ф. Эргономические проблемы проектирования интерфейса на базе индуцированных виртуальных сред / С. Ф. Сергеев. – Текст : непосредственный // Мир Авионики. – 2006. – № 3. – С. 62-67.

References 1. Miller, G. (1956). The magical number seven, plus or minus two: some limits on our capacity for processing information. Psychological Review, 63(2), pp.81-97.

2. Strelkov, J. (2001). Inzhenernaja i Professional'naja Psihologija [Engineering and Professional Psychology].

Moscow: Akademija Publ., p.360. (In Russian) 3. Sergeev, S. (2013). Reduction mechanism and its role in learning and education. Philosophy of education, 1, pp.198-205. (In Russian) 4. Holodnaja, M. (2002). Kognitivnye Stili: O Prirode Individual'nogo Uma [Cognitive styles: On the Nature of Individual Intellect]. Moscow: Per SJe Publ., p.304. (In Russian) 5. Kelly, G. (1955). Psychology of personal constructs. Vol.1 and Vol. 2. New York: WW Norton.

6. Velichkovskij, B. (2018). Rabochaja pamjat' i situacionnaja osvedomlennost' [Operation memory and situational awareness]. In: Trudy III Mezhdunarodnoj konferencii «Chelovecheskij faktor v slozhnyh tehnicheskih sistemah i sredah» (JeRGO 2018) [Proceedings of III International Conference on Human Factor in Complex Engineering Systems and Environments]. pp.263-268.

7. Alvarez, G. and Cavanagh, P. (2004). The Capacity of Visual Short-Term Memory is Set Both by Visual Information Load and by Number of Objects. Psychological Science, 15(2), pp.106-111.

8. Luck, S. and Vogel, E. (1997). The capacity of visual working memory for features and conjunctions. Nature, 390(6657), pp.279-281.

9. Gusev, A., Mikhaylova, O. and Kremlev, А. (2015). Attention and memory as determinants of change blindness. Moscow University Psychology Bulletin. Seria 14: Psychology, 1, pp.20-41. (In Russian) 10. Gibson, J. (1988). The ecological approach to visual perception. Moscow: Progress Publ., p.464.

11. Boronoev, A., ed., (1994). Luman Niklas: Neverojatnost' Kommunikacii [Luhmann Niklas: Communication Impossibility]. In: Problemy teoreticheskoj sociologii. Vyp. 3. [Theoretical Sociology Problems. Issue 3]. SaintPetersburg: SPBPU Publ., pp.43-55. (In Russian) 12. Sergeev, S. (2018). Double contingency in human-machine interaction. Human Factors: Problems of Psychology and Ergonomics, 2(87), pp.9-12. (In Russian) 13. Sergeev, S. (2014). Oriented pedagogical communications in education. Shkol'nye Tekhnologhii, 5, pp.24-31.

(In Russian) 14. Yatsenko, A. (2010). Workout of ergonomic proposals for the electronic displays of primary-flight information on

progressive

and

modernized

helicopters.

[online]

Journal

«Trudy

MAI».

Issue

38.

Available

at:

http://trudymai.ru/upload/iblock/dc8/razrabotka-ergonomicheskikh-predlozheniy-k-elektronnoy-indikatsiipilotazhno_navigatsionnykh-parametrov-na-perspektivnykh-i-moderniziruemykh-vertolyetakh.pdf [Accessed 2 Feb. 2019]. (In Russian) 15. Cannon, D. and Siegel, M. (2015). Perceived mental workload and operator performance of dexterous manipulators under time delay with master-slave interfaces. 2015 IEEE International Conference on Computational Intelligence and Virtual Environments for Measurement Systems and Applications (CIVEMSA).

16. Sergeyev, A. and Gook, M. (2018). Mobile Space Robot Control with the Use of Virtual Reality. Pilotiruemye Polety v Kosmos, 4(29), pp.44-52. (In Russian) 17. Grebenschikov, A. and Saprykin, O. (n.d.). Space Experiment «TELEDROID»: «Study of the Use of a Remotely Controlled Anthropomorphic Robot for Operation Support of Cosmonauts’ Activity under Conditions of Orbital Flight». [online] Gctc.ru. Available at: http://www.gctc.ru/media/files/Periodicheskie_izdaniya/ppk_2018_4_total_ 29_contents_metadata_rus_eng.pdf [Accessed 30 Aug. 2018].

18. Sergeev, S. (2006). Jergonomicheskie problemy proektirovanija interfejsa na baze inducirovannyh virtual'nyh sred [Ergonomic problems of interface design on the basis of induced virtual media]. Mir Avioniki, 3, pp.62-67. (In Russian) 117

Информационное обеспечение / Information Support

Информация об авторах Сергеев Алексей Викторович, Центральный научно-исследовательский и опытно-конструкторский институт робототехники и технической кибернетики (ЦНИИ РТК), ведущий инженер, 194064, Санкт-Петербург, Тихорецкий пр., д. 21, тел.: +7(921)975-04-97, etechnician@gmail.com Сергеев Сергей Федорович, Д.псх.н., Санкт-Петербургский Политехнический университет Петра Великого (СПбПУ), профессор, заведующий научно-исследовательской лабораторией «Эргономика сложных систем», 195251, Санкт-Петербург, ул. Политехническая, д. 29, тел.: +7(911)995-09-29, ssfpost@mail.ru

Information about the authors Alexey V. Sergeev, Russian State Scientific Center for Robotics and Technical Cybernetics (RTC), Leading Engineer, 21, Tikhoretsky pr., Saint-Petersburg, 194064, Russia, tel.: +7(921)975-04-97, etechnician@gmail.com Sergey F. Sergeev, Doctor of Psychological Science, Peter the Great Saint-Petersburg Polytechnical University (SPbPU), Professor, Head of Scientific and Research Laboratory of Complex Systems, 29, Politekhnicheskaya ul., Saint-Petersburg, 195251, Russia, tel.: +7(911)995-09-29, ssfpost@mail.ru

Информация Роботы смогут лучше воспринимать объекты при манипулировании ими

Разработанная в Массачусетском технологическом институте (MIT) новая система обучения роботов улучшает их возможности по приданию разным материалам заданных форм и прогнозированию взаимодействия с твердыми объектами и жидкостями. Эта система, известная как имитатор частиц на основе обучения, может обеспечить промышленным роботам более аккуратное касание, а домашние роботы могут найти забавные применения: например, моделирование глиняных фигур или раскатывание риса для суши. Физические симуляторы в роботизированном планировании – это модели, которые фиксируют реакцию различных материалов на физическое воздействие. Роботы «обучаются» с помощью моделей, чтобы предсказать результаты их взаимодействия с объектами, например, толкать твердую коробку или тыкать деформируемую глину. Но использующие

обучение традиционные симуляторы в основном фокусируются на твердых объектах и не способны работать с жидкостями или мягкими телами. Некоторые более точные физические симуляторы могут работать с разными материалами, но в значительной степени полагаются на методы аппроксимации, которые вносят ошибки, когда роботы взаимодействуют с объектами в реальных условиях. Исследователи описывают новую модель, которая учитывает, как маленькие порции различных материалов («частиц») взаимодействуют, когда их тыкают и толкают. Модель напрямую учится на данных в тех случаях, когда основная физика движений неопределенна или неизвестна. Затем роботы могут использовать модель в качестве руководства, чтобы предсказать, как жидкости, а также жесткие и деформируемые материалы будут реагировать на усилие прикосновения. Поскольку робот обрабатывает объекты, модель обучения также помогает улучшить управление роботом. В экспериментах роботизированная рука с двумя пальцами, называемая «RiceGrip», точно придавала деформируемой пене желаемую конфигурацию. Модель служит своего рода мозгом «интуитивного интерфейса», который роботы могут использовать для реконструкции трехмерных объектов, что похоже на действия людей. (по материалам сайта Robogeek.ru)

118

РОБОТОТЕХНИКА и ТЕХНИЧЕСКАЯ КИБЕРНЕТИКА / ROBOTICS and TECHNICAL CYBERNETICS

2019; 7(2)

УДК: 519.876.5:004.5:004.896:629.78 DOI: 10.31776/RTCJ.7205 C. 119-124

Виртуальное моделирование интерактивного взаимодействия человека с мобильными роботами в проектах освоения Луны М.В. Михайлюк 1  , Б.И. Крючков 2 , В.М. Усов 3

Фе де рал ьно е гос у дарс т ве нное у чре жде ние «Федеральный нау чны й це нтр Научно-исс ле довател ьс кий и нститут си стемных ис сл едований Росси йс ко й а ка де мии нау к», Мо с ква, Росси йс ка я Федера ци я, mix@niisi.ras.ru 2 ФГБУ «Научно-ис сле до ва тел ьс кий ис пытател ьный центр п одготовки кос мона вто в и ме ни Ю .А. Гагарина» (ФГБУ « НИИ ЦПК и мени Ю .А. Га гар ина»), М ос ко вс кая о блас т ь, Звездный го родо к, Росс ийс ка я Фе дера ци я 3 ФГБУН Го су дарс тве нный научный центр РФ – Институт медико -биол оги чес ких пр о бле м Рос сийс кой а ка де мии нау к (ИМБП РАН), Мос ква, Росс ийс ка я Фе дер а ци я 1

( М а т е р и а л п ос т у п и л в р ед ак ц и ю 18 м а рт а 20 1 9 г од а)

Аннотация Перспективные проекты по исследованию Луны предполагают использование «планетных» автономных мобильных роботов (АМР) различного назначения. Тема взаимодействия космонавтов с роботами в пилотируемых полетах привлекает повышенное внимание специалистов. Однако открытым остается вопрос, каким образом будет осуществляться взаимодействие экипажа лунной миссии с группой автономных мобильных роботов (АМР) на лунной поверхности и в обитаемых лунных базах (ОЛБ). Ответ на этот вопрос предполагает проведение экспериментальных исследований в области эргономики с применением современных средств информационного и технического обеспечения. В этой связи в работе предложены имитационные модели, пригодные для реализации в составе исследовательского стенда для виртуального прототипирования взаимодействия человека и робота, а в более широком плане – взаимодействия космических экипажей с группой роботов различного назначения.

Ключевые слова Освоение Луны, обитаемая лунная база (ОЛБ), экипаж космонавтов, гетерогенные группы роботов, взаимодействие человека и робота, виртуальное прототипирование, комплекс моделирования и визуализации виртуальной среды.

Virtual modeling of human interaction with mobile robots in lunar exploration projects Mikhail V. Mikhaylyuk 1 , Boris I. Kryuchkov 2 , Vitaly M. Usov 3

1

Federal State Institution «Federal Sc ientific Center Resea rch Ins titu te fo r Sys tem Stud ie s o f the Russ ian Acad emy o f Scienc es» , Mos cow, Russ ia , mix@n iis i.ras .ru 2 Federal State Organiza tion «Yu.A. Gagarin Research & Test Cosmonaut Training Center» (GCT C), Star City, Mosc ow Reg ion , Russ ia 3 Institute of Biomed ical Prob le ms (IBMP), Mosc ow, Russ ia ( R e c e i v e d 1 8 M ar c h 2 0 1 9)

Abstract Promising projects of lunar exploration involve the use of «planetary» autonomous mobile robots (AMR) for various purposes. The topic of interaction between cosmonauts and robots in manned flights attracts the attention of specialists. However, the question remains how the lunar missions’ crew will interact with a group of AMRs on the lunar surface and in inhabited lunar bases (ILB). The answer to this question involves experimental researches in the field of ergonomics with the use of modern test benches with the information and technical support. In this regard, the paper proposes simulation models suitable for implementation as part of the testing unit for virtual prototyping of Human Robot Interaction, and more broadly – for the interaction of space crews with a group of AMRs for various purposes.

Key words Lunar exploration, inhabited lunar bases (ILB), cosmonauts crew, heterogeneous groups of autonomous mobile robots (AMR), human robot interaction (HRI), virtual prototyping, test bench for modeling and visualization virtual environment.

119

Информационное обеспечение / Information Support

Введение Разработка «планетных» автономных мобильных роботов (АМР) занимает видное место в перспективных планах космической деятельности. Разработчики допускают их применение в пилотируемом и беспилотном вариантах. Для пилотируемых вариантов известны прототипы, которые применялись по программе Аполлон. Для беспилотных наземных роботов (англ.: Unmanned Ground Vehicle – UGV) в качестве прототипов можно рассматривать автоматические космические аппараты, которые сегодня широко используются для изучения поверхности Луны и планет. В свете требований обеспечения безопасности космическому экипажу будет необходимо вести мониторинг активности неоднородной группы АМР, в которую могут войти манипуляторы, сервисные роботы, строительные роботы и др., как на поверхности Луны, так и внутри обитаемой лунной базы (ОЛБ). С точки зрения состава задач предстоящей деятельности человек-оператор (ЧО) должен оперативно вмешиваться в управление группой при отклонениях от номинальных режимов, когда имеются риски срыва операций и/или возникают непосредственные угрозы жизни космонавта, особенно во время внекорабельной деятельности (ВнеКД) или при нештатных ситуациях (НшС) на ОЛБ. Именно для таких случаев применение роботов считается наиболее обоснованным. Принятие решения о необходимости вмешательства в НшС может осуществляться в режиме дистанционного взаимодействия с группой АМР. Такой вид деятельности космонавта можно отнести к диспетчерскому типу с составными элементами операций контроля выполнения планов, учёта ресурсов и оперативного разрешения «конфликтов интересов». Другими словами, для предотвращения коллизий АМР перед ЧО будет стоять первостепенная задача выявлять признаки НшС в сложной тактической обстановке, и для его оперативного «включения в ситуацию» необходимы такие слагаемые, как обладание когнитивными способностями, надлежащий уровень «ситуационной осведомленности», наличие практического опыта, а также владение инструментарием для поддержки взаимодействия с неоднородной группой АМР (имеются в виду развитые средства человеко-машинного интерфейса, включая многомодальный интерфейс). Необходимо отметить, что применительно к ОЛБ также стоит задача достижения безопасного перемещения сервисных роботов – помощников экипажа во внутрикорабельном пространстве, которые в аварийной ситуации могут выполнять функции роботовспасателей [1].

Концепция построения исследовательских комплексов эргономической направленности Использование выбора направлений и способов визуализации виртуального окружения с учетом обеспечения безопасности выполнения полетных операций В свете основных требований к имитационным стендам и тренажерам одним из первых «напрашивающихся» возникает определение цели их применения – обеспечить моделирование и визуализацию с таким расчетом, чтобы сделать акцент на реализацию компонентов принятия решений, связанных с ведением ЧО пространственной ориентировки в искусственной среде при внутрикорабельной деятельности (ВнуКД) экипажа на ММОС (это же решение может быть предложено на ОЛБ) и при ВнеКД (в развитие подхода – при ВнеКД на лунной поверхности). Для этого использованы пространственно-ориентированные технологии, позволяющие построить виртуальное окружение, в котором ЧО взаимодействует со стационарными и мобильными объектами, точнее – их виртуальными представлениями (аватарами), в виде интерактивных цифровых моделей. Фактор постоянного изменения состава модулей, наращивание конструкции станции с использованием роботов-манипуляторов, изменения конфигурации ММОС фактически сыграл роль катализатора разработки средств 2D- и 3D-визуализации, позволяющих не только знакомить космонавтов с внутренним устройством ММОС, но и способствовать улучшению способности ведения ориентировки в рабочем пространстве. Дальнейшие шаги состояли в создании интерактивной среды, в которой космонавты могли бы работать с виртуальными панелями и приборами, на которых в динамике индицируются такие значения контролируемых параметров, по которым необходимо выявлять и идентифицировать НшС. В частности, в ФГУ ФНЦ НИИСИ РАН были получены оригинальные решения по визуализации панелей и приборов в формате 2D, а также интерьера отсеков и модулей станции, ее внешней поверхности в формате 3D. Сегодня среди разработок ФГУ ФНЦ НИИСИ РАН имеется аппарат построения виртуальных пультов и их настройки на выполнение управления роботом в ручном режиме. Решение данной задачи может быть реализовано разными способами на базе коммерчески доступных комплектующих. В первом способе человек с помощью «виртуальной руки», копирующей движения его руки в компьютерной перчатке, воздействует на элементы виртуального пульта управления (нажимает на виртуальные кнопки, переключает тумблеры и т.п.). Элементы управления перемещаются под воздействием руки, при этом включаются соответствующие управляющему воздействию приборы. Во втором способе человек выпол-

120

РОБОТОТЕХНИКА и ТЕХНИЧЕСКАЯ КИБЕРНЕТИКА / ROBOTICS and TECHNICAL CYBERNETICS

няет переключение виртуальных элементов управления непосредственно своей рукой в компьютерной перчатке. Виртуальный пульт управления визуализируется в стерео режиме, а положение и ориентация головы и руки пользователя отслеживаются с помощью оптической системы трекинга. Это достаточно общий прием для создания условий формирования и закрепления образных представлений о текущей конфигурации рабочей среды после многократных повторений «прохождений маршрутов». Эта задача решается посредством управляемого оператором перемещения виртуальной видеокамеры, имитирующей направления взгляда ЧО. Для этого TVкамера связывается с эгоцентрической системой координат наблюдателя, при этом наблюдение может быть построено по технологии «взгляд на объект со стороны». Сегодня разрабатываются и применяются имитаторы и тренажеры для отработки действий экипажа в НшС на МКС с использованием технологии виртуальной реальности [3,4]. Обращает на себя внимание работа [3], в которой достаточно подробно изложены сведения о виртуальном 3D-симуляторе в центре управления Columbus (Германия), который предназначен для формирования у наземного персонала знаний о предписанном инструкциями реагировании членов экипажа на НшС. Наибольшие технические трудности моделирования и визуализации связаны с воспроизведением активности виртуальных агентов – аватаров, имитирующих перемещения реальных АМР, которые могут функционировать как в автономном режиме, так и принимать команды ЧО [4]. При моделировании их перемещения по произвольным маршрутам внутри гермообъекта необходимо дополнительно принимать во внимание такие эргономические критерии, как пространственные соотношения объектов и антропометрические характеристики (включая и ЧО, и антропоморфного робота). При проведении эргономической экспертизы компоновки модулей и отсеков гермообъектов таким способом могут быть исследованы возможности доступа к бортовым системам и агрегатам, запанельным пространствам, тоннельным проходам при ремонтно-восстановительных операциях, наладке аппаратуры, замене комплектующих и др. В работе [4] рассмотрены перспективы применения в этой области технологий на основе виртуального прототипирования с последующей 3D визуализацией. Из этой работы следует, что инструментальное средство для виртуального прототипирования должно позволять синтезировать компьютерный манекен, оперативно изменять его антропометрические характеристики и придавать ему свойство интерактивности посредством экранных инструментов для задания положения и рабочей позы.

2019; 7(2)

Базовые решения моделирования и визуализации, предлагаемые для построения исследовательских моделирующих комплексов эргономической направленности Для моделирования визуальной среды в гермообъекте с воспроизведением внутреннего интерьера и оборудования на основе технологий виртуальной и дополненной реальности известны зарубежные и отечественные пакеты программ. В области пилотируемой космонавтики при создании технических средств подготовки космонавтов уже сегодня используется ряд отечественных инновационных программных продуктов, имеющих большой потенциал внедрения в смежных областях [6]. Современная система компьютерной визуализации имеет сложную структуру, что можно видеть на примере GLview (разработка ФГУ ФНЦ НИИСИ РАН) [6]. Общая схема предлагаемого комплекса, которая рассчитана на режим взаимодействия одного ЧО с одним роботом, приведена на рис. 1 (слева – разработанный комплекс для взаимодействия «человек – робот»; справа – планируемый к разработке для взаимодействия «экипаж – группа роботов»). В настоящее время разработаны дополнительные модули многомодального интерфейса, которые позволяют управлять роботом посредством голосовых и жестовых команд. Кроме того, выполнено моделирование бортовых систем, датчиков и измерительных приборов АМР, для ведения коммуникации посредством ВИС с другими роботами, передачи в ВИС текущих данных. Такая конфигурация отображена на рис. 1 справа. Такое расширение пакета позволит выполнить моделирование и визуализацию практически в полном объеме задач, приведенных в рассмотренных выше приложениях. Другими словами, «содружественное» функционирование экипажа космонавтов с группой роботов может быть достигнуто использованием возможностей ВИС, так как позволяет разнородным агентам обмениваться сообщениями, информационными запросами и заявками на использование совместных ресурсов, а идентифицированные алгоритмами модели ВИС ситуации риска отображаются в доступной форме для ЧО [4,8]. Существенно, что ВИС может использовать априорные данные о планируемой активности АМР (состав задач, время выполнения, потребные ресурсы), обновляемые данные электронной карты местности, оперативно получаемые сообщения АМР о местоположении, техническом состоянии, заявках на использование ресурсов. При выявлении «конфликта интересов» между АМР по запрашиваемым ресурсам и в случаях выявления опасного сближения АМР предлагается обеспечить специальными приемами индикации привлечение внимания ЧО к ситуации для принятия решения для предупреждения коллизий.

121

Информационное обеспечение / Information Support

Рисунок 1 — Структура исследовательского моделирующего комплекса Figure 1 — Structure of research modeling complex

Заключение В статье рассматривается проблема разработки исследовательских комплексов для визуализации виртуального окружения при моделировании человека с АМР, а в более широком контексте – при взаимодействии команд космонавтов и групп АМР на поверхности Луны и в условиях пребывания в лунной базе при возникновении НшС. В общем случае, взаимодействие человека и робота является частью междисциплинарной области исследований человеческого фактора, и в этой связи необходимо иметь инструменты экспериментального исследования и цифрового моделирования, ориентированные на информационную поддержку лабораторных экспериментов с участием специалистов разного профиля. Если следовать изложенной в работе [7] классификации концепций, определяющих тактику и стратегию интеграции человека и машины в процессе проектирования, то применительно к экстремальной робототехнике возможна попытка синтеза нескольких взаимодополняющих концепций:

 роботоцентрического подхода (как варианта машиноцентрического) на этапе проектирования отдельных АМР, предназначенных для экстремальных условий, предусматривая повышенные требования к возможностям сбора и передачи информации о техническом состоянии, текущей решаемой задаче, местоположении, результатах ведения ориентировки, навигации и применения бортовых систем для обнаружения и идентификации подвижных объектов;  разновидности симбиотического подхода в рамках виртуальных интеллектуальных сред (ВИС), направленного на достижение синергетического эффекта в гибридных системах, чтобы обеспечить согласованную активность роботов и осуществление их контроля со стороны ЧО на базе мультиагентных моделей для групп АРМ;  антропоцентрический подход к взаимодействию космонавтов с роботами в ходе плановых операций, подразумевающий приоритет человека в принятии решений в интересах безопасности выполняемых операций и использующий роботов как средство достижения поставленных перед экипажем целей.

Литература 1. Крючков Б.И. Технологии моделирования для эргономического проектирования системы «космонавт – манипуляционный робот – рабочая среда» / Б.И. Крючков, М.В. Михайлюк, В.М. Усов. – Текст : непосредственный // Материалы конференции «Управление в морских и аэрокосмических системах». – СанктПетербург: ОАО «Концерн «ЦНИИ «Электроприбор», 2014. – С.367-377.

2. Бронников С.В. Подготовка космонавтов к действиям в аварийных ситуациях на космической станции / С.В. Бронников, А.Е. Маликов, И.А. Рожкова. – Текст : непосредственный // Пилотируемые полеты в космос. – №2(27). – 2018. – С.35-45.

3. ISS emergency scenarios and a virtual training simulator for Flight Controllers / Uhlig, Th. [et al.]. – Text : unmediated // In: Acta Astronautica. – Vol. (128). – Pp. 513-520. Elsevier. DOI: 10.1016/j.actaastro.2016.08.001.

4. Virtual prototyping of Human-Machine Interaction for remote control of space autonomous manipulation robots based on augmented reality technology / A.A. Karpov [et al.] // IAC2016, Paper number IAC-16,B3,6-A5.3,7,x34571

122

РОБОТОТЕХНИКА и ТЕХНИЧЕСКАЯ КИБЕРНЕТИКА / ROBOTICS and TECHNICAL CYBERNETICS

2019; 7(2)

Available at: URL: https://iafastro.directory/iac/archive/browse/IAC-16/B3/6-A5.3/34571/ Date of access: 21.01.2018.

– Text : electronic.

5. Виртуальное прототипирование оборудования рабочих мест операторов с использованием компьютерных макетов тела человека / Ю.Б. Моисеев [и др.]. – Текст : непосредственный // Сб. трудов III Международная конференция «Человеческий фактор в сложных технических системах и средах: ЭРГО 2018», СанктПетербург 4 - 7 июля 2018. – Санкт-Петербург: СПбГЭТУ «ЛЭТИ». – С. 282-290.

6. Михайлюк М.В. Система «GLView» визуализации для моделирующих комплексов и систем виртуальной реальности / М.В. Михайлюк, М.А. Торгашев. – Текст : непосредственный // Вестник Российской академии естественных наук. – 2011. – Т. 11. – № 2. – С. 20-28.

7. Сергеев С.Ф. Человеческий фактор в самолетах 6-го поколения: проблемы техносимбиоза / С.Ф. Сергеев. – Текст : непосредственный // Механика, автоматизация, управление. – Т. 19. – № 12. – С.806-811. DOl: 10.17587/mau.19.806-811.

8. Simulation of the «Cosmonaut-Robot» system interaction on the lunar surface based on methods of machine vision and computer graphics / B.I. Kryuchkov [et al.]. – Text : unmediated // Int. Arch. Photogramm. Remote Sens.

Spatial Inf. Sci., XLII-2/W4, 129-133, Doi: 10.5194/isprs-archives-XLII-2-W4-129-2017.

References 1. Kryuchkov, B., Mikhailyuk, M. and Usov, V. (2014). Modeling technologies for ergonomic design of the system «cosmonaut - manipulation robot - working environment.» In: Proceedings of the conference «Control in the marine and aerospace systems» (UMAS-2014). pp.367-377. (In Russ.).

2. Bronnikov, S., Malikov, A. and Rozhkova, I. (2018). Cosmonaut Training for Emergency Situations Aboard the Space Station. Pilotiruemye polety v kosmos [Manned Spaceflights], 2(27), pp.35-45.

3. Uhlig, T., Roshani, F., Amodio, C., Rovera, A., Zekusic, N., Helmholz, H. and Fairchild, M. (2016). ISS emergency scenarios and a virtual training simulator for Flight Controllers. Acta Astronautica, 128, pp.513-520. DOI: 10.1016/j.actaastro.2016.08.001.

4. Karpov, A., Mikhaylyuk, M., Usov, V. and Kryuchkov, B. (2016). irtual prototyping of Human-Machine Interaction for remote control of space autonomous manipulation robots based on augmented reality technology. Paper number

IAC-16,B3,6-A5.3,7,x34571.

In: IAC2016.

[online]

Available

at:

https://iafastro.directory/iac/archive/

browse/IAC-16/B3/6-A5.3/34571/ [Accessed 21 Jan. 2018].

5. Moiseev, Y., Ryzhenkov, S., Usov, V., Mikhailiuk, M. and Alontseva, E. (2018). Virtual prototyping of an operator’s workplace equipment using computer models of the human body. In: Proceedings of the III International Conference «The human factor in complex technical systems and environments: ERGO 2018». pp.282-290. (In Russ.).

6. Mihajlyuk, M. and Torgashev, M. (2011). The Visualization System «GLView» for modeling complexes and systems of virtual reality. Herald of the Russian Academy of Natural Sciences, 11(2), pp.20-28. (In Russ.).

7. Sergeev, S. (2018). The Human Factor in the Aircraft of the 6th Generation: Problems Technosymbiosis. Mekhatronika, Avtomatizatsiya, Upravlenie, 19(12), pp.806-811. (In Russ.). DOl: 10.17587/mau.19.806-811.

8. Kryuchkov, B., Usov, V., Chertopolokhov, V., Ronzhin, A. and Karpov, A. (2017). Simulation of the «cosmonaut-robot» system interaction on the lunar surface based on methods of machine vision and computer graphics. ISPRS - International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, XLII-2/W4, pp.129-133. DOI: 10.5194/isprs-archives-XLII-2-W4-129-2017.

Информация об авторах Михайлюк Михаил Васильевич, д.ф.-м.н., Федеральное государственное учреждение «Федеральный научный центр Научно-исследовательский институт системных исследований Российской академии наук», профессор, заведующий отделом, 117218, Москва, Нахимовский просп., д. 36, к. 1, тел.: +7(499)129-28-30, mix@niisi.ras.ru Крючков Борис Иванович, д.т.н., ФГБУ «Научно-исследовательский испытательный центр подготовки космонавтов имени Ю.А. Гагарина» (ФГБУ «НИИ ЦПК имени Ю.А. Гагарина»), г.н.с., 141160, Московская область, Звездный городок, тел.: +7(495)526-34-37, b.kryuchkov@gctc.ru Усов Виталий Михайлович, д.м.н., ФГБУН Государственный научный центр РФ – Институт медикобиологических проблем Российской академии наук (ИМБП РАН), профессор, в.н.с., 123007, Москва, Хорошевское шоссе, 76-А, тел.: +7(910)495-48-02, khoper.1946@gmail.com

123

Информационное обеспечение / Information Support

Information about the authors Mikhail V. Mikhaylyuk, Doctor of Physical and Mathematical Sciences, Federal State Institution «Federal Scientific Center Research Institute for System Studies of the Russian Academy of Sciences», Professor, Head of Department, 36-1, Nakhimovsky pr., Moscow, 117218, Russia, tel.: +7(499)129-28-30, mix@niisi.ras.ru Boris I. Kryuchkov, Doctor of Technical Science, Federal State Organization «Yu.A. Gagarin Research & Test Cosmonaut Training Center» (GCTC), Chief Research Scientist, Star City, Moscow Region, 141160, Russia, tel.: +7(495)526-34-37, b.kryuchkov@gctc.ru Vitaly M. Usov, Doctor of Medical Science, Institute of Biomedical Problems (IBMP), Professor, Leading Research Scientist, 76-A, Khoroshevskoe sh., Moscow, 123007, Russia, tel.: +7(910)495-48-02, khoper.1946@gmail.com

Информация На МКС завершились первые испытания «роботов-пчел»

Астронавт НАСА Энн МакКлейн провела на борту Международной космической станции первую серию испытаний робота Astrobee. В тестах был задействован экземпляр Bumble.

30 апреля Энн МакКлейн распаковала Bumble и при поддержке команды разработчиков проекта Astrobee из Исследовательского центре имени Эймса провела проверку всех вспомогательных систем робота – авионики, камер, двигательной системы, а также передачу данных и зарядку. Полноценная эксплуатация роботов должна начаться уже совсем скоро.

В НАСА отмечают, что задача роботов будет заключаться в автоматизированном обслуживании МКС, а также в сборе данных для усовершенствования перспективных устройств. В агентстве считают, что подобные роботы смогут сыграть одну из важнейших ролей в программе агентства по возвращению человека на Луну, а также других проектах, направленных на исследование дальнего космоса. Использование роботов позволит переложить на них сложную, опасную и рутинную работу, пока астронавты будут заняты более важными задачами — научными экспериментами и исследованиями. В НАСА планируют, что это позволит сократить и численность астронавтов на борту.

Astrobee — это свободно летающая система роботов, которая обеспечит исследовательскую платформу для орбитальной лаборатории. На МКС отправили только двух роботов серии Astrobee, но в скором времени планируется отправка и третьей «робопчелы» Queen. (по материалам сайта Hi-News.ru)

124

РОБОТОТЕХНИКА и ТЕХНИЧЕСКАЯ КИБЕРНЕТИКА / ROBOTICS and TECHNICAL CYBERNETICS

2019; 7(2)

УДК: 519.876.5 DOI: 10.31776/RTCJ.7206 C. 125-135

Квадратурные дискретные модели протяженных звеньев манипуляторов. Часть II. Тестирование и применение В.А. Леонтьев

Це нтрал ьны й нау чно -иссл едова тел ьс кий и опы тно -ко нс тру кторс кий и нс титут ро бо то тех ни ки и техничес кой ки бернетики (ЦНИИ РТК), Санкт-Пе тер бург, Рос сийс ка я Фе дерация, vleo nt@rtc.ru, vleont@mail.ru ( М а т е р и а л п ос т у п и л в р ед ак ц и ю 25 а п ре л я 2 01 9 г од а)

Аннотация В предыдущей, первой части статьи (см. «Робототехника и техническая кибернетика». 2019. № 1, том 7) были представлены квадратурные модели с сосредоточенными параметрами для имитации протяженных гибких балок (модели G2 , G3 , Q6 ) и дана их теория. В настоящей, второй части статьи продолжается рассмотрение свойств этих моделей, а также проводится их дальнейшее сравнение с другими моделями гибких стержней. Производится тестирование разработанных моделей на некоторых важных механических случаях, и даются примеры их практического применения в задачах численного моделирования. Предлагаемые модели могут служить своеобразными твердотельными конечными элементами в задачах компьютерного моделирования динамики различных робототехнических и механических конструкций с гибкими звеньями.

Ключевые слова Моделирование распределенной упругости, дискретизация балки Бернулли-Эйлера, дискретные модели с сосредоточенными параметрами, квадратура Гаусса, динамика упругих систем, твердотельные конечные элементы

Quadrature lumped parameter models for flexible long links of manipulators.

Part II. Tests and application.

Victor A. Leontev

Russ ian State Sc ie ntific Center fo r Robo tics and Technical Cybernetics (RTC), Saint-Petersbu rg, Russ ia , vleont@rtc .ru, vleont@mail.ru ( R e c e i v e d 2 5 A pr i l 2 01 9)

Abstract In the first part of the article (see «Robotics and Technical Cybernetics». 2019. No. 1, Vol. 7) quadrature models with lumped parameters were presented to simulate extended flexible beams (LPM models G2 , G3 , Q6 ), and their theory was given. In this second part of the article, consideration of properties of these models is continued, and their further comparison with other known models of flexible beams is given. Models are tested on some important mechanical problems. Examples of their practical application in numerical simulations are also given. Proposed models can serve as specific rigid finite elements for computer simulation of dynamics of various robotic and mechanical structures with flexible links.

Key words Simulation of distributed flexibility, discretization of Euler-Bernoulli beam, lumped parameter models, Gauss quadrature, dynamics of flexible multi-body systems, rigid finite elements.

Введение Настоящий материал продолжает тематику первой части статьи, опубликованной в [28]. Нумерация формул, рисунков, таблиц и литературы здесь также продолжена. В первой части были представлены квадратурные модели с сосредоточенными параметрами (LPM модели G2 , G3 , Q6 ) для компьютерного

моделирования статики и динамики изгиба механических систем с протяженными звеньями, см. рис. 3 в [28], или ниже рис. 4 в данной части статьи. При этом в точках псевдо-шарниров моделей xi вводятся «пружины» с угловыми жесткостями Ki :

125

Информационное обеспечение / Information Support

гибов при таких ситуациях представляет значительный интерес. Рассмотрим сначала точное решение задачи о продольно-поперечном изгибе, при малой величине силы PX , см. например [29]. Дифференциальное уравнение, описывающее такой изгиб y ( x) и условиями y (0)  y  (0)  0 , с прогибом и углом поворота балки на конце YL ,  L , есть:

EIy   M L  PL ( L  x)  PX (YL  y ) 

(42)

Исследуя точные решения этого уравнения для случая сжимающей силы PX  0 , имеем:

L 

Рисунок 4 — Квадратурные модели плоского изгиба балок Figure 4 — Quadrature models of beam’s planar bending

Были продемонстрированы высокоэффективные свойства этих моделей по отражению свойств плоского изгиба однородных балок Бернулли-Эйлера, а также по аппроксимации собственных частот колебаний балок, что важно для адекватного моделирования динамики систем с гибкими звеньями. В данной статье представлено сравнение свойств дискретных моделей при моделировании таких важных механических эффектов, как продольнопоперечный изгиб, значение критической силы Эйлера при потере продольной устойчивости стержня, а также в случае моделирования большого изгиба гибкого звена. Кроме того, рассматривается применение разработанных дискретных моделей консольной балки для аппроксимации собственных частот балок с другими условиями закрепления концов, а также для кривой балки в форме дуги окружности. Дается пример численного моделирования динамики гибкого звена с грузом и сравнение его результатов с известным точным решением данной задачи. В заключение рассматривается пример построения расширенной квадратурной модели (твердотельного конечного элемента M 17 ) для описания малого пространственного изгиба балки в обеих взаимно-перпендикулярных плоскостях, с возможным учетом дополнительных деформаций растяжениясжатия, кручения и сдвига для однородной балки.

Моделирование малого продольнопоперечного изгиба консольной балки Как известно, влияние продольной силы PX (см. рис. 2(b) в [28]) на изгиб балки приводит к поправочным слагаемым в формулах поперечного изгиба от нагрузок PL , M L , которые пропорциональны как силе PX , так и этим нагрузкам. В сочленениях мно. гозвенных упругих цепей могут возникать не только моменты и поперечные силы, но также и продольные силы, так что вопрос о точности моделирования про-

YL 

k x M L sin k x L  PL (1  cos k x L)  PX  cos k x L

(43)

M L (1  cos kx L)  PL (sin kx L  kx L cos kx L)  kx  (44)  PX  cos kx L

где k x   PX  ( EI ) . Для случая растягивающей силы PX  0 будет:

L  YL 

k x M L sinh k x L  PL (cosh k x L  1)  PX  cosh k x L

(45)

ML (cosh kx L 1)  PL (sinh kx L  kx L cosh kx L)  kx  (46)  PX  cosh kx L

При малой величине фактора продольной силы

(k x L)  1 можно найти, что точные уравнения (43)(46) приводят, при любом знаке малой продольной силы PX , к аппроксимирующим выражениям угла поворота и прогиба конца балки в виде:

L 

ML L ⎛ PX L2 ⎞ PL L2 ⎛ PX L2 ⎞  1  11 1  12 (47) ⎜ ⎟ ⎜ EI ⎝ EI ⎠ 2 EI ⎝ EI ⎟⎠

YL 

M L L2 ⎛ PX L2 ⎞ PL L3 ⎛ PX L2 ⎞       (48) 1 1 21 22 EI ⎟⎠ 3EI ⎜⎝ EI ⎟⎠ 2 EI ⎜⎝

где поправочные коэффициенты  ij на действие продольной силы есть:

11  1  3 12   21  5  12  22  2  5 

(49)

Найдем теперь выражения аналогичных поправочных коэффициентов  ij в случае дискретных LPM моделей. Для общей LPM модели, показанной на рис. 2(b) в [28], при действии дополнительной продольной силы PX , справедливы следующие выражения для моментов M i в псевдо-шарнирах (при i = 1, 2, . . . , n):

126

M i  M L  PL ( L  xi )  PX (YL  yi )   M L  PL L i  PX (YL  yi ) i 1

yi  ∑  j ( xi  x j )  j 1

L2 EI

(50)

i 1

a j M j ( j   i )  ∑ j 1

(51)

РОБОТОТЕХНИКА и ТЕХНИЧЕСКАЯ КИБЕРНЕТИКА / ROBOTICS and TECHNICAL CYBERNETICS

Объединяя уравнения (3) и (50)-(51), получаем здесь для малого продольно-поперечного изгиба:

ML L ⎛ n PX L2 ⎞  ai  11  ∑ ⎜ EI ⎝ i 1 EI ⎟⎠ 2 ⎞ PL L2 ⎛ n  PX L 2∑ ai i  12  ⎜ EI ⎟⎠ 2 EI ⎝ i 1

n

i 1

 12  21  2

(52)

(53)

имеют вид:

Таблица 2 — Относительная точность и точность Table 2 — Relative accuracy

ij   ij

 E

P

of factors

ij   ij

по поправкам

⎛ n ⎜ ⎜ ⎝⎜ i 1

⎜ i2 ⎝

j 1

⎟ ⎠

∑a i

⎞2 ⎟ i⎟ ⎠⎟

n

n ⎛

i 1

⎜ i2 ⎝

i 1 ⎛ ⎞  2∑ ⎜ ai i ∑ a j (i   j )⎟ (54) ⎠ i2 ⎝ j 1 n

i 1

⎞

j 1

⎟ ⎠

при отображении продольно-поперечного изгиба

PE  ( 2  4)  ( EI  L2 )

in modelling of small lateral-longitudinal bending and accuracy

cal Euler force PE

PE / PE

in representing criti-

 ( 2  4)  ( EI  L2 )

Для моделей E (n) и BN (n) вычислять отношения  ij   ij не имело смысла в тех случаях, когда эти модели неправильно представляют основные слагаемые в скобках уравнений (52)-(53), к которым прибавляются поправки при продольно-поперечном изгибе. Из таблицы 2 можно видеть, что квадратурная модель Q6 хорошо аппроксимирует все случаи малого продольно-поперечного изгиба гибкой балки, причем с чрезвычайно низкой погрешностью.

YL  PX  cos

Критическая сила Эйлера определяется следующим образом, см. [29]. Запишем уравнение (44), соответствующее сжимающей силе PX  0 , в виде (55)

Отсюда, при отсутствии нагрузок M L  PL  0 , получаем уравнение сжатия балки силой с модулем  PX  :

 PX  L2  0 EI

(56)

Из (56) следует, что возможно возникновение неустойчивой формы равновесия сжатой консольной балки (когда прогиб конца YL может быть любым), как только модуль  PX  достигает минимальной величины PE , обращающей косинус в (56) в нуль:

 PX  PE 

Моделирование критической силы Эйлера при потере продольной устойчивости консольной балки

YL  PX  cos k x L  M L (1  cos k x L)   PL (sin k x L  k x L cos k x L)  k x 

 ij

/ PE по критической силе Эйлера

 ij

⎞

Сравнительные результаты расчета коэффициентов  ij при i j  1 2 , для некоторых дискретных моделей с числом псевдо-шарниров n  2 3 6 представлены ниже в табл. 2. В таблице показана относительная точность ( ij   ij ) , где  ij – приближенное значение коэффициента, соответствующее LPM модели, а  ij – его теоретическое значение из выражений (49).

при этом для LPM модели поправочные коэффици-

ij

i 1

22  3∑ ai2 i3  6∑ ⎜⎜ ai i2 ∑ a j  j ⎟⎟ 

YL 

енты

n ⎛

 11  ∑ ai2 i  2∑ ⎜⎜ ai i ∑ a j ⎟⎟

L 

M L L2 ⎛ n PX L2 ⎞  a 2     21 i i ∑ EI ⎟⎠ 2 EI ⎜⎝ i 1 PL L3 ⎛ n PX L2 ⎞ 3∑ ai i2   22   ⎜ EI ⎟⎠ 3EI ⎝ i 1

2019; 7(2)

 2 EI 4



L2

 24674

EI  L2

(57)

Сила PE есть так называемая критическая сила Эйлера, вызывающая потерю продольной устойчивости при сжатии упругой консольной балки. Найдем аналогичные по смыслу значения критической силы PE для LPM моделей консольной балки с (n) вращательными псевдо-шарнирами. Из формул (3b), (50), (51) для LPM моделей при M L  PL  0 можно получить следующее выражение упругих моментов M i в псевдо-шарнирах:

127

Информационное обеспечение / Information Support

Mi  

PX L2 EI

n

∑a M i

i

i



i 1

PX L2 EI

i 1

∑a M j

j

( ai  i ) . Результаты расчета относительной точности PE  PE моделирования критической силы Эйлера

( j  i )  (58)

j 1

Вводя обозначение   k x2  PX  L2  ( EI ) , имеем здесь для случая сжимающей силы PX    PX  0 : n

i 1

i 1

j 1

M i   ∑ ai i M i   ∑ a j M j ( j  i ) 

(59)

Рассматривая уравнения (59) последовательно, при i  1 2… n , их можно переписать в матричном виде относительно вектор-столбца моментов M [ n 1] :

U[ n  n ] ( )  M [ n 1]  0 

(60a)

где квадратная матрица U[ n  n ] ( ) этой линейной системы уравнений, оказывается, имеет следующие элементы, соответствующие строке i и столбцу j:

 a j i  j  i U (i j)  1   ai i  j  i  (i j  1 2… n)  (60b)  a j  j  j  i Как известно, для того, чтобы существовало нетривиальное решение линейной однородной системы уравнений (60), необходимо и достаточно выполнение известного условия

det U[ n  n ] ( )  0 

(61)

Существование нетривиального решения системы (60) означает существование произвольного и ненулевого вектора моментов M [ n 1] в псевдошарнирах LPM модели, а значит и существование произвольного и отличного от нуля прогиба YL конца модели. Это соответствует общей логике определения критической силы, вызывающей потерю продольной устойчивости консольной балки. Итак, безразличная (неустойчивая) форма равновесия в LPM модели возникает при минимальном значении параметра  , обращающем в ноль определитель в (61). Далее, решая уравнение (61) численно относительно  , можно найти значение критической силы PE    EI  L2 для LPM модели с параметрами

приведены, для некоторых моделей, в последнем столбце табл. 2. Эти данные показывают, что LPM модели BN (n) Gn  Q6 аппроксимируют критическую силу Эйлера с очень хорошей точностью. Можно видеть, что наиболее высокую точность демонстрируют здесь модели BN (6) и Q6 .

Моделирование большого изгиба тонкой консольной балки Пусть, например, имеется тонкая стальная однородная балка длины L = 10 метров, кругового сечения с диаметром   2 mm и с изгибной жесткостью EI  0165 Nm 2 . Рассмотрим большой изгиб этой консольной балки, см. рис. 2(b), образующийся под действием статической поперечной силы на конце PY  PL  0003 N . Сила тяжести при этом отсутствует. В литературе имеется точное уравнение кривой большого статического прогиба балки, с учетом ее большой кривизны, выраженное через эллиптические интегралы (см., например, [30]). Следуя этим формулам, можно вычислить, что точные значения большого прогиба и угла поворота конца рассматриваемой балки равны YL  46615 m и  L  42045 соответственно. Медленно нагружая суммарные LPM модели балки поперечной концевой силой, можно определить при помощи компьютерного моделирования постепенного динамического нагружения с очень малым инкрементом, результирующие большие смещения концов моделей YL и L при достижении конечного статического равновесия. При этом общая длина балки неизменна. В табл. 3 помещены результаты вычисления относительной точности моделей по большому вертикальному смещению конца и угловому повороту конца этой консольной балки, обозначенные   YL  YL и    L   L соответственно.

Таблица 3 — Относительная точность LPM моделей при моделировании большого статического изгиба консольной балки тонкого сечения Table 3 — The relative accuracy of LPM models when modeling a large static bending of a cantilever beam with thin section

128

РОБОТОТЕХНИКА и ТЕХНИЧЕСКАЯ КИБЕРНЕТИКА / ROBOTICS and TECHNICAL CYBERNETICS

В этой таблице, N – общее число моделей размещенных на равных участках балки, а n – общее число псевдо-шарниров в суммарной динамической модели балки, равное произведению N на число псевдо-шарниров элементарной LPM модели одного участка балки. Из табл. 3 можно видеть, что при увеличении числа псевдо-шарниров все результаты моделирования сходятся к точным значениям, и что эквидистантная модель E (n) обладает наиболее низкой скоростью сходимости. Модель BN (n) имеет хорошую скорость сходимости к точным решениям в этом случае, но представленные в данной работе квадратурные симметричные модели N  G3 и N  Q6 имеют, при отображении большого нелинейного изгиба балки, наиболее высокую скорость сходимости.

Примеры применения квадратурных LPM моделей в качестве твердотельных конечных элементов Квадратурные LPM модели, описанные в настоящей статье, разработаны на основе моделирования однородной консольной балки Бернулли-Эйлера. Однако на практике часто приходится решать задачи, в которых консольная балка выступает лишь как модельный элемент на некотором участке механической системы. На концах такого элемента могут находиться некоторые массы, система может включать кривые звенья и состоять из многих тел и разветвлений. Очевидно, что квадратурные LPM модели могут служить эффективными твердотельными конечными элементами (Rigid Finite Elements) в составе сложных упругих систем, поскольку они хорошо отражают действие многих разнотипных нагрузок (момента, силы и др.), передающихся от других тел системы. Эти модели, для повышения точности расчета, могут применяться несколько раз на длине упругих протяженных конструкций, к ним могут быть присоединены твердые тела на концах, и они также могут описывать балки со сложными условиями закреплениями концов, и моделировать кривые балки, аппроксимируя их вписанными или описанными многоугольниками. Такие их возможности следуют непосредственно из того факта, что любой прямой однородный участок, «вырезанный» из сложной системы, может рассматриваться как консольная балка, подверженная действию произвольных нагрузок разного типа. На концах LPM модели, представляющей такой участок, могут быть введены как шарниры любого вида, так и жесткие или упругие соединения. Суммарная твердотельная модель, содержащая в себе твердотельные LPM модели длинных гибких участков, а также другие твердые тела с заданными инерционными свойствами и жесткостями их соединений, является обычным объектом программ ком-

2019; 7(2)

пьютерного расчета динамики систем связанных твердых тел, например, таких как MSC.ADAMS и вообще любых программ подобного типа. Так, автор настоящей статьи применял, в задачах компьютерного моделирования динамики механических и робототехнических систем, многофункциональную программу собственной разработки [31]. Здесь необходимо отметить, что, как показано в первой части статьи [28], LPM модели будут высокоэффективны в задачах компьютерного моделирования динамики упругих систем, лишь когда эти модели будут выполнять не менее четырех первых условий определяющей GS системы, т.е. системы n

∑1 a  i

S 1 i

 1/ S

,

i

начиная последовательно с S = 1. Это и происходит в разработанных квадратурных моделях G2 , G3 , Q6 , реализующих, за счет выполнения четырех или шести первых уравнений GS системы, большое количество сформулированных в первой части статьи условий моделирования. Рассмотрим теперь несколько примеров использования LPM моделей в качестве твердотельных конечных элементов в случаях, показанных на рис. 5.

Рисунок 5 — Некоторые специальные случаи моделирования однородных балок: (a) безмассовая прямая балка с массой mL на конце; (b) прямая балка с двумя жесткими заделками; (c) балка в форме дуги круга с двумя заделками Figure 5 — Some specific cases of modelling the uniform beams: (a) massless straight beam with the end mass mL; (b) straight beam fixed at the both ends; (c) arc beam fixed at the ends

Пример (a). Расчет собственной частоты колебаний «невесомой» консольной балки с массой на конце. Как можно найти в литературе [32], точная формула первой собственной частоты балки, показанной на рис. 5(a), есть

f1 

1 EIL  3 2 mL 2 L

[ Hz ] 

(62)

Возьмем балку с параметрами L 1 m , EI  1 Nm 2 , mL  5 kg , тогда точное значение частоты этой балки f1  0123281 Hz . Применяя для расчета частоты LPM модели E (6) , BN (6) , Q6 , как моделирующие

129

элементы

безмассовой

балки,

Информационное обеспечение / Information Support

назначим массы и моменты инерции их участков близкими нулю (  1012 ), а на конце самого последнего участка модели консольной балки – разместим точечную массу mL  5 kg . Для расчета частоты применялась модификация компьютерной программы [31], в которой автоматически, для данной конфигурации системы, и исходя из параметров каждого участка, строятся суммарные матрицы жесткости и

инерции, и вычисляется соответствующее аппроксимирующее значение частоты f1 . Ниже, в среднем столбце (a) таблицы 4 помещены результаты относительной точности расчета первой собственной частоты f1  f1 для упомянутых LPM моделей консольной балки, изображенной на рис. 5(a).

Таблица 4 — Относительная точность некоторых LPM моделей по первой собственной частоте f1 в случаях (a): для безмассовой прямой консольной балки с массой на конце; (b): для прямой балки с двумя жесткими заделками, см. рис. 5(a)-5(b) Table 4 — Relative accuracy of some LPM models of approximating the first natural frequency f1 in the cases (a): massless straight beam with the end mass; (b): straight beam fixed at the both ends, see Fig. 5(a)-5(b)

Видно, что наименьшую точность показывает эквидистантная модель E (6) . Модели BN (6) и Q6 , напротив, демонстрируют очень высокую относительную точность по данной частоте, близкую к идеальной 1. Пример (b). Расчет собственной частоты колебаний прямой однородной балки массы m, с двумя жесткими заделками на концах. Этот случай показан на рис. 5(b), причем точное значение первой частоты, как можно найти в литературе [32], выражается формулой

f1 

(473) 2 EIL  m 2 L2

[ Hz ] 

(63)

При выборе параметров балки в виде L  1 m , EI  1 Nm 2 , m  1 kg , значение первой собственной частоты колебаний равно f1  356076 Hz . Для вычисления собственной частоты колебаний с помощью LPM моделей, здесь можно использовать следующий прием. Включим в динамическую компьютерную программу, вычисляющую частоты колебаний, закрепленную слева в начале системы координат LPM модель консольной балки с указанными параметрами, используя методику дискретизации консольной балки на отдельные сегменты, соединенные угловыми жесткостями, а самое последнее звено модели «жестко закрепим» справа в модели следующим образом. Можно считать, что последний участок модели будет динамически закреплен как «неподвижная стенка», если задать его массу и поперечный механический момент инерции как крайне большие величины: mend  1012 kg , J end  1012 kg m 2 . Центр масс такого участка модели тогда должен быть перенесен в самый конец модели в точку x  L . В результате, матрица инерции модели системы бу-

дет учитывать жесткие закрепления как левого, так и правого концов балки. В последнем столбце (b) табл. 4 показаны результаты относительной точности расчета первой собственной частоты колебаний f1  f1 для некоторых LPM моделей балки, изображенной на рис. 5(b). Можно видеть, что наименьшую точность снова имеет эквидистантная модель E (6) . Модели BN (6) и Q6 показывают намного лучшую точность аппроксимации частоты, причем модель Q6 здесь наиболее точна. Пример (c). Расчет собственной частоты колебаний однородной балки в форме дуги окружности массы m, с углом дуги   240 и с двумя заделками на концах. Рассмотрим кривую однородную балку в форме дуги окружности радиуса R, с жесткими заделками на обоих концах, см. рис. 5(c). Можно найти в литературе [33], что для такой балки с массой m, длиной L, и углом дуги изгибной жесткостью EI   240  4  3 , формула первой собственной частоты колебаний f1 записывается как

f1 

19825 EIL  m 2 R 2

[ Hz ] 

(64)

При выборе массы m  1 kg , изгибной жесткости EI  1 Nm 2 , длины дуги L  1 m и радиуса окружности R  3  (4 ) , эта собственная частота равна f1  55362 Hz . Для расчета приближенной частоты колебаний

f1 рассматриваемой балки при помощи LPM моделей, применим следующий подход. Аппроксимируем дугу балки частью вписанного правильного многоугольника, см. рис. 5(c). При этом суммарная масса ребер такой ломаной линии должна быть равна массе балки m. На каждом ребре разместим одну LPM

130

РОБОТОТЕХНИКА и ТЕХНИЧЕСКАЯ КИБЕРНЕТИКА / ROBOTICS and TECHNICAL CYBERNETICS

модель. Тогда последующая модель будет повернута относительно предыдущей модели на одинаковый угол     N , где N – число ребер ломаной. Согласно рис. 5(c), длина ребра LN  2 R sin(  2) . Масса одной LPM модели, т.е. масса ребра, mN  m  N . Масса участка модели длиной  i равна mi  mN  i  LN , а его центральный момент инерции J i  mi  2i  12 . Угловые жесткости моделей K i пропорциональны величине EI  LN и определяются, как и длины  i , безразмерными параметрами модели каждого типа в отдельности. В расчете собственных частот с использованием суммарной LPM модели кривой балки применялась модификация компьютерной программы [31], с предТаблица 5 — Относительная точность

2019; 7(2)

варительным расчетом суммарных матриц инерции и жесткости. Матрица жесткости для последовательной цепи звеньев является диагональной, с элементами на диагонали равными K i . Способ моделирования жесткой заделки на правом конце кривой балки идентичен способу моделирования прямой балки с двумя жесткими заделками, упомянутому в предыдущем примере. В табл. 5 показаны результаты относительной точности расчета первой частоты f1  f1 рассматриваемой кривой балки, для некоторых типов LPM моделей, и при различных значениях числа ребер N вписанной аппроксимирующей ломаной линии (числа дискретных моделей).

f1  f1 аппроксимации первой собственной частоты колебаний углового сегмента

плоской круговой балки с двумя жесткими заделками на концах, см. рис. 5(c) Table 5 — Relative accuracy

f1  f1

of approximating the first natural frequency of flat arc segment

of a beam fixed at the both ends, see Fig. 5(c)

Из этой таблицы можно видеть, что при увеличении числа моделей N результаты расчета частот во всех случаях сходятся к точным значениям. Эквидистантная модель E (n) демонстрирует хорошую точность при больших значениях N. Скорость сходимости для моделей BN (n) оказывается наиболее медленной, по-видимому, как можно предположить, вследствие несимметричности этих моделей по угловым жесткостям. При малых N наилучшую точность демонстрируют симметричные квадратурные модели G3 и Q6 , показывающие практически одинаковые результаты в этом случае моделирования.

Компьютерное моделирование динамики гибкого звена с грузом Чтобы определить, насколько адекватно разработанные квадратурные (Q-LPM) модели отображают динамику гибкой системы при компьютерном моделировании, рассмотрим механический пример. Длинная гибкая балка (например, звено манипулятора), см. рис. 6(a), прикреплена одним концом к базовому твердому телу AB, а на другом ее конце находится нагрузка в виде точечной массы mC .

Рисунок 6 — Динамика гибкого звена с грузом на конце: (a) расчетная схема системы; (b) режим плоского углового движения Figure 6 — Dynamics of a flexible link with a load at the end: (a) design scheme of the system; (b) flat angular motion mode

131

Информационное обеспечение / Information Support

Базовое звено совершает плоское угловое движение, без силы тяжести, в режиме на рис. 6(b): вна A , чале задается постоянное угловое ускорение  затем происходит движение без ускорения и равномерно замедленное движение с тем же модулем  A . Колеблющаяся балка имеет параускорения  метры m , EI и L . Для моделирования изгиба звена используются его LPM модели с шестью псевдошарнирами. Задача состоит в сравнении результатов численного динамического моделирования с точным аналитическим решением уравнения динамики звена с грузом в частных производных. Вращающаяся декартовая система координат XBY, в которой рассматривается относительное движение гибкого звена BC, прикреплена к концу B твердого тела AB длины «d». Дифференциальное уравнение в частных производных (ЧДУ), описывающее динамику малых поперечных колебаний рассматриваемого гибкого звена, есть:

EIy IV 

m m  y   ( d  x) (t )  L L

где

правая

часть

циальные, безусловно устойчивые неявные методы численного интегрирования, см., например, обзорную статью [35]. В этой области задач, для решения жестких уравнений второго порядка, с необходимым подавлением высокочастотных составляющих численного решения, часто применяются стандартные безусловно устойчивые методы интегрирования, упоминаемые, например, в [36,37,38]. Для системы жестких ОДУ рассматриваемой задачи моделирования, ее численные решения были получены с использованием безусловно устойчивого, нового  -метода численного интегрирования, представленного в работе автора [39]. Шаг интегрирования был выбран h  0001 сек. Сравнительные результаты аналитического и численных решений этой механической задачи, представляющих динамическое отклонение конца гибкого звена Y ( L, t ) на участке движения (t2 , t ) , показаны графически на рис. 7.

(65) этого

уравнения

q ( x t )   (m  L) (d  x) (t ) есть поперечная линейно-распределенная инерционная нагрузка, действующая на элемент этой балки. Динамика такой системы рассматривалась в работе В.И. Юдина [34], причем начальные и граничные условия для уравнения (65) формулировались в виде

y ( x 0)  y ( x 0)  0 y (0 t )  y  (0 t )  0 y  ( L t )  0 EIy ( L t )  mC  y ( L t )  mC (t )(d  L) 

(66) Рисунок 7 — Динамическое отклонение конца гибкого звена с грузом

Аналитические формулы точного решения y ( x t ) этой задачи с использованием метода Фурье даны в упомянутой работе [34], однако здесь не приводятся ввиду чрезвычайной громоздкости их выражения в виде сумм бесконечных рядов. Значения основных первых шести слагаемых этого решения использовались для сравнения с результатами компьютерного моделирования. Для численного решения уравнений динамики данной механической системы, с использованием дискретных моделей гибкого звена, автоматически строились ее обыкновенные дифференциальные уравнения (ОДУ), в специальной модификации компьютерной программы [31]. Необходимо отметить, что при наличии в общей модели большого числа жесткостей псевдошарниров K i , обуславливающего возникновение набора сильно различающихся по периоду осциллирующих составляющих решения, здесь возникают так называемые жесткие задачи динамического моделирования. При численном интегрировании систем ОДУ жестких задач, следует использовать лишь спе-

Figure 7 — Dynamic deflection of flexible link end with a load at the end

На этом рисунке участок (t3 , t ) представляет колебания конца звена после его торможения, причем кривая 1 – есть точное (аналитическое) решение задачи, а расходящаяся с ней кривая 2 – численное решение, соответствующее модели BN (6) . Точность «эквидистантной» модели E (6) (кривая 3) в динамике настолько низка, что показана на графике лишь частично (амплитуда колебаний на порядок ниже точного решения). Квадратурные модели Q6 , 2  G3 или 3  G2 - демонстрируют намного лучшие численные решения, практически совпадающие с точным решением на кривой 1. По-видимому, столь впечатляющий по точности результат применения квадратурных моделей в моделировании динамики гибкого звена обусловлен их способностью более адекватно выражать действие линейно распределенной по длине поперечной нагрузки, присутствующей в уравнении (65).

132

РОБОТОТЕХНИКА и ТЕХНИЧЕСКАЯ КИБЕРНЕТИКА / ROBOTICS and TECHNICAL CYBERNETICS

Пример построения пространственной твердотельной модели Рассмотренные выше дискретные модели описывают плоский изгиб балки Бернулли-Эйлера. Однако в реальных задачах моделирования часто встречаются ситуации, когда необходимо моделировать пространственный (3-D) изгиб балки в обеих поперечных взаимно-перпендикулярных плоскостях, а также учитывать дополнительные деформации кручения, растяжения-сжатия и иногда сдвига (для коротких «балок Тимошенко»).

С целью моделирования статики и динамики упругих звеньев для общих пространственных задач, можно предложить, например, следующий пространственный «твердотельный конечный элемент» M 17 , построенный на основе квадратурной модели плоского изгиба Q6 , но работающий в обеих взаимноперпендикулярных плоскостях, и также учитывающий деформации кручения, растяжения-сжатия и сдвига, на основе формул известных коэффициентов жесткости для малых линейных деформаций, см. рис. 8.

Рисунок 8 — Пространственный твердотельный конечный элемент Figure 8 — Spatial rigid finite element

Твердотельный и симметричный конечный элемент M17 имеет массу звена m, осевой момент инерции J Z и длину L, длины участков которого  0 , 1  2 ,  3 и изгибные жесткости K bend  i построены на основе параметров квадратурной модели Q6 . В результате, модель имеет до 17 степеней свободы, с параметрами: (1) геометрические параметры (длины участков i )

 0  0075 L  2   1  0200 L 

 2  0140 L  3  0170 L  2 

(67)

(2) массы и центральные моменты инерции участков

mi  m

i  L

Ji 

mi  2i  12

J axial  i  J Z

i  L

(68)

(3) угловые изгибные (bend) и крутильные (torsion) жесткости псевдо-шарниров

EI  L EI  610225  L

K bend 1  560403 K bend 2

EI K bend 3  634184 L GI XX K tors1  K tors 2   L2

(69)

(4) линейные жесткости растяжения (strain) и сдвига (shear)

K strain 

ES  L

K shear Y  Z 

GS AS  L

(70)

2019; 7(2)

M 17

M 17

где EI – изгибная жесткость балки; E – модуль Юнга; I – поперечный момент площади сечения; I XX – осевой момент площади сечения; G – модуль сдвига; S – площадь поперечного сечения балки; AS – коэффициент «области сдвига» (shear area ratio), где, например, для сплошного круглого сечения AS = 10/9. Если некоторыми типами деформаций заранее можно пренебречь, то в общей модели M 17 следует исключить соответствующие степени свободы. Могут быть, конечно, сформированы аналогичные твердотельные 3-D элементы на основе более простых квадратурных моделей G2 или G3 , однако моделирующий элемент M 17 , построенный на основе модели Q6 и насчитывающий до 17 степеней свободы, является наиболее подробным и точным. Автор данной статьи с успехом применял подобные твердотельные 3-D элементы в расчетах статики, частот колебаний, а также при компьютерном моделировании динамики различных робототехнических систем. При этом в качестве основы расчетов применялась программа [31]. При необходимости, для более полного описания свойств реальных протяженных механических систем, в сочленения участков моделей могут быть введены не только жесткости, но также и коэффициенты демпфирования скоростей в псевдо-шарнирах, исходя из достоверных экспериментальных данных.

133

Информационное обеспечение / Information Support

Заключение В обеих частях настоящей работы представлены и рассмотрены новые «квадратурные» модели гибких балок, или звеньев (в классе LPM – моделей с сосредоточенными параметрами). На многочисленных тестовых примерах показана высокая эффективность и точность разработанных моделей в статике и динамике. Эти дискретные модели гибких звеньев физически очень наглядны, и могут с успехом использоваться при компьютерном моделировании различных робототехнических и манипуляционных систем с протяженными звеньями, как наземного, так и космического назначения. В развитие данного метода, необходимо отметить, что хотя описанные модели разработаны для одномерных упругих тел (стержней), однако в перспективе существует возможность их применения и

для моделирования упругих тел более общего вида (двух- или даже трехмерных деформируемых тел). При этом наиболее простой известной процедурой является предварительное моделирование пластины или твердого тела с помощью эквивалентной сетки упругих стержней, см., например, книгу [40], в которой рассматривается «метод стержневой аппроксимации». После такого предварительного моделирования исходного упругого тела с помощью эквивалентной сетки стержней, каждый упругий стержень можно отобразить какой-либо из разработанных дискретных моделей, и в итоге возможно получить достаточно простую конечномерную модель всей системы.

Литература 28. Леонтьев В.А. Квадратурные дискретные модели протяженных звеньев манипуляторов. В 2 частях. Часть 1. Разработка моделей с сосредоточенными параметрами / В.А. Леонтьев // Робототехника и техническая кибернетика. – 2019. – № 1 (том 7). – С. 34-45. – Текст : непосредственный.

29. Работнов Ю.Н. Механика деформируемого твердого тела / Ю.Н. Работнов. – Москва: Наука. – 1988. – 712 с. – Текст : непосредственный.

30. Тимошенко С.П. Колебания в инженерном деле / С.П. Тимошенко, Янг Д., Уивер У. – Москва: Машиностроение. – 1985. – 472 с. – Текст : непосредственный.

31. Свидетельство о государственной регистрации программы для ЭВМ № 2017611172. «Многофункциональная компьютерная программа расчета кинематики, статики, а также решения прямых, обратных и смешанных задач динамики открытой многозвенной цепи твердых тел (программа MP-ДИН)»: № 2016663291: заявл. 07.12.2016: опубл. 24.01.2017 / Леонтьев В.А.; заявитель ЦНИИ РТК. – Санкт-Петербург: 2016. – 1 СDROM. – (1С: Электронная дистрибьюция). – Загл. с титул. экрана. – Электронная программа: электронная.

32. Писаренко Г.С. Справочник по сопротивлению материалов / Г.С. Писаренко, А.П. Яковлев, В.В. Матвее.

– Киев: Наукова думка. – 1988. – 736 с. – Текст : непосредственный.

33. Справочник машиностроителя. Том 3 / С.В. Серенсен [и др.]. – Москва: Машгиз, 1962. – 654 с. – Текст : непосредственный.

34. Юдин В.И. Анализ колебаний стрелы манипулятора / В.И. Юдин // Киев: Прикладная механика. – 1980.

– № 10 (том XVI). – С. 108-115. – Текст : непосредственный.

35. Fung T.C. Numerical dissipation in time-step integration algorithms for structural analysis // Progress in Structural Engineering and Materials. – 2003. – № 5. – Pp. 167-180.

36. Hairer E., Wanner G. Solving Ordinary Differential Equations II. Stiff and Differential-Algebraic Problems // Springer-Verlag. – 1996.

37. Har J., Tamma K.K. Advances in Computational Dynamics of Particles, Materials and Structures // John Wiley & Sons, Ltd. – 2012.

38. Leontiev V.A. Extension of LMS formulations for L-stable optimal integration methods with U0-V0 overshoot properties in structural dynamics: the level-symmetric (LS) integration methods // International Journal for Numerical Methods in Engineering / John Wiley & Sons, Ltd. – 2007. – № 71 – Pp. 1598-1632.

39. Leontyev V.A. Direct time integration algorithm with controllable numerical dissipation for structural dynamics: Two-step Lambda method // Applied Numerical Mathematics / IMACS, Amsterdam. – 2010. – № 3 (60) – Pp. 277292.

40. Ржаницын А.Р. Строительная механика: [учеб. пособие для вузов] / А.Р. Ржаницын. – Москва: Высшая школа. – 1982. – 400 с. – Текст : непосредственный.

References 28. Leontev, V. (2019). Quadrature lumped parameter models for long flexible links of manipulators. Part I. Design of the models. Robotics and Technical Cybernetics, 7(1), pp.34-45. (in Russ.).

134

РОБОТОТЕХНИКА и ТЕХНИЧЕСКАЯ КИБЕРНЕТИКА / ROBOTICS and TECHNICAL CYBERNETICS

2019; 7(2)

29. Rabotnov, Y. (1988). Mekhanika Deformiruemogo Tverdogo Tela [Deformable Solid Mechanics]. Moscow: Nauka Publ., p.712. (in Russ.).

30. Timoshenko, S., Young, D. and Weaver, W. (1985). Kolebaniya v Inzhenernom Dele [Vibration problems in Engineering]. Moscow: Mashinostroenie Publ., p.472. (in Russ.).

31. Leontev, V. (2017). Mnogofunktsional'naya komp'yuternaya programma rascheta kinematiki, statiki, a takzhe resheniya pryamykh, obratnykh i smeshannykh zadach dinamiki otkrytoi mnogozvennoi tsepi tverdykh tel (programma MP-ДИН) [Multifunctional software application for calculation of kinematics, statics and for solving of direct, inverse and mixed kinematic problems for open multilink chain of solid bodies]. 2016663291. (in Russ.).

32. Pisarenko, G., Yakovlev, A. and Matveev, V. (1988). Spravochnik po Soprotivleniyu Materialov [Performance of Construction Materials References]. Kiev: Naukova Dumka Publ., p.736. (in Russ.).

33. Serensen, S. et al. (1962). Spravochnik Mashinostroitelya. Tom 3 [Book of References for Mechanic Engineer.

Volume 3]. Moscow: Mashgiz Publ., p.654. (in Russ.).

34. Yudin, V. (1980). Analiz

kolebanii strely manipulyatora [Oscillation analysis

of manipulator lift

arm]. Prikladnaya Mekhanika, 16(10), pp.108-115. (in Russ.).

35. Fung, T. (2003). Numerical dissipation in time-step integration algorithms for structural dynamic analysis. Progress in Structural Engineering and Materials, 5(3), pp.167-180.

36. Hairer, E. and Wanner, G. (1996). Solving Ordinary Differential Equations II. Stiff and Differential-Algebraic Problems. Berlin [etc.]: Springer-Verlag.

37. Har, J. and Tamma, K. (2012). Advances in Computational Dynamics of Particles, Materials and Structures.

Hoboken: John Wiley & Sons.

38. Leontiev, V. (2007). Extension of LMS formulations for L-stable optimal integration methods with U0–V0 overshoot properties in structural dynamics: the level-symmetric (LS) integration methods. International Journal for Numerical Methods in Engineering, 71(13), pp.1598-1632.

39. Leontyev, V. (2010). Direct time integration algorithm with controllable numerical dissipation for structural dynamics: Two-step Lambda method. Applied Numerical Mathematics, 60(3), pp.277-292.

40. Rzhanitsyn, A. (1982). Stroitel'naya Mekhanika: Uchebnoe Posobie dlya Vuzov [Structural Engineering: Textbook for Institutes of Higher Education]. Moscow: Vysshaya Shkola Publ., p.400. (in Russ.).

Информация об авторе Леонтьев Виктор Анатольевич, к.ф.-м.н., Центральный научно-исследовательский и опытноконструкторский институт робототехники и технической кибернетики (ЦНИИ РТК), с.н.с., 194064, СанктПетербург, Тихорецкий пр., д. 21, тел.: +7(812)297-30-58, ORCID: 0000-0002-4138-1386, vleont@rtc.ru, vleont@mail.ru

Information about the author Victor A. Leontev, PhD in Physics and Mathematics, Russian State Scientific Center for Robotics and Technical Cybernetics (RTC), Senior Research Scientist, 21, Tikhoretsky pr., Saint-Petersburg, 194064, Russia, tel.: +7(812)297-30-58, ORCID: 0000-0002-4138-1386, vleont@rtc.ru, vleont@mail.ru

135

Управление / Control

Управление УДК: 004.896 DOI: 10.31776/RTCJ.7207 C. 136-138

Управление многомодульным подводным мобильным роботом И.А. Васильев

Це нтрал ьны й нау чно -иссл едова тел ьс кий и опы тно -ко нс тру кторс кий и нс титут ро бо то тех ни ки и техничес кой ки бернетики (ЦН ИИ РТК), Санкт-Пе тер бург, Рос сийс ка я Фе дерация, vas @ rtc .ru ( М а т е р и а л п ос т у п и л в р ед ак ц и ю 11 ф ев р ал я 2 01 9 г о д а )

Аннотация Описываются принципы управления мобильным роботом, перемещающимся в среде и состоящим из нескольких шарнирно соединённых модулей, снабжённых приводами. Для управления применяются регуляторы, построенные на некотором упрощённом решении обратной динамической задачи для такого многосвязного объекта.

Ключевые слова Мобильный робот, управление, обратная динамическая задача.

Control of multi-module underwater mobile robot Ivan A. Vasilyev

Russ ian State Sc ie ntific Center fo r Robo tics and Technical Cybernetics (RTC), Saint-Pete rsbu rg, Russ ia , va s@ rtc.ru ( R ec ei v e d 1 1 F e br u a r y 2 01 9)

Abstract The principles of control of a mobile robot moving in environment and consisting of several hinged modules with actuators are described. In such a robot, each module is equipped with a single propeller. The controllers are based on a simplified solution of an inverse dynamic problem for such a multiply-connected object.

Key words Mobile robot, control, inverse dynamic problem. Объект управления (ОУ) описывается дифференциальным уравнением



U t   F t , y, y , ... , y  n 1



(1)

где U t  – управление, зависящее от времени; t – время; F () – функция управления; y  y t  – управляемая величина; y i   y i  t  – i-я производная по времени ( i  n  1 ). Решаемая задача – создать такое управление, чтобы рассогласование e между заданием y g и текущим положением (отработкой) yc было минимальным. Рассмотрим некоторое текущее состояние ОУ, которое назовём начальным:

e  0  e0 , ... ei   0  ei 0 ,

(2)

где e, e0 – рассогласование и текущее рассогласование системы; ei  , ei 0 – i-я производная рассогласования по времени. Естественно, что наличие констант задания не меняет величины производных, поэтому систему состояний (2) можно переписать в следующем виде:

e  yg  yc , ... ei   yi  t 

t0

,

(3)

Для решения поставленной задачи логично постараться свести все текущие операторы рассогласования к нулю. Здесь можно предложить параметризованную функцию фазового пространства f t  , которая имеет смысл фазовой траектории. То есть, в фазовом пространстве отложены оси обобщённых координат, обобщённых скоростей и обобщённых ускорений. Исходя из этого количество параметров

136

РОБОТОТЕХНИКА и ТЕХНИЧЕСКАЯ КИБЕРНЕТИКА / ROBOTICS and TECHNICAL CYBERNETICS

этой функции равно удвоенному порядку дифференциального уравнения (1) плюс 2, то есть, 2n. Для определения этих параметров требуется решить систему уравнений, естественно вытекающих из системы (3). Но в системе (3) всего n уравнений, поэтому требуется расширить систему (3) условиями в конце такта регулирования:

e t1   0, ... ei  t1   0.

(4)

Здесь надо помнить – это уравнения ошибок управления, то есть для определения параметров функции f t  , требуется решить систему из 2n уравнений, описывающую состояния ОУ в начальный и в конечный момент времени, т.е. в системы (3) и (4) подставить соответствующие производные от f. Получив таким образом функцию управляемого параметра от времени y  f t  , подставляем её в уравнение (1). Получаем требуемое управление. Тут

2019; 7(2)

есть удобный приём. Будем считать, что каждый такт управления – первый. То есть, всегда t  dt , где dt – длительность такта управления. А в качестве начальных значений положения, скорости и ускорения подставляются реальные значения, которые служат обратной связью. Также будем считать, что общее время на движение заранее известно. К сожалению, скорость изменения управления U t  ограничена. Поэтому единственный такт управления чаще всего не сможет полностью погасить рассогласование. Отсюда возникает дополнительный параметр t1 – время на выполнение операции. Его можно определить, исходя из уравнения U t1   U1max , где U 1max – максимальная скорость роста управления. Но при этом на реальном объекте управления можно это не учитывать – привод ОУ не сможет развить силу, превышающую свой максимум! Рассмотрим пример для многомодульного подводного робота, изображённого на рис. 1.

Рисунок 1 — Подводный многомодульный робот Figure 1 — Multi-module underwater robot

На этом рисунке обозначены все силы, которые приложены к роботу: силы тяги, силы Архимеда (за вычетом сил тяжести) и силы сопротивления движению (которые противоположны вектору скорости и пропорциональны квадрату модуля скорости). Шарниры робота свободно вращаются вокруг осей, ортогональных плоскости рисунка. Поэтому у робота пять степеней подвижности. Если составить систему уравнений ЭйлераЛагранжа, то получаем зависимости ¨ ⎛ ⎞ Fтяги  f ⎜ t , q, q , q⎟ ⎝ ⎠

e0  q  0  5, v0  q '  0  0, a0  q ''  0  0.

(6)

Будем считать, что t1  2 dt . Отсюда получаем простые формулы для управления:

a0 dt 2  8e0  5 dt v0 , 16 2 a0 dt  15 e0  7 dt v0 q   , 16 dt a0 dt  3 v0 q    .

4 dt q

(7)

(5)

для каждого привода и каждой обобщённой координаты. Пусть робот перемещается по оси абсцисс на e0 метров. То есть, для начального положения задаются следующие параметры:

Это, разумеется, для каждой обобщённой координаты q . Надо помнить, что на каждом такте управляем как в первый раз, поэтому параметры (6) задаются лишь в начале движения. На последующих тактах, как уже говорилось, в качестве ошибки перемещения и текущей скорости и ускорения задаются конкретные значения.

137

Управление / Control

Результаты отработки показаны на рис. 2.

Рисунок 2 — Результаты отработки Figure 2 — Processing results

Заключение При анализе полученных графиков видно, что графики не симметричны – разгон и торможение не являются зеркально противоположными. Для успешной остановки требуется меньшее усилие, чем для разгона. Это объясняется наличием сил сопротивления модулей в воде. Такой подход в управлении позволяет строить простые системы управления. Дело в том, что, как известно, для управления существуют лишь два вида возмущений: возмущения внешней среды и «возмущения», вызванные неточно известными парамет-

рами объекта управления. Для объекта управления в среде существуют лишь три параметра, точные значения которых почти никогда не известны. Это коэффициент лобового сопротивления, коэффициент присоединённых масс (моментов инерции) и соответствие оборотов винтов усилию (упору). Но неточность этих параметров не оказывает заметного влияния на ОУ. Эти погрешности лишь изменяют положение ОУ на фазовой кривой. То есть, ОУ «движется» по фазовой кривой чуть быстрее или чуть медленнее предсказанного.

Литература 1. Андрющенко В.А. Теория систем автоматического управления / В.А. Андрющенко. – Текст : непосредственный. – Ленинград: Из-во Ленинградский университет. – 1990. – 256 с.

2. Отто Дж. М. Смит. Автоматическое регулирование / Пер. с англ. Е.П. Попов. – Текст : непосредственный. – Москва: Гос. из-во физико-математической литературы. – 1962. – 847 с.

3. Васильев И.А. Вывод дифференциального регулятора N-го порядка на основе динамики системы / И.А. Васильев. – Текст : непосредственный // Сборник тезисов межд. науч-техн. конф. «Экстремальная робототехника-2017». – С.53.

References 1. Andryushchenko, V. (1990). Teoriya Sistem Avtomaticheskogo Upravleniya [Automatic Control System Theory]. Leningrad: Leningrad University Publ., p.256. (in Russ.).

2. Smith, O. (1962). Avtomaticheskoe Regulirovanie [Automatic Regulation]. Moscow: Gosudarstvennoe izdatel'stvo fiziko-matematicheskoi literatury, p.847. (in Russ.).

3. Vasilyev, I. (2017). Vyvod differentsial'nogo regulyatora N-go poryadka na osnove dinamiki sistemy [Output of N-th rate differential controller based of system dynamic]. In: Sbornik tezisov mezhdunarodnoi nauchnotekhnicheskoi konferentsii «Ekstremal'naya robototekhnika-2017» [Abstracts of International Scientific and Technical Conference on Extreme Robotics 2017]. (in Russ.).

Информация об авторе Васильев Иван Анатольевич, к.т.н., Центральный научно-исследовательский и опытно-конструкторский институт робототехники и технической кибернетики (ЦНИИ РТК), начальник лаборатории, 194064, СанктПетербург, Тихорецкий пр., д. 21, тел.: +7(965)766-00-37, vas@rtc.ru

Information about the author Ivan A. Vasilyev, PhD in Technical Sciences, Russian State Scientific Center for Robotics and Technical Cybernetics (RTC), Head of Laboratory, 21, Tikhoretsky pr., Saint-Petersburg, 194064, Russia, tel.: +7(965)766-00-37, vas@rtc.ru

138

РОБОТОТЕХНИКА и ТЕХНИЧЕСКАЯ КИБЕРНЕТИКА / ROBOTICS and TECHNICAL CYBERNETICS

2019; 7(2)

УДК: 004.89 DOI: 10.31776/RTCJ.7208 C. 139-144

Жестовое управление коллаборативным роботом И.А. Кагиров  , И.М. Толстой, А.И. Савельев, А.А. Карпов

Санкт-Петербур гс ки й и нститут информати ки и а втоматизаци и РАН (СПИИРАН), Санкт-П ет ер бу рг, Росси йс ка я Фе де ра ци я, kagirov@iias .spb.s u (Матери ал поступи л в р е да кци ю 2 0 ма рта 2019 го да)

Аннотация В работе обосновывается использование жестовой модальности в человеко-машинных интерфейсах с точки зрения эргономики. Приводится конкретное решение задачи по распознаванию жестов пользователя и выделяются особенности выбора жестов, актуальных для жестового управления коботом.

Ключевые слова Жестовое управление, коллаборативная робототехника, юзабилити, эргономика, распознавание жестов.

Благодарности Данное исследование проводится при поддержке Минобрнауки России в рамках Соглашения № 14.616.21.0095 (идентификатор RFMEFI61618X0095), а также фонда РФФИ (проект № 16-37-60100) и бюджетной темы № 0073-2019-0005.

Gesture control of collaborative robot Il'dar A. Kagirov  , Ivan M. Tolstoy, Anton I. Savelyev, Alexey A. Karpov

Sain t-Petersburg Ins titute fo r In formatics an d Au toma tion o f th e Russ ia n Ac ade my of Sc ie nces (SPIIRAS), Sain t-Pe te rs bu rg , Russ ia , ka g irov@ iias .spb .s u ( R e c e i v e d 2 0 M ar c h 2 0 1 9)

Abstract The article justify the use of the gestural modality in human-machine interfaces ergonomically, gives an example of a specific solution to the problem of user’s gestures recognition, and highlights the features of the choice of gestures that are relevant to gesture control of a cobot.

Key words Gesture control, collaborative robotics, usability, ergonomics, gesture recognition.

Acknowledgements Research is carried out with support of Ministry of Education and Science of the Russian Federation as part of Agreement No. 14.616.21.0095 (identifier RFMEFI61618X0095), The Russian Foundation for Basic Research Fund (project No. 16-37-60100) and budget article No. 0073-2019-0005.

Введение В сфере организации человеко-машинного взаимодействия исследование человеческого фактора – одно из важнейших направлений, от прогресса в котором напрямую зависит эффективность систем, в том или ином виде предполагающих взаимодействие машины и пользователя [1]. Под человеческими факторами принято понимать совокупность характеристик пользователя и машины, проявляющиеся в определенных условиях их взаимодействия. Правильный учет человеческих факторов обеспечивает повышение эффективности работы системы в целом

[2, 3]. Человеческие факторы в контексте человекомашинного взаимодействия исследует, помимо прочего, инженерная психология. Реализацией на практике исследований о человеческих факторах в целях повышения эффективности человеко-машинных систем занимается эргономика. Одним из аспектов эргономики является реализация факторов, отвечающих за понятность и привлекательность человеко-машинного интерфейса для пользователя – юзабилити. В классической работе [4] дается пять признаков хорошего юзабилити, которые были расширены в поздних статьях [5, 6].

139

Управление / Control

Так, хорошее юзабилити подразумевает пользовательский контроль, защиту от ошибок, минималистичный дизайн интерфейса и т.п. Учет всех этих признаков необходим при анализе готовых технических решений. Тема настоящей статьи подразумевает не анализ конкретного продукта, а обоснование применения жестовой модальности в человекомашинном интерфейсе с точки зрения юзабилити. Поэтому авторы ограничиваются общими принципами юзабилити, к которым, согласно [7], принято относить: а) эффективность (точность и полнота, с которой пользователи достигают своей цели); б) результативность (затрачиваемые ресурсы, скорость и безошибочность); в) удовлетворенность (отсутствие неудобств и позитивное отношение к продукту). В статье предлагается описание разрабатываемого в СПИИРАН проекта интерфейса пользователя для роботизированной тележки для супермаркета с поддержкой жестового управления. Помимо конкретных инженерных решений, приводится обоснованность внедрения подобных систем с точки зрения юзабилити (эргономичности; применимости) подобной системы.

Оправданность жестового интерфейса Применение жестовых интерфейсов имеет следующие преимущества: 1. Жестовое управление зачастую оказывается более предпочтительным в условиях больших, шумных помещений, чем голосовое; 2. Инвентарь выбранных жестов (см. ниже) сравнительно невелик, но в то же время его единицы являются широко распространенными и привычными для носителей русского (и многих других) языков; 3. Создание эффективных систем жестового управления обеспечивает хороший задел для разработки систем, распознающих жестовые языки. Подобные системы повышают качество жизни глухих и слабослышащих людей, фактически создавая аналог голосового управления. Для заявленного проекта жестового управления роботизированной тележкой добавляется еще одно обстоятельство: хорошо известно, что навигация по супермаркету в поисках нужного товара не всегда оказывается легким делом для покупателя. Зачастую человек проводит много времени, перемещаясь с тележкой или корзиной для покупок между полками в торговом зале. Разумеется, освобождение пользователя от необходимости толкать перед собой тележку или нести полную корзину значительно понизило бы уровень его усталости от процесса покупок. На сегодня существуют роботизированные тележки для супермаркетов, помогающие покупателю совершать покупки [8-10]. Однако основным (зачастую единственным) каналом общения с пользователем является ввод с сенсорного экрана. Сенсор-

ный ввод, безусловно, обладает рядом преимуществ по сравнению с жестовым, поскольку позволяет обмениваться гораздо большим количеством информации (не считая особого способа коммуникации – жестовых языков), однако совмещение жестового управления с иными модальностями в рамках многомодального интерфейса, безусловно, сделает систему гораздо более эргономичной и простой для пользователя.

Принцип отбора жестов с точки зрения эргономики Жестовая модальность при управлении должна выполнять следующие требования: 1. При помощи жестов можно исчерпывающе передать необходимую информацию на вход устройства (соответствие принципу эффективности).

2. Способ коммуникации с машиной является естественным в предложенном контексте человекомашинного взаимодействия (соответствие принципу удовлетворенности).

3. Уровень ошибок при распознавании должен быть низким, и пользователь не должен тратить много времени и сил на жестовое управление, а отклик системы должен быть быстрым с точки зрения пользователя (соответствие принципу результативности). Эргономичность предложенного интерфейса напрямую зависит от списка жестов, доступных пользователю, и одной из основных задач оказывается выделение таких жестов, которые являются естественными при жестовом управлении коботом. Под естественностью понимается максимальное уподобление человеко-машинного взаимодействия акту коммуникации между двумя людьми. В общем случае, человек стремится выбрать канал передачи информации, максимально соответствующий коммуникативному контексту. И если речь идет исключительно о жестовой модальности, то применение жестов должно быть не вынужденной мерой, а естественным, ненавязчиво дополняющим иные модальности – или предпочтительным в конкретной коммуникативной ситуации – способом обмена информации [11]. Существует довольно обширная литература, посвященная жестовой коммуникации и ее соотношению с вербальной в языках мира. Для русского материала особую значимость получили работы [12, 13], в которых раскрывается функции жестов в коммуникации, взаимоотношение жестов и фразем, типы жестов и специфика их применения в разных социальных группах. В работе [14] выделяются три типа жестов: жесты-эмблемы, жесты-иллюстраторы и жестырегуляторы. Первый тип жестов является, фактически, аналогом высказывания и может с успехом заменять его (например, это такие жесты, как «О’КЕЙ», жесты, показывающие конкретные числительные,

140

РОБОТОТЕХНИКА и ТЕХНИЧЕСКАЯ КИБЕРНЕТИКА / ROBOTICS and TECHNICAL CYBERNETICS

все оскорбительные и указательные жесты). Жестыиллюстраторы дополняют сказанное, сопровождая устную речь (широко разведенные руки для иллюстрации понятия «много»). Третий тип жестов предназначен для регулирования речевого высказывания (например, кивок головой имеет фактическую функцию поддержания разговора). В общем случае, при управлении роботизированной тележкой в супермаркете предметная область словаря сводится к лексике, связанной с ориентацией и передвижением в пространстве. Ее расширение может быть связано с добавлением таких функций, как, например, информирование пользователя о каких-то услугах в конкретном магазине или поиск нужного товара, однако в рассматриваемом случае в

2019; 7(2)

словник войдут только команды вроде «вперед», «назад», «ко мне», «за мной», «стоп» и т.п. Зачастую эти фразы сопровождаются или заменяются эмблематическими жестами, отнесенными, например, в [15] к классу дейктических, то есть указующих. Итак, для создания «ядра» словника интерфейса, поддерживающего жестовое управление, имеет смысл ограничиться эмблематическими жестами, характерными для нашей культуры. В рамках пилотного исследования были выбраны жесты для трех действий: «ПОДОЙДИ КО МНЕ», «ОТОЙДИ ОТ МЕНЯ», «ПРЕКРАТИТЬ ВЗАИМОДЕЙСТВИЕ». Последовательность положений для каждого жеста представлена на рис. 1.

Рисунок 1 — Наглядная иллюстрация выполнения жестов Figure 2 — Illustrative demonstration of gestures’ performance

Жест «ПРЕКРАТИТЬ ВЗАИМОДЕЙСТВИЕ» (рис. 1.1), представляющий собой скрещенные на уровне груди руки, был выбран из соображений узнаваемости. В самом деле, в нашей культуре существует несколько прагматически освоенных жестов, имеющих значение «стоп», «конец» и т.п. Однако перекрещенные руки выгодно отличаются от прочих (выставленная вперед ладонь; опускание руки вниз и т.п.) именно тем, что его довольно трудно воспроизвести случайно и тем более сложно перепутать с другими, случайными в контексте жестового управления движениями рук. Жест «ПОДОЙДИ КО МНЕ» (рис. 1.2а-в) выполняется поднятием кистей рук до уровня пояса (рис.

1.2б) из положения «руки вниз вдоль туловища» (рис. 1.2а) со сгибанием руки в локтевом суставе примерно до угла в 90°, жест «ОТОЙДИ ОТ МЕНЯ» (рис. 1.3а-в) представляет собой его зеркальную

противоположность: кисти рук опускаются до уровня пояса (рис. 1.3б) из положения «кисти рук у плеч» (рис. 1: 2а). Каждый из этих жестов завершается возвращением рук в исходное положение (рис. 1.2в, 1.3в). Каждый жест представлен как последовательность из статических положений. Очевидно, что жесты выполняются за конечное время t. Таким образом, если за время t система определила конкретную последовательность, выполняется закрепленное за ней действие.

Метод распознавания жестов Для корректной работы коллаборативного робота крайне важными параметрами являются точность и скорость работы. Помимо того, остро стоит проблема универсальности применения систем распознавания жестов и быстрого расширения объема жестовой

141

Управление / Control

базы. Этим условиям вполне отвечает KNN-метод распознавания жестов [16]. Для сбора обучающих данных было выбрано 6 поз человека. Для каждой позы было снято 500 изображений, каждое из которых было обработано

системой OpenPose [17]. Карта полученных узлов и пример результата обработки изображений представлены на рис. 2. В результате была получена база данных, состоящая из 3000 карт положения узлов тела человека в шести ключевых позах (см. рис. 2).

Рисунок 2 — Карта узлов тела человека (слева) и результат обработки изображений базы данных (справа) Figure 2 — Human body cross-points map (on the left) and database images processing result (on the right)

Для распознавания жестов была применена методика, описанная в [17]. Средняя точность распознавания составила 86% при демонстрации каждого жеста 100 раз. Недостатком данного подхода является необходимость осторожно выбирать ключевые жесты взаимодействия и тщательно продумывать их промежуточные позиции. Однако значительным плюсом является простота обучения классификатора и подготовки обучающей выборки, а также ее малый размер.

Заключение В статье представлен входной человекомашинный интерфейс, поддерживающий распознавание жестов. Представляется, что результаты распознавания оказываются вполне удовлетворительными, что позволяет думать о расширении инвента-

ря жестов и проведении специальных исследований для выявления актуальных в контексте рассматриваемой задачи единиц жестового «словаря» в строгом соответствии с принципами, сформулированными во втором разделе настоящей работы. Несмотря на наличие исследований по собственно жестовым языкам, особенности жестикуляции при коммуникации еще достаточно плохо изучены. Особенно актуальным оказывается вопрос переключения кодов, при которых пользователь охотнее прибегает к жестовому общению, нежели к вербальному [18]. Выявление этих закономерностей будет приоритетным при проведении экспериментов, позволяющих расширить словарь жестового интерфейса и повысить эргономичность системы.

Литература 1. Сергеев С.Ф. Проблема интерфейса в эргатических системах и техногенных средах / С.Ф. Сергеев. – Текст : непосредственный // Человеческий фактор: проблемы психологии и эргономики. – 2013. – Т 3. – Вып.

66. – C. 25-29.

2. Сергеев С.Ф. Инженерная психология и эргономика: [учеб. пособие] / С.Ф. Сергеев. – Текст : непосредственный. – Москва: НИИ школьных технологий. – 2008.

3. Шлаен П.Я. Эргономика для инженеров: Эргономическое обеспечение проектирования человекомашинных комплексов: проблемы, методология, технологии / П.Я. Шлаен, В.М. Львов. – Текст : непосредственный. – Тверь: ТвГУ. – 2004.

4. Сергеев С.Ф. Методы тестирования и оптимизации интерфейсов информационных систем: [учеб. пособие] / С.Ф. Сергеев. – Текст : непосредственный. – Санкт-Петербург: СПбГУ. – 2015.

142

РОБОТОТЕХНИКА и ТЕХНИЧЕСКАЯ КИБЕРНЕТИКА / ROBOTICS and TECHNICAL CYBERNETICS

2019; 7(2)

5. Nielsen J. Usability Engineering. – Text : unmediated. – Boston: AP Professional. – 1993.

6. Nielsen J. Heuristic Evaluation of User Interfaces. – Text : unmediated // Proc. CHI '90 Proceedings ACM CHI’90 Conf. Seattle, Washington. – 1990. – Pp. 249-256.

7. Nielsen J. Enhancing the explanatory power of usability heuristics. – Text : unmediated // Proc. ACM CHI’94 Conf. Boston, MA. – 1994. – Pp. 152-158.

8. ГОСТ Р ИСО 9241-210-2012. Эргономика взаимодействия человек – система. Часть 210: Человекоориентированное проектирование интерактивных систем: утвержден и введен в действие Приказом Федерального агентства по техническому регулированию и метрологии от 29 ноября 2012 г. № 1290-ст. – Москва: Стандартинформ, 2013. – Текст : непосредственный.

9. Découvrez EffiBOT, votre assistant logistique tout au long de l’année. – Text : electronic // Effidence: Intelligence pour la robotique: [site]. – URL: https://www.effidence.com/effibot (дата обращения: 21.04.2019).

10. DASH Retail Robotic Shopping Cart. – Text : electronic // Piaggio fast forward: [site]. – URL: http://5elementsrobotics.com/dash-retail-robotic-shopping-cart (дата обращения: 21.04.2019).

11. Introducing Gita.

– Text : electronic // Piaggio fast forward: [site].

– URL: https://www.piaggiofastforward.com/gita (дата обращения: 21.04.2019).

12. Карпов А.А. Многомодальные интерфейсы для взаимодействия человека с компьютерами и роботами / А.А. Карпов, А.Л. Ронжин. – Текст : непосредственный // Актуальные проблемы психологии труда, инженерной психологии и эргономики. – 2015. – Вып. 7. – С. 441-459.

13. Крейдлин Г.Е. Невербальная семиотика в ее соотношении с вербальной: автореф. дисс. на соиск. учен. степени д-ра. филол. наук. – Текст : непосредственный. – Москва. – 2000.

14. Григорьева С.А. Словарь языка русских жестов / С.А. Григорьева, Н.В. Григорьев, Г.Е. Крейдлин. – Текст : непосредственный. – Москва: Вена. – 2001.

15. Efron D. Gesture, Race and Culture. The Hague: Mouton and Co., 1972.

16. KNN Model-Based Approach in Classification / Guo G. [et al.]. – Text : unmediated // Lecture Notes in Computer Science. – 2003. – Vol. 2888. – Pp. 986-996.

17. Толстой И.М. Разработка жестового интерфейса для взаимодействия пользователя с робототехническими средствами / И.М. Толстой, А.И. Савельев, А.В. Денисов. – Текст : непосредственный // Робототехника и техническая кибернетика. – 2018. – Т. 4, вып. 21. – С. 24 -25.

18. Hansen M.-B. The syntactic and semiotic status of direct quotes, with reference to French. – Text : unmediated // Transactions of the Philological Society. – 2000. – Vol. 98(2). – Pp. 281-322.

References 1. Sergeev, S. (2013). Problema interfeisa v ergaticheskikh sistemakh i tekhnogennykh sredakh [Interface issue for ergatic systems and technologicaql environments]. Chelovecheskii faktor: problemy psikhologii i ergonomiki, 3(66), pp.25-29. (In Russ.).

2. Sergeev, S. (2008). Inzhenernaya Psikhologiya i Ergonomika. Uchebnoe Зosobie [Engineering Psychology and Ergonomics. Textbook]. Moscow: R&D Institute of education technologies. (In Russ.).

3. Shlaen, P. and L'vov, V. (2004). Ergonomika dlya Inzhenerov: Ergonomicheskoe Obespechenie Proektirovaniya Cheloveko-Mashinnykh Kompleksov: Problemy, Metodologiya, Tekhnologii [Ergonomics for Engineers: Ergonomic Support of Man-Machine Complexes' Design; Problems, Methodology, Technology]. Tver', Russia: Tver' State University. (In Russ.).

4. Sergeev, S. (2015). Metody Testirovaniya i Optimizatsii Interfeisov Informatsionnykh Sistem. Uchebnoe Posobie [Testing and Optimization Methods for Interfaces of Information Systems]. Saint-Petersburg: SaintPetersburg State University. (In Russ.).

5. Nielsen, J. (1993). Usability Engineering. Boston: AP Professional.

6. Nielsen, J. and Molich, R. (1990). Heuristic evaluation of user interfaces. Proceedings of the SIGCHI conference on Human factors in computing systems Empowering people - CHI '90, pp.249-256.

7. Nielsen, J. (1994). Enhancing the explanatory power of usability heuristics. Proceedings of the SIGCHI conference on Human factors in computing systems celebrating interdependence - CHI '94, pp.152-158.

8. Federal Agency on Technical Regulating and Metrology (2013). GOST R ISO 9241-210—2012. Ergonomika vzaimodeistviya chelovek – sistema. Chast' 210: Cheloveko-orientirovannoe proektirovanie interaktivnykh sistem [Russian National Standart P ISO 9241-210—2012. Human-system interaction ergonomics. Part 210: Human centred design of interactive systems]. Moscow: Standartinform Publ.

143

Управление / Control

9. Effidence.com. (n.d.). Effidence - EffiBOT. [online] Available at: https://www.effidence.com/effibot [Accessed 21 Apr. 2019].

10. 5elementsrobotics.

(2016). DASH

–

Retail

Robotic

Shopping

Cart.

[online]

Available

at:

http://5elementsrobotics.com/dash-retail-robotic-shopping-cart [Accessed 21 Apr. 2019].

11. Piaggiofastforward.com.

(n.d.). gita

|

Piaggio

Fast

Forward.

[online]

Available

at:

https://www.piaggiofastforward.com/gita [Accessed 21 Apr. 2019].

12. Karpov, A. and Ronzhin, A. (2015). Mnogomodal'nye interfeisy dlya vzaimodeistviya cheloveka s komp'yuterami i robotami [Multimodal Interfaces for interaction of human with computer and robots]. In: Aktual'nye Problemy Psikhologii Truda, Inzhenernoi Psikhologii i Ergonomiki. Vypusk 7 [Current Problems of Labor Psychology, Engineering Psychology and Ergonomics. Issue 7]. pp.441-459. (In Russ.).

13. Kreidlin, G. (2000). Neverbal'naya semiotika v ee sootnoshenii s verbal'noi [Non-verbal semiotics in its correlation to verbal]. Doctor. Russian State University for the Humanities.

14. Grigor'eva, S., Grigor'ev, N. and Kreidlin, G. (2001). Slovar' Yazyka Russkikh Zhestov [Dictionary of Russian Gestural Language]. Moscow: Vena Publ. (In Russ.).

15. Efron, D. (1972). Gesture, Race and Culture. Paris: Mouton.

16. Guo, G., Wang, H., Bell, D., Bi, Y. and Greer, K. (2003). KNN Model-Based Approach in Classification. On The Move to Meaningful Internet Systems 2003: CoopIS, DOA, and ODBASE, pp.986-996.

17. Tolstoy, I., Saveliev, A. and Denisov, A. (2018). Development of gesture interface for user interaction with robotic devices. Robotics and Technical Cybernetics, 6(4), pp.24-35. (In Russ.).

18. Hansen, M. (2000). The syntactic and semiotic status of direct quotes, with reference to french. Transactions of the Philological Society, 98(2), pp.281-322.

Информация об авторах Кагиров Ильдар Амирович, Санкт-Петербургский институт информатики и автоматизации РАН (СПИИРАН), м.н.с., 199178, Санкт-Петербург, 14-я линия В.О., д. 39, тел.: +7(812)328-33-11, kagirov@iias.spb.su Толстой Иван Михайлович, СПИИРАН, программист, 199178, Санкт-Петербург, 14-я линия В.О., д. 39, тел.: +7(812)328-10-88, tolstoy.i.m@yandex.ru Савельев Антон Игоревич, к.т.н., СПИИРАН, заведующий лабораторией, 199178, Санкт-Петербург, 14-я линия В.О., д. 39, тел.: +7(812)328-10-88, antoni-fox@yandex.ru Карпов Алексей Анатольевич, д.т.н., СПИИРАН, доцент, заведующий лабораторией, 199178, СанктПетербург, 14-я линия В.О., д. 39, тел.: +7(812)328-33-11, karpov@iias.spb.su

Information about the authors Il'dar A. Kagirov, Saint-Petersburg Institute for Informatics and Automation of the Russian Academy of Sciences (SPIIRAS), Junior Research Scientist, 39, 14 line V.O., Saint-Petersburg, 199178, Russia, tel.: +7(812)328-33-11, kagirov@iias.spb.su Ivan M. Tolstoy, SPIIRAS, Programmer, 39, 14 line V.O., Saint-Petersburg, 199178, Russia, tel.: +7(812)328-1088, tolstoy.i.m@yandex.ru Anton I. Savelyev, PhD in Technical Sciences, SPIIRAS, Head of Laboratory, 39, 14 line V.O., Saint-Petersburg, 199178, Russia, tel.: +7(812)328-10-88, antoni-fox@yandex.ruyandex.ru Alexey A. Karpov, Doctor of Technical Science, SPIIRAS, Associate Professor, Head of Laboratory, 39, 14 line V.O., Saint-Petersburg, 199178, Russia, tel.: +7(812)328-33-11, karpov@iias.spb.su

144

РОБОТОТЕХНИКА и ТЕХНИЧЕСКАЯ КИБЕРНЕТИКА / ROBOTICS and TECHNICAL CYBERNETICS

2019; 7(2)

Разработки УДК: 004.896 DOI: 10.31776/RTCJ.7209 C. 145-153

Комбинированная автоматизированная система сегментации и обнаружения новообразований для диагностики рака легкого А.А. Мелдо 1 , 2 , Л.В. Уткин 2  , М.А. Рябинин 2

1

ГБУЗ Санкт-Пе тер бургс кий кл ини чес ки й научно-пр а кт и чес ки й це нтр с пе циа лизи ро ва нны х видо в ме ди ци нско й по мо щи (о н кол ог и чес кий), Санкт-П ет ер бу рг, Росси йс ка я Фе дер а ци я 2 Са нкт-Пе тер бур гс кий по лит ех ни че с кий у ни ве рси те т Пе тра Вели кого, ла бо ратори я ней росе те вых тех нол оги й и ис кусс твенного и нтелле кта , Санкт-П ете р бур г, Ро ссий с ка я Ф е дера ци я, lev.utkin@gmail.com ( М а т е р и а л п ос т у п и л в р ед ак ц и ю 24 а п ре л я 2 01 9 г од а )

Аннотация Рассматривается задача автоматизации и интеллектуализации диагностического исследования рака легкого на основе снимков компьютерной томографии. Рак легкого во многих странах является наиболее распространенным онкологическим заболеванием и его обнаружение на ранней стадии позволяет существенно повысить шанс выживаемости пациента. Использование автоматизированных систем диагностики частично решает проблему диагностики на ранней стадии. Предлагается новая архитектура части автоматизированной системы, целью которой является сегментация и обнаружение новообразований в легких и минимизация пропусков, что определяет показатель чувствительности системы. Ее особенность заключается в том, что наряду с алгоритмами глубокого обучения, основанными на использовании глубоких нейронных сетей (2D U-Net и 3D U-Net), параллельно используются традиционные алгоритмы обработки изображений компьютерной томографии, что повышает способность системы обнаруживать новообразования. Система представляет собой трехканальную систему обработки информации, где каждый канал – процедура обнаружения новообразований. Процесс обучения системы основан на использовании открытой размеченной базы данных снимков компьютерной томографии пациентов LUNA16 и новой базы данных, содержащей атипичные случаи рака легкого LIRA. Рассмотрены вопросы предварительной обработки информации и сегментации легкого. Предлагается архитектура глубоких нейронных сетей, наиболее подходящая для обнаружения новообразований. Выходом системы являются сегментированные новообразования нового пациента.

Ключевые слова Глубокая нейронная сеть, обработка изображения, сегментация изображения, рак легкого, искусственный интеллект, компьютерная томография.

Благодарности Исследование выполнено за счет гранта Российского научного фонда (проект № 18-11-00078).

A combined automated diagnostic system for segmentation and detection of lung cancer nodules Anna A. Meldo 1, 2 , Lev V. Utkin 2  , Mikhail A.Ryabinin 2

Sa in t-Pe te rsburg Clin ic al Research Center of Spec ialized Ty pes of Medical Ca re (Oncological), Sa in t-Pe te rsburg, Russ ia Pe te r the Great Saint-Pe te rsbu rg Po ly technica l University (SPbPU), Research La bo ra to ry of Neural Network Tech no logies and Artificial In te llige nce, Saint-Pete rsburg, Ru ss ia , lev.utkin@gmail.com

1 2

( R e c e i v e d 2 4 A pr i l 2 01 9)

Abstract The paper deals with a problem of automating and intellectualizing a diagnostic study of lung cancer based on computed tomography scans. The relevance of the developed system is based on the fact that lung cancer in many countries is the most common cancer and its detection at an early stage may significantly increase the chance of patient survival. The use of automated diagnostic systems partially solves the problem of diagnosis at an early stage. The

145

Разработки / Developments

article proposes a new architecture of a part of an automated system, the purpose of which is segmentation and detection of nodules in lungs and minimization of missed nodules, which determines the sensitivity of the system. Its peculiarity lies in the fact that, along with deep learning algorithms based on the use of deep neural networks (2D UNet and 3D U-Net), traditional computed tomography image processing algorithms are used in parallel, which increase the system's ability to detect tumors. The system is a three-channel data processing system, where each channel is a procedure for detecting nodules. The training process of the system is based on the use of an open labelled database of computed tomography scans of patients called LUNA16 and a new database containing atypical cases of lung cancer called LIRA. The implementation of the preprocessing procedure and of the lung segmentation procedure are considered. Architectures of deep neural networks are proposed which are the most suitable for detecting nodules. Segmented nodules of a new patient can be viewed as the system output.

Key words Deep neural network, image processing, image segmentation, lung cancer, artificial intelligence, computed tomography.

Acknowledgements This work is supported by the Russian Science Foundation under grant 18-11-00078.

Введение Автоматизация медицинских диагностических исследований является сегодня одним из важнейших применений искусственного интеллекта (ИИ) в медицине и, в частности, в области диагностики онкологических заболеваний. Уже достигнутые на данный момент результаты демонстрируют перспективность и реализуемость задач автоматизации и построения систем, являющихся реальными помощниками врача-диагноста. Несмотря на быстрое развитие новых методов машинного обучения и обработки изображений, автоматизированные системы диагностики на основе элементов ИИ представляют собой сложные программные комплексы, объединяющие различные этапы и принципы обработки информации, и их реализация представляется одной из сложнейших задач, требующих больших затрат как временных, так и вычислительных ресурсов. При этом одним из необходимых элементов реализации таких систем является не только программное обеспечение обработки информации, но и размеченные базы данных, связанные с заболеванием, система диагностики которого реализуется. Так как основным отличием систем ИИ, разрабатываемых сегодня, является процесс обучения на уже имеющихся примерах, то фактически такая база данных состоит из множества примеров заболеваний различных пациентов. Поэтому одним из важнейших вопросов построения автоматизированных систем диагностики онкологических заболеваний является создание соответствующих баз данных и постоянное накопление информации в них для дообучения системы в целях ее совершенствования и повышения качества и точности диагностики. Необходимо отметить, что в настоящее время автоматизация на основе элементов ИИ многими понимается по разному. Главным отличием ИИ, рассматриваемого в этой статье, является способность

системы или алгоритмов системы обучаться на основе множества примеров и обладать обобщающей способностью, т.е. решать задачи классификации, регрессии, сегментации для новых данных, используя «опыт», полученный в результате обучения. Другими словами, система должна обучаться на пациентах, данные по которым используются в качестве обучающих примеров, и обладать способностью диагностировать новых пациентов с высокой вероятностью постановки правильного диагноза. Совсем не обязательно, чтобы система диагностики была интеллектуальной, т.е. обладала перечисленными выше особенностями. Существует большое количество эффективных систем диагностики, использующих стандартные методы обработки изображений. С другой стороны, несмотря на бурный рост исследований и разработок интеллектуальных систем, далеко не все системы диагностики, построенные на основе ИИ, показывают высокие характеристики эффективности. Поэтому актуальным является комбинирование стандартных методов обработки изображений и интеллектуальных методов таким образом, чтобы были учтены различные особенности диагностического процесса. Такая комбинированная система и предлагается в данной статье. Рак легкого во многих странах является наиболее распространенным онкологическим заболеванием с высоким уровнем смертности [1]. Однако он может эффективно вылечиваться во многих случаях, когда обнаружен на ранних стадиях. Именно лечение на ранней стадии заболевания может быть эффективным и повысить шанс выживаемости пациента. В то же время диагностика на ранней стадии как раз сталкивается с трудностями, так как рак легкого на этой стадии не проявляется. Клинические симптомы начинают появляться намного позднее [2]. Рак легкого на ранней стадии проявляется в форме новообразования, которое можно наблюдать

146

РОБОТОТЕХНИКА и ТЕХНИЧЕСКАЯ КИБЕРНЕТИКА / ROBOTICS and TECHNICAL CYBERNETICS

на снимках компьютерной томографии (КТ), в качестве легочных патологий, имеющих примерно сферическую форму [3, 4]. Новообразования характеризуются их расположением в легком и внутренней структурой. Поэтому процедуры обнаружения и сегментации новообразований могут быть различными для изолированных новообразований (окруженного полностью газосодержащей тканью легкого), для прилегающих к сосудам и прилегающих к плевре. Было разработано множество автоматизированных интеллектуальных систем диагностики (ИСД) рака легкого, основанных на использовании методов машинного обучения и ИИ для того, чтобы помочь радиологам автоматически обнаруживать новообразования на ранних стадиях [5]. Как наиболее чувствительный метод визуализации, КТ имеет сильные конкурентные преимущества, такие как быстрое получение данных, экономичность и доступность [6]. Это одна из наиболее важных модальностей для диагностики рака легкого. Поэтому многие ИСД используют КТ в качестве основы для диагностики рака легкого. Обзоры различных архитектур ИСД можно найти в работах [7,8]. С технической точки зрения многие ИСД состоят из двух частей: системы сегментации и обнаружения новообразований и системы классификации подозрительных образований с точки зрения их злокачественного или доброкачественного характера. Детальный анализ большинства ИСД показал, что они обучаются с использованием баз данных, содержащих примеры узлового типа новообразований, что не соответствует клинической и радиологической классификации рака легкого. Как результат, далеко не все атипичные случаи заболеваний легкого учитываются при обучении систем. Поэтому наша цель заключается в разработке системы, которая позволила бы обнаруживать широкий спектр новообразований. В представленной работе рассматривается только первая часть ИСД, целью которой является сегментация и обнаружение новообразований. От результатов корректного функционирования системы сегментации существенно зависит классификация новообразований. Главной задачей разработки этой части является обнаружение всех новообразований и минимизация пропусков, что определяет показатель чувствительности системы. Так как цель предлагаемой части ИСД заключается в поиске всех подозрительных объектов, то в работе предлагается трехканальная ИСД подсистема. Каждый канал в подсистеме может рассматриваться как отдельная процедура обработки изображения. Первый канал реализован в виде процедуры традиционной обработки, основанной на использовании неинтеллектуальных алгоритмов и методов

2019; 7(2)

поиска интересуемых нас объектов. Второй канал – процедура глубокого обучения с использованием сегментационной нейронной сети 3D U-Net [9]. Фактически первый и второй канал выполняют параллельную обработку изображений. Третий канал – процедура глубокого обучения с использованием сегментационной нейронной сети 2D U-Net [10]. Входные данные для всех каналов различны, т.е. каналы не следует рассматривать как простое дублирование обработки информации. Например, третий канал (2D U-Net) использует только края легких, полученные после сегментации легких, и направлен на обнаружение прилегающих к плевре новообразований малого размера. Входными данными для второго канала (3D U-Net) является выход процедуры сегментации легких, реализованной с помощью стандартных методов обработки изображений. Таким образом, система состоит из комбинации интеллектуальных и обычных методов обработки изображений, что обеспечивает двойной эффект. Если наблюдается атипичный случай, на аналогах которого не была обучена интеллектуальная часть системы, то делается попытка обработки такого случая стандартными методами, которые основаны на поиске градаций перехода от черного к белому цвету при изменении плотности радиоизлучения. Для обучения интеллектуальной части ИСД необходимы соответствующие размеченные базы данных. Предполагается, что база данных для обучения содержит снимки КТ в формате DICOM (Digital Imaging and Communication in Medicine). Снимки КТ содержат последовательность 2D-изображений, и интервал между этими изображениями называется Z-интервалом. Большинство ИСД для сегментации и обнаружения новообразований используют базу данных LIDC-IDRI [11]. Каждый пример в базе состоит из изображений КТ грудной клетки, а также аннотаций, предоставляемых в результате оценки четырех радиологов. База данных LIDC-IDRI содержит 1018 снимков КТ. «Очищенный» вариант LIDC-IDRI – это база данных LUNA16 (https://luna16.grandchallenge.org/), содержащая 888 снимков. Для анализа атипичных случаев в Санкт-Петербургском клиническом научно-практическом центре специализированных видов медицинской помощи (онкологический) была создана LIRA (Lung Image Resource Annotated) [12]. Все подозрительные объекты в LIRA помечены как «злокачественные», «доброкачественные», «атипичные злокачественные». Кроме того, в отличие от многих общедоступных наборов данных, включая LUNA16 и LIDC, набор данных LIRA содержит только примеры, подтвержденные гистологическим исследованием. Это одно из важных преимуществ LIRA.

147

Разработки / Developments

Реализация системы сегментации и обнаружения новообразований Цель системы сегментации и обнаружения новообразований – попытаться отличить и выделить новообразования от теней, сосудов, ребер. Согласно анализу многих ИСД [13], процесс обнаружения новообразований в легком обычно состоит из следующих этапов: предварительная обработка изображений; сегментация легких; обнаружение кандидатов в новообразования. Архитектура предлагаемой системы сегментации и обнаружения новообразований показана на рис. 1. Помимо стандартных этапов, включающих предварительную обработку, сегментацию легких и обычное обнаружение новообразований, в которых используются обычные процедуры обработки изображений, предлагаемая система содержит две нейронные

сегментационные сети U-Net. Первая сеть 3D U-Net использует трехмерные объекты и обучается для обнаружения новообразований после сегментации. Она может рассматриваться как альтернатива обычным процедурам обработки изображений. Следующая нейронная сеть (2D U-Net) использует только края легких, полученные после сегментации легких, и предназначена для выявления прилежащих к плевре новообразований небольшого размера. В результате имеется три источника подозрительных объектов, выходы которых объединяются, чтобы получить набор обнаруженных объектов для их дальнейшей классификации в системе классификации. Основная цель использования трех каналов обработки изображений - избежать случаев пропущенных новообразований.

Рисунок 1 — Архитектура системы сегментации и обнаружения новообразований Figure 1 — Architecture of system for segmentation and detection of nodules

Процедура предварительной обработки направлена на отделение исследуемой области от других органов и тканей на снимках КТ, чтобы снизить вычислительные затраты на следующих этапах. Это важный этап системы всей ИСД, необходимый для удаления шума, ненужных объектов, чтобы упростить процедуры обнаружения и сегментации. В соответствии с процедурой предварительной обработки, данные или значения пикселей в каждом изображении КТ преобразуются в значения единиц Хаунсфилда (HU), которые рассматриваются как стандартная количественная шкала плотности радиоизлучения. Значения HU для воздуха обычно составляют около -1000, для тканей легких обычно около -500, для костей обычно около 700, для воды, крови и других тканей около 0. Маскируя пиксели, которые находятся за пределами типичных интервалов для тканей легких, мы пытаемся убрать лишние ткани легких. Типичный интервал для реализации сегментации на

основе порога для тканей легкого взят от -450 до 200 значений HU. Следует отметить, что многие авторы предпочитают другие интервалы для определения порога [14]. Большинство авторов включают процедуру пороговой обработки в этап сегментации в качестве своего компонента, то есть эта процедура является частью процедуры сегментации (см., например, [5]).

Сегментация легких Сегментация легкого направлена на извлечение объема легочной ткани на снимках КТ при одновременном удалении примесей, включая трахею, бронхи, грудину, жир и мышцы. Мы применяем процедуру сегментации легких, которая аналогична описанной в работе [15]. Прежде всего, мы используем алгоритм сегментации, основанный на методе разрастания регионов (region growing method), который реализован в виде

148

РОБОТОТЕХНИКА и ТЕХНИЧЕСКАЯ КИБЕРНЕТИКА / ROBOTICS and TECHNICAL CYBERNETICS

модуля Connected Threshold из библиотеки Python ITK [16]. Этот алгоритм группирует соседние вокселы в соответствии с их интенсивностью в пределах некоторого порога. Пиксели, которые находятся за пределами интервалов от -1000 до -400 HU, маскируются. Метод разрастания регионов – это итеративный метод, используемый для идентификации связанных областей (смежных наборов вокселей) на изображениях. Получая на входе набор начальных точек на изображении, наращиваются однородные области вокруг каждой из областей. Каждый пиксель рассматривается в контексте восьми своих соседей. Для обрабатываемого пикселя последовательно рассматриваются все его соседи, для каждого из которых проверяется условие однородности. Если оно выполняется, то пиксель присоединяется к области. Затем вычисляется площадь для каждой области легкого в исходном изображении маски легкого, чтобы найти самые большие объекты, то есть левую и правую доли, потому что доли легких больше по сравнению с соседними структурами. Предполагает-

2019; 7(2)

ся, что полученные доли представляют собой сегментированную паренхиму легкого. Алгоритм заливки (flood fill) применяется для заполнения отверстий (сосудов и новообразований).

Обнаружение новообразований Стандартная процедура обработки изображений Алгоритм заливки выполняется на каждом слайсе изображения КТ для обнаружения новообразований. После этого реализуется сегментация на основе порогового отделения тканей легкого, находящихся в интервале от -450 до 200 значений HU. Обнаружение кандидатов в новообразования в сегментированных областях легких в каждом слайсе выполняется с использованием многоуровневой процедуры порогового определения, за которой следует процедура заполнения пустот с помощью алгоритма заливки и определения границ этих кандидатов.

Таблица 1 — Архитектура нейронной сети 3D U-Net Table 1 — 3D U-Net neural network architecture

Кодирующая часть Слой

Декодирующая часть

Параметры

Выход 16x64x64x1

Up6

2x2x2

2x8x8x512

2xConv1

3x3x3

16x64x64x3

Concat6

Conv4,Up6

2x8x8x768

Pooling1

2x2x2

8x32x32x32

2xConv6

3x3x3

2x8x8x256

2xConv2

3x3x3

8x32x32x64

Up7

2x2x2

4x16x16x25

Pooling2

2x2x2

4x16x16x64

Concat7

Conv3,Up7

4x16x16x38

2xConv3

3x3x3

4x16x16x12

2xConv7

3x3x3

4x16x16x12

Pooling3

2x2x2

2x8x8x128

Up8

2x2x2

8x32x32x12

2xConv4

3x3x3

2x8x8x256

Concat8

Conv2,Up8

8x32x32x19

Input

Слой

Параметры

Выход

Pooling4

2x2x2

1x4x4x256

2xConv8

3x3x3

8x32x32x64

2xConv5

3x3x3

1x4x4x512

Up9

2x2x2

16x64x64x6

Concat9

Conv1,Up9

16x64x64x9

2xConv9

3x3x3

16x64x64x3

Conv10

1x1x1

16x64x64x1

Чтобы улучшить процедуру обнаружения новообразований, мы разделяем три типа новообразований в легком: изолированные новообразования, прилегающие к плевре и прилегающие к сосудам. Это условное деление, потому что, например, прилегающие к сосудам новообразования могут также прикрепляться к тканям плевры. Сначала мы делим все новообразования на два подмножества: в первом подмножестве – изолированные новообразования, во втором подмножестве – все (прилегающие). Фильтр с именем label-map [17] используется для эффективного поиска объектов и их разметки в двоичном изображении. Он реализован в виде класса LabelMap в библиотеке ITK, который отвечает за

управление метками объектов изображения. Затем новообразования из второго подмножества снова разделяются на две группы с учетом их объема. Если объем большой, то предполагается, что объект принадлежит к прилегающим к сосудам новообразованиям. Порог для принятия решения – 3000 вокселей. Объекты с объемами менее 3000 вокселей относятся к изолированным и прилегающим к плевре новообразованиям. Чтобы отделить прилегающее к сосудам новообразование от соответствующего сосуда используется алгоритм эрозии [18], который уменьшает изображения кровеносных сосудов и новообразований.

149

Разработки / Developments

В итоге, все подозрительные новообразования разделяются на 4 подмножества: (1) изолированные и прилегающие к плевре объема менее 200 вокселей; (2) изолированные и прилегающие к плевре объема более 200 вокселей; (3) прилегающие к сосудам объема менее 200 вокселей; (4) прилегающие к сосудам объема более 200 вокселей. Такое разделение осуществляется для упрощения последующих процедур классификации.

3D U-Net После сегментации легких мы применяем 3D UNet, которую можно рассматривать как альтернативу традиционным процедурам обработки изображений в предлагаемой системе сегментации и обнаружения новообразований. Обучение этой сети выполняется на Python с использованием пакета Keras с Tensorflow. Модель обучалась на 200 эпохах, после которых функция потерь начинала сходиться. Набор данных для обучения содержит 601 изображение КТ из LUNA16. Изображения нарезаются трехмерными кубиками (patches) размера 16. Общее количество кубиков для обучения составляет 2500. Режим те-

стирования был реализован на изображениях из набора данных LIRA (290 пациентов). Используется стандартная архитектура 3D U-Net, которая показана в табл. 1. Сеть состоит из кодирующей части и декодирующей. Кодирующая часть состоит из 5 блоков, каждый из которых имеет два сверточных слоя (2xConv) с ядром фиксированного размера (3х3 или 2х2), как показано в столбце параметров в табл. 1, слой пулинга (Pooling) с размером неперекрывающихся окон 2х2. Декодирующая часть сети последовательно увеличивает карты разреженных признаков (данные на выходе кодирующей части) посредством последовательности обучаемых декодеров, доводя до размеров исходного изображения. Каждый блок декодирующей части содержит слой, выполняющий операцию обратную свертке, или слой, выполняющий операцию обратную пулингу, повышающий дискретизацию изображения (Up), за которой следуют два сверточных уровня. Операция конкатенации (Concat) используется в декодирующей части.

Таблица 2 — Архитектура нейронной сети 2D U-Net Table 2 — 2D U-Net neural network architecture

Кодирующая часть Слой

Параметры

Input

Декодирующая часть Выход

Слой

Параметры

Выход

16x16x1

ConvTransp1

3x3

2x2x128

2xConv1

3x3

16x16x16

Concat1

ConvTransp1,Conv5

2x2x256

Pooling1

2x2

8x8x16

2xConv6

3x3

2x2x128

2xConv2

3x3

8x8x32

ConvTransp2

3x3

4x4x64

Pooling2

2x2

4x4x32

Concat2

ConvTransp2,Conv3

4x4x128

2xConv3

3x3

4x4x64

2xConv7

3x3

4x4x64

Pooling3

2x2

2x2x64

ConvTransp3

3x3

8x8x32

2xConv4

3x3

2x2x128

Concat3

ConvTransp3,Conv2

8x8x64

Pooling4

2x2

1x1x128

2xConv8

3x3

8x8x32

2xConv5

3x3

1x1x256

ConvTransp4

3x3

16x16x16

Concat4

ConvTransp4,Conv1

16x16x32

2xConv9

3x3

16x16x16

Conv10

1x1

16x16x1

2D U-Net Следующая нейронная сеть (2D U-Net) использует в качестве входных данных только изображения границ легкого или плевры, которые получены после сегментации. Основная цель нейронной сети – это обнаружение новообразований малого размера, прилегающих к плевре. Изображение разбивается на квадраты размера 16х16. При этом для обучения используются только те квадраты, которые содержат плевру или прилегающие к ней новообразования. Архитектура обученной сети 2D U-Net показана в табл. 2. Кодирующая часть состоит также из 5 бло-

ков, каждый из которых имеет два сверточных слоя (2xConv) с ядром фиксированного размера (3х3), как показано в столбце параметров в табл. 2, слой пулинга (Pooling) с размером неперекрывающихся окон 2х2. Между двумя операциями свертки в каждой паре слоев свертки используются операции пакетной нормализации (batch normalization) и активации с функцией ReLu. Кроме того, после каждой операции пулинга в кодирующей части используется операция Dropout (удаление элементов нейронной сети) с вероятностью 0.3. Те же дополнительные операции используются и в декодирующей части. Они не пока-

150

РОБОТОТЕХНИКА и ТЕХНИЧЕСКАЯ КИБЕРНЕТИКА / ROBOTICS and TECHNICAL CYBERNETICS

заны в табл. 2 в целях уменьшения ее размера. Каждый блок декодирующей части имеет специальный слой обратной свертки (ConvTransp), за которым следует операция конкатенации и два сверточных слоя. После каждой операции конкатенации используется операция Dropout с вероятностью 0.3. Сеть обучалась на 30 эпохах с размером пакета равным 128. Набор данных содержит 10000 изображений размера 512х512, так что 7500 изображений предназначены для обучения и 2500 изображений для тестирования. Во всех нейронных сетях используется метод оптимизации Adam (adaptive moment estimation) со скоростью обучения 0.0001, который сочетает в себе и идею накопления движения, и идею более слабого обновления весов для типичных признаков. Полносвязанные слои имеют сигмоидальную функцию активации, все остальные сверточные слои имеют функцию активации ReLu. Было отмечено, что нейронная сеть U-Net пытается обнаружить новообразования, которые не были обнаружены процедурами стандартной обработки изображений. Здесь важно сказать, что более простые снимки поступают на вход U-Net, что существенно упрощает процесс обнаружения новообразований. Новообразования, обнаруженные обычным методом и нейронными сетями U-Net, объединяются для их дальнейшей классификации и сокращения ложноположительных случаев. Следует отметить, что предлагаемая трехканальная архитектура системы сегментации и обнаружения новообразований увеличивает число ложноположительных случаев,

2019; 7(2)

когда система определяет у пациента наличие заболевания, в то время как его нет. Однако в целях снижения риска пропущенных случаев такой подход вполне себя оправдывает. При этом основную роль сокращения ложноположительных случаев принимает на себя система классификации.

Заключение Рассмотрена первая часть ИСД, целью которой является сегментация и обнаружение новообразований на снимках КТ. Как уже отмечалось, система является, прежде всего, помощником врача-радиолога для существенного сокращения времени анализа снимков и постановки диагноза пациентам. Наибольшую эффективность такой помощник может продемонстрировать при проведении процедуры скрининга рака легкого, когда необходимо поставить диагноз большому количеству пациентов из группы риска за достаточно короткое время. В статье не рассматривались вопросы разработки второй части ИСД, предназначенной для классификации новообразований, выявленных первой частью, и сокращения ложноположительных случаев. Эти вопросы требуют отдельного детального рассмотрения. В то же время, необходимо отметить, что эффективность именно системы сегментации и обнаружения новообразований определяет во многом эффективность второй системы и ИСД в целом. Это накладывает определенную ответственность на те решения, которые заложены в первой части обработки данных ИСД.

Литература 1. Siegel R.L. Cancer statistics / R.L. Siegel, K.D. Miller, and A. Jemal. – Text : unmediated. – 2018. CA Cancer J. Clin. – Vol. 68(1). – Pp. 7-30, 2018.

2. 3D multi-view convolutional neural networks for lung nodule classification / G. Kang [et al.]. – Text : unmediated. – PLoS ONE, Vol. 12(11): e0188290, 2017.

3. Choi W.J. Automated pulmonary nodule detection based on three-dimensional shape-based feature descriptor / W.J. Choi and T.S. Choi. – Text : unmediated // Computer Methods and Programs in Biomedicine. – Vol. – Pp. 113:37-54, 2014.

4. Fully automatic detection of lung nodules in CT images using a hybrid feature set. Medical Physics / F. Shaukat [et al.]. – Text : unmediated. – Vol. 44(7). – Pp. 3615-3629, Jul 2017.

5. Automatic nodule detection for lung cancer in CT images: A review / GuobinZhang [et al]. – Text : unmediated // Computers in Biology and Medicine. – Vol. 103. – Pp. 287-300. – 2018.

6. Zhang J. Pulmonary nodule detection in medical images: A survey / Junjie Zhang, Yong Xia, Yanning Zhang.

– Text : unmediated // Biomedical Signal Processing and Control. – Vol. 43. – Pp. 138-147. – 2018.

7. A survey on deep learning in medical image analysis / GeertLitjens [et al]. – Text : unmediated // Medical Image Analysis. – Vol. 42. – Pp. 60-88. – 2017.

8. Validation, comparison, and combination of algorithms for automatic detection of pulmonary nodules in computed tomography images: the LUNA16 challenge / Arnaud Arindra Adiyoso Setio [et al]. – Text : unmediated // arXiv:1612.08012v4. – Jul 2017.

9. 3D U-Net: Learning dense volumetric segmentation from sparse annotation / Özgün Çiçek [et al]. – Text : unmediated // Medical Image Computing and Computer-Assisted Intervention. – MICCAI 2016. – Vol. 9901 of Lecture Notes in Computer Science. – Pp. 424-432, Cham, 2016. – Springer.

151

Разработки / Developments

10. Ronneberger O. U-Net: Convolutional Networks for biomedical image segmentation / Olaf Ronneberger, Philipp Fischer, Thomas Brox . – Text : unmediated // arXiv:1505.04597v1, May 2015.

11. The lung image database consortium (LIDC) and image database resource initiative (IDRI): a completed reference database of lung nodules on CT scans / Armato III S.G. [et al]. – Text : unmediated // Medical Physics. – Vol. 38(2). – Pp. 915-931, 2011.

12. База данных компьютерных томограмм грудной клетки с выделенными и маркированными областями патологии легких – LIRA (Lung Image Resource Annotated) / Л.В. Уткин [и др.]. – Текст : непосредственный // Свидетельство о государственной регистрации базы данных № 2019620232. Дата гос. регистрации 07.02.2019.

13. Computer-aided detection system for lung cancer in computed tomography scans: review and future prospects / M. Firmino [et al]. – Text : unmediated // BioMedical Engineering OnLine. – Vol. 13(1). – Pp. 41, 2014.

14. Ozdemir O. A 3D probabilistic deep learning system for detection and diagnosis of lung cancer using low-dose CT scans / O. Ozdemir, R.L. Russell, A.A. Berlin. – Text : unmediated // arXiv:1902.03233v1, Feb 2019.

15. Computer-aided detection (CADe) and diagnosis (CADx) system for lung cancer with likelihood of malignancy / M. Firmino [et al]. – Text : unmediated // BioMedical Engineering OnLine. – Vol. 15(1). – Pp. 1-17, 2016.

16. The design of simple ITK / B.C. Lowekamp [et al]. – Text : unmediated // Frontiers in Neuroinformatics. – Vol. 7(45). – Pp. 1- 14, 2013.

17. Lehmann G. Label object representation and manipulation with ITK / G. Lehmann. – Text : unmediated // The Insight Journal. – Pp. 1-34, 2008.

18. Teramoto A. Fast lung nodule detection in chest CT images using cylindrical nodule-enhancement Filter / A. Teramoto, H. Fujita. – Text : unmediated // International Journal of Computer Assisted Radiology and Surgery. – Vol. 8. – Pp. 193-205, 2013.

References 1. Siegel, R., Miller, K. and Jemal, A. (2018). Cancer statistics, 2018. CA: A Cancer Journal for Clinicians, 68(1), pp.7-30.

2. Kang, G., Liu, K., Hou, B. and Zhang, N. (2017). 3D multi-view convolutional neural networks for lung nodule classification. PLOS ONE, 12(11), p.e0188290.

3. Choi, W. and Choi, T. (2014). Automated pulmonary nodule detection based on three-dimensional shapebased feature descriptor. Computer Methods and Programs in Biomedicine, 113(1), pp.37-54.

4. Shaukat, F., Raja, G., Gooya, A. and Frangi, A. (2017). Fully automatic detection of lung nodules in CT images using a hybrid feature set. Medical Physics, 44(7), pp.3615-3629.

5. Zhang, G., Jiang, S., Yang, Z., Gong, L., Ma, X., Zhou, Z., Bao, C. and Liu, Q. (2018). Automatic nodule detection for lung cancer in CT images: A review. Computers in Biology and Medicine, 103, pp.287-300.

6. Zhang, J., Xia, Y., Cui, H. and Zhang, Y. (2018). Pulmonary nodule detection in medical images: A survey. Biomedical Signal Processing and Control, 43, pp.138-147.

7. Litjens, G., Kooi, T., Bejnordi, B., Setio, A., Ciompi, F., Ghafoorian, M., van der Laak, J., van Ginneken, B. and Sánchez, C. (2017). A survey on deep learning in medical image analysis. Medical Image Analysis, 42, pp.60-88.

8. Setio, A. et al. (2017). Validation, comparison, and combination of algorithms for automatic detection of pulmonary nodules in computed tomography images: The LUNA16 challenge. Medical Image Analysis, 42, pp.1-13.

9. Çiçek, Ö., Abdulkadir, A., Lienkamp, S., Brox, T. and Ronneberger, O. (2016). 3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation. Medical Image Computing and Computer-Assisted Intervention – MICCAI 2016, pp.424-432.

10. Ronneberger, O., Fischer, P. and Brox, T. (2015). U-Net: Convolutional Networks for Biomedical Image Segmentation. Lecture Notes in Computer Science, pp.234-241.

11. Armato, S. et al. (2011). The Lung Image Database Consortium (LIDC) and Image Database Resource Initiative (IDRI): A Completed Reference Database of Lung Nodules on CT Scans. Medical Physics, 38(2), pp.915-931.

12. Utkin, L., Ryabinin, M., Meldo, A., Lukashin, A. and Prokhorov, I. (2019). Baza dannih computernih tomogramm grudnoy kletki s videlannimi i markirovannimi oblastami pathology legkih – LIRA (Lung Image Resource Annotated). 2019620232 (in Russ.).

13. Firmino, M., Morais, A., Mendoça, R., Dantas, M., Hekis, H. and Valentim, R. (2014). Computer-aided detection system for lung cancer in computed tomography scans: Review and future prospects. BioMedical Engineering OnLine, 13(1), p.41.

152

РОБОТОТЕХНИКА и ТЕХНИЧЕСКАЯ КИБЕРНЕТИКА / ROBOTICS and TECHNICAL CYBERNETICS

2019; 7(2)

14. Ozdemir, O., Russell, R. and Berlin, A. (2019). A 3D Probabilistic Deep Learning System for Detection and Diagnosis

of

Lung

Cancer

Using

Low-Dose

CT

Scans.

[online]

Export.arxiv.org.

Available

at:

http://export.arxiv.org/abs/1902.03233v1 [Accessed 24 Apr. 2019].

15. Firmino, M., Angelo, G., Morais, H., Dantas, M. and Valentim, R. (2016). Computer-aided detection (CADe) and diagnosis (CADx) system for lung cancer with likelihood of malignancy. BioMedical Engineering OnLine, 15(1).

16. Lowekamp, B., Chen, D., Ibáñez, L. and Blezek, D. (2013). The Design of SimpleITK. Frontiers in Neuroinformatics, 7.

17. Lehmann, G. (2008). Label object representation and manipulation with ITK. The Insight Journal, pp.1-34.

18. Teramoto, A. and Fujita, H. (2012). Fast lung nodule detection in chest CT images using cylindrical noduleenhancement filter. International Journal of Computer Assisted Radiology and Surgery, 8(2), pp.193-205.

Информация об авторах Мелдо Анна Александровна, к.м.н., ГБУЗ «Санкт-Петербургский клинический научно-практический центр специализированных видов медицинской помощи (онкологический)», заведующий отделением лучевой диагностики, врач-рентгенолог, 197758, Санкт-Петербург, п. Песочный, Ленинградская ул., д. 68А, СанктПетербургский политехнический университет Петра Великого, лаборатория нейросетевых технологий и искусственного интеллекта, с.н.с., 195251, Санкт-Петербург, Политехническая ул., д. 29, anna.meldo@yandex.ru Уткин Лев Владимирович, д.т.н., Санкт-Петербургский политехнический университет Петра Великого, лаборатория нейросетевых технологий и искусственного интеллекта, заведующий лабораторией, заведующий кафедрой «Телематика (при ЦНИИ РТК)», 195251, Санкт-Петербург, Политехническая ул., д. 29, ORCID: 0000-0002-5637-1420, lev.utkin@gmail.com Рябинин Михаил Андреевич, Санкт-Петербургский политехнический университет Петра Великого, лаборатория нейросетевых технологий и искусственного интеллекта, инженер, аспирант кафедры «Телематика (при ЦНИИ РТК)», 195251, Санкт-Петербург, Политехническая ул., д. 29, mihail-ryabinin@yandex.ru

Information about the authors Anna A. Meldo, PhD in Medical Sciences, Saint-Petersburg Clinical Research Center of Specialized Types of Medical Care (Oncological), Head of the Radiology Department, Radiologyst, 68A, Leningradskaja ul., Pesochny, Leningrad region, 197758, Russia, Peter the Great Saint-Petersburg Polytechnical University (SPbPU), Research Laboratory of Neural Network Technologies and Artificial Intelligence, Senior Research Scientist, 29, Politekhnicheskaya ul., Saint-Petersburg, 195251, Russia, anna.meldo@yandex.ru Lev V. Utkin, Doctor of Technical Science, Peter the Great Saint-Petersburg Polytechnical University (SPbPU), Research Laboratory of Neural Network Technologies and Artificial Intelligence, Professor, Head of Laboratory, Head of the Telematics Department, 29, Politekhnicheskaya ul., Saint-Petersburg, 195251, Russia, ORCID: 0000-00025637-1420, lev.utkin@gmail.com Mikhail A. Ryabinin, Peter the Great Saint-Petersburg Polytechnical University (SPbPU), Research Laboratory of Neural Network Technologies and Artificial Intelligence, Engineer, Postgraduate Student of the Telematics Department, 29, Politekhnicheskaya ul., Saint-Petersburg, 195251, Russia, mihail-ryabinin@yandex.ru

153