Pomiary Automatyka Robotyka 4/2021 by Ł-PIAP

PAR P O M I A RY • A U T O M AT Y K A • R O B O T Y K A

4/2021 ISSN 1427-9126 Indeks 339512

Cena 25,00 zł w tym 8% VAT

Technical Sciences Quarterly | !

W numerze:

Od Redakcji

! "# $ ! % & ! ' " ' ' ()

* + , - ! 2 w % + ( *

. + ' + ! ( . - ' !

- - /0 ' 1 ' - ' " " # $ !

0 ' - & & - - & & - 0 & '

- & & - 3

Ponadto: Informacje dla Autorów – 99 | Kalendarium –

Rada Naukowa Rok 25 (2021) Nr 4(242) ISSN 1427-9126, Indeks 339512

Redaktor naczelny & ' * + !

4 / 0 & ' .' /$ !

4 51 0

6 $ - - &

< ; < = = " = JM 6 ! * ^ g h _ / c 6 + & 7 0 K B = K < " = i \ 6 ( ' 86 9 E A = ^ g = _> c

.' 8 ; < ! & ' = > $ ? < & ' 8 .' /$ ! ? < @ & ' A ? < $ & ' * + ! ?

% ' ^ g ; < _E < c

Korekta

6 " 6 : E ^ g _^ c

.' 8

01 0 & B

Druk + / > C A D &' ' ' E / FGG $ '

Wydawca

6 1 - : & - 0

H ; J ? " < / K < " < M "K "

6 ' 6 : 0 / & ^ " ! <' ' ' " $ 6 $6 + ! " = K " _" $ c 6 $ 0 ! ^ g _ c 6 & ! 1 - 0

E < H <& 8 6 ! ^ g " _> c

H ; J ? " < / K < L" < M "K " ' 8 < OGO GOQTUV

Kontakt

6 $ & ; & 0 / + \ " = ; / 6 * 6 ; 0 K * _D c

D Q = $ " < < D ' 8 < OGO GOQTUV ' OO UWT GX TV Y& '&

'& '&

6 0 0 j g g " = l E ^ g _^ c

Pomiary Automatyka Robotyka & < < Q = < < XZZW ' " XU / [ < [ ' / & \ L & & = & Q = < < < $ '

6 $ & < 0 * ^ g _ c

Q = " < < D L = ; +AB* > $ = KE B] * "BDEK*^ _K*` OGXZb WT OFc L . L = . = & = & < = DK EA ' " /\ \ [ E [& < &/ / &

L Q = < " < < D ' \ & \ _ \c & & ' " B E & " < < D WG & ' _ & < = = < /M < [ = X $ OGOX ' & ' OZZZFc' " & & Q < = '

$ < < " $ " < M < L D " " D ? $ & \ / #H Q = \ < $ < & < M & \ " [ < [ = $ = Kf * KfD K B '

6 ( ' & & 0 / K . + \ . / B $ + \

* m ^ g _ ; c 6 , 0 0 / K . " $ " = & * ' 0 A; ? K && < A = $ ; < >< _E < c 6 ( ' & =- > 0

/ = A = $ " = i \ 6 ? g < _ / c 6 : & & + > K K < < D " = / 6 , ,1 0

D KA ^ g _ c

" < < D ? C L < = < ZGW@"Q ^E@OGXZ # M E . $ & = / #H & = \ \ ['

6 ( ' +6 8 0 j g " = l E ^ g _^ c

" < < D K E XTOWQZXOV D' OF E T@OGOX

Od Redakcji

An Innovative Project of a Bionic Robot for Social Applications in Felinotherapy K & $ ! & / =

Comparative Study of AMPL, Pyomo and JuMP Optimization Modeling Languages on a Flood Control Problem Example < & M [ M < & < $ " " < 8 " & / \ & \

Determination of Transmittance of IR Windows Made of CaF2 within Operational Temperatures of Electric Devices < < = = * f2 <& & & M =

Uncertainty of Thermographic Temperature Measurement of Electric Units Contained in Switchgear E & #H < $ & < <& \ ! = < =

* < A g D

" " # $ ! Projekt i oprogramowanie zrobotyzowanej stacji spawalniczej " D $ ^ $ ` D A = $

> $ ; A < / < > $ $ # =

E A= < K< $ $ A $

A < > $ ; / < > $ f D \ podczerwieni D $ * K

"K ADBi*K

77 83

$ > $ ; A < ; ;

f < ! ! podczerwieni E g * $ f K & < ; ; D

;/ . A ; $ / [ Vector Analysis of Electrical Networks for Temperature Measurement of MOS Power Transistors + = & < <& M < i " = Non-Destructive Evaluation of Composite Helmets Using IR Thermography and Ultrasonic Excitation E \ = /<M <& = < < $

& [ $

A < " # $ % z wykorzystaniem modelu STRIDE " $ A= K*A < ^ $ = ADK B

&& ' % (

•

N R 4 /2021

DB *8K

Drodzy Czytelnicy, D $ / & ! =

" \. $ \ < <' \$ = & < \ = $ / $ ' < . [ < < < < ' < \ < < B E X' $ OGOX ' A < $M M & \ = / < = $ & < ' + & < # \ < < . " < < D # < / WG & M ' 8 <' ' B E M #< #H $ & < # $ & < / $ < \ $ [ & < < < \ \' [ . & < $ < $ M / & & & & [ & < = ' + [ & & " < < D \ & & \$ $ / < # = M [ \ M < & < < ' $ =[ < & M ! = M . & = & $ \ < \ = [ ' # . $ < [ M $/ $ & /M [ $ <' ^< [ & < $ \ = \ & \ < <' < $ [ = < < H M. #H' J < $ & < \ . M < < <' *= < / . H & < \ </ < < M & < . &

[ < < & [& = \ = & & H / / [ & & # ' \$ [ < = M \ & / & [ \ =[ [ \ [ & M & < ' < " < < D ; J ? " < / $ K < " < M "K " & < # =[ \ / & M & / \ / < = $ $ <& '

Redaktor naczelny kwartalnika Pomiary Automatyka Robotyka & ' = ' .' * + !

•

N R 4 /2021

Pomiary Automatyka Robotyka, ISSN 1427-9126, R. 25, Nr 4/2021, 5–18, DOI: 10.14313/PAR_242/5

+ - . / 0 6 $ / + 8 . ; # ; ' < = - / # - 6 ' = > ' # ? (@A(B# !!EFF@ ;

. ; # ; ' > # - + 6 $ # + ' 0 $ # !*E@*@ ;

Abstract: The paper describes an innovative design of a bionic robot for applications in felinotherapy supporting hospital and home psychotherapeutic treatment of bedridden children and adults. The project was engineered by biomimicrating a biological cat, reaching its robotic model. Particular attention in this process was devoted to capturing the essence of feline motorics behavior and the possibility of mapping them in a mechatronic model. The geometry, kinematics and kinetics of this model were analyzed, creating assumptions for its practical implementation in the real mechanism of cat skeleton movement. The used software used the topology of elements in Autodesk Fusion 360 Simulation workspace by performing the critical elements of the mechatronic model in print using SLS technology. The work was also supported by a graphical simulation in the PyBullet environment. : - I $ # $ # $ # / # $ # G ' &# # & # # # '

J6 Felinotherapy – interchangeably, in relation to cats’ therapy, a term used is a combination of two words from two languages: Latin felis – cat and actually felino – as an adjective and Greek , therapeia – care, treatment [1]. One of the methods of using animals in psychological treatment, called in English pettherapy, animaltherapy or also colloquially zootherapy. These methods were initiated and developed by Boris Levinson, an American child psychiatrist, in the years 1958–1964 [5]. The cat, as a therapeutic element in the field of pettherapy, was introduced by the Brazilian doctor Nise de Silva already in the middle of the last century. She stated [21] that contact with a cat improves our mental and physical condition, even just observing its behavior and being in its

0 < I " # $ %& 0 1 & - ' () (! *!*( # ' ' !* (* *!*(

Fig. 1. Half-blood of Maine Coon, one of the authors of the article – the geometric dimensions of this cat and its motor behavior were used to develop the assumptions and concept of the construction of the mechatronic model of the mechanism of cat movements Rys. 1. Półkrwi Maine Coon jednej z autorek artykułu – rozległości geometryczne tego kota oraz jego zachowania motoryczne posłużyły do opracowania założeń i koncepcji konstrukcji mechatronicznego modelu mechanizmu kocich ruchów

company helps to reduce the feeling of loneliness, depression and stress, increase mobilization to act and undertake various forms of activity promoting mental health. Not to mention the analytically determined stimulation of the human body to secrete endorphins, lowering blood pressure, the level of triacyglycerol and even cholesterol. Also simulate the immune system to function [23, 24]. A significant problem in felinotherapy is the choice of cat breed. Of the many cat breeds, the Maine Coon breed is especially predestined here. They are very large cats, up to 40 inches long, larger than all the others, but very affectionate and sociable, interesting people, especially gentle with children. Due to their friendly personality, these beautiful cats are usually referred to as gentle giants (Fig. 1) [22].

An Innovative Project of a Bionic Robot for Social Applications in Felinotherapy

L6 + '

Two types of therapeutic programs applying felinotherapy are becoming popular nowadays [5, 23, 24]: − therapy for children with mental disorders – used in cases of autism, ADHD, mental retardation, mental illness, Asperger’s syndrome and various emotional disorders such as shyness, fear of speaking and lack of self-confidence, − therapy for the elderly, especially those suffering from depression and under stress. A cat is proposed as a companion in the life of an elderly, lonely, disabled person, motivating him to be active in the form of caring for him, reducing the feeling of loneliness. During direct contact with the cat (lifting, stroking and cuddling) the human muscles heat up (the cat’s body temperature is 38–39 °C), which improves blood circulation and removes the feeling of cold in the feet and hands, relieves rheumatic pains, with phlebitis. Cats instinctively look for sore spots on the human body and lay down on them, warming up these places. They have a general soothing effect on mood swings and have a relaxing effect on the human psyche.

The first and main challenge of the described project is the cat itself. With its skeletal flexibility and the agility of the muscles of the body, and with all its wealth of possibilities for movement. Starting with cats’ favorite, frequent falling asleep in the form of a rolled up ball, by immediately waking up from sleep under the influence of a possible or existing threat, walking, and usually running, with the phases of contact (stance) and phases of no contact (swing) of the paws with the ground, with excellent climbing skills, even tall trees, to overcome all obstacles. And falling, even from great heights, always on the (proverbial) four paws. And jumps, without a run-up, even 6 times the distance of its own length. And gentle, unprecedented in comparison to other domestic animals, patting each other with its two front paws, with a pleasant purr and looking into the eyes of the person with whom the cat wants to spend a few moments, e.g. a little nap ... and an observer of the behavior of these lovely animals ... There are works in the field of veterinary medicine that relate to the mechanics of cat movement. The simplest method of its examination is the use of the motion capture system, consisting of cameras cooperating with sensors placed on the animal’s skin [31]. Cats are encouraged, usually with a tasty reward, to walk (run) a designated section of road or walk on a treadmill (Fig. 2a). On the basis of the collected data, the changes in the position of these points in time are created for different motor behaviors (Fig. 2b, c) An important place in the project was taken by the aforementioned Maine

However, felinotherapy cannot be used by people allergic to cat hair, suffering from ailurophobia, i.e. irrational, beyond reasonable fear of cats and people aggressive towards animals, including cats. Also people who require care for their immunity, e.g. in the case of infectious diseases and the use of chemotherapy. The problem is, of course, the consent of a seriously ill person’s physician or caregiver to the presence of a live animal in a room, in an intensive medical or inpatient hospital ward, requiring sterilization, decontamination, disinfection, and generally strict antisepsis of the environment. The more so that cats also require systematic care, which can, for understandable reasons, be undertaken only by selected treatment facilities, primarily care facilities, e.g. orphanages and autumn-life homes. These problems prompted the authors to address the problem of building a mechatronic cat model that could replace a living soft toy and play the role of a companion for children and adults in a hospital, hospitalization or home environment, characterized by the durability and functionality of robots used today in the manufacturing industry [13, 15].

Fig. 2. Representation of the muscle and skeletal model of the cat’s hind limbs: a) the principle of studying the cat’s gait using motion capture cameras cooperating with sensors placed on the animal moving on a treadmill [27], b) defined angles of movement of the skeleton segments of the cat’s hind limbs, c) simplification of the view of the muscles the cat’s hind limbs defined in the coordinate system placed in the middle of the drawing [28] Rys. 2. Reprezentacja modelu mięśniowo-szkieletowego tylnych kończyn kota: a) zasada badania chodu kota z zastosowaniem kamer motion capture współpracujących z sensorami umieszczonymi na zwierzęciu poruszającym się na bieżni [27], b) zdefiniowane kąty ruchu członów szkieletu tylnych kończyn kota, c) uproszczony zarys widoku mięśni tylnych kończyn kota, zdefiniowany w układzie współrzędnym umieszczonym pośrodku rysunku [28]

•

Fig. 3. The first sketch of the Cthulhu2.0 bionic robot model in the project [8] Rys. 3. Pierwszy szkic modelu bionicznego robokota Cthulhu2.0 w projekcie [8]

•

N R 4 /2021

Coon half-blood (Fig. 1) by one of the authors, serving as a reference model and a source of initially fantastic design inspirations (Fig. 3). The cat’s name is Cthulhu (called “ktulu” ...) – it was inspired by a fictional creature from the fantasy novels of the American writer Howard Philips Lovecraft (1890–1937). Hence the name of the robot from the described project as the second such fantastic creature, i.e. Cthulhu2.0. The second challenge of the project was the rapidly growing market of bionic products [3, 6, 11, 19] that is solutions shaped by a form found in nature, but embedded in the area of influence of various practical and functional requirements related to mechatronic technology [9, 10]. The first, innovative and technically advanced presentation of bionic solutions related to the developments of Festo AG & KG took place in 1913 at the Warsaw University of Technology [4, 14]. The boundaries of the aforementioned bionic products market are, on the one hand, interactive toys for children, and, on the other hand, robotic solutions with dominant bionic characteristics, with industrial applications already proposed or anticipated in the near future [16, 17]. An example of a solution from the first group is an interactive, plush robotic catcher (Fig. 4), which moves and meows when you press its back or clap its hands. Then one of the 6 sequences of moving the front and hind legs and meowing is activated randomly, unfortunately very far from what we call a cat meowing or purring. The second group includes mainly cobots, i.e. cooperative robots, adapted to direct cooperation with humans (Fig. 5a) and mobile, walking robots (Fig. 5b). A good example of a collaborative robot is BionicCobot, developed at Festo AG & KG [13, 15]. The solution was known already in 2017, but still respects the enormity of the problems that have been successfully solved. The robot’s mechanism and its geometric extensions perfectly meet the ergonomic requirements of the human figure, as well as its speed, acceleration and load parameters. Its movements can be programmed in all three ways used in conventional, on- and off-line robotics, and it is particularly convenient to program by teaching that meets the requirements of collaboration by guiding the mechanism by hand. This was achieved by the consistent use of a pneumotronic servo drive with vane rotary actuators. Thanks to this, the mechanism is “soft”, it is smoothly guided by hand, programming of the position and path of movement is therefore very easy, even in conventional settings of the mechanism that cannot be achieved by robots, e.g. ball, cat, curl (Fig. 5a). An equally interesting product of this group is OpenDog, a walking robot, an example of the Do It Yourself (DIY) solution, which is becoming more and more popular in the group of people who undertake their own “home” work. In this category, one can more and more often meet bionic robots, imitating various animals, even quadrupeds, but with quite limited movement mechanisms (Fig. 5b). The aforementioned necessity to install the Cthulhu2.0 bionic robot in the area of practical requirements related to felinotherapy was another challenge of the described project. Used here are both available publication sources, e.g. Fig. 6 [27–29] and Tab. 1 [30], and above all, own observations of the behavior and activities performed by living Cthulhu (Fig. 1). Each of these activities was then segmented into individual positions analogous to the film frames. On this basis, it was possible to determine the ranges of motion of the Cthulhu2.0 model. The following activities were considered important:

b) Fig. 5. Contemporary bionic robots: a) industrial cobot BionicCobot of Festo AG & KG with pneumotronic vane servo motors enabling the bionic twistingarranging of the kinematic chain of the mechanism [13, 15], b) the OpenDog mobile walking robot, designed for your own amateur 3D printing using components from hobby stores (James Burton) [25] Rys. 5. Współczesne roboty bioniczne: a) kobot przemysłowy BionicCobot holdingu Festo AG & KG z pneumotronicznymi serwosiłownikami łopatkowymi umożliwiającymi przedstawione na zdjęciu bioniczne skręcone-ułożenie łańcucha kinematycznego mechanizmu [13, 15], b) robot mobilny kroczący OpenDog, przeznaczony do własnego, amatorskiego wykonania drukiem 3D z wykorzystaniem komponentów ze sklepów dla hobbystów (James Burton) [25]

Fig. 4. Interactive robo-toy for children, Interaktivni kotatko: a) view of the toy, b) mechanism after disassembly into its components: 1 – drive position sensors, 2 – two electric drive motors, 3 – loudspeaker, 4 – touch sensor, 5 – controller board, 6 – transmission (Fenghua Fun Toys) Rys. 4. Robo-zabawka interaktywna dla dzieci, Interaktivni kotatko: a) widok zabawki, b) mechanizm po rozebraniu na części składowe: 1 – sensory pozycji napędu, 2 – dwa elektryczne silniki napędowe, 3 – głośnik, 4 – sensor dotyku, 5 – płytka sterownika, 6 – przekładnie napędowe (Fenghua Fun Toys)

An Innovative Project of a Bionic Robot for Social Applications in Felinotherapy In addition, each of these activities is to be varied with the tilt of the head or the selected shape of the tail, which will give Cthulhu2.0’s behavior even more realism. Based on the collected publication data [7, 32] and own research [8], a model of the robot’s skeleton was created from segments connected by joints with one degree of mobility. The simplified implementation becomes easy to implement, both in simulations and in the later stages of prototyping the Cthulhu2.0 robot mechanism. This process was carried out using the anatomical model of the cat’s skeleton (Fig. 7a), mapping the geometric extensions of the skeleton segments. Then, the preliminary arrangement of the junction points (JP) where the motion will take place was made. Each segment was approximated in Autodesk Fusion 360 Simulation by a solid that corresponds to the volume of the cat’s dimensions. In this way, a model was created consisting of basic solids connected with each other by means of joints-junction points with a defined mobility value (Fig. 7b). The limbs and parts of the body are shown by chains of solid cylinders. The tail was also brought closer with the help of solids, but cuboids. On the basis of such a simplification, it was possible to initially estimate the dimensions and masses of the segments needed to start calculating the kinematics and kinetics of the robot’s mechanism. The masses were estimated by defining the material from which the element will be made with the use of AF360 Simulation. At this stage, it was already assumed that the mechanism would be made in 3D printing technology, so it was assumed that the segments would be made of resin with different values of mechanical strength. In order to compare the effects that can be achieved with computer graphics programs with engineering programs such as AF360 Simulation, a simulation-animation of the robot’s skeleton motion was run in the Blender environment, using the developed skeleton model. Blender introduces “bones” that animate the movement of the robot’s skeleton. An already developed model was not used because the Blender environment was found to allow for better animations of the anatomical structure. With the help of the script, the model created in AF360 Simulation was imported into the PyBullet environment. This program has the potential to transform animated motion into robot movements using the Robot Operating System (ROS) platform. It also supports the kinematic and kinetic analysis of the model

− Starting Position – a natural position from which it is possible to perform any activity, in this position the cat stands still on all four paws, − Walk 1 – this is how the slow movement of the cat in the space of the home environment was called (jog), − Walk 2 – faster jog observed when calling “Cthulhu” or the cat’s increased interest in elements of the environment, − Jump – a sequence of movement consisting of three phases, preparation for jump, lift-off and landing phases, the jump is made from the lower landing surface to the higher surface target surface, − Jump Down – an action similar to Jump, it is also a sequence of three phases, but the starting surface is higher than the target surface, − Sit – the cat moves to a sitting position and remains in a sitting position, − Leaving the Sit – leaving the sitting position to the Starting Position, − Lying Down – the cat moves to this position from the Sit down position and remains in this position; Due to the limited load capacity of Cthulhu2.0 and its weight (approx. 8 kg), it was decided not to take into account the scenario of going directly from the Starting Position to the Lying activity. The cat’s paws are folded under his body, the tail is curled around, − Exit from Lying Down – leaving the Lying Down position to the Start Position.

Fig. 6. Traffic analysis charts of a cat during a walk: A) movement relative to the hip joint, B) change the angle value between the limb segments, C) changing the length and position of the limb, D) changing the angles in the individual joints – on the right drawing: show motion simulation rear limb cat, contact phases of paws with the ground (stance) and the phases of lack of contact of paws with a substrate (swing) [27, 29] Rys. 6. Wykresy analizy ruchu tylnej kończyny kota podczas chodu: A) ruch względem stawu biodrowego, B) zmiana wartości kąta pomiędzy członami kończyny, C) zmiana długości i położenia kończyny, D) zmiana wartości kątów w poszczególnych stawach kończyny – po prawej rysunku: przedstawienie symulacji ruchu tylnej kończyny kota, fazy kontaktu łapy z podłożem (stance) i fazy braku kontaktu łapy z podłożem (swing) [27, 29]

–50

knee

ankle

–100

0 50 x position mm

L lenght

high root

4 5 6

PoR

Hip

3 A

Knee Ankle

20 time

joint angles F

angles dag 50 100

orientation

150

limb length and orientation FS

limb segments

Stance

–40

length and angle

angles dag –100 –50 0 50

hip movement

–150

y position mm

A movement relative to hip joint

20 time

•

20 30 time U

Swing

Stance

40 Gaid locomotion M

•

N R 4 /2021

Tab. 1. Movement ranges of domestic cat joints according to [30] Tab. 1. Zakresy ruchu stawów kota domowego wg [30]

mechanics and allows you to check the operation of the robot skeleton under force, moment and gravity loads in a virtual environment.

M6 A safe, defined by the standards Men-Robots-Collaboration (MRC) [13], functional cooperation of the Cthulhu2.0 robot with people who passively and actively use felinotherapy was established – the following kinematic and load limitations were adopted: − for the speed of rotational (angular) movements of the paws – the maximum value for the individual five parts of the cat’s paws, the same for the front and hind legs, is 500°/s, 750°/s, 590°/s, 1.2°/s, 1.6°/s (from shoulder-blade, shoulder, arm, forearm to wrist). These are the maximum values that can also be safely achieved by Cthulhu2.0 limbs, − for the speed of linear movements of the cat’s front and hind legs – resulting from the above-mentioned values of rotational movement and the geometric extent (length) of the paw segments – its maximum value for Cthulhu2.0 limbs cannot exceed 1 m/s, − for the mass of the mechanism – the value of the mass of the Cthulhu2.0 mechanism was assumed to be close to the mass of the cat, here the assumption was a comparable size – geometrical extent of the robot and the size of the reference Maine Coon cat (Fig. 1), − for the mass load of the mechanism – it was assumed that the maximum external mass load of each Cthulhu2.0 limb may not exceed 1 kg.

Another, already constructive, assumption of the Cthulhu2.0 project, as an imitation of a cat, was to adopt the following conditions for the construction of its mechanism: − two front and two hind limbs of Cthulhu2.0 are treated as mirror images, − these limbs, imitating the anatomical structure of the cat’s skeleton (Fig. 7a), are kinematically composed of a chain of two groups of segments {CR, BR1, BR2, BR3, BL1} for the above-mentioned shoulder-blade, shoulder, arm, forearm and wrist, and the segment feet {BL2}. This structure provides 5 degrees of limb mobility, treating the cat’s foot member as a robot tool (Fig. 7b), − at the point of connection of segments (joints in a cat), tension mechanisms are to be used (Fig. 8), which allows to avoid the so-called offsets of electric drive motors, distorting the imitation of anatomical joints and allowing the most faithful representation of the cat’s anatomy in the model. The transmission of the drive through the tendons also allows the motors to be placed close to the model body [20]. It is important because the work of the mechanism depends to a large extent on the weight distribution, the lower mass of the limbs means their lower inertia and better dynamics of movement, − it was assumed that the gears were not used in the drives of the CR and BR1 segments (the cat’s shoulder-blade and shoulder), which ensures a reduction in the volume of the structure in this part of the Cthulhu2.0 mechanism – it was inspired by the construction of a walking robot designed by MIT Biomechanics Robotics Lab. Resig-

Fig. 7. The stage of simplifying the cat’s skeleton for the development of a bionic model: a) anatomical model of the domestic cat skeleton [26], b) visualization of the simplified kinematic scheme of the Cthulhu2.0 robot mechanism developed in the Autodesk Fusion 360 Simulation environment: 22 ponds joints-points of connection (JP) are marked with a flag, segments of the mechanism made of solid basic – cylinders and cuboids Rys. 7. Etap uproszczenia szkieletu kota dla opracowania modelu bionicznego: a) anatomiczny model szkieletu kota domowego [26], b) wizualizacja uproszczonego schematu kinematycznego mechanizmu robokota Cthulhu2.0 opracowana w środowisku Autodesk Fusion 360 Simulation: 22 stawy-punkty złączenia (JP) oznakowano flagą, człony mechanizmu wykonano z brył podstawowych – walców i prostopadłościanów

An Innovative Project of a Bionic Robot for Social Applications in Felinotherapy

Fig. 8. Linkage mechanism for Cthulhu2.0 [20] – external view Rys. 8. Mechanizm cięgnowy [20] połączeń mechanizmu Cthulhu2.0 – widok od zewnątrz

nation from the toothed belt transmission also reduces the failure rate of this structure, − it was assumed that the drive motors were placed as the heaviest components of the mechanism, as close to the robot’s mass center as possible – it improves the stability of the movement of the entire mechanism, − flexible, even if it is implemented to a limited extent, the construction of the spine and tail of the Cthulhu2.0 mechanism was also adopted – this has a positive effect on the speed and naturalness of gait achieved by walking robots – this was confirmed by the study of the motor activity of quadrupeds with a cheetah-like structure. The tail also acts as a counterweight to the robot’s head, in which it is planned to place electronics that load it by gravity, − the center of mass of the mechanism was planned to be placed in the geometrical center of the structure. This adoption allows the weight of the robot to be evenly distributed among the four limbs, relieving the drives and preventing them from overheating.

Fig 9. The final model of the bionic Cthulhu2.0 robot in the project [8], visualization made in Autodesk Fusion 360 Simulation, view from the left side in profile – visible movement joints of the joints-segments, made as tension mechanisms. The light color marks the casing segments of the mechanism made of Draft resin, the dark color – operating under load, made of Clear resin Rys. 9. Finalny model bionicznego robokota Cthulhu2.0 w projekcie [8], wizualizacja wykonana w Autodesk Fusion 360 Simulation, widok ze strony lewej z profilu – widoczne połączenia ruchowe członów – stawy, wykonane jako mechnizmy cięgnowe. Kolorem jasnym oznaczono człony osłonowe mechanizmu wykonane z żywicy Draft, kolorem ciemnym – działające pod obciążeniem, wykonane z żywicy Clear

P6 ' The elements of the Cthulhu2.0 model developed in the project (Fig. 9) were made thanks to the courtesy of the Festo Polska Application Center, which provided technically advanced Formlabs form 2 printers. For 3D printing in the SLA technology, a liquid, laser-hardened photopolymer resin was used. Standard Draft resin non-load bearing elements, e.g., anti-damage guards, are light colored in Fig. 9, and weighted components are made of Clear resin for smooth, accurate and high-strength printing – dark colored. This material is used for making joints and more important joints of the mechanism. The predominance of light color in Fig. 9 is due to the desire to present cable mechanisms ensuring movement in the connections of the segments of the robot mechanism. Before printing, all elements were optimized in the PreForm software dedicated to Form 2 printers (Fig. 10). The largest printable dimension was 17.5 cm. This means that it was necessary to split some parts of the model and design them in two parts printed separately. The weight of the robot model has a decisive influence on the engine load, and thus on the dynamics of the mechanism. The easiest way to reduce its value was to remove unnecessary material from its constituent elements. This goal was achieved by two methods. The first was “manual optimization” when designing the mechanism, the second was the method of using the simulation tool and automatic shape optimization available

•

Fig. 10. Printed from Standard Clear Formlabs resin Cthulhu2.0 robot “tail” segment Rys. 10. Wydrukowany z żywicy Standard Clear Formlabs człon „ogona” robokota Cthulhu2.0

in AF 360 Simulation. Based on the original shape and input parameters in the form of loads, the simulation calculates how much material can be removed without affecting the mechanical strength of the element. It was assumed that the center of mass and also the geometric center of the robot, similarly to the anatomical cat, is located in the chest, behind the line of the front paws. This feature will allow the cat’s weight to be evenly distributed between the four paws and four limbs of the robot, relieving the drive motors and preventing them from overheating. It was also assumed that the trajectory of movement of each limb of Cthulhu2.0 is determined by the Tool Center Point (TCP), suspended at the end of the BL1 segment, at the junction with the BL2 (foot) segment. This location was chosen because the cat, while walking, in this place (point) exerts the greatest pressure on the ground. The CR segment (equivalent to a cat’s shoulder-blade) is responsible for the adduction and abduction movement of a limb A

•

N R 4 /2021

(cat’s paw). Its main element is an engine with a cover. This segment is attached directly to the body. Similar to the cat’s scapula it is angled from the vertical axis. The consequence of such a construction is also an inclined trajectory, along which the limb is abducted. This action is intentional as it makes the movement more “anatomical”. The segment can deflect the shoulder-blade limb Cthulhu2.0 upwards from the starting position up to an angle of 80° with respect to the robot body and 30° inwards under the robotic cat body. The BR1 segment is placed on the preceding CR segment without the use of a reduction gear (ratio 1:1), directly on the axis passing through the center of the drive motor. It is the equivalent of a cat’s shoulder, it is responsible for the forward and backward movement in relation to the robot’s body. Together with the CR element, it forms a substitute for the “ball joint” and completes the range of motion of the cat’s anatomical structure. Its structure is similar to the CR segment. Its main components are the engine and its cover. The axis passing through the center of this segment coincides with the axis of the shoulder-blade joint. The range of motion is 100 degrees forward and 80 degrees backward, respectively, relative to the robot body, referring to the vertical axis of the base system. The BR2 segment (equivalent to a cat’s arm) is connected to the BR1 segment (equivalent to a cat’s shoulder) also without using a reduction gear. However, it houses two of the three motors responsible for the operation of the cable mechanism (Fig. 11): − a motor with greater energy efficiency drives the movement in the elbow joint through a 6 mm wide belt and toothed gear with a 3:1 gear ratio. The gear belt moves the spool

Fig. 11. Visualization of the “elbow joint” of the Cthulhu2.0 limb: view of the routing of the tendons from the outside, the dark color marks the tendon currently wound on the shaft of the motor located in the preceding segment to the driven one – external view without tendons in Fig. 8 Rys. 11. Wizualizacja „stawu łokciowego” kończyny Cthulhu2.0: widok prowadzenia cięgien od strony zewnętrznej, ciemnym kolorem oznaczono cięgno aktualnie nawijane na wałek silnika położonego w członie poprzedzającym do napędzanego – widok od strony zewnętrznej, bez cięgien, Rys. 8

to which the strands are attached. One end of the string is turned on the spool clockwise, the other end clockwise. The direction of the motor’s movement is responsible for winding and unscrewing the bobbin. In this way, the tendons responsible for bending and extending the elbow connection are antagonistically tightened and loosened. This mechanism (Fig. 8) was developed on the basis of the solution proposed in the LIMS2 walking robot [18], − a motor with lower energy efficiency, with an identical belt-toothed transmission, similarly drives the movement in a joint-joint connecting the BR3 segment (equivalent to a cat’s forearm) with the BL1 segment (equivalent to a cat’s wrist). The tendons with which it moves are threaded through the center of the elbow joint from the inside (Fig. 12a). Such a construction is possible thanks to the tangency of two circles forming the halves of the pond. These circles, moving in relation to each other, remain at a constant distance of 2r (r radius of the circle). Therefore, the tendons do not change their length and the movement of the “elbow joint” does not affect the movement of the joint following it. The above-mentioned segments CR, BR1, BR2 and BR3 are, referring to the construction of industrial robots with a conventional chain structure, segments of the regional part positioning the robot effector in the working space. The consecutive parts of this structure are the local part, orienting the position of the effector [12, 13, 15]. In the case of Cthulhu2.0, these are two parts, the equivalents of the wrist and foot of the cat’s paw, in the robot’s mechanism marked as BL1 and BL2.

Fig. 13. View of the construction of the connection of the segments BR3 and BL1 of the Cthulhu2.0, the external elements (darker) allow the tendons to be pulled to the next joint-joint, the internal elements (lighter) allow the tendons to move this joint Rys. 13. Widok konstrukcji połączenia członów BR3 i BL1 robokota Cthulhu 2.0, elementy zewnętrzne (ciemniejsze) umożliwiają przeciągnięcie cięgien do następnego połączenia-stawu, elementy wewnętrzne (jaśniejsze) umożliwiają cięgnom poruszanie tym połączeniem-stawem

Fig. 12. Visualization of the elbow joint of the Cthulhu2.0 limb: a) view of the routing of the tendons from the inside, the shown tendons do not affect the movement of the joint, they run to the next joint, b) view from the inside Rys. 12. Wizualizacja stawu łokciowego kończyny Cthulhu2.0: a) widok prowadzenia cięgien od strony wewnętrznej, pokazane cięgna nie mają wpływu na ruch stawu, biegną one do stawu następnego, b) widok od strony wewnętrznej

An Innovative Project of a Bionic Robot for Social Applications in Felinotherapy These two segments, which form the local part of the robot, are an unusual solution and directly mimic the cat’s anatomy. In the design of most existing quadrupeds, these segments are replaced with a flexible tip of oval shape, allowing movement on most surfaces. This simplifies the design and control of the motors, which works well when the main task of the robot is just walking. When designing the Cthulhu2.0, however, they wanted to give it orientation possibilities, enabling, for example, a lateral hitting of a ball with a paw, so these two additional elements were introduced. The rods responsible for the movement of these two robotic cat segments are pulled through the BR3 segment. It also houses the motor driving the BL2 component (3:1 gear). It is connected with the local part by a joint structure with the principle of operation analogous to that

of the elbow joint. However, this joint is much smaller, so in order to strengthen it, two interlocking coaxial toothed rollers have been added. BL1 is the only segment that differs in structure in the fore and hind limbs of Cthulhu 2.0. In the forelimb, it is shorter and allows the mechanism to slide and grasp objects a bit like the middle part of a human hand. As a hind limb, it is about three times longer and is used for stabilization, similar to the foot. It ends with a joint-joint, which is moved by the longest strands in the robot’s mechanism. The BL2 segment kitty foot (or sole ...), anatomically the cat’s toes, has been treated in this design as a tool at the end of the kinematic chain of the Cthulhu2.0 limb, imitating a cat’s paw (Fig. 14). This made it possible to organize the calculations of kinematics and kinetics and to describe the kinematic structure of the kinematic chains of the robot’s limbs, similar to the kinematic mechanism of an industrial robot. In the future, it will also allow to describe the so-called approach vector, that is, it will enable a strong orientation of this cat’s feet. At the bottom of the paw/foot shown in Fig. 15, there is a recess in which a silicone cushion for cushioning the robot’s gait will be placed (Fig. 15). During its behavior, the cat’s tail balances the remaining ones, i.e. the function of a counterweight. However, observing these behaviors of a living Cthulhu, one gets the impression that the tail is a separate “entity”, moving independently of the rest of the cat body. When designing the tail for the Cthulhu2.0 it was assumed with minimum requirements, it must have only two sections, each of which can bend completely independently. Each section requires the use of two motors and two pairs of cables responsible for its movement, e.g. the proverbial cat’s tail bend. In total, therefore, 4 motors and 4 pairs of cables are required. The tail, however, is mainly an aesthetic element of the Cthulhu2.0 robot and does not carry loads. Therefore, it was planned to use low-power engines to drive it, selected so as not to increase the weight of the robot too much (Fig. 16). The body of the robotic cat is the attachment point of the first segments of the four chain mechanisms of the paw-limbs, as well as the tail and head (Fig. 15). It is treated kinematically as the grounded “0” point of the coordinate system in which recursively kinematic and kinetic analyzes of the motor behavior of the listed components are carried out (Chapter 5). It has been designed so that it is possible to place the driving electrics and electronics controlling the model in it. The “chest” and “pelvis” of the skeleton of are connected by a mechanism ensuring bending in two planes and rotation. Initially, it was planned to use a cable mechanism composed of three segments. This mechanism turned out to be not very stable, it

Fig. 14. Connection-joint of the local segments BL1 and BL2 of the Cthulhu2.0 limb mechanism, driven by tendons drawn through the previous connection Rys. 14. Połączenie-staw członów lokalnych BL1 i BL2 mechanizmu kończyny Cthulhu2.0, napędzany cięgnami przeciągniętymi przez poprzednie połączenie

Fig. 16. Cthulhu2.0 robot tail: visualization of the model ready for 3D printing Rys. 16. Ogon robokota Cthulhu2.0: wizualizacja modelu gotowego do druku 3D

Fig. 15. “Cat’s feet” looking at them from the side (a) and partially at the rear (b), visible recess intended for a silicone cushion that cushions the robot’s gait, also visible position of two connections-joints of local part segments BL1 and BL2, Fig. 13 and 14 Rys. 15. „Kocie łapki” patrząc na nie z boku (a) i częściowo z tyłu (b), widoczne wgłębienie przeznaczone na sylikonową poduszeczkę amortyzująca chód robokota, widoczne także położenie dwóch połączeń-stawów członów części lokalnej BL1 i BL2, Rys. 13 i 14

Fig. 17. The body of the final model of the bionic robot Cthulhu2.0 in the project [8], visualization made in Autodesk Fusion 360 Simulation, view of the model from the top, a proposal for a solution for the moving “spine” of the robot visible Rys. 17. Korpus ciała finalnego modelu bionicznego robokota Cthulhu2.0 w projekcie [8], wizualizacja wykonana w Autodesk Fusion 360 Simulation, widok na model od góry, widoczna propozycja rozwiązania ruchomego „kręgosłupa” robokota

•

N R 4 /2021

was replaced with the solution shown in Fig. 17. This solution does not allow the robot to adopt such cat poses as the aforementioned bent “cat’s back”. However, it is a good compromise between the cable mechanism and the complete lack of movement inside the body, most often found in other walking robots (quadropeds). Out of all the robot components developed in the project [8], the “spine” mechanism was subjected to the smallest number of iterations optimizing its structure topologically and aesthetically. The last of the Cthulhu2.0 components presented is the “cat’s head”, the most difficult element in the field of aesthetics, and at the same time the most demanding in terms of the realization of felinotherapeutic benefits that the robocat is to provide. The “head” was attached to the body by means of a joint-joint made of two spheres tangent with each other. Provides ±90° mobility of the head swinging. It was also possible to add a universal rotary joint to this structure, running along its own structural axis. This space, however, is intended to accommodate the processor controller and its cabling as well as the drive and movement of the “cat’s eyes and eyelids”.

Q6 : # 0 ' The aim of the kinematic and kinetic analysis of the Cthulhu 2.0 robot mechanism was to verify the correctness of the design and to select the appropriate drive motors. On the basis of the assumed initial parameters of the project, including parameters with constant values, such as, for example, the geometric extent of individual segments of the mechanism, their masses and shapes, and parameters with maximum values, such as velocity and angular accelerations, the forces and moments acting were calculated on individual segments, at their selected points (Fig. 18).

In order to simplify the calculations, without generating too much impact on the final results, the geometry of each segment of cat legs was approximated by a cylinder whose length corresponds to the geometric extent of this segment, while the radius and mass were determined on the basis of the 3D Cthulhu2.0 model (Figs. 7, 9 and 17). It was decided to apply for this analysis a recursive analysis method perfectly embedded in engineering practice, adapted to the calculations of industrial robot mechanisms, taught at the Faculty of Mechatronics of the Warsaw University of Technology to students of Robotics specialization [15]. This method fits perfectly into the chains of limbs of the designed robot, which are its main subject [8]. Due to the limited volume of the article, it was unfortunately impossible to provide a full analysis. Therefore, it was decided to present only two motors selected for the initial model version of Cthulhu2.0 and to present the possibility of realizing the maximum values of moment loads resulting from the recursive method of their calculation described below. Readers interested in the extensively complete analysis are referred to the project [8], available at the Central Library of the Warsaw University of Technology. The following recursive relationships, divided into kinematic and kinetic analysis tasks, were used in the descriped project of Cthulhu2.0 model, respectively: − for kinematic behavior: − the angular velocity of the analyzed segment i in the machine system i of its coordinates

ωi / i = Ai / i −1 ⎡⎣ωi −1/ i −1 + φ iezi −1/ i −1 ⎤⎦ ,

where: Ai/i–1 – transformation matrix of the coordinate system of the segment i–1 preceding the analyzed segment into the coordinate system of the analyzed segment i; wi–1/i–1 – angular velocity of the i–1 segment, preceding the analyzed segment, in the i–1 segment system; fi – assumed maximum angular velocity of the analyzed segment i; ezi–1/i–1 – the unit vector z from the segment i–1, preceding the analyzed segment i, in the coordinate system of the segment i–1, − the ex-vector matrix of the velocity of the segment i–1, preceding the analyzed segment i, in the coordinate system of the segment i–1

Wi −1/ i −1

Fig. 18. Simplified, for the needs of kinematic and kinetic analysis and the selection of drives, diagram of the mechanism of the forelimbs of the Cthulhu2.0 robot bionic model, with five degrees of mobility: upper row of markings, CR , BR1, BR2, BR3, BL – counterparts, shoulder blade, shoulder, arm, forearm and wrist of the cat’s front paw; middle row of markings – machine coordinates setting the movement of the robot’s mechanism segments; lower order of markings – machine coordinate systems, embedded in the descenting points of individual segments of the robot’s limb mechanism Rys. 18. Uproszczony, dla potrzeb analizy kinematycznej, kinetycznej i doboru napędów, schemat mechanizmu przednich kończyn modelu bionicznego robota Cthulhu 2.0, o pięciu stopniach ruchliwości: górny rząd oznaczeń, człony CR, BR1, BR2, BR3, BL – odpowiedniki łopatki, barku, ramienia, przedramienia i kiści przedniej łapy kota; środkowy rząd oznaczeń – współrzędne maszynowe zadające ruch członów mechanizmu robokota; dolny rząd oznaczeń – maszynowe układy współrzędnych, osadzone w punktach schodzących poszczególnych członów mechanizmu kończyny robokota

(5.1)

⎡ 0 ⎢ = ⎢ ωi −1,zi −1 ⎢ −ωi −1,yi −1 ⎣

−ωi −1,zi −1 0

ωi −1,xi −1

ωi −1,yi −1 ⎤ ⎥ −ωi −1,xi −1 ⎥ ,

(5.2)

⎥ ⎦

where: wi–1/xi–1 – x component of the angular velocity of the segment i–1, preceding the analyzed segment i, in the coordinate system of the segment i–1; wi–1/yi–1 – y component of the angular velocity of the segment i–1, preceding the analyzed segment i, in the coordinate system of the segment i–1; wi–1/zi–1 – z component of the angular velocity of the segment i–1, preceding the analyzed segment i, in the coordinate system of the segment i–1; − the angular acceleration of the analyzed segment i in the machine system i of its coordinates

(

)

εi / i = Ai / i −1 ⎡⎣εi −1/ i −1 + φ iei −1/ i −1 + Wi −1/ i −1 φ iezi −1/ i −1 ⎤⎦ , (5.3) where: Ai,i–1 – transformation matrix of the coordinate system of the segment i–1 preceding the analyzed segment i, relationship (5.1); εi–1/i–1 – angular acceleration of the i–1 segment, preceding the analyzed segment, in the i–1 – assumed maximum angular accelsegment system; φ i eration of the analyzed segment i; φ i – assumed maximum angular velocity of the analyzed segment I;

An Innovative Project of a Bionic Robot for Social Applications in Felinotherapy Wi–1/i–1 – ex-vector matrix of the velocity of the segment i–1, relationship (5.2); ezi–1/i–1 – the unit vector z from the segment i–1, preceding the analyzed segment i, in the coordinate system of the segment i–1, − the ex-vector matrix of the velocity of the analyzed segment i, in the machine coordinate system of the segment i ⎡ 0 ⎢ Wi / i = ⎢ ωi ,zi ⎢ −ωi ,yi ⎣

−ωi ,zi 0

ωi ,xi

ωi ,yi ⎤ ⎥ −ωi ,xi ⎥ , 0 ⎥⎦

analyzed segment i, relationship (5.7); Wi/iWi/i – square of the ex-vector velocity matrix of the analyzed segment i, relationship (5.6); r0i,0i–1/i – the geometric extent in the coordinate system of the segment i, between the ascending and descending points of the analyzed segment i, − the linear velocity of the center of mass point Cmi in the analyzed segment i, in the coordinate system of this segment (5.9) υCmi / i = υ0i / i + Wi / i rCmi ,0i / i ,

(5.4)

where: u0i/i – linear velocity of the descending point of the analyzed term i, relationship (5.5); Wi/i – ex-vector matrix of the velocity of the analyzed segment i, relationship (5.4); rCmi,0i/i – the geometric extent between the center of mass of the analyzed segment i and the descending point of the analyzed segment i, compare relationship (5.8), − the linear acceleration of the center of mass point Cmi in the analyzed segment i, in the coordinate system of this segment

where: wi,xi – x component of the angular velocity of the analyzed segment i, in the coordinate system of the segment i; wi,yi – y component of the angular velocity of the analyzed segment i, in the coordinate system of the segment i; wi,zi – z component of the angular velocity of the analyzed segment i, in the coordinate system of the segment i; − the linear velocity of the 0i descending point of the analyzed segment i, in the machine system i of its coordinates (5.5) υ0i / i = Ai / i −1υ0i −1/ i −1 + Wi / i r0i ,0i −1/ i ,

aCmi / i = a0i / i + Ei / i rCmi ,0i / i + Wi / iWi / i rCmi ,0i / i ,

where: a0i/i – linear acceleration of the descending point of the analyzed term i, relationship (5.8); Ei/i – ex-vector matrix of the velocity of the analyzed segment i, relationship (5.7); Wi/iWi/i – square of the ex-vector velocity matrix of the analyzed segment i, relationship (5.6); rCmi,0i/i – the geometric extent between the center of mass of the analyzed segment i and the descending point of the analyzed segment i, compare relationship (5.9), − for kinetic behavior: − inertia tensor of the analyzed segment i in the coordinate system of this segment, with respect to the center of mass point Cmi

where: Ai,i–1 – transformation matrix of the coordinate system of the segment i–1 preceding the analyzed segment i, relationship (5.1); u0i–1/i–1 – linear velocity of the 0i–1 descending point of the segment i–1, in the machine system i of its coordinates; Wi/i ex-vector matrix of the velocity of the analyzed segment i, relationship (5.4); r0i,0i–1/i – the geometrical extent of the segment i (the distance between the segment’s ascending and descending points), in its machine coordinate system, − the square of the ex-vector velocity matrix Wi/i Wi/i, relationship (5.4), of the analyzed segment i

(

Wi / iWi / i

⎡ − ωi2,yi + ωi2,zi ⎢ = ⎢ ωi ,yi ωi ,xi ⎢ ⎢ ω ω i ,zi i ,xi ⎣

)

ωi ,xi ωi ,yi

ωi ,xi ωi ,zi

(

− ωi2,zi + ωi2,xi

)

−ωi −1,xi −1

(

− ωi2,xi + ωi2,yi

ωi ,zi ωi ,yi

)

⎡ I xi ⎢

⎤ ⎥ ⎥, ⎥ ⎥ ⎦

ΠiC/mi i = ⎢ −I yxi ⎢ −I zxi ⎣

− the ex-vector matrix of the acceleration of the analyzed segment i, in the machine coordinate system of this segment ⎡ 0 − εi ,zi εi ,yi ⎤ ⎢ ⎥ (5.7) Ei / i = ⎢ εi ,zi − εi ,xi ⎥ , 0 ⎢ − εi ,yi εi ,xi ⎥ 0 ⎦ ⎣ where: εi,xi – x component of the angular acceleration of the analyzed segment i, in the coordinate system of this segment; εi,yi – y component of the angular acceleration of the analyzed segment i, in the coordinate system of this segment; εi,zi – z component of the angular acceleration of the analyzed segment i, in the coordinate system of this segment, − the linear acceleration of the 0i descending point of the analyzed segment i, in the machine system i of its coordinates a0i / i = Ai / i −1a0i −1/ i −1 + Ei / i r0i ,0i −1/ i + Wi / iWi / i r0i ,0i −1/ i , (5.8)

Fi ,i −1/ i = Fi +1,i / i + miacmi / i − mi gi / i ,

•

(5.11)

(5.12)

where: Fi+1,i/i – the balancing force in the analyzed segment i the force acting from the leading segment i+1, in the coordinate system of the segment i; mi – mass of the analyzed segment i; acmi/i – linear acceleration of the center of mass of the analyzed segment i in this coordinate system, relationship (5.10); gi/i – the gravitational acceleration acting on the analyzed segment i in this coordinate system, − spiral of the analyzed segment i, in this coordinate system, in relation to the point of its center of mass Cmi

where: Ai,i–1 – transformation matrix of the coordinate system of the segment i–1 preceding the analyzed segment i, relationship (5.1); a0i–1/i–1 – linear acceleration of the descending point of the segment i–1, preceding the analyzed segment in the coordinate system of the segment i–1; Ei/i – ex-vector matrix of acceleration of the P

−I xzi ⎤ ⎥ −I yzi ⎥ , I zi ⎥⎦

−I xyi I yi −I zyi

with Ixi, Ixyi, Iyzi as moments of inertia of the analyzed segment i in relation to the x axis; y axis; and z axis; Ixyi, Iyzi, Ixzi, Iyxi, Izyi, Izxi – as moments of deviation of the analyzed segment i in relation to the appropriate pairs of the x axis, y axis and z axis, − the force acting on the segment i, coming from the segment i+1, leading the analyzed segment i, transmitted to the segment preceding i–1 (hypothetically the segment driving the analyzed segment i), in the coordinate system of the analyzed segment i

(5.6)

(5.10)

K iC/mii = ΠiC/mii ωi / i ,

(5.13)

gdzie: Πi /mii – the inertia tensor of the analyzed segment i in this coordinate system, with respect to the center of mass point Cmi, relationship (5.11); wi/i – angular velocity A

•

N R 4 /2021

of the analyzed segment i in this coordinate system, relationship (5.1), − eulerian of the analyzed segment i in this coordinate system, with respect to the point of its center of mass Cmi

EiC/mii = ΠiC/mii εi / i + Wi / i K iC/mii ,

(5.14)

Cmi with Πi / i – as the inertia tensor of the analyzed segment

i in this coordinate system, with respect to the center of mass point Cmi, relationship (5.11, 5.13); εi/i – angular acceleration of the analyzed segment i in this coordinate system, relationship (5.3); Wi/i – ex-vector matrix of the velocity of the analyzed segment i, in this coordinate system, relationship (5.4); K Cmi – spiral of the analyzed segi /i ment i, in this coordinate system, in relation to the point of its center of mass Cmi, relationship (5.13), − the moment acting on the segment i, coming from the segment i+1, leading the analyzed segment i, transmitted to the segment preceding i–1 (hypothetically the segment driving the analyzed segment i), in the coordinate system of the analyzed segment i

M i ,i −1/ i = M i +1,i / i − Rcmi ,0i / i Fi +1,i / i + Rcmi ,0i −1/ i Fi ,i −1/ i + EiC/mii , (5.15)

coming from the acting forces and moments in the mechanism, and the moment coming from the motor working in the analyzed segment, which drives the next, following the analyzed, segment of the mechanism. The value of this moment obviously depends on the position of this actuator in relation to the machine system of the analyzed segment. Only these two vector-summed moments, loading and motor, are the basis for the selection of the motor for the analyzed segment. The motor placed in the segment preceding the analyzed segment should be selected for this value so as to be able to generate the moment calculated according to the commonly known dependence M i ,i −1/ i max =

M iM/ i −1/? i

υMi ηMi

(5.16)

where: Mi,i–1/i max – maximum value of vector-summed moments, loading (5.15) and moment of motor mounted in the analyzed segment i, M iM/ i −1/? i – nominal torque generated by the selected drive motor of the analyzed segment i, but located in the i–1 segment, uMi – the translation ratio of this motor drive system, hMi – the efficiency of this motor drive system. Slightly different than for the mechanisms of conventional industrial robots, the selection of drive motors for the model Cthulhu2.0 bionic robot mechanism was carried out. Here, the use of tension mechanisms at the junction points of the limb segments relieves not only the volume of these kinematic chains (Figs. 9 and 18), but also in terms of value. Placing the motors in the model’s body, between its front and hind limb (Figs. 9 and 17), made it possible to select the motors only on the basis of the calculated, according to the dependence (5.15), loading moments, without taking into account the kinetic behavior of the motors. In the model version of the Cthulhu2.0 mechanism described in the publication, Turnigy RC Power Systems motors were used (Tab. 2). The maximum moments loading individual limb segments (Tab. 3) were also compared with the nominal moments

where: Mi+1,i/i – moment of forces in the analyzed segment i, balancing the momentum of the leading segment i+1, in the own coordinate system of the segment i; Rcmi,0i/i – ex-vector matrix of geometric extent (distance) between the descending point of the analyzed segment i and the center of its mass Cmi, in the coordinate system of the segment i; Fi+1,i/i – force in the analyzed segment i, balancing the force interaction of the leading segment i+1, in the own coordinate system of the segment i; Rcmi,0i-1/i – ex-vector matrix of geometric extent between the descending point of the term i–1, preceding the analyzed segment and the center of mass of the analyzed segment Cmi, in the coordiTab. 2. Catalog data of motors initially selected for the implementation of the model Cthulhu2.0 nate system of the segment i; Fi,i-1/i bionic robot mechanism [33] – force acting on the segment i, Tab. 2. Dane katalogowe silników wybranych wstępnie dla wykonania modelowego mechanizmu coming from the segment preceding bionicznego robota Cthulhu2.0 [33] i–1 (hypothetically the segment Turnigy Multistar Brushless Turnigy Multistar Brushless driving the analyzed segment i), in Name of motor Multi-Rotor Motor Multi-Rotor Motor the coordinate system of the analyzed segment i, relationship (5.12); Type Brushless motor Brushless motor EiC/mii – eulerian of the analyzed segment i in the coordinate system Mark 9225-160KV 4112-320KV of the segment i with respect to the point of its center of mass Cmi. Both sequences of dependencies (5.1– 5.10) and (5.11–5.15) were used in the project [8] for recursive calculation, analysis and simulation of the kinetic behavior of the constructed robot mechanism model. The key value, which was guided by the selection of the motors, were their nominal moments, adjusted to the calculated maximum torque loading a given segment, needed according to the given dependencies to move with a given speed and acceleration in this given segment. In designing the mechanisms of conventional industrial robots, this critical moment, needed for the movement of the segments, consists of both the moment

Motor view

Angular velocity in terms of the voltage unit

160 rpm/V

320 rpm/V

Nominal moment

4.83 Nm

2.66 Nm

Energy efficiency

1200 W

660 W

Moment of inertia

16.6 ⋅ 10-4

4.1 ⋅ 10-4

An Innovative Project of a Bionic Robot for Social Applications in Felinotherapy

When defining the functional assumptions of the robot, it was decided to stick to the standards applicable to cooperative robots (cobots). When selecting the propulsion engines, the challenges of the cat’s movement dynamics and its agility were primarily taken into account. In principle, efforts were made to maintain the dimensions of the mechanism corresponding to the Maine Coon skeleton, in practice, the selected engines imposed the scale of enlargement of the cat model to the robot model to a value of 1:1.5. Further work envisages a corresponding reduction of the Cthulhu2.0 model. However, this will not prevent the use of currently selected electronic elements (sensors) and will not hinder the implementation of haptics and meowing actuators important in felinotherapy [5]. In the already assumed next stage of robot project development and the development of Robot Operating System (ROS) software for the control and programming of its movement, it was decided to extend the use of the PyBullet environment and the Python language for processing data obtained from motion capture cameras into robot movement [2]. The process involves creating an animal anatomical model and mapping key points on it. These points approximate the motion of the animal and move with its model. This allows for the faithful reproduction of the animal’s movement, in this case a cat, by the mechatronic bionic mechanism of the robot.

generated by their pre-selected motor drives, i.e. the value Mi,i–1/i max, calculated according to the dependence (5.15), was compared with the value matched to it by the translation nMi value M iM/ i −1/? i , calculated according to the dependence (5.16). Tab. 3. Moment loads of limb segments in the model execution of the bionic mechanism of the Cthulhu2.0 robot [8] Tab 3. Obciążenia momentowe segmentów kończyn modelowego wykonania mechanizmu bionicznego robota Cthulhu2.0 [8] Segment

Front limb

Hind limb

BL1

0.62 Nm

1.83 Nm

BR3

2.86 Nm

4.49 Nm

BR2

5.20 Nm

7.21 Nm

BR1

6.62 Nm

8.82 Nm

8.71 Nm

11.15 Nm

The 4112-320KV motor meets the energy requirements of the BL1 (wrist) segment only, for the front and rear limbs of the Cthulhu2.0 model. For the BR3 (forearm) segment, the energy efficiency of the 9225-160KV motor meets similarly, without translation, its energy requirements. For the remaining segments (arm, shoulder and shoulder-blade) it was necessary to use a gear ratio. It is possible thanks to the use of linkage mechanisms in the construction of connections of these segments in the mechanisms of the limbs. This resulted in a slight reduction in the speed of movement of the BR2, BR1 and CR segments. In future work on the Cthulhu2.0 prototype, motors with higher energy efficiency will be selected, meeting the requirements of the kinematic and kinetic analysis of the model. An attempt will also be made to reduce the weight of the motors and the segments themselves by optimizing their shape and choosing a lighter material.

0 - ' The engineering project [8], described in the article, made by two students of the Warsaw University of Technology, Sonia Litwin and Klaudia Woźniak, was awarded by the Polish Section of IEEE, with 1st place in the Competition for the Best Diploma Thesis in Biomedical Engineering, defended in the 2020/2021 academic year. The Committee of the “Young Innovative” Competition, conducted as part of the Scientific and Technical Conference “AUTOMATION 2021 – News and Perspectives”, organized by the Łukasiewicz Research Network – Industrial Research Institute for Automation and Measurements PIAP, awarded the engineering project [8] made by Sonia Litwin and Klaudia Woźniak, with 1st place in the Competition for the Best Diploma Thesis in Automation and Robotics Engineering.

S6 The paper describes the development of a concept of a bionic robot that may be used in felinotherapy in the future. This task was carried out using the mathematical description of the geometry, kinematics and kinetics of the mechanism of the cat’s limbs movement, as well as thanks to the construction of its mechatronic model resulting from the aforementioned analysis. Visualizations and simulations to check the operation of this model were shown. Individual construction elements have been refined in terms of functionality and aesthetics. The materials and components of electronics necessary for the functioning of the model were presented. The concept of robot construction created in this way meets the defined challenges and assumptions and is ready to be tested in practice. In the project [8], meeting the aforementioned challenges and assumptions, was limited, due to the limited time of its implementation, to printing the most important functional elements of the structure in order to test them under real motion, force, moment and mass (gravity) loads. The share of simulations in design works has also been increased in relation to the originally assumed only model visualizations. Work on motion simulation began with commonly known tools (Autodesk Fusion 360 Simulation), but these turned out to be imperfect in a specific case, so the new PyBullet programming environment was used, which is definitely more useful and offers excellent possibilities for simulating complex motion mechanics.

•

1. Bednarczyk M., Felinoterapia jako forma wsparcia włączenia społecznego i rehabiliacji osób niepełnosprawnych (Felinotherapy as a Form of Support for Social Inclusion and Rehabilitation of Disabled People). Faculty of Life Sciences, University of Natural Sciences and Humanities in Siedlce, “Student Niepełnosprawny. Szkice i Rozprawy”, Nr 17, 2017, 67–75. 2. Bin Pung X., Coumans E., Zhang T., Tsang T., TsangWei E., Tan J., Levine S., Learning Agile Robotic Locomotion Skills by Imitating Animals. University of California, Berkeley 2020. 3. Bugała M., Chudzik T., Karczewski M., Pokorski P., Opracowanie i realizacja roboszczura dla Pracowni Neurobiologii Emocji Instytutu Biologii Doświadczalnej im. M. Nenckiego PAN (Development and Implementation of a Robotic Rat for the Laboratory of Emotions Neurobiology of the Institute of Experimental Biology M. Nencki PAN). BSc thesis (Promoter M. Olszewski, work awarded in the Competition “Young Innovations”, PIAP, in 2017 and by Siemens and the Rector of Warsaw University of Technology, in 2017). Warsaw University of Technology, 2017. 4. Frontzek H., Meating with Bionic. Media Presentation „Bionic Day”, Warsaw University of Technology, 2013.

•

N R 4 /2021

5. Goleman M., Drozd L., Karpiński W., Czyżowski P., Felinoterapia jako alternatywna forma terapii z udziałem zwierząt (Cat Therapy as an Alternative Form of Animal Assisted Therapy). “Medycyna Weterynaryjna.”, 68(12), 2012, 732–735. 6. Górska M., Olszewski M., Interfejs mózg-komputer w zadaniu sterowania robotem mobilnym (The Brain-computer Interface in the Task of Controlling a Mobile Robot), „Pomiary Automatyka Robotyka”, Vol. 19, Nr 3, 2015, 15–24, DOI: 10.14313/PAR_217/15. 7. Jaeger G.H, Marcellin D., Depuy V., Lascelles B.D., Validity of Goniometry Joint Measurements in Cats. “American Journal of Veterinary Research”, Vol. 68, No. 8, 2007, 822–826, DOI: 10.2460/ajvr.68.8.822. 8. Litwin S., Woźniak K., Opracowanie i realizacja podstawowych założeń konstrukcyjnych robokota „Cthulhu 2.0” we współpracy z Centrum Aplikacji Festo Polska (Development and Implementation of Fundamental Design Cencepts for „Cthulhu 2.0” Robotic Cat in Collaboration with Festo Poland Application Centre). BSc thesis (Promoter M. Olszewski). Warsaw University of Technology, 2021. 9. Morecki A., Ekiel J., Fidelus K., Bionika ruchu (Bionics of Movement). PWN, Warszawa 1971. 10. Morecki A., Ekiel J., Fidelus K., Cybernetyczne systemy ruchu kończyn zwierząt i robotów (Cybernetic Limb Motion Systems for Animals and Robots). PWN, Warszawa 1979. 11. Olszewski M., Bionika (Bionics). „Automatyka”, 2(6), 2018, 111–116. 12. Olszewski M., Mechatronika (Mechatronics). „Automatyka”, 2(1–2), 2018, 97–99. 13. Olszewski M., Modern Industrial Robotics. „Pomiary Automatyka Robotyka”, Vol. 24, No. 1, 2020, 5–20, DOI: 10.14313/PAR_235/5. 14. Olszewski M., O istocie mechatroniki i bioniki (On the Essence of Mechatronics and Bionics). Media Presentation „Bionic Day”, Warsaw University of Technology, 2013. 15. Olszewski M,: Zasady budowy robotów (Basics of Building Robots). Learning Materials, Faculty of Mechatronics, Warsaw University of Technology, 2010–2021. 16. Pfeifer R., Iida F., Bongrad J., Design Principles for Intelligent Systems. Artificial Intelligence Laboratory, Department of Information Technology, University of Zurich, 2003.

17. Reyes J.F., Tosunoglu S., An Overview of Brain-Computer Interface Technology Applications in Robotics. [in] Florida Conference on Recent Advances in Robotics, 2011, 4–5. 18. Song H., Yun-Soo K., Junsuk Y., Seong-Ho Y. Jiwon S., Yong-Jae K., Development of Low-Inertia High-Stiffness Manipulator LIMS2 for High-Speed Manipulation of Foldable Objects. International Conference on Intelligent Robots and Systems (IROS), Madrid 2018. 19. Stoll W., Bionics. Inspiring Technology. Verlag Hermann Schmidt, Mainz 2012. 20. Stranz J., Projekt egzoszkieletu stawu łokciowego do badań nad sterowaniem (Elbow Joint Exoskeleton Design for Steering Research). Faculty of Mechanical Engineering and Management, Poznań University of Technology, 2015. 21. https://lainsignia.org/2005/marzo – Documentation of the Impact of the Presence of Cats on the Improvement of the Mental State of Patients. 22. https://mainecoon.org/maine-coon-personality-traits/ – About Maine Coon cats. 23. https://www.researchgate.net/publication/320213320 – Whoever has a cat-feels better. What is felinotherapy? 24. https://www.emotionalpetsupport.com/2019/12/felinotherapy-how-effective-is-the-cat-therapy/ 25. https://twitter.com/xrobotsuk/status/1039581893589704706 – Walking Robot OpenDog. 26. https://www.artstation.com/artwork/6112Z6 – Model of a Domestic Cat Skeleton. 27. https://dol.org/10.1371/journal.pone0197837, August 6, 2018 – Methodology of Cat Motorics Research. 28. https://oumals.physiology.org/do/p df/10.1152/ in.1995.74.6.2266 – Movement Angles and Muscle Outlines of the Cat’s Hind Limbs. 29. https://www.hindawi.com/journals/vm/2016/9561968/fig1. 30. https://www.ncbi.nih.gov/articles/PMC3293090. 31. ht t p s : / / s ke t ch f a b . c o m / 3 d - m o d e l s / f e l i n e - s ke l e ton-dec-a5d0bb8f55dc4f49b103cd20d65e0b17 – 3D Model of a Domestic Cat Skeleton. 32. https://www.researchgate.net/publication/6170431 – Validity of Goniometry Joint Measurements in Cats. 33. https://turnigy.com/ – Turnigy RC Power Systems Documentation.

- $ ' $ $ & ' H / Streszczenie: W pracy opisano innowacyjny projekt bionicznego robokota dla zastosowań w felinoterapii, wspomagającej szpitalne i domowe leczenie psychoterapeutyczne obłożnie chorych dzieci i dorosłych. Projekt zrealizowano inżyniersko przez biomimikrowanie biologicznego kota, dochodząc do jego robotycznego modelu. Szczególną uwagę w tym procesie poświęcono uchwyceniu istoty kocich zachowań ruchowych i możliwości ich odwzorowania w mechatronicznym modelu. Przeprowadzono analizę geometrii, kinematyki i kinetyki tego modelu, tworząc założenia jego praktycznej realizacji w rzeczywistym mechanizmie kociego ruchu. W wykorzystanym oprogramowaniu korzystano z topologii elementów w obszarze roboczym Autodesk Fusion 360 Simulation, wykonując krytyczne elementy mechatronicznego modelu drukiem, w technologii SLS. Prace wspomagano także symulacją graficzną w środowisku PyBullet. I $ # $ # $ # / # $ # ' G# # & # # # '

An Innovative Project of a Bionic Robot for Social Applications in Felinotherapy

Sonia Litwin, BSc, Eng

'% ' ORCID: 0000-0002-4732-2344

' BK% ORCID: 0000-0003-0379-171X

- *!*( - ' / ' ; / = & ' E ' ' / 0 0 ' < & & -I ' / ' ' ' --- ' > ' ' E -I & ' > 0 ' E < & &# - / ' E # ; / = & - ' *!*(A*!** -I $ & / ' / = J & ' -I & ' J ' & - = & ' -I & &

+ ' / ' ' & ' 8 / < ' - / = E & / ; / = & / ' 0 ' < & &# 0 ' - / & ' ' / / ' & ' 8 / < ' - / E = & # & / 0 E ' < & L*!*(M ' N ' . ' # ' E & ' O ' ' & ' O ' E - *!*!# ' # $ & $ / & & # 8 *!(!# $ / 8 0 & '

!" " ' ) !%& ORCID: 0000-0003-3516-2942 + / ; / = E & (BF@# ' / + J ' P $ ' 8 ' (BQ! # ' R ' (BK! - (BQK & / / / ' $ E . '# (BK@ ;?= $ / . & ' ' & ' E # ' ' 6<+ $ & $ ' / . J $ ' S T> U L*!!*M# T8 ' / > U L*!!FM ' E T> E G ' U L*!!BM + / ' / ' ' E / ' ' $ G / - / + E ' 6 $ > 8 / ; E / = & (BB)E*!(*V > $ / / / - ' - / + ' > L.-+.M *!! X*!(QV N E / = E<' E . ER +PY ; *!(!E*!(K = / ' / / ' & - ' ) ! / # # $ # ' E / ' ' X - ' ) !# / *!(F

•

N R 4 /2021

Pomiary Automatyka Robotyka, ISSN 1427-9126, R. 25, Nr 4/2021, 19–24, DOI: 10.14313/PAR_242/19

' / +>."# . ' Z >. [ > ' & " & & 8 ' . $ <J Andrzej Karbowski, Krzysztof Wyskiel ; / = & # 8 / < ' - / = & # ? (@A(B# !!EFF@ ;

Abstract: The purpose of this work is a comparative study of three languages (environments) of optimization modeling: AMPL, Pyomo and JuMP. The comparison will be based on three implementations of an optimal discrete-time flood control problem formulated as a nonlinear programming problem. The codes for individual models and differences between them will be presented and discussed. Various aspects will be taken into account, e.g. simplicity and intuitiveness of implementation. : - I # ' & & & # & &# \ ' $ # & &#

1. Introduction The aim of this work is a comparative study of three popular optimization modeling languages: AMPL, Pyomo and JuMP and their capabilities to solve a flood control problem. In our previous paper [2] the structures used, the available elements and the methods of their construction have already been described in detail. Even though the models for flood control problem are longer than those for the shortest path problem in the graph [2], there is not much new to it. Most of a model in every language is actually a large number of parameters, constraints and relationships between them, that occur in the mathematical expressions. Therefore, in the descriptions of individual implementations, first of all, new things will be discussed, concerning, i.a., loading data from multiple files into one model.

2. Flood wave control Optimization of releases from retention reservoirs during floods is quite an important issue for water management in many countries. The nonlinear model described in this chapter was developed in [3–5, 1]. The considered river system is presented in Fig. 1. It is a system with one retention reservoir, two sections of the main river and a side inflow. Three characteristic points

Fig. 1. A single reservoir river system Rys. 1. System rzeczny z jednym zbiornikiem

are marked with wavelets: the spot just below the reservoir, the end of the first section and the end of the second section. In these places a flood wave culmination will be calculated. Our goal will be the minimization of flood damages approximated by the sum of the wave culminations in these points. A control is calculated for the time horizon of T stages. The data given at the input regarding the tank inflow, side inflow, distributed side inflow on the first and the second section (about 10% of the main inflows), are denoted successively as: d, db, q1 and q2. An additional condition is that at the end of the simulation the retention reservoir should be completely filled. To solve the problem we will apply the first approach mentioned in [6], where system equations are discretized a’priori with respect to time. The mathematical model is as follows [5]: 3

cul min ∑ p j ⋅ Q j

(1)

u ,w ,Q j =1

0 < I + ' Y $ # + Y $ % '

(2)

0 1 & - ' (F !F *!*( # ' ' *! !B *!*(

(3)

subject to:

Comparative Study of AMPL, Pyomo and JuMP Optimization Modeling Languages on a Flood Control Problem Example w(t + 1) = w(t) + t · (d(t) − u(t)), t = 0, ..., T − 1

(4)

w(0) = w0

(5)

w(T) = wmax

(6)

wmin d w(t) d wmax, t = 0, ..., T − 1

(7)

umin d u(t) d umax(w(t)) = a + b · w(t), t = 0, ..., T − 1 (8) (9)

(10) (11) (12) (13) (14) (15) In the above model a and b are coefficients describing the characteristics of the reservoir. The p vector contains weighting coefficients for peaks. A release (trajectory) from the reservoir is denoted as u, a retention of the reservoir as w, and flows as Q. The maximum value of the release is directly related to the construction of the retention reservoir, so this value depends on the level of its current storage umax(w(t)). An important element of the above model is the flood wave transformation function in the j-th section of the river (10). This function has been derived from Saint-Venant PDE, discretized in space into E pieces for every section and the first-order Runge-Kutta method with the integration step t [5, 3]. Inputs and outputs for the j-th section of the river are denoted as respectively. The t coefficient is given in seconds, and and its value depends on the frequency with which we will integrate (i.e. in how many minutes next values of the reservoir storage and water levels in the river will be calculated). Variables with the argument 0 mean the initial values.

Listing 1. Flood control problem implementation in AMPL Listing 1. Implementacja zadania sterowania falą powodziową w AMPLu

give first the lower or the upper one), as we can see in the case of the w variable. We also declare the umax variable (the maximum value of the release from the reservoir at a given moment in time) and use the equality operator to give an expression describing the characteristics of the reservoir to which this variable will be equivalent (this is a so-called defined variable in AMPL, which is not a decision variable itself, but a kind of a macro definition). Thanks to this, we can use this variable instead of the entire expression in the constraint on the maximum release from the reservoir (in both cases the model passed to a solver will be identical and it will return the same result after the same number of iterations). In this model, such a variable is used only in one constraint, but in models where it is used many times, it would definitely affect the readability of the code. Finally, we declare the remaining indexed variables Qwe, Qwy and Qcul. There are no new things in the definitions of the objective function and constraints as compared to the models discussed in [2]. We create them in a standard way, using the structures described in [2], in accordance with the mathematical model and the description of changes made at the beginning of this article. The only thing left is to load the data and run the solve command. Data delivery to the model will consist of two parts: the first is to load most of the parameters from the .dat file using the data ’name.dat’; command and the second, to load the data for the d, db, q1, and q2. The data for each of these four parameters is in a separate text file. Successive values are separated by spaces, ten values per line (for the reader’s convenience). Successive values are written from left to right and then down. To read this data, we use the read function:

2.1. AMPL The implementation of this problem in AMPL is presented in Listing 1. At the beginning, we declare the standard and indexed parameters necessary for the model. For some of them, however, we also assign appropriate values. For tau, this is the value of dividing 3600 (the full hour in seconds) by the iperh parameter, which, as we can see, has not yet been assigned a value. However, we do not have to worry about this, because the appropriate value will be assigned after reading the data from a file and running the solve command. The situation is similar for the parameters T and hour. Additionally, we calculate the values for this parameter using the ceil function, which rounds the result of the given expression up to a whole integer. For this purpose, instead of specifying only the index range 1..T, as in the case of declaring other visible parameters, we provide the full index expression with an iterator that we use to generate the next values. Successively, we declare a few more necessary parameters, including those related to tributaries. Loading data for them will be discussed at the end of this section. When declaring variables, we can give them a lower or upper bound or both. In the last case, we can write both constraints in the same line after comma (it does not matter whether we

•

Listing 2. The function read in AMPL Listing 2. Funkcja read w języku AMPL

•

N R 4 /2021

Andrzej Karbowski, Krzysztof Wyskiel The syntax is simple: we give the keyword, then the index expression, the variable into which we load (along with the index), operator < and the name of the file being read (or the full path, which we must then put in quotation marks). We put these calls under the data ’name.dat’; command. The number of spaces in the file is irrelevant, and the values are read exactly in the order previously described. Interestingly, putting the calls to the read function in the .dat file worked fine. This is in a sense a ”trick”, as there is no description of such a method in the AMPL book. Nevertheless, it allows you to put things related to loading data in one place, and we only load a single .dat file to solve the model.

L6L6 The implementation of this problem in Pyomo is shown in Listing 3. Traditionally, at the beginning we import the necessary Pyomo libraries. As in the case of the graph model from paper [2], this model will be abstract (AbstractModel() method), because we do not need specific data when creating it. Next, we add to the model a few auxiliary files, that will be used for indexing (remembering, that some files are created only after declaring the parameters that are used to create these sets), and the necessary parameters. For some of them we need to set values returned by expressions depending on other parameters, that is for m.tau, m.T and m.hour. We do this by providing the Param() method with the initialize argument, which takes the name of the method generating the appropriate expression. We can also give the expression itself (in parentheses), which will shorten a bit the code. However, we can only do this for simple parameters (without indices). Due to the fact that most of the constraints and parameters are indexed, for some consistency, instead of the direct expression a method is used here. The parameters will be built and set to the appropriate values when instantiated using the m.create_instance() method. For indexed hour we simply add the set in Param() and include the variable for the index number in the hour_init method. The values themselves are generated using the Python-built ceil method, which rounds the result of the expression in parentheses up to an integer number. We also declare the missing parameters, including those concerning inflows, for which the data loading method will be discussed at the end of the section. When declaring variables, we can limit them by passing the bounds argument in the Var() method, where in parentheses we give the lower and upper bounds (in this order) separated by a comma. For example, if we want to limit a variable only from the bottom, we pass the keyword None after comma. Contrary to AMPL, there is no analogous structure for umax (maximum value of release from the reservoir at a given moment in time), so the expression describing the characteristics of the reservoir will be used directly in the limitation of the maximum release for a given reservoir capacity (constraint mu.u_max). Finally, we add the remaining Qwe, Qwy and Qcul indexed variables to the model. The objective function and constraints contain the constructs already discussed in [2] and are created in a similar way. However, there was a problem with the m.w_final constraint, and more specifically with the m.w_final_rule method (full filling at the end). The m.w variable has an upper bound defined with bounds as m.wmax, which is also a condition for m.w_final. As a result, the solver was not able to solve the passed model then (it looked as if it was ”stuck” in a certain area of local minima, from which it could not ”jump”). Fortunately, the solution to the problem turned out to be quick and easy. As we can see in the code, it was enough to subtract from m.wmax a relatively small number 0.001. Thanks to this, the solver was able to find and return the correct result. However, giving a too small number did not work. For example, for 10−6, the solver needed about 10 times more iterations and the resulting solution left a lot to be desired (huge amplitudes of dumps in consecutive moments

Listing 3. Flood control problem implementation in Pyomo Listing 3. Implementacja zadania sterowania falą powodziową w Pyomo

of time). Instead of subtracting here 0.001, we can also add this value to the upper limit for the reservoir capacity (in the bounds argument when declaring the m.w variable). However, the solver then needs a bit more iterations to find the result, and it is slightly worse.

Comparative Study of AMPL, Pyomo and JuMP Optimization Modeling Languages on a Flood Control Problem Example Finally, you have to load the data, create an instance and solve the model. For reading data from multiple files, Pyomo offers the DataPortal() object used in the following way:

We start with importing the appropriate packages. Due to the fact, that in JuMP there are no typical constructs for parameters and sets, which are also used in indexing, we have to load the data for the model at the very beginning (similarly to the graph problem model in [2]). It was also necessary to come up with a clear syntax for the input file with parameters data, which, when loaded into the program, will be easy to parse and prepare. Ultimately, the data in this file looks like this:

Listing 4. DataPortal() object in Pyomo Listing 4. Obiekt DataPortal() w Pyomo

N: k: n: p: ...

After creating the mentioned object, we call the load() method on it as many times as many files we have to load. In the filename argument we provide the name of the loaded file. If it is a .dat file (the construction for the reminder is the same as for the AMPL counterpart), then additionally in the model argument we provide (as you can guess) the object of our model. In the case of files with data on inflows to the reservoir, etc., we pass the param argument instead, in which we pass a specific parameter from the model. These files have a .tab extension and have their own syntax. In this case, the first column contains the indices 1 to N, while the second column contains specific values. Additionally, in the first line there are one-word names of these columns (which are only informative for the person checking the content of the file). Finally, the entire data object is passed to the create_instance() method, and the created instance is passed to the solve method of the solver object.

300 13700 0.756 0.0146

5000 0.915 0.0119

0.1149

Listing 6. A fragment of the input file with wave data Listing 6. Fragment pliku wejściowego z danymi fali

In each line, we start with the name of the parameter, followed by a colon, and then the value or values separated by spaces. This gives us a readable input file and is easy to parse. Thanks to the extensive constructs and methods in native Julia, this can be done in a short way as shown in the model code above (lines 3-6). We create the dictionary variable p_vals (using Dict()). We then provide an expression for the loop. The map() method maps the elements from the array given in the second argument using the expression given in the first. Let’s start with the second argument passed to this method. The readlines() function reads lines from a given text file and creates an array of strings from them. In the first map() argument we pass an anonymous function of the form:

2.3. JuMP The implementation of this problem in JuMP is shown in Listing 5.

(parameter_name1, parameter_name2, ...) → (function body) In our case, there is only one parameter, so we can omit the parentheses. The name of the parameter is irrelevant, it is essential that we use it in the function body. Here, the parameter is a text line that is separated with the split() method in place of the colon (the colon itself is lost). The result is a pair of (name, string with values). After the mapping is done, we have a list of pairs that serve as the iterator for the for loop. Inside, we create the appropriate elements in the p_vals variable. On the left side of the assignment, in square brackets, we give the key by reading it from the first position of the i iterator, which we additionally place in the strip() method, removing spaces from both ends of the string passed to it. On the right side of the assignment, starting from the very center, we read the second element (a text string with numerical values) from the iterator. We remove white spaces from both ends, and then use split to separate the values from each other, getting an array. Finally, we use the parse.() method to cast a string value to a numeric one (which is detected automatically because the resulting strings contain only numbers). Note here the characteristic dot after the parse method name, before the brackets. It means the execution of the method in a vector way, i.e., it will be called for each element from the array that we passed as an argument (the created array with numbers). It is a very compact solution, owing to which we do not need to use an additional loop. Finally, the p_vals variable contains keys that are variable names and values that are lists of numbers. Then we create the parameters by reading the appropriate values from our dictionary through a key. If it is a simple, non-array parameter, then we additionally extract it from a one-element list, adding ”1” in square brackets (i.e., simply the first index of the array). We calculate the tau and T parameters using standard mathematical operations. For hour

Listing 5. Flood control problem implementation in JuMP Listing 5. Implementacja zadania sterowania falą powodziową w JuMP

•

N R 4 /2021

Andrzej Karbowski, Krzysztof Wyskiel we generate the values in the array using the ceil method and the expression for. The ceil function itself, that rounds the result up to the whole number, in the first argument takes the type (we give Int32 so that the number is an integer; by default it returns a floating point with a zero fraction), and in the second a mathematical expression or a fractional number. The parameters for d, db, q1 and q2 tributaries can be read from separate text files using the readdlm() method (similarly to the graph problem [2]). Successive values are separated by spaces, ten values per line (for the reader’s convenience). They are written from left to right and then down. We must remember that after reading the data will be in the matrix. We can ”flatten” it down to one dimension using the vec() method, which reads the matrix column from top to bottom. This means, that we need to transpose the matrices. In the above code, behind the parenthesis ending the readdlm() method, we can see a characteristic apostrophe, by which we are just transposing the matrix. We create a model object as standard, taking into account the solver passed in the constructor argument of the Model() method. As in the previous models, we declare the variables and constraints according to the previously described structures. As with Pyomo, there was a problem with the final reservoir filling constraint w[T] == wmax. It turned out that the solution to the problem is identical, when we just subtract (as we can see in the code) a relatively small number 0.001. Likewise, we can instead add this value in the upper bound on the reservoir capacity, with the same consequences as in Pyomo. It is quite an interesting situation that the same behavior occurred in both these languages, but it did not occur in AMPL. Another limitation that draws attention is the wave transformation on river sections (flow_transformation). JuMP has a @NLconstraint method for nonlinear constraints. Using it is just the same as using normal constraints, the only point is that it is necessary because JuMP does not allow us to write a nonlinear constraint using the @constraint() method. This in some way increases the readability of the model, because we can immediately see what nonlinear constraints are, without analyzing them. There is also a similar method for the objective function (NLobjective()), but in this model the function is linear. Finally, all that’s left to do is to call solve(m) and to read the results.

Fig. 3. Reservoir storage trajectory for the optimal release Rys. 3. Trajektoria napełnienia zbiornika dla zrzutu optymalnego

of using high level modeling languages and a given, efficient commercial nonlinear solver.

3. Tests We solved a flood wave control problem using data concerning Dunajec river with Rożnów reservoir and Biała Tarnowska side inflow. The following values of parameters were used: N = 300 h (time horizon), iperh = 4 (#steps in 1h), k = [13700, 5000], p = [0.0146, 0.0119, 0.1149], a = 1200, umin = 40 m3 wmin = 40.3 mln m3, Q1_0 = 100 m3,

Fig. 2. Inflows, the optimal release from the reservoir and the outflow from the system Rys. 2. Dopływy, optymalny zrzut oraz przepływ na wyjściu systemu

n = [0.756, 0.915], b = 15, w_0 = 84.9 mln m3, wmax = 171.2 mln m3, E = 10.

The values of inflows d(.), db(.), q1(.), q2(.) are given in tables in [5]. The resulting number of decision variables was 50001. In all implementations we used Knitro solver. In every case after 918 iterations and about 400 s on a PC with Intel Core i7-2600 3.40 GHz processor we got the same results. They are presented in Figs. 2, 3. The obtained curves are very similar to those presented in [5], despite the coding effort was much smaller, because

4. Conclusions The AMPL, Pyomo and JuMP environments presented in this paper proved to be effective tools for discrete-time optimal control problems modeling. AMPL, as a language dedicated to optimization modeling, allowed for the easiest and most convenient, resembling mathematical formulation, without programming overheads, implementation of models. It also provided the shortest code of all the environments discussed here. In terms of the number of characters and lines we need to write, undoubtedly the implementation in Pyomo is the worst. JuMP is between the two. Despite the lack of constructs for parameters and sets in JuMP and Pyomo one can successfully use the standard functionalities offered by Julia and Python languages. The creation of mathematical expressions was quite comfortable and intuitive in these environments. JuMP offers built-in operations on vectors and arrays, which are missing in AMPL. Moreover, both Pyomo and JuMP offer all constructs of their native languages what is most important, when optimization is only a part of a bigger application.

Comparative Study of AMPL, Pyomo and JuMP Optimization Modeling Languages on a Flood Control Problem Example

References

4. Pytlak R., Malinowski K., Optimal scheduling of reservoir releases during flood: Deterministic optimization problem, Part 1, Procedure. “Journal of Optimization Theory and Applications”, Vol. 61, No. 3, 1989, 409–432, DOI: 10.1007/BF00941827. 5. Pytlak R., Malinowski K., Optimal scheduling of reservoir releases during flood: Deterministic optimization problem, Part 2, Case Study. “Journal of Optimization Theory and Applications”, Vol. 61, No. 3, 1989, 433–449, DOI: 10.1007/BF00941828. 6. Pytlak R., Blaszczyk J., Karbowski A., Krawczyk K., Tarnawski T., Solvers chaining in the IDOS server for dynamic optimization. [In:] Proceedings of 52nd IEEE Annual Conference on Decision and Control (CDC), Florence, Italy, Dec. 10–13, 2013, 7119–7124, DOI: 10.1109/CDC.2013.6761018.

1. Karbowski A., FC-ROS – decision support system for reservoir operators during flood, “Environmental Software”, Vol. 6, No. 1, 1991, 11–15, DOI: 10.1016/0266-9838(91)90012-F. 2. Karbowski A., Wyskiel K., Comparative study of AMPL, Pyomo and JuMP optimization modeling languages on a network linear programming problem example. „Pomiary Automatyka Robotyka”, R. 25, Nr 3, 2021, 23-30, DOI: 10.14313/PAR_241/23. 3. Niewiadomska-Szynkiewicz E., Malinowski K., Karbowski A., Predictive methods for real-time control of flood operation of a multireservoir system: Methodology and comparative study. “Water Resources Research”, Vol. 32, No. 9, 1996, 2885–2895, DOI: 10.1029/96WR01443.

' ^ ^ ' & +>."# . Z >. ' ' / ] ' ] Streszczenie: Celem pracy jest badanie porównawcze trzech języków (środowisk) modelowania optymalizacyjnego: AMPL, Pyomo i JuMP. Porównanie jest oparte na trzech implementacjach zadania optymalnego sterowania falą powodziową z czasem dyskretnym, sformułowanego jako zadanie programowania nieliniowego. Przedstawione i omówione zostaną kody poszczególnych modeli oraz różnice między nimi. Uwzględnione zostaną różne aspekty, m.in. prostota i intuicyjność implementacji. I # ' # & # / ] ' ]# & #

Andrzej Karbowski, PhD, DSc

Krzysztof Wyskiel, BSc

+ Y $ % ' ORCID: 0000-0002-8162-1575

% ORCID: 0000-0001-6851-9755

+ ' Y $ ' . G L(BB!M ' $ L*!(*M + ' 6 $ / ; / = E & # 8 / < ' - / = & / E - / ' < & & / ; / = E & ' ?+ Y ? 6 - ; P ' ' E / $ L ' ' $ ' &M# ' E / E$ L & ' E & ' M# ' / / T< E & U LT> J 'E- & " ' ? . & & > ' / < & + = // ? ' ' UM ' (@! ' / P # >-. ' >-?". ' # & E ' & # $ # ' ' / & # E ' '

•

Y / ; > ' / E 8 / < ' - / = & / ; E / = &

•

N R 4 /2021

Pomiary Automatyka Robotyka, ISSN 1427-9126, R. 25, Nr 4/2021, 25–30, DOI: 10.14313/PAR_242/25

G / = / -6 ; ' ' / 8* [ = / < G Krzysztof Dziarski . H / = & # - / < . < & &# . +# F!EBF@ . H# . '

Arkadiusz Hulewicz . H / = & # - / < < & & ' - ' < # . +# F!EBF@ . H# . '

Abstract: The article presents summaries of works which have resulted in the presentation of a formula making it possible to determine an approximate transmittance of an IR window used in thermographic measurements of electric device temperatures. The equation was formulated after analysing components of the IR radiation reaching the camera lens in case when an IR window was not used and when an IR window was used. Conditions prevailing in course of the thermographic temperature measurement of electric devices contained in the switchgear were recreated in the performance of the works. The measurement system which was used in the experiment has been presented. Components of the IR radiation reaching the camera lens in case when the IR window was used and when the IR window was not used have been discussed. The obtained transmittance results of windows VPFR-75 FRK100-CL have been compared against data from literary sources. 1 - 0 & - I & # ' # &

1. Introduction Diagnostics of electrical devices, understood as cyclical monitoring, the assessment of proper operation and in the case of detection of irregularities, identification of the source of the problem, plays an important role [1]. An excessive increase of temperature of electric devices may lead to a serious failure. An excessive temperature of current circuits can cause their structure to change and, consequently, can cause their shape to irreversibly change and a short-circuit to occur [2, 3]. In case of current rails, temperature over the softening point also causes the inner structure of the current rail to irreversibly change and the current rail to yield. The temperature of the wire used to connect the electric devices is also important. An excessive temperature of an operational conductor may cause insulation to become damaged and, consequently, it may lead to short-circuits between individual conductors of wires in a bundle [4].

0 < I Y / G # / ' % 0 1 & - ' !F !K *!*( # ' ' *( (! *!*(

Heating of operational conductors of wires, current rails and current circuits of switchgears is related to the flow of operational current or, in case of interferences, a short-circuit current. Information about the temperature of these devices makes it possible to answer a question how much one can load a given element while still being able to ensure failure-free operation. Electric devices are often installed in switchgears. It may be hazardous or, in some cases, impossible to measure the temperature of an electric device, wire or current rail by means of a temperature contact sensor [6]. It is possible to employ the thermographic temperature measurement to improve the safety of the person performing the measurement. An additional advantage of this contactless method is the registration of distribution of temperatures over the selected area. Registration of an improper distribution of temperatures on the surface of elements will allow one to detect failure before it occurs. In consequence, it is possible to plan the repair in such a way as to reduce the device downtime-related costs. Despite essential advantages, thermography also has drawbacks. It is an imprecise method. Additionally, the measurement result depends on a number of factors. The most important factors determining the value of the thermographic temperature measurement include: emissivity coefficient value [7], reflected temperature [8], distance between the thermographic camera lens and the surface under observation [9], ambient temperature [10], temperature of the external optical system [11], transmission of the external optical system [12], air humidity [13] and registered thermogram sharpness [14].

Determination of Transmittance of IR Windows Made of CaF2 Within Operational Temperatures of Electric Devices The radiator was placed inside a metal box sized 50 cm × 50 cm × 50 cm. A 7.5 cm diameter hole was bored in the face wall of the box. Crystalline IR windows VPFR-75 (IRISS, Bradenton, Florida, USA) [22] and FRK100-CL (Fluke, Evererett, Washington, USA) [23] were alternately placed in the hole. The IR windows used are presented (Fig. 1). The Flir E50 thermographic camera (Flir, Winsonville, Oregon USA) [24] was brought to the IR window (Fig. 2).

In practice, an IR window is often installed in switchgear doors. When the IR window is used, it is no longer necessary to open the switchgear during the measurement. Furthermore, the use of an IR window increases the safety of the person performing the measurement [15]. Two kinds of IR windows are used: crystalline and polymer-reinforced. IR windows can also be broken down by the length of the IR radiation waves. In case of the infrared radiation within the LWIR (Long Wavelength Infrared) range, the frequently used material is calcium fluoride, CaF2, while in case of the radiation within the MWIR (Medium Wavelength Infrared) range, magnesium oxide MgF2 is often used to manufacture windows [17, 18]. However, no IR window lets through 100 % of the IR infrared radiation. This means that some IR radiation reaching the camera lens is suppressed by the window. The issue of limited transmission of the IR radiation through the IR window is particularly important in the quantitative thermography when it is important to precisely measure the temperature of the surface under observation. When an IR window is placed between the object under observation and the thermographic camera lens, the radiation beam reaching the camera lens will be weaker. Consequently, the thermographic camera indication will be underrated. Therefore the information enabling compensation of the external optical window effect is important. Literary sources describe the dependency transmittance of the CaF2 and MgO windows on the transmitted radiation wavelength. The authors, however, have not found a description of a method enabling one to independently determine the IR window transmittance. Therefore, research works were undertaken in order to demonstrate the way to determine the transmittance of a crystalline IR window made of CaF2. To validate the method presented, it was decided to determine the transmittance values for the IR windows made of CaF2 and to compare the values obtained against the data from the literary sources.

Fig. 2. Designed measurement station Rys. 2. Skonstruowane stanowisko pomiarowe

L6 ! ' L6J6 !

L6L6 , - +

The undertaken research works required a measurement system to be designed. Its major part was an infrared radiator. The radiator employed consisted of two parts – an aluminium block sized 21 cm × 21 cm coated with the Velvet Coating 811-21 paint and a radiator temperature control system [19]. The radiator has been designed in such a way as to emit IR radiation only in one direction. The emissivity coefficient e of the paint which was used to paint the radiator has been determined within a range from –36 °C to 82 °C. The uncertainty with which the emissivity coefficient was determined was 0.004 [19]. The radiator surface temperature was measured by means of a thermocouple with a 0.1 °C resolution. While taking the measurements, the radiator temperature was changed within a range from 37.7 °C to 70 °C. The lower limit of the range is the design temperature (according to PN-HD 60364-5-52), arbitrarily increased so as to keep the radiator temperature significantly higher than the ambient temperature. The upper limit of the assumed temperature range is the acceptable temperature of the wire conductor in a polyvinyl chloride (PVC) insulation [20]. The acceptable temperature of the wire conductor in a polyvinyl chloride (PVC) insulation is lower than the copper softening point (190–200 °C) [21] and the aluminium softening point (100–150 °C). It was decided to select the lowest of the aforementioned acceptable temperatures as the upper limit of the adopted range.

Fig. 1. IR windows being used: a) VPFR-75, b) FRK100-CL Rys. 1. Wykorzystane okna transmisyjne: a) VPFR-75, b) FRK100-CL

•

The IR window transmittance is a ration of the IR radiation registered in two cases – when the IR radiation reaches the thermographic camera lens through the IR window and when the IR radiation reaches the thermographic camera lens directly. The IR window transmittance can be described by means of formula (1).

τw =

Ww σ ⋅ ϑ14 = , Wd σ ⋅ ϑ 24

ϑ 2 > ϑ1

(1)

where: tw – IR window transmittance, Ww – IR radiation reaching the camera lens through an IR window, Wd – IR radiation reaching the thermographic camera lens directly, 1 – temperature indicated by the thermographic camera after an IR window has been used, 2 – temperature indicated by the thermographic camera without an IR window being used, s – the Boltzmann constant equal to 5.67 cm × 10−8 W/(m2·K4). One should notice that formula (1) is correct in case of a black body. While analysing a real case, one should take into account the following factors. For this purpose, the component values Ww and Wd should be analysed. When the IR radiation directly reaches the thermographic camera lens, it consists of three components: radiation emitted by the radiator (2), radiation reflected from the radiator (3) and

•

N R 4 /2021

Krzysztof Dziarski, Arkadiusz Hulewicz radiation emitted by air particles situated between the radiator and the thermographic camera lens (4) [25]. er ⋅ Wobj ⋅ ta

(2)

(1 – er) ⋅ Wreflr ⋅ ta

(3)

(1 – ta) ⋅ Wa

(4)

where: Wobj – radiation emitted by the radiator, εr – emissivity coefficient, ta – atmosphere transmittance coefficient, Wreflr – radiation reflected from the infrared radiator, Wa – radiation emitted by air particles situated between the infrared radiator and thermographic camera lens.

window surface (9). In the case being discussed, one can distinguish between two air layers situated between the IR radiator and the IR window as well as between the IR window and the IR radiator. Therefore one should take into account both the radiation emitted by the air layer situated between the radiator and the IR window (10) as well as the radiation between the IR window and the thermographic camera lens (11). The distribution of the IR radiation reaching the thermographic camera lens in the case of using the IR window has been showed in [27, 28] and presented in this article (Fig. 4). er ⋅ Wobj ⋅ ta1 ⋅ ta2 ⋅ tw

(6)

(1 – er) ⋅ Wreflr ⋅ ta1 ⋅ ta2 ⋅ tw

(7)

(1 – tw) ⋅ Ww (1 – ew) ⋅ Wreflw

(8) (9)

(1 – ta1) ⋅ Wamb1 ⋅ ta2 ⋅ tw

(10)

(1 – ta2) ⋅ Wamb2

(11)

After taking the Stefan-Boltzmann law into account and summing up equations (2–4), value Wd can be described by means of equation (5) 4 4 Wd = εr ⋅ σ ⋅ ϑobj ⋅ τ a + (1 − εr ) σ ⋅ ϑ reflr ⋅ τ a + (1 − τ a ) σ ⋅ ϑa4 ⋅ τ a

(5) where: obj – radiator surface temperature, reflr – temperature reflected from the radiator surface, a – ambient temperature. Components of the IR radiation reaching the IR camera lens are shown (Fig. 3). This components has been also showed in [26, 27].

where: Wreflr – radiation reflected from the radiator, t1 – transmittance of the air layer between the radiator and the box, t2 – transmittance of the air layer between the box and the thermographic camera lens, Wamb1 – radiation of the air layer between the radiator and the box, Ww – radiation emitted by the IR window, tw – IR window transmittance, Wamb2 – radiation of the air layer between the box and the thermographic camera lens, ew – emissivity coefficient of the IR window, Wreflw – radiation reflected from the IR window. In order to reduce the number of variables in the final equation, the following simplifications (12)–(14) have been adopted:

Fig. 3. Components of the IR radiation reaching the thermographic camera lens in case when no IR window is used Rys. 3. Składowe promieniowania IR docierającego do obiektywu kamery termowizyjnej w przypadku, gdy nie zastosowano okna transmisyjnego

ta1 = ta2 = ta

(12)

Wamb1 = Wamb2 = Wa

(13)

w = a

(14)

where: w – IR window temperature, a – air temperature. Value Ww being a sum of equations (6)-(11) is presented in equation (15). The Stefan-Boltzmann law and equations (12)– (14) are taken into account. 4 4 Ww = (1 − εr ) σ ⋅ ϑ reflr ⋅ τ a2 ⋅ τ w + εr ⋅ σ ⋅ ϑobj ⋅ τ a2 ⋅ τ w +

+ (1 − τ a ) σ ⋅ ϑa4 ⋅ τ a ⋅ τ w + (1 − τ w ) σ ⋅ ϑa4 ⋅ τ a + + (1 − τ a ) σ

Fig. 4. Components of the IR radiation reaching the thermographic camera lens in case when an IR window is used Rys. 4. Składowe promieniowania IR docierającego do obiektywu kamery termowizyjnej w przypadku, gdy zastosowano okno transmisyjne

After using an IR window, the analysis of components of the radiation reaching the camera lens Ww is more difficult [15]. Apart from the components described in equations (2)–(4), additional factors should be taken into account. In the case being analysed, equation (2) takes the form of equation (6) and equation (3) takes the form of equation (7). In addition, one should also take into account the IR radiation emitted by the IR window surface (8) and the IR radiation reflected from the IR

⋅ ϑa4

+ (1 − εw ) σ

(15)

4 ⋅ ϑ reflw

By inserting equation (5) and (15) into equation (1) and making transformations, one can obtain equation (16) which makes it possible to determine the transmittance of the IR window being used.

A 4 ⎤ − ⎡(1 − τ a ) σ ⋅ ϑa4 + (1 − εw ) σ ⋅ ϑ reflr ⎦ Wd ⎣ τw = B

(16)

Determination of Transmittance of IR Windows Made of CaF2 Within Operational Temperatures of Electric Devices The air transmittance value can be determined on the bases of formulas presented in [29, 30]. In this case the distance between thermographic camera lens and IR radiator was small. From this reason, it was assumed that the air transmittance value is equal 1.

For the same preset obj, the result of a thermographic temperature measurement for an IR radiator not covered by the IR window, the result of a thermographic temperature measurement for a radiator covered with the VFPR-75 window and the result of a thermographic temperature measurement for an IR radiator covered with the FRK100-CL window were read out. Then, based on equation (16), the transmittance of both IR windows was determined. After determining the transmittance, the measurements were repeated. A computer with Flir Tools software has been added to the measuring system. The same temperature settings of the IR radiator were chosen. The maximum wavelength of IR radiation emitted by the IR radiator m was obtained on the basis of Wien’s law. The results of measurements made without the use of infrared windows were used for the calculations. The settings of thermographic camera were controlled from PC. In the field called “transmittance of the external optical system” the determined value of tw has been written. The results obtained during measurement with the VFPR-75 IR window are presented in table 1. The results obtained during measurement with the FRK100-CL IR window are presented in table 2.

M6 ! At the beginning, uniformity of the distribution of temperature over the surface of the radiator which had been used in the works performed was checked. For this purpose, a thermogram presenting the IR radiator surface which had been painted with the Velvet Coating 811-21 paint was made. Then the matrix of temperatures on the surface under observation was read out. The difference between the highest and the lowest temperature registered on the surface of the radiator was found to be 1.8 °C. Then a metal box was put onto the radiator and the rationale for the simplification presented in the formula (12) was verified. For this purpose, the distance between the radiator and the IR window, the distance between the IR window and the thermographic camera lens was measured. In both cases, the distance did not exceed 5 cm. Also, value a was measured by means of the GM1365 Data Logger sensor. Values a measured during the measurements ranged from 26.9 °C to 27.1 °C. Measurements were taken for all values obj amounting to 37.9 °C, 40.2 °C, 53.2 °C, 62.3 °C and 72.3 °C. The value reflr was measured by placing a bent and straightened aluminium film on the surface of the radiator. IR windows are taken off, too. Then, the thermographic camera presets were changed by selected the value er = 1 and the camera lens – radiator distance = 0 and the thermographic camera indication was read out. It was attempted to take the measurement as fast as possible so as to prevent the aluminium film from being heated up by the IR radiator surface. The value reflw was determined in a similar way. In this case, after an IR window has been installed, bent and straightened aluminium film was placed on the IR window surface. Having determined values reflr and reflw, presets of the thermographic camera were made in such a way as to recreate conditions prevailing in the laboratory during the measurements.

P6 The result of the undertaken research work is a formula that allows to determine the transmittance of the infrared window. The transmittance of the VFPR-75 and FRK100-CL infrared windows in the temperature range corresponding to the operating temperatures of electrical devices located in the switchgear was also undertaken. The correctness of the determination of the transmittance with the infrared eye was verified experimentally. Comparing the results of the infrared surface temperature measurements of the IR radiator made without the use of an infrared window with the infrared surface temperature measurements of the radiator in which the infrared window was used and the compensation of the infrared window influence, it can be seen that the greatest temperature difference was about 4 °C (Table 1 and 2). The greatest differences between the measurement results were noticed for the low temperature of

Thermographic measurement of temperature of IR radiator (without IR window)

Thermographic measurement of temperature of IR radiator (with IR window)

Thermographic measurement of temperature of IR radiator (without IR window – the measurement was compensated)

°C

9.33

0.50

36.9

30.9

39.5

45.4

9.25

0.47

40.4

31.7

45.6

36.9

54.8

8.88

0.40

53.4

36.2

56.7

62.3

40.1

61.9

8.64

0.33

62.3

39.1

61.4

72.6

44.6

72.6

8.39

0.35

72.6

43.4

70.6

°C

9.33

0.52

37.5

31.4

38.9

9.25

0.47

40.6

32.5

8.88

0.45

53.4

8.64

0.37

8.39

0.35

•

radiation lm •

mittance of IR window tw

°C

Lp.

Calculated value of the trans-

–

Maximum wavelength of IR

µm

μm

Table 2. The results obtained during thermographic measurement of temperature of IR radiator with FRK100-CL IR window Tabela 2. Wyniki uzyskane podczas termograficznego pomiaru temperatury promiennika podczerwieni z oknem podczerwieni FRK100-CL

Thermographic measurement of temperature of IR radiator (without IR window – the measurement was compensated)

Thermographic measurement of temperature of IR radiator (with IR window)

Thermographic measurement of temperature of IR radiator (without IR window)

Calculated value of the

transmittance of IR window tw

radiation lm

Lp.

Maximum wavelength of IR

Table 1. The results obtained during thermographic measurement of temperature of IR radiator with VFPR-75 IR window Tabela 1. Wyniki uzyskane podczas termograficznego pomiaru temperatury promiennika podczerwieni z okienkiem podczerwieni VFPR-75

N R 4 /2021

Krzysztof Dziarski, Arkadiusz Hulewicz the radiator. For high temperatures of the radiator, the differences between the measurement results decreased. This is a premise that proves the correctness and usefulness of the proposed method. It should be remembered that the proposed method enables the determination of the approximate values of the transmission window. It can only be used in cases where it is sufficient to use approximate transmittance values for the IR windows. The accuracy with which the transmittance will be determined depends on the precision with which the values of the variables of the equation that allow the transmittance to be determined, will be determined.

References 1. Kuwałek P., Estimation of Parameters Associated with Individual Sources of Voltage Fluctuations, “IEEE Transactions On Power Delivery”, Vol. 36, No. 1, 2021, 351–361, DOI: 10.1109/TPWRD.2020.2976707. 2. Tian W., Leit C., Jia R., Winter R.M., Probability Based Circuit Breaker Modeling and Risk Evaluation on Potential Power, IEEE 7th Annual International Conference on CYBER Technology in Automation, Control, and Intelligent Systems (CYBER), 2017, DOI: 10.1109/CYBER.2017.8446423. 3. Książkiewicz A., Dombek G., Nowak K., Change in Electric Contact Resistance of Low-Voltage Relays Affected by Fault Current. “Materials”, Vol. 12, No. 13, 2019, 2166-1–2166-11, DOI: 10.3390/ma12132166. 4. Fangrat J., Kaczorek-Chrobak K., Papis B.K., Fire Behavior of Electrical Installations in Buildings. “Energies”, Vol. 13, No. 23, 2020, DOI: 10.3390/en13236433. 5. Balabozov I., Experimental Research with Microcontroller System for Defining of Joule Integral of Fuse, 10th Electrical Engineering Faculty Conference (BulEF), 2018, DOI: 10.1109/BULEF.2018.8646930. 6. Wesołowski M., Chmielak W., A new sensor system for measuring environmental parameters of switchgear, Progress in Applied Electrical Engineering (PAEE), 2017, DOI: 10.1109/PAEE.2017.8009024. 7. Zaccara Z., Edelman J.B., Cardone G., A general procedure for infrared thermography heat transfer measurements in hypersonic wind tunnels, “International Journal of Heat and Mass Transfer”, 2020, DOI: 10.1016/j.ijheatmasstransfer.2020.120419. 8. Altenburg J.S., Straße A., Gumenyuk A., Meierhofer C., In-situ monitoring of a laser metal deposition (LMD) process: Comparison of MWIR, SWIR and high-speed NIR thermography. “Quantitative InfraRed Thermography Journal”, 2020, DOI: 10.1080/17686733.2020.1829889. 9. Yoon S.T., Park J.C., An experimental study on the evaluation of temperature uniformity on the surface of a blackbody using infrared cameras. “Quantitative InfraRed Thermography Journal”, 2021, DOI: 10.1080/17686733.2021.1877918. 10. Schuss C., Remes K., Leppänen K., Saarela J., Fabritius T., Eichberger B., Rahkonen T., Detecting Defects in Photovoltaic Cells and Panels with the Help of Time-Resolved Thermography under Outdoor Environmental Conditions. [In:] Proceedings of the 2020 IEEE International Instrumentation and Measurement Technology Conference (I2MTC), DOI: 10.1109/I2MTC43012.2020.9128489. 11. Chakraborty B., Billol K.S., Process-integrated steel ladle monitoring, based on infrared imaging – A robust approach to avoid ladle breakout. “Quantitative InfraRed Thermography Journal”, 2020, 169–191, DOI: 10.1080/17686733.2019.1639112. 12. Tomoyuki T., Coaxiality Evaluation of Coaxial Imaging System with Concentric Silicon–Glass Hybrid Lens for Thermal

13.

14.

15.

16.

17.

18.

19.

20.

21.

22. 23.

24.

25.

26.

27.

28.

29.

30.

and Color Imaging. “Sensors”, Vol. 20, No. 20, 2020, 20, DOI: 10.3390/s20205753. Wollack J.E., Cataldo G., Miller K.H., Quijada A.M., Infrared properties of high-purity silicon. “Optics Letters”, Vol. 45, No. 17, 2020, 4935–4938, DOI: 10.1364/OL.393847. Singh J., Arora A.S., Effectiveness of active dynamic and passive thermography in the detection of maxillary sinusitis, “Quantitative InfraRed Thermography Journal”, Vol. 18, No. 4, 2021, 213–225, DOI: 10.1080/17686733.2020.1736456. Holliday T., Kay J.A., Understanding infrared windows and their effects on infrared readings, Conference Record of 2013 Annual IEEE Pulp and Paper Industry Technical Conference (PPIC), 2013, 26–33, DOI: 10.1109/PPIC.2013.6656039. Madding R.P., IR Window Transmittance Temperature Dependence, [www.exiscan.com/images/files/TechNotes/ Madding-IR_window_Transmittance_Temperature_ Dependance.pdf]. Nguyen T.H., et al, Enhancing the Quality of the Characteristic Transmittance Curve in the Infrared Region of Range 2.5–7 µm of the Optical Magnesium Fluoride (MgF2) Ceramic Using the Hot-Pressing Technique in a Vacuum Environment, “Advances in Materials Science and Engineering”, 2020, DOI: 10.1155/2020/7258431. Zarei Moghadam R., Ahmadvand H., Optical and Mechanical Properties of ZnS/Ge0.1C0.9 Antireflection Coating on Ge Substrate. “Iranian Journal of Science and Technology, Transactions A: Science”, Vol. 45, 2021, 1491–1497, DOI: 10.1007/s40995-021-01093-5. Kawor E.T., Matteï S., Emissivity measurements for Nextel Velvet Coating 811-21 between –36 °C and 82 °C, 15 ECTP Proceedings, DOI: 10.1068/htwu385. PN-HD 60364-5-52:2011 – Instalacje elektryczne niskiego napięcia – Część 5-52: Dobór i montaż wyposażenia elektrycznego – Oprzewodowanie. Chen K., Zhang Y., Wang H., Effect of acoustic softening on the thermal-mechanical process of ultrasonic welding, “Ultrasonics”, Vol. 75, 2017, 9–21. DOI: 10.1016/j.ultras.2016.11.004. [https://iriss.com/emsd-cast-products/vp-series/vpfc-series] – VPFC Series. Crystal Infrared Windows. [www.fluke.com/en-us/product/thermal-imaging/ir-windows/fluke-100-clkt] – Fluke 100 CLKT IR Window for Outdoor and Indoor Applications. [www.thermokameras.com/Verkauf/Flir%20e-Serie/Datenblatt%20FLIR%20E50%20engl.pdf] – Technical Data FLIR E50. Tran Q.H., Han D., Kang C., Haldar A., Huh J., Effects of Ambient Temperature and Relative Humidity on Subsurface Defect Detection in Concrete Structures by Active Thermal Imaging. “Sensors”, Vol. 17, No. 8, 2017, DOI: 10.3390/s17081718. Minkina W., Pomiary termowizyjne – przyrządy i metody, Wydawnictwo Politechniki Częstochowskiej, Częstochowa 2004. [www.geass.com/wp-content/uploads/filebase/flir/termocamere/e40-e50-e60_comuni/Manuale-termocamere-Flir-E40-E50-E60.pdf] – User’s manual FLIR Exx series. Minkina W., Dudzik S., Infrared Thermography Errors and Uncertainties; John Wiley & Sons, Ltd.: Chichester, UK, 2009. Minkina W., Klecha D., Atmospheric transmission coefficient modelling in the infrared for thermovision measurement, “Journal of Sensors and Sensor System”, Vol. 5, 2016, 17–23, DOI: 10.5194/jsss-5-17-2016. Więcek B., de Mey G., Termowizja w podczerwieni. Podstawy i zastosowania, Wydawnictwo PAK, Warszawa 2011.

Determination of Transmittance of IR Windows Made of CaF2 Within Operational Temperatures of Electric Devices

; 8* ^ Streszczenie: W artykule przedstawiono streszczenie prac, w wyniku których uzyskano wzór umożliwiający wyznaczenie przybliżonej transmitancji okna transmisyjnego wykorzystywanego w termograficznych pomiarach temperatur urządzeń elektrycznych. Równanie zostało sformułowane po przeanalizowaniu składowych promieniowania podczerwonego docierającego do obiektywu kamery w przypadku, gdy nie zastosowano okna transmisyjnego oraz w przypadku, gdy zastosowano okno transmisyjne. W trakcie wykonywania prac odtworzono warunki panujące podczas termograficznego pomiaru temperatury urządzeń elektrycznych znajdujących się w rozdzielnicy. Przedstawiono system pomiarowy zastosowany w eksperymencie. Omówiono składowe promieniowania podczerwonego docierającego do obiektywu kamery w przypadku, gdy okno transmisyjne było używane oraz w przypadku , gdy okno transmisyjne nie zostało zastosowane. Uzyskane wyniki transmitancji okien VPFR-75 FRK100-CL porównano z danymi pochodzącymi z literatury. I & _ # ]' # &

Krzysztof Dziarski, MSc Eng.

Arkadiusz Hulewicz, PhD Eng.

/ ' % ORCID: 0000-0002-7877-4116

' % ORCID: 0000-0001-9342-7430

+ - / < . < & E &# . H / = & P ' / / ' ' - *!(Q# & ' 'E ' / '# $ ' I ' & & & ' / ' & E ' T= & / E U P ' # &

+ & ' / 8 / < < & E & . H / = E & # $ ' *!!(# G / > & / < ' " & = & + ' E / K! $ P / & # E # $ E ' $ ' & &# E # ' & ' & &

•

N R 4 /2021

Pomiary Automatyka Robotyka, ISSN 1427-9126, R. 25, Nr 4/2021, 31–36, DOI: 10.14313/PAR_242/31

/ = & = > / < ' & Krzysztof Dziarski . H / = & # - / < . < & &# . +# F!EBF@ . H# . '

Arkadiusz Hulewicz . H / = & # - / < < & & ' - ' < # . +# F!EBF@ . H# . '

Abstract: The result of the works presented is the uncertainty budget of a thermographic temperature measurement taken through an IR window. The type B uncertainty determination method has been employed. Publication of European Accreditation EA-4/02 has been patterned. Conditions prevailing in course of the thermographic temperature measurement of low-voltage electric units contained in the switchgear were recreated as part of the works. The measurement system has been presented. Components of the infrared radiation reaching the camera lens in case when an IR window was used and when an IR window was not used have been discussed Uncertainties estimated for the measurement done with an IR window and without an IR window have been compared. 1 - 0 & - I $ '& # & # ' # & # - / ' ; ' # - / ' 6 '

1. Introduction It is possible to control the electric energy distribution in buildings by means of adequate electric devices. As the operating current flows through electric circuits of electric devices, their temperature increases. Temperature of electric devices may increase also as a result of the flow of overload and short-circuit currents through electric circuits. This happens in case of interferences [1, 2]. An excessive temperature increase may cause the electric devices to become damaged. When the electric circuit temperature exceeds the softening point, its structure changes irreversibly. In consequence, an excessively high temperature of an electric device current circuit may lead to its deformation and improper performance of the device [3]. Electric devices are connected by means of wires. In case of wires, one should make sure not to exceed the temperature above which their insulation gets deformed. It is a boundary temperature which depends on the material employed [4].

0 < I Y / G # / ' % 0 1 & - ' !F !K *!*( # ' ' *( (! *!*(

Knowing the temperature of electric devices and wires, one is able to answer the question: how much can one increase the operational current amperage not to cause damages? If a wrong method is selected, it may be hazardous to carry out such a measurement. Improper measurement of temperature of electric devices by means of a temperature contact sensor may result in an electrocution of the person performing the measurement [5]. This risk can be prevented by means of another method, e.g. thermography. This contactless method is widely used to measure the temperature of electric devices, which has been proved by standards DIN-541912009-03, V2851 and V2859. One should remember that these are foreign standards and they can be used only as part of the good measurement practice [6–8]. Despite essential advantages, thermography also has drawbacks. It is an imprecise method. Additionally, the measurement result depends on a number of factors. The most important factors determining the value of the thermographic temperature measurement include has been described in [9]. IR windows are frequently used in the course of thermographic temperature measurements of electric devices contained inside a switchgear. These are inspection holes which make it possible to take a measurement without having to open the switchgear. While using cameras operating within the LWIR (Long Wave Infrared) limit, windows made of CaF2 are frequently used [10]. Such window can increase the safety of the person performing the measurement when used. Unfortunately, the thermographic temperature measurement taken with the use of an IR window is underrated. The measurement uncertainty also increases [11]. When reviewing literary sources, the authors did not find works devoted to the thermographic temperature measurement uncertainty budget with the use of an IR window. Neither did

Uncertainty of Thermographic Temperature Measurement of Electric Units Contained in Switchgear The uncertainty can be determined by means of the Monte-Carlo method, type A method and type B method. Considering the small number of the completed measurements, it was decided to use the type B uncertainty determination. This method is based on the analysis of results obtained from the completed measurements, calibration certificates and literature analyses. The use of the method is associated with designing the uncertainty budget. In order to compare the uncertainty of the thermographic temperature measurement taken without an IR window and with an IR window, it is necessary to design two separate uncertainty budgets. For a case where an IR window effect on the thermographic temperature measurement result has not been taken into account and for a case where an IR window effect on the thermographic temperature measurement results has been taken into account. In both cases, the measurement equation will be different. In a case where an IR window effect on the thermographic temperature measurement result is not taken into account, IR radiation emitted by the radiator, IR radiation reflected from the radiator and IR radiation emitted by the air layer situated between the radiator and the camera lens reaches the camera lens. In this case, the measurement equation takes the form (1) [16].

they find information about the difference between the expanded uncertainty of the thermographic temperature measurement done with the use of an IR window and the expanded uncertainty of the thermographic temperature measurement done without an IR window. Therefore, research works were undertaken to determine the difference between the expanded uncertainty of the thermographic temperature measurement taken with the use of an IR window made of z CaF2 and the expanded uncertainty of the thermographic temperature measurement taken without an IR window.

L6 ! ' L6J6 ! The undertaken research works required a measurement system to be built. Its major part is an infrared radiator. It was designed so as to emit IR infrared radiation only in one direction. It was an aluminium block sized 21 cm × 21 cm coated with the Velvet Coating 811-21 paint with a known emissivity coefficient value e ranging from 0.970 to 0.975 for temperatures within the limit from –36 °C to 82 °C. The uncertainty with which the emissivity coefficient value was determined was 0.004 [12]. The control system employed made it possible to control the infrared radiator surface temperature. The radiator surface temperature was measured by means of the contact method During the measurements, the radiator surface temperature was changed within a limit from 37 °C to 70 °C. The accepted lower limit of the limit was the design ambient temperature according to PN-HD 60364-5-52, arbitrarily increased so as to significantly differ from the ambient temperature. The acceptable temperature of the wire conductor in a polyvinyl chloride (PVC) [13] insulation has been considered to be the upper limit. The radiator was placed inside a metal box sized 50 cm × 50 cm × 50 cm. A 7.5 cm diameter hole was cut out in the front wall of the box. The VPFR-75 IR window was placed in the cut-out hole. The Flir E50 thermographic camera (manufactured by Flir, Wilsonville, Oregon, USA) [14] was placed at a distance of d = 1 m away from the IR window. In the further course of the works, information about air humidity and temperature inside the box and outside the box was important. The temperature and humidity sensor was used for this purpose. The measurement system designed is presented in this article (Fig. 1).

Wtot1 = er ⋅ Wobj ⋅ ta + (1 – er) ⋅ Wreflr + (1 – ta) ⋅ Wa

(1)

where: er – radiator emissivity coefficient, Wreflr – radiation reflected from the radiator, ta – transmittance of the air layer between the radiator and the box, Wobj – radiation emitted by the radiator, Wa – radiation emitted by the air situated between the radiator and the camera lens, Wtot1 – total IR radiation reaching the IR camera lens where the IR window effect has not been taken into account. Distribution of IR radiation reaching the IR camera lens is presented in this article (Fig. 2) and has been described in [17].

Fig. 2. Components of IR radiation reaching the IR camera lens, in case where the IR window is not included Rys. 2. Składowe promieniowania IR docierającego do obiektywu kamery IR w przypadku, gdy nie uwzględniono okna IR

When the Stefan-Boltzmann law has been complied with and transformations have been performed, equation (1) takes the form (2):

Fig. 1. Designed measurement station Rys. 1. Skonstruowane stanowisko pomiarowe

ϑobj =

L6L6 ! (_ The uncertainty of measurement is a non-negative parameter, associated with the result of a measurement that characterizes the dispersion of the values that could reasonably be attributed to the measurand [15].

•

4 Wtot1 − (1 − εr ) ⋅ σ ⋅ ϑ refl ⋅ τ a − (1 − τ a ) ⋅ σ ⋅ ϑa4

εr ⋅ σ ⋅ τ a

(2)

s – Boltzmann constant equal to 5.67 cm × 10−8 W/(m2·K4) Value τa can be determined by means of equations 9 and 10.

•

N R 4 /2021

Krzysztof Dziarski, Arkadiusz Hulewicz In case when an effect of the IR window made of CaF2 is taken into account, additional factors should be taken into account [11]. In this case, the IR radiation reaching the camera lens is a total of the radiation emitted by the radiator, radiation reflected from the infrared radiator, radiation emitted by the layer of air situated between the radiator and the box, radiation emitted by the lens, radiation reflected from the lens and radiation emitted by the layer of air situated between the IR window and the camera lens. Distribution of IR radiation reaching the IR camera lens is presented in this article (Fig. 3) and has been described in literature [18].

where: reflr – temperature reflected from the radiator, reflw – temperature reflected from the IR window, obj – radiator temperature. Finally, one can transform equation (7) to obtain equation (8) which makes it possible to calculate the radiator temperature base don the total radiation reaching the camera lens.

ϑobj =

εr ⋅ σ ⋅ τ a2 ⋅ τ w

(8)

The value tw can be read from the manufacturer data and from the literary sources while the value ta can be determined by means of the formulas, which has been described in the literature [19, 20]. In this case, the value of d is smaller than 1.05 m. During the analysis of the literature, it was noticed that for this value of d, the value of ta obtain on the basis of various models is close to 1 [19]. Fig. 3. Components of IR radiation reaching the IR camera lens, in case where the IR window is included, in case where the IR window is not included Rys. 3. Składowe promieniowania IR docierającego do obiektywu kamery IR w przypadku, gdy uwzględniono okno IR

The total IR radiation reaching the camera lens Wtot is described in equation (3). Wtot2 = (1 – er) ⋅ Wreflr ⋅ ta1 ⋅ ta2 ⋅ tw + er ⋅ Wobj ⋅ ta1 ⋅ ta2 ⋅ tw + + (1 – ta1) ⋅ Wamb1 ⋅ ta2 ⋅ tw + (1 – tw) ⋅ Ww ⋅ ta2 + (1 – ta2) ⋅ ⋅ Wamb2 + (1 – ew) ⋅ Wreflw

(3)

where: t1 – transmittance of the air layer between the radiator and the box, t2 – transmittance of the air layer between the box and the thermographic camera lens, Wamb1 – radiation of the air layer between the radiator and the box, Ww – radiation emitted by the IR window, tw – IR window transmittance, Wamb2 – radiation of the air layer between the box and the thermographic camera lens, ew – emissivity coefficient of the IR window, Wreflw – radiation reflected from the IR window. In order to reduce the number of variables in equation (3), the following simplifications (4–6) have been adopted: ta1 = ta2 = ta

(4)

Wamb1 = Wamb2 = Wa

(5)

w = a

(6)

where: w – IR window temperature, a – ambient temperature. With equations (4–6) and the Stefan-Boltzmann law being taken into account, equation (3) takes the form of equation (7):

(7)

2.3. Type B Evaluation of Uncertainty After the measurement equation is determined, the limit of variables provided on the right-hand side of equations (2) and (8) should be determined. These are input quantities. Then, an estimate of each input quantity xi should be determined by means of formula (9) [15]. xi =

1 (a+ + a− ) 2

(9)

where a+ is the upper limit, a− is the lower limit. Then, equation (10) should be used to calculate standard uncertainty u(xi) of the input quantity [15]. u 2 (xi ) =

1 (a+ − a− )2 12

(10)

The next step is to determine the sensitivity coefficient. Coefficient c describes the effect of the changes in the value of input quantity estimate on the value of output quantity estimate. Coefficient c can be calculated as a constituent derivative of the measurement function in relation to the input quantity [15]. There is also another way to determine the coefficient c by means of numerical methods. For this purpose, one should calculate changes of the output quantity estimate caused by a change in the estimate xi of the input quantity by +u(xi) and −u(xi). The obtained difference in the output quantity estimate y should be divided by 2u(xi). Contribution of uncertainty of the input quantity ui(y) = u(xi)⋅c. The standard uncertainty of the output quantity u(y) is a square root of the sum of squares of uncertainty contributions (11) [21]. Quantities provided on the left-hand side of equation (8) should be understood as output quantities [22]. N

u 2 (y ) = ∑ ui2 (y ) i =1

(11)

Expanded uncertainty of the output quantity U(y) is a product of u(y) and the expansion coefficient k. Coverage factor is a number larger than one by which a combined standard measurement uncertainty is multiplied to obtain an expanded measurement uncertainty [15].

Uncertainty of Thermographic Temperature Measurement of Electric Units Contained in Switchgear Taking into account the complexity of (2) and (8), it is necessary to design the value of the uncertainty budget obj. This uncertainty budget should be designed taking into account the value a from the literature and on the bases of the (8) [23, 24].

Tab. 2. Limits of variables εr, εw , τw and τa determined based on literary sources Tab. 2. Zakresy zmiennych εr, εw, τw oraz τa wyznaczone na podstawie literatury No.

Symbol

Unit

Upper Limit

Lower Limit

–

0.96

0.97

M6J6 * ' " 8

–

0.62

0.25

–

0.5

0.4

–

0.6

At the beginning, uniformity of the distribution of temperatures on the IR radiator was checked. The difference between the highest and the lowest temperature registered on the surface of the radiator was found to be 1.8 °C [9]. Then, a box was put onto the radiator and the input value limit was determined for the radiator temperatures ranging from 37 °C to 70 °C. The temperature value was measured by means of the GM1365 Data Logger sensor. The reflected temperature was measured by putting wrinkled aluminium film alternately on the IR radiator and the IR window. During the reflected radiation measurement: preset d = 0 and preset er = 1. The input data limits determined based on the measurements and literature [19] have been put in table 1.

Tab. 3. Limits of variables Wtot1 and Wtot2 determined for all temperatures of the radiator Tab. 3. Zakresy zmiennych Wtot1 oraz Wtot2 wyznaczone dla wszystkich temperatur promiennika Upper Limit

Temperature of the IR radiator

No.

°C Tab. 1. Limits of the input data determined based on the IR radiator temperature measurements and literature within the limit from 37 °C to 70 °C Tab. 1. Zakresy zmiennych wejściowych wyznaczonych na podstawie pomiarów i literatury dla temperatur promiennika IR z zakresu 37–70 °C No.

Symbol

Unit

Upper Limit

37.7

40.2

Lower Limit

53.2

3 1

1.05

0.96

62.3

°C

27.1

26.9

°C

35.2

28.1

38.1

29.6

72.3

Lower Limit

Wtot1

Wtot2

Wtot1

Wtot2

W/m

0.11

0.09

0.14

0.12

0.13

0.12

0.44

0.27

0.44

0.22

0.83

0.46

0.82

0.37

1.50

0.80

1.50

0.64

M6L6 ! ' At the beginning, uncertainties for measurements in which no IR window was used were determined. The uncertainty budget for obj was designed. Estimates of input values xi were determined for the input values from equation (8) by means of formula (9). Then, equation (10) was used to determine values of standard uncertainties u(xi) of input quantities. Values c were determined numerically. The value u( ob) was determined by means of formula (11). A separate budget was made for every preset of the radiator. An exemplary uncertainty budget for obj = 53.2 °C is presented in table 4.

Limits er, ew, tw, ta were determined based on literary sources. Limits of these variables are presented in table 2. At the end, for both cases (measurement with an IR window and without an IR window), limits Wtot1 and Wtot2 were determined. It was possible after inserting variable limits from tables 1 and 2 into equations (2) and (8). Equations Wtot1 and Wtot2 have been determined for every temperature of the IR radiator. The determined results are presented in table 3.

Tab. 4. Uncertainty budget for ϑobj (measurement done while not using an IR window) ϑobj = 53.2 °C Tab. 4. Budżet niepewności dla ϑobj (pomiar bez użycia okna transmisyjnego) ϑobj = 53.2 °C

Symbol Xi

Estimate of quantity xi

Standard uncertainty u(xi)

Distribution of probability

Sensitivity coefficient ci

Contribution of uncertainty ui(y)

0.8 –

0.11 –

normal

–12.53

–1.39 °C

0.97 –

4.00 ⋅ 10-3 –

rectangular

–11.40

–0.05 °C

Wtot1

0.44 W/m

2.60 ⋅ 10-4 W/m

rectangular

30.21

7.85 ⋅ 10-3 °C

refl

33.85 °C

2.45 °C

rectangular

7.39 ⋅ 10-3

–0.02 °C

27 °C

0.06 °C

rectangular

1.73 ⋅ 10-3

1.00 ⋅ 10-4 °C

obj

53.2 °C

•

1.39 °C

•

N R 4 /2021

Krzysztof Dziarski, Arkadiusz Hulewicz Tab. 5. Uncertainty budget for ϑobj (measurement done while using an IR window) ϑobj = 53.2 °C Tab. 5. Budżet niepewności dla ϑobj (pomiar z użyciem okna transmisyjnego) ϑobj = 53.2 °C

Symbol Xi

Estimate of quantity xi

Standard uncertainty u(xi)

Distribution of probability

Sensitivity coefficient ci

Contribution of uncertainty ui(y)

0.8 –

0.11 –

normal

–25.18

–2.79 °C

0.97 –

4.00 ⋅ 10-3 –

rectangular

–11.36

–0.05 °C

0.45 –

0.03 –

rectangular

–27.63

–0.80 °C

Wtot2

0.24 W/m

0.01 W/m

rectangular

68.42

0.98 °C

refl

33.85 °C

2.45 °C

rectangular

–7.38 ⋅ 10-3

–0.02 °C

27 °C

0.06 °C

rectangular

–0.17

–0.01 °C

0.44 °C

0.1 °C

rectangular

3.88

0.42 °C

refw

31.65 °C

2.05 °C

rectangular

–0.28

–0.57 °C

obj

53.2 °C

3.15 °C

The value of the expended uncertainty U( obj) = 5.58 was obtained by multiplying the value u( obj) by k = 2. A similar method was followed to design an uncertainty budget for the results of a measurement performed while using an IR window. The difference consisted in taking into account additional variables in the uncertainty budget for obj, which was made based on equation (8). An exemplary uncertainty budget is presented in table 5. In this case also obj = 53.2 °C. Value U( obj) for k = 2 increased to 6.3 °C. Table 6 presents the obtained uncertainty values U( obj) for k = 2 for all temperatures of the radiator and both cases being analysed.

Tab. 6. Estimated uncertainties of thermographic temperature measurements taken with the use of an IR window and without it for all temperatures of the radiator Tab. 6. Oszacowane niepewności termowizyjnych pomiarów temperatury z użyciem okna transmisyjnego oraz bez dla wszystkich temperatur promiennika Expanded uncertainty Temperature of the IR radiator

Measurement without an IR window

Measurement with an IR window

°C

37.7

1.54

5.55

40.2

1.76

5.17

53.2

2.78

6.30

62.3

3.43

7.36

72.3

3.98

8.66

No.

P6 As a result of the undertaken research works, uncertainties of thermographic temperature measurement of an infrared radiator without the use of an IR window and with an IT window have been estimated. An attempt was made to recreate conditions prevailing in course of the thermographic

temperature measurements of electric devices contained in the switchgear. The use of an IR window causes the measurement result to be underrated and the uncertainty to significantly increase. Additionally, the uncertainty increases as the temperature of the element under observation increases. The number of factors to be taken into account while designing the uncertainty budget increases, too. Among the factors which have already been taken into account in case of a measurement without an IR window, the contribution of the ambient temperature and the total radiation reaching the thermographic camera lens. Contributions of the factor associated with the radiator emissivity coefficient and the radiation reflected from the radiator remain the same. Additionally, the contribution associated with the radiation reflected from the radiator is negligibly small.

1. Tian W., Leit C., Jia R., Winter R.M., Probability Based Worn Circuit Breaker Modeling and Risk Evaluation on Potential Power Grid Failures, “IEEE 7th Annual International Conference on CYBER Technology in Automation, Control, and Intelligent Systems (CYBER)”, 2017, DOI: 10.1109/CYBER.2017.8446423. 2. Książkiewicz A., Dombek G., Nowak K., Change in Electric Contact Resistance of Low-Voltage Relays Affected by Fault Current. “Materials”. Vol. 12, No. 13, 2019, DOI: 10.3390/ma12132166. 3. Balabozov I., Experimental Research with Microcontroller System for Defining of Joule Integral of Fuse, 10th Electrical Engineering Faculty Conference (BulEF), 2018, DOI: 10.1109/BULEF.2018.8646930. 4. Fangrat J., Kaczorek-Chrobak K., Papis B.K., Fire Behavior of Electrical Installations in Buildings. “Energies”, Vol. 13, No. 23, 2020, 6433. DOI: 10.3390/en13236433. 5. Wesołowski M., Chmielak W., A new sensor system for measuring environmental parameters of switchgear, Progress in Applied Electrical Engineering (PAEE), 2017, DOI: 10.1109/PAEE.2017.8009024. 6. [www.beuth.de/de/norm/din-54191/112450409] – DIN 54191:2009-03. 7. [www.beuth.de/de/technische-regel/vds-2851/337265955] – VdS 2851:2021-02.

Uncertainty of Thermographic Temperature Measurement of Electric Units Contained in Switchgear 8. [https://infostore.saiglobal.com/en-us/Standards/VDS-28592011-1117853_SAIG_VDS_VDS_2595666] – VdS 2859:2011. 9. Dziarski K., Hulewicz A., Determination of transmittance of IR windows made of CaF2 within operational temperatures of electric devide, “Pomiary Automatyka Robotyka”, R. 25, Nr 4, 2021, 25–30, DOI: 10.14313/PAR_242/25. 10. Madding R.P., IR Window Transmittance Temperature Dependence, [www.exiscan.com/images/files/TechNotes/Madding-IR_ window_Transmittance_Temperature_Dependance.pdf] 11. Holliday T., Kay J.A., Understanding infrared windows and their effects on infrared readings, Conference Record of 2013 Annual IEEE Pulp and Paper Industry Technical Conference (PPIC), 2013, 26–33, DOI: 10.1109/PPIC.2013.6656039. 12. Kawor E.T., Mattei S., Emissivity measurements for nexel velvet coating 811-21 between – 36 °C and 82 °C, 15 ECTP Proceedings, 1999, DOI: 10.1068/htwu385. 13. PN-HD 60364-5-52:2011 – Instalacje elektryczne niskiego napięcia – Część 5-52: Dobór i montaż wyposażenia elektrycznego – Oprzewodowanie. 14. [www.thermokameras.com/Verkauf/Flir%20e-Serie/Datenblatt%20FLIR%20E50%20engl.pdf] – Technical Data FLIR E50. 15. European Co-Operation for Accreditation. [www.european-accreditation.org]. 16. Tran Q.H., Han D., Kang C., Haldar A., Huh J., Effects of Ambient Temperature and Relative Humidity on Subsurface Defect Detection in Concrete Structures by Active Thermal Imaging. “Sensors”, Vol. 17, No. 8, 2017, DOI: 10.3390/s17081718.

17. Minkina W., Pomiary termowizyjne – przyrządy i metody, Wydawnictwo Politechniki Częstochowskiej, Częstochowa 2004. 18. Minkina W., Dudzik S., Infrared Thermography Errors and Uncertainties; John Wiley & Sons, Ltd.: Chichester, UK, 2009. 19. Minkina W., Klecha D., Atmospheric transmission coefficient modelling in the infrared for thermovision measurement, “Journal of Sensors and Sensor System”, Vol. 5, 2016, 17-23, DOI: 10.5194/jsss-5-17-2016. 20. Więcek B., de Mey G., Termowizja w podczerwieni. Podstawy i zastosowania, Wydawnictwo PAK, Warszawa 2011. 21. Morello R., GUM-Based Decisional Criteria to Make Decisions in Presence of Measurement Uncertainty. “IEEE Transactions on Instrumentation and Measurement”, Vol. 69, No. 8, 2020, 5511–5522. 22. JCGM 100 – Evaluation of measurement data – Guide to the expression of uncertainty measurement [www.bipm.org/documents/20126/2071204/JCGM_100_2008_E.pdf/cb0ef43fbaa5-11cf-3f85-4dcd86f77bd6] 23. Ohlsson K.E.A., Olofsson T., Quantitative infrared thermography imaging of the density of heat flow rate through a building element surface. “Applied Energy”, Vol. 134, 2014, 499-505, DOI: 10.1016/j.apenergy.2014.08.058. 24. Kuwałek P., Otomański P., Wandachowicz K., Influence of the Phenomenon of Spectrum Leakage on the Evaluation Process of Metrological Properties of Power Quality Analyser. “Energies”, Vol. 13, No. 20, 2020, DOI: 10.3390/en13205338.

? a & ]' H ' Streszczenie: Rezultatem zaprezentowanych prac jest budżet niepewności termowizyjnego pomiaru temperatury wykonanego przez okno podczerwieni. Wykorzystana została metoda wyznaczenia niepewności typu B. Wzorowano się na publikacji European Accreditation EA-4/02. W ramach przeprowadzonych prac odtworzono warunki panujące w trakcie termowizyjnych pomiarów urządzeń elektrycznych umieszczonych w rozdzielnicy. Zaprezentowano wykorzystany układ pomiarowy. Omówione zostały składowe promieniowania podczerwonego w trakcie termowizyjnego pomiaru temperatury w przypadku użycia okna inspekcyjnego oraz bez użycia okna inspekcyjnego. Porównano oszacowaną niepewność pomiaru wykonanego z oknem inspekcyjnym oraz pomiaru wykonanego bez okna inspekcyjnego. I $ '` # & _ # ]' # # '

Krzysztof Dziarski, MSc Eng.

Arkadiusz Hulewicz, PhD Eng.

/ ' % ORCID: 0000-0002-7877-4116

' % ORCID: 0000-0001-9342-7430

+ - / < . < & E &# . H / = & P ' / / ' ' - *!(Q# & ' 'E ' / '# $ ' I ' & & & ' / ' & E ' T= & / E U P ' # &

+ & ' / 8 / < < & E & . H / = E & # $ ' *!!(# G / > & / < ' " & = & + ' E / K! $ P / & # E # $ E ' $ ' & &# E # ' & ' & &

•

N R 4 /2021

Pomiary Automatyka Robotyka, ISSN 1427-9126, R. 25, Nr 4/2021, 37–44, DOI: 10.14313/PAR_242/37

' & $ & & " #$ . ; # - + - / # ? (@A(B# !!EFF@ ;

% Praca prezentuje przykład systemu sterowania robota usługowego. Opisano zastosowane narzędzia i otwarte oprogramowanie. Przedstawiono system sterowania poczynając od struktury sprzętu przez specyfikację, aż do implementacji. Opis na poziomie ogólnym pozwala spojrzeć całościowo na problem tworzenia takich systemów, a jednocześnie podkreślono szczegółowe kwestie, które są istotne. Poruszono także kwestie związane z symulacją. Opisany system sterowania robota WUT Velma znalazł zastosowanie w licznych badaniach naukowych. 1 - 0 & - I # $ ' # $ & # _ # &

J6 , - &

L6J6 ! 0

rodzaje agentów, które komunikują się ze sobą za pomocą międzyagentowych buforów komunikacyjnych. Niektóre agenty mogą być wyposażone w efektory i receptory, stanowiąc tzw. agenty upostaciowione. To ten rodzaj agentów jest z reguły używany do opisywania robotów. W ramach agenta można wyróżnić jego podsystemy: podsystem sterowania, który występuje we wszystkich rodzajach agentów, a także podsystemy związane z efektorami i receptorami. Struktura wewnętrzna agenta i jego podsystemów podlega ograniczeniom, dzięki czemu możliwe jest opisanie w systematyczny sposób różnorodnych systemów robotycznych [18, 19, 23, 2, 3]. Metoda specyfikacji agentowej pozwala na precyzyjne opisanie zachowań poszczególnych agentów i ich podsystemów, a także na opisanie struktury całego systemu. Metoda specyfikacji doczekała się także wariantu opartego na SysML [22]. Podsystemy agenta realizują pewne zachowania, z których każde jest opisane za pomocą tzw. funkcji przejścia. Funkcja przejścia określa, w każdej iteracji, zawartość buforów wyjściowych i pamięci wewnętrznej na podstawie danych w buforach wejściowych i danych w pamięci wewnętrznej z poprzedniej iteracji. Dla każdego zachowania określony jest warunek końcowy i błędu, zaś sposób przełączania zachowań jest określony za pomocą automatu skończonego. Z każdym stanem automatu związane jest jedno zachowanie, a także określone są warunki przejść do kolejnych stanów. Powyższe założenia, przyjęte dla struktury i zachowania agenta i jego podsystemów, są zarazem proste i pozwalają na specyfikowanie złożonych systemów.

Metoda specyfikacji, opisana m.in. w [5], jest dedykowana dla systemów, w których występują roboty. Wyróżnia się różne

2.2. ROS

Stworzenie systemu sterowania dla robota usługowego jest zadaniem trudnym. Chociaż na rynku dostępne są liczne gotowe platformy robotyczne, to nie zawsze można znaleźć właściwą do prowadzenia innowacyjnych badań. Skompletowanie i złożenie podzespołów sprzętowych nie jest wystarczające do rozpoczęcia wartościowych prac badawczych. Na tym etapie, przed twórcami systemu sterowania jest jeszcze długa droga. Należy m.in. stworzyć specyfikację systemu oraz określić, jaką będzie mieć strukturę i jakie zachowania będzie realizował. Jeszcze przed rozpoczęciem implementacji należy wybrać właściwe narzędzia, biblioteki i struktury ramowe. Wybór ten jest szczególnie trudny, gdy brakuje przykładów, na których można się wzorować. Wychodząc naprzeciw powyższym problemom, w artykule prezentowany jest przykład systemu sterowania robota dwuręcznego, opisany na poziomie dość ogólnym, ale z wyszczególnieniem kwestii szczególnie istotnych. Przedstawiono wykorzystane narzędzia, a także strukturę sprzętową oraz strukturę systemu na poziomie specyfikacji. Artykuł przedstawia obraz złożoności takiego systemu i podsumowuje, jakie elementy taki system powinien zawierać.

L6 4 - 0 -

' -

0 < I G ' ' H # ' ' ' % ' 0 1 & - ' *! !B *!*( # ' ' *@ (( *!*(

ROS (ang. Robot Operating System) [9] jest strukturą ramową przeznaczoną do tworzenia oprogramowania związanego z robotyką. ROS jest zbiorem narzędzi, bibliotek i koncepcji, których celem jest ułatwienie tworzenia złożonych systemów dla różnorodnych platform robotycznych. Jednym z założeń ROS jest zachęcenie do prowadzenia wspólnych badań przez ekspertów w różnych dziedzinach robotyki przez umożliwienie wymiany opracowanych rozwiązań. Powyższy cel został osiągnięty – ROS znalazł wiele zastosowań i jest używany w wielu projektach. Obecnie dostępny jest już ROS 2 [7], który stanowi kolejną

< [ $ / $ $ generację ROS. Niemniej, w niniejszej pracy, skoncentrowano się wyłącznie na pierwszej wersji ROS. Głównym elementem budulcowym systemów opartych na ROS są tzw. węzły (ang. nodes). Węzły są procesami w systemie operacyjnym, które mogą komunikować się ze sobą przez przesyłanie wiadomości i zdalne wywołania procedur (tzw. serwisy). W ROS występują także tzw. akcje, które są podobne do zdalnego wywołania procedury, ale pozwalają na nadzorowanie, przez węzeł wywołujący, stanu wykonywanej procedury, a także na przerwanie jej w dowolnym momencie. Węzły mogą być rozproszone na wielu maszynach, a niskopoziomowa komunikacja między nimi jest realizowana na różne sposoby, w zależności od sytuacji, np. TCP, UDP, komunikacja międzyprocesowa (IPC). Z poziomu węzłów widoczne są tylko sposoby komunikacji dostępne w ROS. Dlatego ROS jest określany także jako middleware. W ramach ROS znajdziemy także biblioteki i narzędzia związane z robotyką, oraz definicje struktur danych dla komunikatów powszechnie używanych w systemach sterowania robotami. Wśród bibliotek i narzędzi wyróżnić można: obliczanie prostej kinematyki (biblioteka tf), biblioteki do nawigacji, lokalizacji, budowania mapy środowiska, narzędzia diagnostyczne oraz narzędzia do wizualizacji (biblioteka rqt, program rviz). W ROS zdefiniowane są także języki i formaty danych, m.in.: − Unified Robot Description Format, URDF – dialekt xml do opisu kinematyki i geometrii robota, − Semantic Robot Description Format, SRDF – dialekt xml pozwalający na wyróżnienie w kinematyce robota takich elementów, jak ramiona, chwytaki, łańcuchy kinematyczne oraz relacje miedzy nimi, − ROS message – język pozwalający na definiowanie złożonych typów danych, które są przesyłane między węzłami w postaci wiadomości i zdalnych wywołań procedur.

malnej specyfikacji, która oferuje prosty i skuteczny zestaw ograniczeń, dzięki którym nawet bardzo złożone systemy mają przejrzystą strukturę.

2.4. FABRIC

ROS jest zintegrowany z popularnymi bibliotekami i narzędziami, m.in. z symulatorem Gazebo, biblioteką do przetwarzania obrazów OpenCV, biblioteką do przetwarzania chmur punktów Point Cloud Library (PCL), oraz ze strukturą ramową do planowania ruchu robotów MoveIt, która korzysta m.in. z bibliotek do planowania ruchu Open Motion Planning Library (OMPL) i Search-Based Planning Library (SBPL). Oprócz dużej liczby bibliotek i narzędzi, ROS to także ogromna liczba dostępnych węzłów tworzonych przez ogólnoświatową społeczność specjalistów w różnych dziedzinach robotyki. Międzyprocesowe mechanizmy komunikacji w ROS nie są odpowiednie do tworzenia systemów czasu rzeczywistego, gdyż nie zapewniają spełnienia ograniczeń dotyczących opóźnień.

FABRIC [13] to struktura ramowa, która integruje formalną metodę specyfikacji opisaną w rozdziale 2.1 z implementacją w ROS i Orocos. FABRIC umożliwia m.in. wygenerowanie kodów źródłowych dla podsystemów wyspecyfikowanych za pomocą dialektu języka xml opartego na metodzie formalnej specyfikacji. W ten sposób tworzone są m.in. funkcje przejścia zbudowane z komponentów Orocos połączonych w sposób określony w specyfikacji. W tymże języku zapisane są też zachowania poszczególnych podsystemów, a także automaty skończone, które nadzorują wykonywanie określonych zachowań oraz przełączają je, uwzględniając ich warunki początkowe, końcowe i błędu. FABRIC zapewnia mechanizmy komunikacji międzyprocesowej, gdyż każdy podsystem jest realizowany jako oddzielny proces. Struktury danych przesyłanych między podsystemami są specyfikowane zgodnie z formatem ROS message. Dodatkowo w ramach FABRIC istnieją narzędzia i mechanizmy introspekcji pracy podsystemów, dzięki czemu można np. śledzić bieżący stan podsystemu, bez konieczności ręcznego tworzenia dedykowanych do tego kanałów komunikacyjnych [20]. Podsystemy wygenerowane półautomatycznie za pomocą FABRIC są w pełni kompatybilne z ROS. Korzystają one z serwera parametrów ROS, m.in. w celu konfiguracji komponentów Orocos, a także możliwe jest przesyłanie danych w obu kierunkach, między ROS i podsystemami opracowanymi w FABRIC, za pomocą wiadomości, serwisów i akcji ROS. Szczególny nacisk w FABRIC jest położony na możliwość implementacji systemu czasu rzeczywistego RT (ang. real-time), przy zastosowaniu odpowiedniego systemu operacyjnego i przy właściwej implementacji komponentów Orocos (m.in. wymagany jest brak dynamicznej alokacji pamięci w kodzie RT). Wszystkie wewnętrzne mechanizmy komunikacji zapewniają spełnienie ograniczeń RT, zaś integracja z ROS jest wykonana w taki sposób, aby nie zaburzyć części RT systemu sterowania. W fazie tworzenia i rozwijania sterownika robota, a także podczas prowadzenia badań, niezbędne są narzędzia pozwalające na wgląd w stan wewnętrzny sterownika, logowanie błędów oraz zapisywanie dużych ilości danych z buforów komunikacyjnych i pamięci wewnętrznej. FABRIC udostępnia powyższe narzędzia do introspekcji podsystemów, bez naruszania ograniczeń RT, dzięki czemu możliwe jest prowadzenie badań na działającym robocie, bez zaburzania jego pracy.

L6M6 %

L6Q6 7 &

Orocos [15] jest zestawem narzędzi i bibliotek, które stanowią strukturę ramową dedykowaną systemom sterowania robotami. Podstawowymi elementami systemów opartych na Orocos są komponenty, z których każdy realizuje proste obliczenia. Komponent Orocos jest klasą C++, ze ściśle określonym interfejsem. Załadowany komponent (instancja klasy) może być konfigurowany, uruchamiany i zatrzymywany według potrzeb, a także może komunikować się z innymi komponentami m.in. za pomocą tzw. portów. Orocos został stworzony z myślą o systemach czasu rzeczywistego i zawiera mechanizmy pozwalające na tworzenie systemów, w których możliwe jest zachowanie ograniczeń typowych dla takich systemów. Komponenty Orocos stanowią podstawowe elementy, z których można zbudować złożony system sterowania. Struktura takiego systemu może być dowolna, co może wiązać się z nadmiarowym, niepotrzebnym wzrostem złożoności podczas jego projektowania i implementacji. Istnieje zatem potrzeba dostosowania dowolności łączenia komponentów do metody for-

Gazebo [4] jest powszechnie stosowanym symulatorem oddziaływań fizycznych. Jest dobrze zintegrowany z ROS, dzięki czemu znalazł zastosowanie w robotyce. Gazebo integruje wiele elementów związanych z symulacją systemów robotycznych, m.in.: − obliczanie oddziaływań fizycznym w symulowanym świecie za pomocą jednej z dostępnych bibliotek (do wyboru: ODE, DART, Bullet, SimBody), − wizualizacja symulowanego świata w graficznym interfejsie użytkownika, który dodatkowo pozwala na wprowadzanie zmian oraz wywieranie sił na przedmioty, − reprezentacja świata oraz jego stanu w formacie SDF (ang. Simulation Description Format), − integracja z ROS, w tym możliwość konwersji modeli w formacie URDF do formatu SDF, − możliwość tworzenia wtyczek rozszerzających funkcjonalność oraz pozwalających na dodawanie nowych modeli czujników i robotów,

•

N R 4 /2021

! − otwarty kod źródłowy z licencją Apache 2.0, która dopuszcza użycie kodu źródłowego zarówno na potrzeby wolnego, jak i własnościowego oprogramowania, − duża popularność w środowisku robotyków, a zatem mnogość dostępnych przykładów zastosowania, wraz z kodami źródłowymi i modelami robotów. Istotną kwestią jest wybór biblioteki obliczającej oddziaływania fizyczne. W przypadku prostych robotów i prostych scenariuszy ich użycia, pierwszym wyborem jest ODE (ang. Open Dynamics Engine) [14], ze względu na dobrą integrację z Gazebo. Jednak w przypadku długich łańcuchów kinematycznych i złożonych zadań, lepszym wyborem jest biblioteka DART (ang. Dynamic Animation and Robotics Toolkit) [6]. DART wyróżnia się dokładnością i stabilnością na tle innych bibliotek obliczających oddziaływania fizyczne, dzięki zastosowaniu współrzędnych uogólnionych do reprezentacji układów ciał sztywnych z więzami oraz dzięki zastosowaniu algorytmu Featherstone’a [6]. Z kolei w przypadku ODE, oddziaływania fizyczne są obliczane we współrzędnych kartezjańskich, a spełnienie ograniczeń wynikających z więzów polega na dodaniu wirtualnych impulsów, dzięki którym więzy są zachowane z określoną dokładnością. W przypadku symulowania robotów manipulacyjnych właściwe jest zastosowanie biblioteki DART, gdyż użycie ODE może powodować duże problemy ze stabilnością symulacji. Kolejną istotną kwestią jest wybranie właściwej biblioteki obliczającej kolizje między obiektami w środowisku. Pierwszym wyborem jest biblioteka FCL (ang. Flexible Collision Library) [8], m.in. ze względu na możliwość reprezentacji obiektów za pomocą siatek trójkątów. Pozwala to na wykorzystanie w symulacji obiektów o dowolnym kształcie. O ile wybór ten dobrze współgra z biblioteką ODE, to w przypadku DART pojawiają się problemy ze wzajemnym przenikaniem się obiektów podczas kolizji. Prowadzi to do niepożądanych efektów, m.in. w postaci „przyklejania się” chwyconych przedmiotów do chwytaka, a także do upuszczania chwyconych obiektów, nawet jeśli wykonany chwyt jest stabilny. Z tego powodu warto wybrać metody obliczania kolizji z biblioteki DART, gdyż są one lepiej zintegrowane z funkcjami obliczającymi oddziaływania fizyczne w DART, co przejawia się znacznie bardziej stabilną symulacją: obiekty będące w kolizji nie przenikają się i nie przyklejają się do siebie, a wykonane chwyty są stabilne. Jedyną wadą stosowania DART do obliczania kolizji jest ograniczenie rodzajów brył, z których jest zbudowany robot i obiekty w środowisku, do sfer i prostopadłościanów.

M6 % - M6J6 &/ W prezentowanym systemie działa jeden robot usługowy WUT Velma1, który składa się z dwóch ramion wyposażonych w chwytaki, umieszczonych na obrotowej kolumnie, a także z głowy z kamerami umieszczonej na szyi o dwóch stopniach swobody (rys. 1). Ramiona stanowią manipulatory KUKA LWR 4+. Dwa chwytaki BarrettHand różnią się nieco zamontowanym wyposażeniem. Na prawym chwytaku jest sztuczna skóra, czyli matryca czujników ciśnienia, rozmieszczona na wewnętrznej części dłoni oraz na końcach palców, zaś na lewym chwytaku, na koniuszkach palców zamontowano czujniki siły Optoforce, które mierzą kierunek i wartość działającej na nie siły. Na połączeniu końcówek manipulatorów i chwytaków znajdują się 6-osiowe czujniki F/T (skrętnika sił)

(

SAA $ ' A $ A

Rys. 1. Robot WUT Velma Fig. 1. WUT Velma robot

– ATI Mini45 z interfejsem EtherCAT. Obrotowa kolumna, na której są zamontowane ramiona i szyja została zaadoptowana z pierwszego stopnia swobody robota Irp-6. Szyja pozwala na obracanie głowy na boki oraz w kierunkach góra-dół, dzięki zastosowaniu dwóch silników z przekładniami harmonicznymi. Głowa jest wyposażona w kamerę RGB-D (Kinect) oraz w stereoparę kamer RGB. Liczne urządzenia stanowiące rzeczywiste efektory i receptory robota są podłączone do komputera sterującego (host) za pomocą kilku rodzajów interfejsów (rys. 2). Ramiona podłączono za pośrednictwem oryginalnych komputerów sterujących KRC z host za pomocą FRI (ang. Fast Research Interface, KUKA). Większość pozostałych urządzeń, m.in. sterowniki silników kolumny i szyi, czujniki F/T i chwytaki podłączono do host za pomocą magistrali EtherCAT. Dodatkowo w przypadku chwytaków BarrettHand, które obsługują tylko komunikację za pomocą magistrali CAN, konieczne było zastosowanie przejściówki CoE (ang. CAN over EtherCAT).

M6L6 - g 0 System sterowania ma strukturę zależna od zastosowania. W zależności od scenariusza, w systemie można wyróżnić agenty planujące, agenty bazy wiedzy, agenty realizujące oraz nadzorujące wykonanie zadań. Niemniej wyróżnić można zbiór agentów, które są niezależne od realizowanego scenariusza i zadania. Z punktu widzenia niniejszej pracy, najbardziej interesujący jest agent upostaciowiony aex, który nadzoruje pracę sprzętu (robota WUT Velma) oraz udostępnia pozostałym agentom informacje o bieżącym stanie robota, obserwacje pozyskane z czujników oraz wygodny interfejs do zlecania i nadzorowania poleceń (rys. 3). Drugim ważnym agentem jest agent atask realizujący pewne zadanie według zleconego mu

< [ $ / $ $ ' .7 * ) )#

* 9 -: # ;

*'% % ) ()* * * #

*'% % ) ' ()* * * #

( * 5 36# ' ,) $) .7 * #

' ( * 5 36#

' , '% % * #

() $% 2 3!4 # $% ) ()* () % 1' #

*'% % )4 8 #

' () $% 2 3!4 #

' () () + , +-./0#

() () + , +-./0#

!"#

$ % $ & ' ()* () % + ,#

Rys. 2. Schemat sprzętu robota WUT Velma Fig. 2. Hardware configuration of WUT Velma robot

planu. Określenie pozostałych agentów w systemie jest zależne od scenariusza, który ma być realizowany przez system. Agent aex składa się z podsystemu sterowania cex, wirtualnego efektora eex,body, wirtualnego receptora rex,cam, a także z rzeczywistych efektorów i receptorów. Należy tutaj podkreślić, że robot może być uruchomiony w świecie symulowanym lub w świecie rzeczywistym. W pierwszym przypadku sprzęt opisany w rozdziale 3.1 nie musi być uruchomiony, ani nawet nie musi być dostępny. System w symulacji można uruchomić na dowolnym komputerze z systemem Linux (nie musi być RT). Natomiast w drugim przypadku, uruchomienie robota w świecie rzeczywistym wymaga, aby sprzęt oraz komputer host, z systemem czasu rzeczywistego, były dostępne. Rzeczywiste efektory agenta aex to: − Eex,armL – lewe ramię, − Eex,armR – prawe ramię, − Eex,ec – pozostałe urządzenia na magistrali EtherCAT.

realizacji zadania. W sterowniku hierarchicznym brane są pod uwagę m.in. ograniczenia ruchu w przestrzeni złącz [16], ograniczenia związane z wewnętrznymi kolizjami między członami robota [1], a także sterowanie impedancyjne w dwóch wariantach [17]. W przypadku sterowania impedancyjnego, moment obliczany jest zgodnie z prawem sterowania impedancyjnego, zatem z dokładnością do komponentu tłumienia, zadana siła jest proporcjonalna do współczynnika sztywności i do odchylenia sterowanego obiektu od punktu równowagi. Zadawanie ruchu polega na zadawaniu położenia punktu równowagi. Szczegółowy opis sterowania impedancyjnego dla robota WUT Velma można znaleźć m.in. w [17]. Dwa warianty sterowania impedancyjnego realizowane są przez dwa zachowania cex: c − – sterowanie impedancyjne w przestrzeni operaex,CartImp cyjnej, które pozwala na zadawanie ruchów obu końcówek, wyrażonych w przestrzeni kartezjańskiej. Parametrami polecenia ruchu w tym przypadku są sztywność i tłumienie, które także wyrażone są w przestrzeni kartezjańskiej, c − – sterowanie impedancyjne w przestrzeni konfiguex,JntImp racyjnej, które pozwala na zadawanie ruchu w przestrzeni konfiguracyjnej, a zatem można zadać położenie i prędkość dla każdego złącza. W tym przypadku, również sztywność i tłumienie wyrażone są w przestrzeni złącz.

Rzeczywiste receptory to Kinect Rex,kinect i stereopara Rex,stereo. Podsystemy agenta aex realizują pętlę sterowania o częstotliwości 500 Hz. W każdej iteracji w cex obliczane jest nowe sterowanie na podstawie bieżącego stanu efektorów oraz wykonywanego w danej chwili polecenia. Złącza ramion oraz złącze obrotowe korpusu sterowane są metodą obliczanego momentu. W przypadku ramion KUKA LWR zadany przez cex moment jest osiągany dzięki sprzętowemu sterownikowi KUKA, który korzysta z czujników momentów w złączach ramion. W przypadku złącza korpusu, które nie jest wyposażone w czujnik momentu, zadany moment jest przeliczany na prąd, a następnie jest wysyłany do sterownika sprzętowego realizującego regulator prądowy. Przekazanie obliczonych momentów następuje za pośrednictwem podsystemów eex,body, a następnie Eex,ec, Eex,armL i Eex,armR. Z kolei dwa złącza szyi oraz złącza chwytaka sterowne są pozycyjnie, za pośrednictwem sterowników sprzętowych. W tym przypadku cex oblicza pozycję zgodnie z zadaną trajektorią i przekazuje je do eex,body, następnie polecenie przekazywane jest dalej do Eex,ec. Obliczanie zadanego momentu w cex jest procesem złożonym i wieloetapowym. Zostało to szczegółowo opisane w [11]. Zadany moment obliczany jest przez wielopoziomowy, hierarchiczny sterownik, w którym momenty wyliczone na niższym poziomie są rzutowane na przestrzeń zerową wyznaczoną przez sterowniki na wyższym poziomie [10]. Takie podejście pozwala na jednoczesne uwzględnienie wielorakich ograniczeń podczas

•

Zachowanie c ex,CartImp jest wykorzystywane do wykonywania niewielkich, precyzyjnych ruchów prowadzących do kontaktu ze środowiskiem, np. chwytanie, otwieranie drzwi, śledzenie konturu, zmywanie. Zachowanie c ex,JntImp jest wykorzystywane do wykonywania obszernych ruchów, które w znaczny sposób zmieniają konfigurację robota, np. ustawienie ręki przed obiektem, który zostanie chwycony, przygotowanie postury do realizacji zadania otwierania drzwi. Podstawowe zachowanie e ex,body, oznaczone symbolem c , przekazuje polecenia otrzymane od cex do rzeex,body,transp czywistych efektorów. W przypadku otrzymania błędnego polecenia, np. zbyt duży zadany moment, eex,body zaczyna realizować zachowanie c ex,body,safe, w którym przejmuje pełną kontrolę nad rzeczywistymi efektorami i przez pewien określony czas ignoruje polecenia od cex. Aby powrócić do normalnej pracy, tj. do wykonywania przez eex,body zachowania c , podsystem sterowania cex musi wysyłać poprawne ex,body,transp sterowanie oraz wysłać polecenie wyjścia eex,body z zachowania c ex,body,safe. Dzięki temu można zapobiec sytuacji, w której A

•

N R 4 /2021

Rys. 3. Ogólna struktura systemu sterowania dla robota WUT Velma Fig. 3. Generic structure of the control system for WUT Velma robot

w wyniku błędu w cex następuje wygenerowanie niepoprawnego sterowania, mogącego prowadzić do zniszczenia robota lub jego otoczenia. Jest to szczególnie ważne podczas tworzenia implementacji, a także podczas wprowadzania zmian w sterowniku. Podsystem sterowania cex realizuje bardzo złożone zachowania i nie zawsze jest możliwe wychwycenie wszystkich błędów. Agent atask realizuje zadanie wg określonego planu, tj. przekształca plan na polecenia zrozumiałe dla aex oraz nadzoruje rezultaty działań wykonywanych przez aex. W obszarze na rys. 3 oznaczonym jako „pozostałe agenty” mogą znajdować się, w zależności od potrzeb realizowanego scenariusza, np. agent bazy wiedzy, agenty planujące, agent nadzorujący wykonywanie zadań, agent stanowiący interfejs z człowiekiem, agenty przetwarzające dane wizyjne w zaawansowany sposób.

M6M6 - g Implementacja systemu sterowania jest wielopoziomowa. W przypadku agenta a ex, jego specyfikacja jest zapisana w formacie właściwym dla FABRIC. Na najniższym poziomie zastosowano komponenty Orocos, które stanowią fragmenty funkcji przejścia dla zachowań. Na wyższym poziomie implementacja jest wykonana w FABRIC przez automatyczną generację kodu na podstawie specyfikacji. Parametry takie jak model kinematyczny robota w formacie URDF, ograniczenia dla ruchu (maksymalne położenia w przestrzeni złącz, maksymalne dopuszczalne momenty) są wczytywane podczas uruchamiania systemu za pośrednictwem serwera parametrów ROS. W przypadku, kiedy system sterowania steruje rzeczywistym robotem, konieczne jest spełnienie ograniczeń dotyczących częstotliwości pracy i opóźnień. Polecenia obliczane przez cex muszą być wysłane w określonym czasie do Eex,ec, Eex,armL i Eex,armR, aby sterowniki sprzętowe otrzymały najnowsze dane na czas. Podsystemy agenta aex realizują pętlę sterowania 500 Hz i działają one w ramach systemu czasu rzeczywistego. Integracja z ROS, który nie zapewnia spełnienia ograniczeń RT, jest wykonana przez FABIC. Dzięki temu możliwe jest połączenie systemu czasu rzeczywistego, w którym działa pętla sterowania, z pozostałą częścią systemu, nie RT, zaimplementowaną w ROS. Z kolei, w przypadku systemu sterowania działającego w symulowanym świecie, spełnienie ograniczeń RT nie jest wymagane, gdyż system sterowania jest zsynchronizowany z symulatorem. Na jeden krok symulatora przypada jeden

krok pętli sterowania, zatem kolejny krok symulatora jest uruchamiany po otrzymaniu nowych danych z systemu sterowania, a iteracja systemu sterowania zostaje uruchomiona po zakończeniu kroku symulatora. W tym przypadku wszystkie rzeczywiste efektory Eex,ec, Eex,armL i Eex,armR i rzeczywiste receptory Rex,kinect i Rex,stereo są zaimplementowane jako wtyczki do Gazebo. Należy podkreślić, że wszystkie pozostałe podsystemy agenta aex, tj. podsystem sterowania i wirtualne efektory i receptor oraz wszystkie inne agenty są identyczne w przypadku systemu działającego w świecie rzeczywistym i systemu działającego w symulacji. Agent aex udostępnia swoje bufory komunikacyjne w formie interfejsu akcji ROS. Agent atask może wysyłać polecenia ruchu dla ramion i korpusu w jednym z dwóch dostępnych zachowań c ex,CartImp i c ex,JntImp, a także w obu tych zachowaniach możliwe jest wykonywanie zadanej trajektorii dla szyi i dla chwytaków. Stan robota jest cyklicznie przesyłany od aex do atask w formie wiadomości (ROS topic). Symulowany świat można zobrazować za pomocą programu Gazebo Client (rys. 4). Stan robota można wizualizować za pomocą programu ROS rviz (rys. 5), który pozwala też na wyświetlenie różnorodnych danych diagnostycznych (np. model kolizji wewnętrznych w prawie sterowania –

Rys. 4. Widok na symulowany świat w programie Gazebo Client Fig. 4. A view at the simulated world in Gazebo Client

< [ $ / $ $ na rys. 6) oraz obserwacji jakie czyni robot (np. mapa zajętości na rys. 5).

sterowania, jak i planowanie geometryczne, w tym planowanie chwytu oraz wykonywanie złożonych zadań wymagających ciągłej interakcji robota ze środowiskiem.

P6J6 4 - Na systemie sterowania o strukturze jak na rys. 3, przeprowadzono liczne badania, udokumentowane w postaci artykułów naukowych. W pracy [17] zbadano wpływ początkowej konfiguracji manipulatora na sukces wykonania zadania chwytania z wykorzystaniem, w końcowej fazie ruchu zachowania c ex,CartImp. Dla pewnej stałej określonej pozycji chwytaka, ale przy różnych początkowych konfiguracjach manipulatora, zadanie dojścia do obiektu i wykonania chwytu mogło być wykonane lub nie. Badania te uzasadniają konieczność stosowania zachowania c ex,JntImp, m.in. w celu osiągniecia konfiguracji, która jest właściwa i „wygodna” dla zadań wykonywanych w przestrzeni operacyjnej. Wykorzystanie zachowania c ex,CartImp stanowi duże ułatwienie w zadaniach takich jak otwieranie drzwi [16]. Dzięki możliwości zadawania sztywności w przestrzeni operacyjnej, można precyzyjnie kontrolować ruch robota a także siły, które wywiera na środowisko podczas interakcji, np. otwierania drzwi. Zastosowanie niskiej sztywności pozwala na ograniczenie siły, z jaką chwytak ciągnie za uchwyt, przy jednoczesnym dopasowaniu trajektorii chwytaka do kinematyki drzwi. W pracy [12] przedstawiono algorytm planowania chwytów w sytuacji, kiedy można przewidzieć siły, które będą wywierane na chwycony obiekt. Chwytanie i manipulacja obiektami zostały zweryfikowane na systemie sterowania rzeczywistym robotem WUT Velma. W pracy [11] przedstawiono planer lokalny pozwalający na planowanie trajektorii redundantnego robota manipulacyjnego. Metoda planowania oparta jest na modelu, w którym zaimplementowano hierarchiczne prawo sterowania metodą wyliczanego momentu. Działanie planera zostało zweryfikowane m.in. na zadaniu wyciągania przedmiotów z szafki przez robota WUT Velma. Niektóre elementy prawa sterowania wykorzystane w planerze zostały zastosowane w systemie sterowania robota Velma. Ostatnie prace dotyczyły rozszerzenia robota WUT Velma o bazę mobilną. W symulowanym środowisku prowadzono badania nad mobilną manipulacją [21]. Przedstawiony system sterowania służy także w dydaktyce oraz w prowadzeniu prac dyplomowych jako baza, na której kolejne pokolenia robotyków doskonalą swoje umiejętności.

Rys. 5. Wizualizacja stanu robota oraz obserwacji przedstawionych w postaci mapy zajętości (kolorowe woksele) w programie ROS rviz Fig. 5. Visualization of state of the robot and its observations as an occupancy map (the colourful voxels) in ROS rviz

P6L6 , 0 & Zaprojektowanie i uruchomienie systemu sterowania robota usługowego, zarówno w symulacji, jak i w rzeczywistości, na którym można prowadzić badania, jest dużym wyzwaniem. Właściwa metoda specyfikacji pozwala na zaprojektowanie systemu realizującego złożone zachowania, zachowując przy tym prostotę i funkcjonalność. Dodatkowym atutem jest możliwość zweryfikowania poprawności specyfikacji. Zastosowanie automatycznej generacji kodu (np. FABRIC) do wykonania części implementacji na podstawie specyfikacji pozwala na uniknięcie licznych błędów wynikających z omylności człowieka. Komponentowe podejście pozwala na zbudowanie złożonego systemu z licznych małych, prostych elementów, z których każdy można przetestować niezależnie od innych. Nieoceniona jest możliwość wykorzystania dostępnych komponentów do budowy własnego systemu (np. ROS, Orocos). Szczególnie cenna jest możliwość symulowania działania systemu sterowania w sposób możliwie jak najbardziej zbliżony do pracy w rzeczywistym środowisku. Dzięki temu można wychwycić dużo błędów, popełnionych na różnych poziomach, od implementacji prawa sterowania do implementacji algoryt-

Rys. 6. Wizualizacja stanu robota w ROS rviz, wraz z wizualizacją modelu kolizji wewnętrznych. Zielone bryły przybliżają geometrię robota, a czerwone strzałki reprezentują miejsca, w których generowana jest wirtualna siła wzajemnie odpychająca pary członów w celu uniknięcia kolizji Fig. 6. Visualization of state of the robot in ROS rviz with visualization of self-collision model. Green spheres and capsules approximate geometry of the robot and red arrows represent virtual forces that push pairs of links away to avoid self-collisions

P6 - Przedstawiony system sterowania służy do badań dotyczących różnorodnych aspektów sterowania, planowania i wykonywania zadań w robotyce usługowej. Badano zarówno algorytmy

•

N R 4 /2021

! mów planujących. Symulacja jest bardzo istotnym elementem zwiększającym bezpieczeństwo pracy z robotami. W ramach przyszłych prac rozważana jest możliwość migracji na ROS 2. Istotne są także prowadzone obecnie prace nad bezpieczeństwem sterowników robotów.

' 1. Dietrich A., Albu-Schäffer A., Hirzinger G., On continuous null space projections for torque-based, hierarchical, multi-objective manipulation. 2012 IEEE International Conference on Robotics and Automation (ICRA), 2978–2985, DOI: 10.1109/ICRA.2012.6224571. 2. Kasprzak W., Szynkiewicz W., Stefańczyk M., Dudek W., Figat M., Węgierek M., Seredyński D., Zieliński C., Agentowa struktura wielomodalnego interfejsu do Narodowej Platformy Cyberbezpieczeństwa, część 1. „Pomiary Automatyka Robotyka”, R. 23, Nr 3, 2019, 41–54, DOI: 10.14313/PAR_233/41. 3. Kasprzak W., Szynkiewicz W., Stefańczyk M., Dudek W., Węgierek M., Seredyński D., Figat M., Zieliński C., Agent-based approach to the design of a multimodal interface for cyber-security event visualisation control. “Bulletin of the Polish Academy of Sciences: Technical Sciences”, Vol. 68, No. 5, 2020, 1187–1205, DOI: 10.24425/bpasts.2020.134662. 4. Koenig N., Howard A., Design and use paradigms for Gazebo, an open-source multi-robot simulator. 2004 IEEE/ RSJ International Conference on Intelligent Robots and Systems (IROS), Vol. 3, 2004, 2149–2154, DOI: 10.1109/IROS.2004.1389727. 5. Kornuta T., Zieliński C., Winiarski T., A universal architectural pattern and specification method for robot control system design. “Bulletin of the Polish Academy of Sciences: Technical Sciences”, Vol. 68, No. 1, 2020, 3–29, DOI: 10.24425/bpasts.2020.131827. 6. Lee J., Grey M., Ha S., Kunz T., Jain S., Ye Y., Srinivasa S., Stilman M., Liu K., DART: Dynamic Animation and Robotics Toolkit. “The Journal of Open Source Software”, Vol. 3, 2018, DOI: 10.21105/joss.00500. 7. Maruyama Y., Kato S., Azumi T., Exploring the performance of ROS2. Proceedings of the 13th International Conference on Embedded Software (EMSOFT), 2016, DOI: 10.1145/2968478.2968502. 8. Pan J., Chitta S., Manocha D., FCL: A general purpose library for collision and proximity queries. 2012 IEEE International Conference on Robotics and Automation, 3859–3866, 2012, DOI: 10.1109/ICRA.2012.6225337. 9. Quigley M., Conley K., Gerkey B., Faust J., Foote T., Leibs J., Wheeler R., Ng A., ROS: an open-source Robot Operating System. ICRA workshop on open source software, Vol. 3, 2009. 10. Sentis L., Khatib O., Synthesis of whole-body behaviors through hierarchical control of behavioral primitives. “International Journal of Humanoid Robotics”, Vol. 2, No. 4, 2005, 505–518. 11. Seredyński D., Banachowicz K., Winiarski T., Graph-based potential field for the end-effector control within the torque-based task hierarchy. 21th IEEE International Conference on Methods and Models in Automation and Robotics, MMAR, 2016, 645–650, DOI: 10.1109/MMAR.2016.7575212.

12. Seredyński D., Winiarski T., Banachowicz K., Zieliński C., Grasp planning taking into account the external wrenches acting on the grasped object. Kozłowski K. (red), 10th International Workshop on Robot Motion and Control (RoMoCo), 2015, 40–45, DOI: 10.1109/RoMoCo.2015.7219711. 13. Seredyński D., Winiarski T., Zieliński C., FABRIC: Framework for Agent-Based Robot Control Systems. Kozłowski K. (red), 12th International Workshop on Robot Motion and Control (RoMoCo), 2019, 215–222, DOI: 10.1109/RoMoCo.2019.8787370. 14. Smith R., Open Dynamics Engine. 2005, [www.ode.org]. 15. Soetens P., A Software Framework for Real-Time and Distributed Robot and Machine Control. Praca doktorska, Department of Mechanical Engineering, Katholieke Universiteit Leuven, Belgium, May 2006, [www.mech.kuleuven. be/dept/resources/docs/soetens.pdf]. 16. Winiarski T., Banachowicz K., Seredyński D., Multi-sensory feedback control in door approaching and opening. Filev D., Jabłkowski J., Kacprzyk J., Krawczak M., Popchev I., Rutkowski L., Sgurev V., Sotirova E., Szynkarczyk P., Zadrożny S. (eds.), Intelligent Systems’2014, AISC, Vol. 323, 2015, 57–70, DOI: 10.1007/978-3-319-11310-4_6. 17. Winiarski T., Banachowicz K., Seredyński D., Two mode impedance control of Velma service robot redundant arm. R. Szewczyk, C. Zielinski, M. Kaliczynska (eds.), Progress in Automation, Robotics and Measuring Techniques. Vol. 2 Robotics., AISC, Vol. 351, 2015, 319–328, DOI: 10.1007/978-3-319-15847-1_31. 18. Winiarski T., Dudek W., Stefańczyk M., Zieliński L., Giełdowski D., Seredyński D., An intent-based approach for creating assistive robots’ control systems. arXiv preprint arXiv:2005.12106, 2020. 19. Winiarski T., Jarocki S., Seredyński D., Grasped Object Weight Compensation in Reference to Impedance Controler Robots, “Energies”, Vol. 14, No. 20, 2021, DOI: 10.3390/en14206693. 20. Winiarski T., Seredyński D., Wizualizacja sterowników robotów bazujących na teorii agenta upostaciowionego. XV Krajowa Konferencja Robotyki – Postępy robotyki, Vol. 1, 2018, 417–426. 21. Winiarski T., Sikora J., Seredyński D., Dudek W., DAIMM Simulation Platform for Dual-Arm Impedance Controlled Mobile Manipulation, 7th International Conference on Automation, Robotics and Applications (ICARA), 2021, 180–184, DOI: 10.1109/ICARA51699.2021.9376462. 22. Winiarski T., Węgierek M., Seredyński D., Dudek W., Banachowicz K., Zielinski C., EARL – Embodied Agent-Based Robot Control Systems Modelling Language. “Electronics”, Vol. 9, No. 2, 2020, DOI: 10.3390/electronics9020379. 23. Zieliński C., Stefańczyk M., Kornuta T., Figat M., Dudek W., Szynkiewicz W., Kasprzak W., Figat J., Szlenk M., Winiarski T., Banachowicz K., Zielińska T., Tsardoulias E.G., Symeonidis A.L., Psomopoulos F.E., Kintsakis A.M., Mitkas P.A., Thallas A., Reppou S.E., Karagiannis G.T., Panayiotou K., Prunet V., Serrano M., Merlet J.-P., Arampatzis S., Giokas A., Penteridis L., Trochidis I., Daney D., Iturburu M., Variable structure robot control systems: The RAPP approach. „Robotics and Autonomous Systems”, Vol. 94, 2017, 226 –244, DOI: 10.1016/j.robot.2017.05.002.

< [ $ / $ $

/ = P ' ' 6 $ () % This work presents an example control system of a service robot. All used concepts, tools and open source software are described. The control system is presented starting from configuration of hardware, specification, up to its implementation. Generality of the image allows the reader to look at the problem globally, while some important, detailed aspects are highlighted. Simulation–related problems are also described. The presented system of WUT Velma robot has been used in many research works. KeywordsI # ' ' $ # $ # _ # &

& ' " #$ ' ' ' % ' ORCID: 0000-0003-2528-6335 Z . ; - + - / E Z & $ E ] & $ & # ` E ^ $ ^

•

N R 4 /2021

Pomiary Automatyka Robotyka, ISSN 1427-9126, R. 25, Nr 4/2021, 45–56, DOI: 10.14313/PAR_242/45

. & $ & * #$ " #) . 6 -& & b # Y ' > 6 $ # + . H ^ ; K# @EB@B 6 ^

% Zastosowanie technologii VR w przemyśle stale rośnie. System ten znacznie ułatwia pracę inżyniera, pozwalając użytkownikowi na interakcję z modelami 3D za pomocą gogli wirtualnej rzeczywistości. W artykule przedstawiono projekt i oprogramowanie zrobotyzowanej stacji umożliwiającej tworzenie instrukcji ruchu z wykorzystaniem technologii wirtualnej rzeczywistości. Dokonano przeglądu istniejących rozwiązań przemysłowych, wykorzystujących technologię VR w symulatorach spawalniczych oraz innych branżach przemysłu. Zaprezentowano oraz zbudowano projekt stacji spawalniczej w środowisku RobotStudio. Napisano oprogramowanie, wykorzystujące wirtualną rzeczywistość oraz wykonano model rzeczywistego narzędzia metodą druku 3D. Przeprowadzono testy zaprojektowanej stacji spawalniczej. 1 - 0 & - I a# $ # # 6 $ '

1. Wprowadzenie Wirtualna rzeczywistość to trójwymiarowa symulacja, która została wygenerowana komputerowo. Imituje ona świat realny lub stanowi wizje świata fikcyjnego. Technologia VR (ang. virtual reality) polega zarówno na odwzorowaniu rzeczywiście otaczającego nas świata, jak i generowaniu różnej od rzeczywistości symulacji [1]. Początkowo szeroko pojęta wirtualna rzeczywistość była kojarzona głownie z przemysłem rozrywkowym. Dziś jednak coraz częściej wykorzystuje się jej możliwości w innych branżach, takich jak motoryzacja, przemysł zbrojeniowy, lotnictwo czy IT. Wirtualna rzeczywistość rozwija się coraz szybciej, stąd też wkroczyła do dziedziny automatyzacji. ABB jest jedną z pierwszych firm, która wprowadziła do swojej oferty programowanie z wykorzystaniem wirtualnej rzeczywistości za pośrednictwem oprogramowania RobotStudio. System ten znacznie ułatwia pracę inżyniera, pozwalając użytkownikowi na interakcję z modelami 3D za pomocą gogli wirtualnej rzeczywistości. Użytkownicy mogą obserwować odtwarzany cykl pracy i symulować operacje, które mogą być niebezpieczne lub fizycznie niemożliwe do wykonania w rzeczywistości. Dodatkowo widok operatora VR jest udostępniany na ekranie komputera, co daje możliwość współpracy wielu specjalistów nad optymalnymi rozwiąza-

0 < I . . # % ' 0 1 & - ' !@ !Q *!*( # ' ' (! !K *!*(

niami [2]. Programowanie jest dziedziną, w której zastosowanie wirtualnej rzeczywistości przyniosło wiele korzyści. Jedną z nich jest ograniczenie stresu, któremu poddany jest człowiek w czasie nauki programowania. Korzyści płynące z zastosowania wirtualnych modeli 3D pozwalają na zaoszczędzenie czasu i kosztów projektowania zrobotyzowanych stacji. Umożliwiają symulację działania, dzięki której można zyskać pewność, iż w rzeczywistości zbudowane rozwiązanie nie jest obarczone błędami [3].

L6 & < &- <& > Zastosowanie technologii VR w różnych branżach, m.in. w przemyśle stale rośnie. Co roku obszar jej potencjalnego wykorzystania zwiększa się, a same narzędzia służące do generowania wirtualnej rzeczywistości stają się jeszcze bardziej zawansowane oraz zdolne do uzyskania wyższego stopnia immersji [4]. Aplikacje przemysłowe oraz systemy edukacyjne z wykorzystaniem wirtualnej rzeczywistości stają się popularniejsze. Ich zaletą w porównaniu do konwencjonalnych metod nauczania jest ograniczenie kosztów związanych z wyszkoleniem nowego pracownika oraz kosztów eksploatacyjnych stanowiska treningowego. Samo przeprowadzenie wirtualnego treningu pozwala na testowanie różnych scenariuszy, które w przyszłości pozwolą ograniczyć czas, jaki pracownik musi poświęcić na pokonanie różnych problemów [4, 5]. Obecnie istnieje wiele przykładów zastosowania wirtualnej rzeczywistości. Jednym z nich jest symulator spawania Lincoln Electronic VRTEX360 (Rys. 1). Jest to system szkoleniowy opracowany przez firmę LINCOLN ELECTRONIC celem przeprowadzania szkoleń spawalniczych. Stanowi platformę do podstawowego i zawansowanego szkolenia spawaczy, a także jest narzędziem do testowania i rekrutacji nowych pracowników.

" & $ < & < = $ #

Symulator umożliwi szkolenie w obsłudze odladzania wielu typów samolotów, w różnych warunkach środowiskowych, w zależności od temperatury, prędkości wiatru, po rodzaj i intensywność opadów. Jedną z korzyści jest ograniczenie stosowania drogiego w eksploatacji sprzętu obsługi naziemnej, co pozwala generować oszczędności. Symulator jest wyposażony w monitor i joysticki oraz odpowiednio odzwierciedlone wyposażenie kabiny [8, 9]. Oprogramowanie tworzy raport określający wydajność pod względem zużycia płynu, ilości usuniętych zanieczyszczeń czy czas, w jakim zadanie zostało wykonane. Ostatnim przykładem jest symulator spawania Weldtrainer (Rys. 3). Stanowisko Weldtrainer, znajdujące się na Wydziale Mechaniczno-Technologicznym Politechniki Rzeszowskiej, umożliwia naukę spawania na wirtualnym symulatorze. Weldtrainer daje możliwość nauki spawania metodami SMAW (ang. shielded metal arc welding) czyli spawanie elektrodą otuloną, GMAW (ang. gas metal arc welding), spawanie MIG/MAG, GTAW (ang. gas tungsten arc welding) spawanie TIG, a także FCAW-G i FCAW-S. Stanowisko przygotowano do nauki spawania osób w bezpieczny i przyjazny sposób dla środowiska [10]. Stanowisko jest wyposażone w okulary stereoskopowe umieszczone w masce spawalniczej oraz system audio z regulacją głośności. Obraz widziany przez operatora jest równocześnie wyświetlany na monitorze, w który wyposażona jest stacja. Urządzenie daje możliwość importu wybranej próbki do wirtualnego środowiska spawalniczego. Umożliwia to przeprowadzenie niestandardowych ćwiczeń i optymalizację procesu spawania pod względem szybkości czy odkształceń materiału. Uchwyty spawalnicze są wyposażone w system sygnalizujący błędy za pomocą różnych sekwencji drgań narzędzia [10, 11]. Na podstawie analizy istniejących rozwiązań zdecydowano się zaprojektować model stacji spawalniczej w środowisku RobotStudio oraz oprogramowanie kontrolera robota z zastosowaniem elementów wirtualnej rzeczywistości.

Rys. 1. Zastosowanie symulatora spawalniczego VRTEX 360 [6] Fig. 1. Application of the VRTEX 360 welding simulator [6]

Wykonanie przez spawacza spoiny na rzeczywistym półfabrykacie nie dostarcza istotnych informacji. Testy niszczące czy nieniszczące złącza spawanego mogą zostać przeprowadzone dopiero po zakończeniu procesu spawania. Właśnie w tym sektorze, a mianowicie technik szkoleniowych, wirtualna rzeczywistość udostępnia swoje zalety. VR umożliwia dostarczenie pełnych informacji o symulowanym procesie, jak prędkość spawania, kąt spawania, długość łuku czy pozycjonowanie narzędzia spawalniczego. System nie daje możliwości odczuwania ciepła czy siły tarcia występującej w trakcie procesu spawania, mimo to od operatora wymagane jest manipulowanie narzędziem tak, jak w trakcie rzeczywistego procesu [6, 7]. Symulatory spawania VR mogą być stosowane przez użytkowników, którzy nie posiadają żadnego doświadczenia. Ze względu na brak szkodliwego działania procesu spawania na organizm człowieka i jego środowisko takich jak iskry, pyły i dymy nieorganiczne, promieniowanie, są one jedynie cyfrową symulacją rzeczywistości. Dlatego nie wymaga się stosowania dodatkowych środków ochrony osobistej [6]. VRTEX 360 umożliwia odwzorowanie spawania łukowego z wykorzystaniem realistycznej grafiki i dźwięków. Daje możliwość symulacji szerokiej gamy spoin. Hełm VR symulatora ma możliwość emisji dźwięku stereo oraz obrazu o rozdzielczości 800 × 600 pikseli przy 24-bitowej głębi obrazu. W skład zestawu wchodzi [6, 7]: − monitor udostępniający podgląd aktualnie symulowanego procesu dla nauczycieli i uczniów, − joystick umożliwiający poruszanie się po opcjach symulatora, − pokrętła odpowiadające za manipulowanie prędkością podawania drutu lub natężenia prądu w zależności od wybranego procesu spawania, − port USB do wgrywania oprogramowania oraz do pobierania danych wygenerowanych przez użytkownika, − przełącznik wyboru procesu do zaprezentowania wirtualnego procesu spawania (GMAW, FCAW lub SMAW), − przełącznik biegunowości do zmiany polaryzacji dla dowolnego procesu.

Rys. 2. Trening operatora z wykorzystaniem Aircraft Deicing Operator Fig. 2. Operator training with the use of Aircraft Deicing Operator

Symulator ma trzy poziomy rozwijania umiejętności: podstawowy skupiający się na nauce samej techniki, średniozaawansowany przeznaczony dla uczniów z doświadczeniem i zawansowany, w którym tolerancje są ustawione bardzo wysoko, co zmusza operatora do doskonalenia umiejętności [7]. Kolejnym przykładem zastosowania VR jest Aircraft Deicing Operator Training Simulator (Rys. 2). Jest to lotniczy symulator umożliwiający szkolenie operatorów odladzających samolot, wyprodukowany przez firmę ForgeFX Simulations. Używany jest przez obsługę naziemną lotnisk cywilnych jak i wojskowych. Operator dzięki wielu zaprojektowanym scenariuszom jest przygotowany do pracy w trudnych warunkach pogodowych [8].

•

Rys. 3. Symulator spawania WMT PRz w Stalowej Woli [10] Fig. 3. WMT PRz welding simulator in Stalowa Wola [10]

•

N R 4 /2021

" " # $ !

M6 0 & & - - & W ramach artykułu opracowano projekt zrobotyzowanej stacji spawalniczej (Rys. 4). Jednym z elementów stanowiska jest dedykowany do aplikacji spawalniczych manipulator ABB IRB 2600ID. Stanowisko zostało wyposażone w pozycjoner AB IRBP R300, kontroler IRC 5, uchwyt oraz podajnik drutu spawalniczego Fronius VR 1500, źródło prądu spawalniczego TransPulsSynergic (TPS) 4000, torch Service Center 2013, elementy bezpieczeństwa. Z bibliotek środowiska RobotStudio pobrano model manipulatora ABB IRB 2600ID, pozycjonera IRBP R300, kontrolera IRC 5, TransPulsSynergic (TPS) 4000. Pozostałe podzespoły stanowiska pobrano ze stron producentów lub zaprojektowano w środowisku CAD. Dobór elementów stacji zrobotyzowanej oraz ich charakterystykę zaprezentowano poniżej.

Rys. 5. Manipulator ABB IRB 2600ID Fig. 5. ABB IRB 2600ID manipulator

Rys. 4. Projekt zrobotyzowanej stacji spawalniczej w środowisku RobotStudio Fig. 4. Project of a robotic welding station in the RobotStudio environment

Rys. 6. Pozycjoner IRBP R300 [14] Fig. 6. IRBP R300 positioner [14]

! LShh *

0 - & ' 8 JQhh

Manipulator IRB 2600ID-8/2,00 (Rys. 5) został wybrany do realizacji projektu, ponieważ jest dedykowany dla procesów spawalniczych. Według specyfikacji technicznej jego maksymalny udźwig to 8 kg, natomiast maksymalny zasięg 2 m [12]. Robot wyposażony jest we wbudowane funkcje bezpieczeństwa, rozbudowany interfejs umożliwiający komunikację z innymi urządzeniami peryferyjnymi oraz maszynami. Oznaczenie robota ID (ang. Integrated Dressing) informuje o integracji okablowania wewnątrz jego ramienia, niwelując zwisające przewody spawalnicze i zwiększając bezawaryjny czas pracy [13].

Podajnik drutu VR 1500 (Rys. 7) zaprojektowano do montażu na ramieniu robota, który można zastosować w połączeniu ze źródłami prądu TS 4000/5000, TPS 3200/4000/5000. Masa zestawu bez dodatkowego oprzyrządowania wynosi 10 kg, znajduje on także zastosowanie jako podajnik w aplikacjach wykorzystujących drut rdzeniowy [15].

& Mhh IRBP R300 jest pozycjonerem z serii dwupozycyjnych obrotowych (Rys. 6). Manipulator wykonuje swoje zadanie po jednej stronie pozycjonera, operator ładuje oraz rozładowuje półfabrykaty po jego drugiej stronie. Ekran ochronny oddziela robota od operatora [14]. Przedstawiony pozycjoner umożliwia współpracę z każdym sześcioosiowym manipulatorem firmy ABB z wyłączeniem ABB IRB 120. Do budowy stanowiska zastosowano pozycjoner IRBP R300 D1000 L1600, którego masa osprzętu dochodzi do 300 kg. Maksymalne obciążenie pozycjonera podzielone jest po 200 kg na każdą jego stronę, powtarzalność wynosi ±0,05. Maksymalny ciągły moment obrotowy pozycjonera wynosi 350 Nm [14].

Rys. 7. Podajnik drutu Fronius VR 1500 [15] Fig. 7. Fronius VR 1500 wire feeder [15]

" & $ < & < = $ #

( & & > - - 0 & & -

Podajnik przeznaczony jest do drutów o średnicy 0,80–3,2 mm, umożliwia podawanie materiału spoiwa z prędkością 0,5–12 m/min. Urządzenie umożliwia stosowanie wszystkich gazów osłonowych z maksymalnym ciśnieniem 7 barów. Rozwijane podajniki drutu są używane głównie do dużych szpul i bębnów z drutem spawalniczym, które znajdują się poza systemem spawalniczym. Częstym rozwiązaniem jest użycie podajnika drutu oraz podajnika rozwijającego, jednak wymaga to synchronizacji ruchów obu podajników [15].

Zadaniem barier ochronnych jest uniemożliwienie dostępu do manipulatora i obszaru zagrożenia wynikającego z zakresu ruchu manipulatora przemysłowego. Do budowy wygrodzenia ochronnego zastosowano produkty firmy AXELENT. Wygrodzenie składa się z paneli znajdującymi się w strefie pracy operatora obsługującego stację. Pełne blaszane panele o wysokości 2,20 m (Rys. 10) chronią czynnik ludzki przed procesami występującymi podczas pracy robota, tj. odpryski, promieniowanie świetlne.

Rys. 8. Podajnik drutu Fronius VR 1500 zamodelowany w programie AutoDesk Inventor Fig. 8. Fronius VR 1500 wire feeder modeled in AutoDesk Inventor

Rys. 10. Model wygrodzenia stacji zbudowany w programie RobotStudio Fig. 10. Model of the station fencing built in RobotStudio

Na Rys. 8 zaprezentowano model CAD podajnika drutu Fronius VR 1500, który zamodelowano w środowisku Inventor.

Obecność człowieka w środowisku, w którym pracują manipulatory wymusza odpowiednie podejście do bezpieczeństwa. Jednym ze środków, dzięki którym można zapewnić operatorowi bezpieczeństwo, są kurtyny świetlne. W projekcie została wykorzystana kurtyna świetlna marki Orion (Rys. 10), której zadaniem jest wykrycie obecności człowieka w niebezpiecznej strefie oraz blokada ruchów manipulatora.

m 5 1 < - & ' + ' q+ x Phhh Urządzenia tej serii umożliwiają obsługę metod spawania MIG/MAG, TIG oraz z zastosowaniem elektrody topliwej. Profesjonalna obróbka różnych materiałów wymaga doboru odpowiedniego oprogramowania dla zastosowanego materiału. Wymagania techniczne wersji specjalnych nie różnią się od standardowych źródeł spawalniczych. Umożliwia to bezpośredni dostęp do odpowiedniego oprogramowania z poziomu panelu operatora [16]. Źródło prądu spawalniczego TPS 4000 (Rys. 9) znajduje zastosowanie w obszarach przemysłu samochodowego, przemysłu maszynowego oraz produkcji pojazdów szynowych [16].

: Q Kontroler IRC 5 (Rys. 11) jest systemem piątej generacji przeznaczonym do sterowania robotów, który dzięki swojej modułowości stanowi standard w tej klasie urządzeń. Ergonomiczny przenośny panel programowania FlexPendant jest przystosowany do ciężkich warunków pracy. Kontroler umożliwia synchroniczne sterowanie maksymalnie czterema mani-

Rys. 11. Kontroler IRC5 [17] Fig. 11. IRC5 controller [17]

Rys. 9. Źródło prądu TransPulsSynergic (TPS) 4000 Fig. 9. TransPulsSynergic (TPS) 4000 power source

•

N R 4 /2021

" " # $ ! pulatorami, dzięki wykorzystaniu funkcji MultiMove. Zawiera on elektronikę niezbędną do sterowania manipulatorem oraz urządzeniami peryferyjnymi. Kontroler ma budowę modułową, można go podzielić na dwa moduły: moduł napędowy zawierający układ napędowy oraz moduł sterujący zawierający układ sterowania. Zastosowana modułowość umożliwia odpowiednie rozmieszczanie modułów podczas modernizacji stacji oraz wymianę jednego z uszkodzonych modułów [17]. Kontroler jest zasilany napięciem trójfazowym 200–600 V z częstotliwością 50–60 Hz, jego wymiary to 970 mm × 725 mm × 710 mm, a masa 150 kg [17].

+ LhJM Najbardziej podatnym na uszkodzenia elementem stanowiska jest narzędzie spawalnicze. Znajduje się w ono w strefie podwyższonej temperatury, narażone jest na odpryski spawalnicze oraz kolizje z elementami stanowiska. Narzędzia spawalnicze są odpowiednio zaprojektowane do pracy w trudnych warunkach. Niezbędne jest ich regularne czyszczenie oraz kontrola stanu technicznego dla uzyskania odpowiedniej dokładności i jakości spoin. TSC (Torch Service Center 2013) (Rys. 12) składa się z trzech jednostek: układu czyszczenia palnika 1 (czyszczenie końcówki prądowej i wnętrza dyszy gazowej), układu obcinania drutu (wire cutter) 2 (maksymalna średnica drutu stalowego 1,6 mm) oraz systemu pomiaru i kontroli punktu pracy narzędzia 3 (TCP gauging) [18].

Rys. 12. Torch Service Center 2013 [18] Fig. 12. Torch Service Center 2013 [18]

W przypadku czyszczenia palnika to system sterowania robota nadzoruje pracę układu. Proces czyszczenia zostanie rozpoczęty, gdy palnik będzie w odpowiedniej pozycji. Proces czyszczenia dyszy składa się z kilku sekwencji: czyszczenia mechanicznego, czyszczenia pneumatycznego oraz smarowania środkiem antyadhezyjnym wnętrza dyszy gazowej. Punkt środkowy narzędzia TCP (ang. Tool Center Point), którym w przypadku procesu spawania jest końcówka drutu wychodzącego z narzędzia spawalniczego, powinien być prawidłowo skalibrowany. Źle zdefiniowany punkt spowodowany kolizją czy wymianą podzespołów narzędzia spawalniczego skutkuje niedokładną pracą manipulatora [18].

Rys. 13. Uchwyt zaprojektowany pod podajnik drutu Fronius VR 1500 Fig. 13. Holder designed for the Fronius VR 1500 wire feeder

& &< < - W celu umieszczenia spawanych elementów na pozycjonerze został zaprojektowany przyrząd mocujący. Umożliwia on odpowiednie rozmieszczenie półfabrykatów na pozycjonerze oraz manipulację nimi. Udostępniony przez producenta model pozycjonera w odpowiednim formacie umożliwił zaprojektowanie przyrządu o odpowiednich wymiarach, które nie doprowadzą do kolizji z samym pozycjonerem jak i elementami znajdującymi się w stacji.

Rys. 14. Przyrząd mocujący zamodelowany w programie AutoDesk Inventor Fig. 14. Clamping fixture modeled in AutoDesk Inventor

Przyrząd mocujący (Rys. 14) został zaprojektowany w celu montażu spawanej konstrukcji. Ma ograniczniki, do których dosuwany jest element. Dodatkowo przyrząd zabezpiecza się przez uchwyty spawalnicze. Kluczowe w projektowaniu przyrządu mocującego było odpowiednie ograniczenie liczby stopni swobody przez uchwyty. Zastosowanie zbyt dużej liczby ograniczników może doprowadzić do blokady konstrukcji spowodowanej skurczem spawalniczym.

! - 0 8 JQhh

P6 0 ' - - 3 - 0 & - 0 & 8

W ramach budowy stanowiska zaprojektowano podajnik drutu (Rys. 13), który jest kompatybilny z manipulatorem przemysłowym IRB 2600ID. Model podajnika zaprojektowano na postawie dokumentacji technicznej znajdującej się na stronie producenta. Uchwyt zamodelowano w oprogramowaniu AutoDesk Inventor. W celu odwzorowania istniejących w korpusie otworów montażowych wyeksportowano modele ze środowiska RobotStudio.

Środowisko RobotStudio oferuje szeroką gamę narzędzi obsługujących współpracę z wirtualną rzeczywistością, m.in. VrHandController oraz VrTeleporter. Zaprezentowane narzędzia umożliwiają przekształcanie sygnałów kontrolera ręcznego na sygnały obsługiwane przez logikę stacji oraz przeniesienie operatora w odpowiednią pozycję, która ma kluczowe znaczenie dla symulowanej stacji [19].

" & $ < & < = $ #

P6J6 " '

P6M6 1 %7 !! ;7

Środowisko RobotStudio 2020 umożliwia wykonanie zaawansowanej symulacji, która szczegółowo odwzorowuje rzeczywistość za pośrednictwem Station Logic. Blok ten daje możliwość wymiany informacji z kontrolerem manipulatora. Blok Station Logic ma cztery główne zakładki pomagające w konstruowaniu logiki stacji: Design, Compose, Properties and Bindings i Signals and Connections. Zakładka Design przedstawia strukturę połączeń komponentów wchodzących w skład zaprojektowanej symulacji. Zakładka Compose umożliwia dodawanie elementów tworzących zespoły. Główna struktura programu składa się z dwóch modułów: VrHandController oraz VrHandController_2, które odpowiadają za prawy i lewy kontroler zestawu Oculus Rift S. Przekształcają one sygnały kontrolera ręcznego na sygnały obsługiwane przez logikę stacji. W skład struktury wchodzą również cztery moduły Smart Component, czyli EDIT, PROGRAMMING, SYNC AND PLAY oraz Selection. Elementy Smart Component dają możliwość przejrzystego przedstawienia całości programu, a także wprowadzania ewentualnych zmian celem szybszej identyfikacji błędów występujących w schemacie działania.

Jednym z trzech modułów występujących w projekcie zrobotyzowanej stacji jest moduł zamknięty w granicach Smart Componentu PROGRAMMING. Jest on najważniejszym z modułów występujących w projekcie. Jednocześnie ma rozbudowaną strukturę wykorzystującą w szerokim stopniu narzędzia udostępnione w bibliotekach zastosowanego środowiska. Przed rozpoczęciem działania modułu PROGRAMMING, konieczny jest wybór odpowiedniego markera w module Selection (Rys. 16), a następnie zatwierdzenie przyciskiem prawego kontrolera. Naciśnięcie przycisku prawego kontrolera spowoduje wystąpienie logicznej jedynki na wyjściu PRORAMMING Smart Component Selection, a tym samym na wejściu START Smart Component PROGRAMMING.

P6L6 Zadaniem zakładki Smart Component Selection (Rys. 15) jest wybór jednego z trzech modułów znajdujących się w logice stacji i uniemożliwienie opuszczenia wybranego etapu symulacji bez odpowiedniego podania sygnałów ręcznego kontrolera zestawu VR. Wprowadzane sygnały przez ręczne kontrolery zestawu wirtualnej rzeczywistości są przetwarzane przez bramki AND LogicGate [AND] oraz LogicGate_2 [AND]. Sygnały wyjściowe bramki LogicGate [AND], są zliczane przez dwa liczniki Counter oraz Counter_2. Zliczone sygnały są przetwarzane przez komparatory Comparer, Comparer_2, Comparer_3, które sterują przerzutnikami typu SR. W układzie występuje dodatkowo Comparer_4 resetujący licznik Couter_2. Przerzutnik SR ustawiony w stan wysoki przez kolejne komparatory wyświetla znacznik obranego podprogramu oraz ukrywa znacznik wcześniejszego.

Rys. 16. Widok z perspektywy operatora stacji podczas wyboru żądanego modułu Fig. 16. View from the station operator’s perspective while selecting the desired module

Rys. 17. Widok z perspektywy operatora stacji po wyborze modułu PROGRAMMING Fig. 17. View from the station operator’s perspective after selecting the PROGRAMMING module

Jedynka logiczna na wejściu START aktywuje moduł PROGRAMMING i dezaktywuje moduł Selection. Jednocześnie wyświetla znacznik z informacją o aktywowaniu modułu wraz ze wskazówkami dla operatora (Rys. 17). Kolejnym krokiem po uruchomieniu modułu jest użycie wbudowanego już w oprogramowanie RobotStudio 2020 interfejsu. Odpowiednio przygotowana stacja umożliwia synchronizację ruchów ręcznego kontrolera VR z ruchami manipulatora IRB 2600 ID. Kolejnym działaniem, jakie należy podjąć, aby przystosować stację do wbudowanego interfejsu, jest przytwierdzenie zastosowanego narzędzia Binzel ID 22 do kiści manipulatora. Następnie wykonanie oddzielnego Workobject DockPosition (Rys. 18) i umieszczenie go w tym narzędziu za pomocą funkcji Attach to. Kolejnym krokiem jest utworzenie punktu DockTarget, którego odniesieniem jest wcześniej utworzony Workobject. Następnie należy dezaktywować połączenie narzędzia z manipulatorem funkcją Detach z uwzględnieniem opcji w oknie Update Position (bez zmiany aktualnego położenia narzędzia). Następnym krokiem jest dodanie wcześniej zmodyfikowanego narzędzia Binzel_ID_22_3, do Smart Component VrHandController (Rys. 19), który odpowiada za działanie prawego ręcznego kontrolera zestawu wirtualnej rzeczywistości. Jednocześnie jest

Rys. 15. Sygnały wyjściowe Smart Component Selection Fig. 15. Smart Component Selection output signals

Przerzutniki jednocześnie sterują jednym z wejść bramek logicznych LogicGate_5, LogicGate_6, LogicGate_7, które zmieniają stany sygnałów wyjściowych Smart Component Selection i powodują uruchomienie odpowiedniego modułu. Drugie wejście wspomnianych bramek logicznych jest połączone z wyjściem przerzutnika SR, którego wejście Set jest sterowane prawym kontrolerem zestawu VR. Wybór odpowiedniego markera za pośrednictwem lewego kontrolera oraz jego zatwierdzenie prawym przyciskiem kontrolera umożliwi wysterowanie wyjść PROGRAMMING, EDIT i SYNC_AND_PLAY.

•

N R 4 /2021

" " # $ !

Rys. 18. Fragment zakładki Path & Targets Fig. 18. A fragment of the Path & Targets tab

wybrano opcje Edit Path, a następnie Robot Follows. Umożliwiła ona wykonywanie instrukcji umieszczonych w ścieżce DOCK (Rys. 20), czyli ruch manipulatora do punktu DockTarget po naciśnieciu przycisku lewego kontrolera. Po ustawieniu manipulatora w punkcie DockTarget zachodzi konieczność zmiany aktualnie używanej ścieżki na Program i wyłączenie interfejsu VR. Wyłączenie interfejsu jest istotne, ponieważ jego aktywność uniemożliwia poprawne wykonanie kolejnych etapów modułu. Po naciśnięciu przycisku prawego kontrolera jego sygnał jest zliczany przez licznik, a jego wartość porównana przez komparator. Spełnienie warunku spowoduje pojawienie się narzędzia Binzel_ID_22_3 oraz zniknięcie modelu manipulatora IRB 2600 ID. Ze względu na to, że prawy kontroler wykrywa najbliżej położone modele. Był to niezbędny warunek, aby manipulator w późniejszym etapie podążał za narzędziem. Wskazanie modelu narzędzia, jest sygnalizowane przez podświetlenie modelu na kolor niebieski (Rys. 24). Dodatkowo w tym kroku pojawia się znacznik „PREPARE (click another right trigger and hold it)”, informując operatora o dalszym kroku jaki trzeba podjąć po pojawieniu się narzędzia (Rys. 22).

Rys. 19. Fragment zakładki Layout Fig. 19. A fragment of the Layout tab

Rys. 22. Pojawienie się narzędzia w punkcie DockTarget Fig. 22 Appearance of the tool at the DockTarget point

Rys. 20. Fragmentu zakładki Path & Targets Fig. 20. A fragment of the Path & Targets tab

to jego reprezentacja 3D w zbudowanym środowisku. Bardzo ważne przed wykonaniem poprzedniego kroku było odpowiednie ustawienie narzędzia względem lokalnego układu współrzędnych. Umożliwiło to zestawienie pozycji narzędzia Binzel_ID_22_3 z przygotowanym za pomocą druku 3D odpowiednikiem narzędzia przytwierdzonym do kontrolera. Ostatnim zadaniem, jakie trzeba było wykonać, było utworzenie ścieżki DOCK oraz dwóch instrukcji ruchu MoveL DockTarget. Wszystkie wykonane kroki umożliwiły podążanie manipulatora za pozycją prawego ręcznego kontrolera, w której operator stacji trzyma model narzędzia spawalniczego. Pierwszym zadaniem po uruchomieniu modułu PROGRAMMING, jest wejście w menu interfejsu VR, które jest umieszczone przy lewym kontrolerze do zakładki Path. Następnie wybranie opcji Teach Mode i wybór ścieżki DOCK (Rys. 21). Po wyborze obowiązującej ścieżki programu,

Rys. 21. Użycie interfejsu VR do wybrania aktualnie wykorzystywanej ścieżki Fig. 21. Using the VR interface to select the currently used path

Rys. 23. Zastosowany Smart Component Fig. 23. Smart Component used

Po zastosowaniu się do instrukcji, czyli kolejnym wciśnięciu przycisku i przytrzymaniu go poprzedni znacznik znika i pojawia się kolejny „CREAT PATH (use right trigger to exit, AutoConfiguration)”. Zapowiada on możliwość budowania ścieżki przez operatora, a jest to możliwe dzięki wykorzystaniu w strukturze modułu dwóch Smart Component. ExecuteCommand (Rys. 23) odpowiada za tworzenie punktów przez wywołanie funkcji CreatTarget oraz funkcji CreatMoveInstruction (Rys. 24) odpowiedzialnej za utworzenie instrukcji ruchu MoveL. Warunkiem koniecznym, który umożliwia działanie struktury modułu, jest trzymanie w pozycji włączonej przycisku prawego

Rys. 24. Tworzenie instrukcji ruchu ścieżki Program Fig. 24. Create a path motion instruction Program

" & $ < & < = $ # kontrolera, gdzie kolejne punkty ścieżki są budowane przez użycie przycisku lewego kontrolera wraz z instrukcjami ruchu (Rys. 24). Zwolnienie przycisku prawego kontrolera spowoduje wyłączenie synchronizacji ruchu manipulatora z ręcznym kontrolerem, do którego przytwierdzony jest model narzędzia spawalniczego. Aby opuścić moduł programowania i włączyć moduł Selection, pozwalający na wybór pozostałych modułów, należy puścić przytrzymywany przycisk prawego kontrolera oraz nacisnąć go jeszcze raz. Ostatnie użycie prawego kontrolera spowoduje również wywołanie funkcji Smart Component ExecuteCommand (Rys. 23). Funkcja ta odpowiada za konfigurację instrukcji ruchu przez wywołanie funkcji AutoConfiguraationAll za pośrednictwem Smart Component ExecuteCommand.

Down oraz Long teleport. Zakładka Home umożliwia uruchomienie symulacji. Kolejną zakładką jest polecenie Edit (Rys. 26) umożliwiające usuwanie utworzonych instrukcji ruchu, punktów oraz wykonywanie takich operacji na wcześniej utworzonych adnotacjach za pomocą opcji Delete Mode. Zakładka umożliwia utworzenie znacznika (opcja Text) oraz wskaźnika w postaci strzałki (opcja Arrow). Opcja Draw służy do rysowania w przestrzeni za pomocą prawego kontrolera, jest aktywowana przez wciśnięcie przycisku kontrolera. Measure umożliwia wykonanie pomiaru odległości między interesującymi elementami stacji. Natomiast opcja Record daje możliwość nagrania materiału wideo z perspektywy operatora. Trzecia zakładka o nazwie Manipulate pozwala na zmiany położenia komponentów stacji po uruchomieniu opcji Grab Objects. Zaprezentowane polecenia umożliwiają odbieranie obiektom stopni swobody w trzech osiach X, Y oraz Z, a także obrotów względem tych osi. W zakładkach jest także opcja wyboru układu odniesienia, względem którego dany stopnień swobody zostanie odebrany. Kolejna zakładka o nazwie Path (Rys. 27) jest najbardziej rozbudowana i ma najwięcej opcji. Opcja Edit Path umożliwa poruszanie się manipulatora po punktach zdefiniowanych w ścieżce przez wybór opcji Robot Follows. Delete Mode daje możliwość usuwania poszczególnych instrukcji ruchu i punktów. Trzecia opcja o nazwie Teach mode umożliwia wybór istniejącej ścieżki, w której będą umieszczane instrukcje ruchu oraz udostępnia opcję Teach. Jej zastosowanie buduje pojedynczy punkt. Opcja Record umożliwia automatyczne tworzenie instrukcji oraz punktów poprzez uchwycenie za pomocą prawego kontrolera narzędzia manipulatora. Po podświetleniu narzędzia na kolor niebieski oraz wciśnięciu przycisku kontrolera następuje synchronizacja ruchu kontrolera z podświetlonym detalem. Punkty są tworzone w nierównych odstępach niezależnie od czasu czy położenia narzędzia, co powoduje jej bezużyteczność. W opracowanym rozwiązaniu, dopiero utworzony moduł PROGRAMMING daje możliwość uzależnienia budowy punktów od operatora. Opcja Edit Speed po wskazaniu odpowiedniego segmentu ścieżki daje możliwość zmiany jego prędkości, a opcja Edit Zone zmianę stref dojazdu narzędzia do celu. W przypadku celów, które są nauczane poprzez przesunięcie robota po interesującej pozycji, informacje o konfiguracji zostają automatycznie zapisane. Cele utworzone przez określenie lub obliczenie pozycji i orientacji mają wartość domyślną (0,0,0,0). Nawet jeśli wszystkie cele w ścieżce są prawidłowo skonfigurowane, to w przejściu między poszczególnymi celami może wystąpić błąd, gdy oś przesunie się o więcej niż 90° w czasie ruchu

P6P6 1 (* + Zadaniem tego Smart Component jest edycja uzyskanej ścieżki przez operatora. Do tego zdania wykorzystany został moduł wbudowany już w oprogramowanie interfejsu wirtualnej rzeczywistości. Struktura modułu składa się z bramek logicznych, liczników, komparatorów oraz przerzutników SR i Smart Component. Obsługują one pojawianie się znaczników z informacjami pomagającymi w obsłudze modułu. W celu uruchomienia modułu EDIT, należy wybrać w module Selection odpowiedni znacznik z oznaczeniem modułu i wcisnąć przycisk prawego kontrolera. Umożliwia to uruchomienie modułu oprogramowania. Interfejs wirtualnej rzeczywistości ma pięć głównych zakładek umieszczonych przy lewym ręcznym kontrolerze. Pierwsza zakładka o nazwie Home (Rys. 25) umożliwia zmiany położenia operatora z wykorzystaniem funkcji Up,

Rys. 25. Zakładka Home Fig. 25. Home tab

Rys. 26. Zakładka Edit Fig. 26. Edit tab

Rys. 27. Zakładka Path Fig. 27. Path tab

•

N R 4 /2021

" " # $ ! liniowego [22]. Opcja Configurations umożliwi zmianę konfiguracji kolejnych celi w ścieżce. Ostatnią opcją w zakładce Path jest Edit Brushes, którą wykorzystuje się w aplikacjach malarskich. Ostatnią zakładką jest polecenie Settings, która po zaznaczeniu opcji Show Tips wyświetla wskazówki dotyczące funkcji, jakie pełnią poszczególne zakładki i opcje interfejsu. Natomiast opcja Show Tutorial uruchamia krótki tutorial dotyczący funkcji, jakie pełni interfejs. Po dokonaniu wszelkich zmian moduł umożliwia nam jego opuszczenie przez wykonanie instrukcji, które są wyświetlane w postaci znaczników po uruchomieniu modułu. Dodatkowo pojawia się znacznik na żółtym tle z napisem „USE BOTH TRIGGERS TO EXIT” (Rys. 28).

Rys. 28. Widok z perspektywy operatora wskaźników sygnalizujących uruchomienie Fig. 28. Start-up indicators from the operator’s perspective

Po wciśnięciu obu przycisków wyświetli się nowy znacznik z zielonym tłem z napisem: „EXIT MODE (click 3 times right trigger)” (Rys. 29). Zastosowanie się do wskazówki umieszczonej w znaczniku sygnalizuje opuszczenie modułu EDIT oraz przejście użytkownika do modułu Selection.

P6Q6 {; ;* " { Oprogramowanie RobotStudio umożliwia synchronizację obustronną ze stacji w RobotStudio do wirtualnego kontrolera oraz z wirtualnego kontrolera do stanowiska w RobotStudio. W tym przypadku wszystkie pozycje i ruchy manipulatora są definiowane przez operatora w module PROGRAMMING,

Rys. 29. Widok z perspektywy operatora wskaźników umożliwiającej opuszczenie modułu Fig. 29. View from the perspective of the operator of the indicators enabling the exit of the module

a następnie zostają przetworzone na deklaracje danych i instrukcje w języku RAPID. Zadaniem modułu SYNC AND PLAY jest synchronizacja ścieżek i instrukcji ruchu utworzonych w stacji na instrukcje w języku RAPID oraz umieszczenie ich w module RAPID środowiska RobotStudio. Następnie uruchomienie symulacji działania utworzonego programu. Po wyborze znacznika Smart Component w module Selection i zatwierdzeniu jego wyboru prawym kontrolerem, pojawia się znacznik z nazwą modułu z czerwonym tłem sygnalizujący jego uruchomienie. Automatycznie po uruchomieniu modułu został aktywowany Smart Component ExecuteCommand i wykonana komenda SimulationSyncAndPlay wyświetla znacznik świadczący o aktywacji modułu oraz instrukcje pomagające w jego obsłudze. Aby umożliwić wykonanie symulacji w programie głównym main (Rys. 30), umieszczone zostały instrukcje, które wywołują podprogramy Program oraz Left_part. Moduł SYNC AND PLAY (Rys. 31) składa się z Smart Component powodującego synchronizację i uruchomienie symulacji. Dodatkowo w strukturę modułu wchodzi bramka AND, której zadaniem jest umożliwienie przejścia sygnałów kontrolera do modułu tylko wtedy, kiedy moduł będzie uruchomiony (sygnał wejściowy START modułu ma wartość 1). Moduł składa się z komponentów Show i Hide, a także liczników, komparatorów oraz przerzutników SR.

Rys. 30. Część struktura programu w języku Rapid Fig. 30. Part of the program structure in Rapid

" & $ < & < = $ #

Rys. 31. Schemat modułu SYNC AND PLAY Fig. 31. Diagram of the SYNC AND PLAY module

Q6 Symulacja działania stacji umożliwiła sprawdzenie poprawności pracy zaimplementowanych modułów i korektę ewentualnych błędów. Testy utworzonych smart component były przeprowadzane od samego początku procesu projektowania oprogramowania stacji celem uniknięcia narastania błędów. Symulacje przeprowadzano ponownie po każdej zmianie struktury modułów. Systematyczna eliminacja błędów w fazie projektowania oraz zastosowanie ciągłych i powtarzalnych testów daje możliwość szybkiego i efektywnego rozwiązania, które jednocześnie nie jest obarczone błędem. Takie podejście, czyli prowadzenie symulacji przy jednoczesnym tworzeniu oprogramowania daje wymierne korzyści, które w tworzonych rozwiązaniach są kluczowe do uzyskania najlepszych efektów. Projekt zakłada wykonanie rzeczywistego modelu narzędzia spawalniczego Binzel ID 22. Model rzeczywisty narzędzia został wykonany metodą druku 3D, która w wierny sposób odwzorowuje model narzędzia umieszczony w bibliotece środowiska RobotStudio. Ważną procedurą, której użycie jest kluczowe przed importowaniem pliku z środowiska, jest zmiana opcji graficznych, dzięki którym możliwe było uzyskanie lepszego poziomu szczegółowości detalu przed jego zapisaniem w formacie STL (Rys. 32). Model narzędzia został wykonany metodą osadzania topionego materiału FDM (ang. fused deposition modelling) na drukarce HypeRoll o polu roboczym 300 mm × 300 mm × 250 mm z użyciem filamentu PLA. Pole robocze drukarki nie było wystar-

Rys. 33. Połączenie modelu narzędzia z ręcznym kontrolerem zestawu VR Fig. 33. Combination of the tool model with the handheld controller of the VR headset

czające dlatego model narzędzia został podzielony i wykonany w dwóch częściach, a następnie sklejony. Kolejnym korkiem było przymocowanie narzędzia do prawego ręcznego kontrolera wykorzystanego do symulacji zestawu Oculus Rift S. Przymocowanie do ręcznego kontrolera osiągnięto za pomocą rzepów oraz kołków na spodzie narzędzia, do którego będzie przylegał kontroler (Rys. 33). Zadaniem kołków jest jednoznaczne zdefiniowanie pozycji kontrolera w stosunku do narzędzia. Kolejny etapem było wykonanie modelu rzeczywistego, będącego odwzorowaniem obecnej w środowisku konstrukcji spawanej w jak najlepszej możliwej dokładności. Po odwzorowaniu konstrukcji należało ją odpowiednio spozycjonować w rzeczywistości. Występują różnice na osi między zamodelowaną stacją w RobotStudio a uruchomioną symulacją z zastosowaniem wirtualnej rzeczywistości. Aby skompensować ten błąd, należało manipulować wysokością rzeczywistego modelu konstrukcji spawanej, gdzie jej odpowiednia wysokość jest kontrolowana za pomocą końcówki już skonfigurowanego narzędzia. Po przystawieniu narzędzia w kilku miejscach do konstrukcji oraz braku wykrycia kolizji narzędzia ze spawaną konstrukcją wykazano gotowość użycia stacji. Działanie programu rozpoczyna się od uruchomienia modułu Selection. Jego symulacja polegała na sprawdzeniu struktury, w której skład wchodzą liczniki, komparatory, bramki logiczne oraz Smart Component umożliwiające wybór odpowiednich modułów. Symulacje umożliwiły pokonanie trudności związanych z wykonaniem odpowiedniego algorytmu, którymi w tym przypadku było dobranie połączeń między komponentami oraz zaznaczenie opcji „Allow cyclic Connections” umożliwiającej obsługę wielu sygnałów w tym samym czasie. Największą trudność w czasie testów sprawił moduł PROGRAMMING, ze względu na swoją rozbudowaną strukturę oraz współpracę z elementami stacji. Pierwszym zadaniem operatora po uruchomieniu symulacji jest dokowanie narzędzia, wymagało to

Rys. 32. Okno domyślnych ustawień widoku Fig. 32. Default view settings window

•

N R 4 /2021

" " # $ !

Rys. 34. Zdjęcie z testów oprogramowania Fig. 34. Photo from software tests

jednoczesnego przygotowania odpowiedniego algorytmu oraz przystosowania modelu stacji. Aby uzyskać bliźniaczą pozycję narzędzia rzeczywistego z modelem w symulacji, należało utrzymać prawy kontroler w nieruchomej pozycji po pojawieniu się manipulatora w punkcie DockTarget, aż do momentu pojawienia się znacznika z zielonym tłem. Było to problematyczne, ponieważ z nieruchomym prawym kontrolerem trzeba było zmienić aktywną ścieżkę oraz zamknąć interfejs VR. Poruszenie kontrolerem mogło spowodować niedokładne położenia narzędzia w symulacji. Po wykonaniu wszystkich czynność zgodnie z wskazówkami wyświetlanymi operatorowi stacja była gotowa do budowy instrukcji ruchu (Rys. 34).

S6 - - 0 W artykule omówiono projekt oraz wykonanie oprogramowania zrobotyzowanej stacji spawalniczej z wykorzystaniem technologii wirtualnej rzeczywistości. Zbudowano oprogramowanie, które umożliwiło uzyskanie ścieżek związanych z procesem spawania, które następnie przetworzono na instrukcje w języku RAPID. Zaprojektowano oraz wykonano narzędzie spawalnicze, które zostało wytworzone w technologii szybkiego prototypowania – druku 3D. Wybrana metoda osadzania topionego materiału FDM okazała się wystarczająca, wykonany model spełnił określone wymagania. Projekt modelu stacji wykonano w środowisku do programowania robotów off-line – RobotStudio. Utworzono oprogramowanie dla zbudowanego modelu stacji. Zaimplementowano wirtualną rzeczywistość, proces ten wymagał symulacji testowych. Podczas przeprowadzania symulacji z wykorzystaniem wbudowanej aplikacji do obsługi wirtualnej rzeczywistości w środowisku RobotStudio napotkano szereg problemów. Każdorazowe uruchomienie symulacji powoduje zmianę aktualnego poziomu podłoża w symulacji, w konsekwencji oznacza to ciągłą adaptację modelu rzeczywistego do zmiennych warunków; różnica w położeniu kątowym kontrolerów ręcznych oraz położenie pionowe kontrolera trzymanego w dłoni – co skutkowało przesunięciem modelu wyświetlanego operatorowi o pewien kąt względem położenia detalu w rzeczywistości. Przeprowadzone symulacje wykazały celowość prowadzonych prac. Zbudowane stanowisko może zostać w przyszłości rozbudowane o dodatkowe komponenty oraz udoskonalone.

' 1. Burdea G. C., Coiffet P. Virtual reality technology. John Wiley & Sons, 2003. 2. Szybicki D., Pietruś P., Zastosowanie wirtualnej rzeczywistości w projektowaniu stacji zrobotyzowanych. „Pomiary Automatyka Robotyka”, R. 24, Nr 2, 2020, 63–68, DOI: 10.14313/PAR_236/63

3. Muszyńska M., Szybicki D., Gierlak P., Kurc K., Burghardt A., The Use of VR to Analyze the Profitability of the Construction of a Robotized Station. “Advances in Manufacturing Science and Technology”, 44(1), 2020, 32–37. 4. Dymora P., Bolanowski, M., Mazurek, M., Kowal, B., Salach, M. (2019). Raport dotyczący uwarunkowań technicznych wdrażania technologii VR w dydaktyce na kierunkach Automatyka i robotyka oraz informatyka prowadzonych przez WEiI z potencjalnymi zastosowaniami dla Przemysłu 4.0. https://rid.prz.edu.pl/raport-prz/raport-potencjalu, 2019. 5. Tilhou R., Taylor V., Crompton H., 3D Virtual Reality in K-12 Education: A Thematic Systematic Review. [In:] Emerging Technologies and Pedagogies in the Curriculum (169– 184). Springer, Singapore, 2020. 6. Scales J., How VR Welding Simulators can Improve the Workforce & Position, Welding Operations for the future Succes http://education.lincolnelectric.com/wp-content/ uploads/2019/01/Lincoln-Electric-White-Paper-Virtual-Reality-Trainers-Industry-01-2019.pdf 7. Lincoln Electric Company, VRTEX 360 OPERATOR’S MANUAL. https://www.lincolnelectric.com/assets/servicenavigator-public/lincoln3/im10046.pdf, 2017. 8. ForgeFX Simulations. Aircraft Deicing Operator Training Simulator. https://forgefx.com/simulation-projects/aircraft-ground-support/deicing-training-simulator/ 9. Żmigrodzka M., Techniki wirtualnej rzeczywistości w procesie edukacji. „Marketing Instytucji Naukowych i Badawczych”, (4 (26)), 2017, 117–133. 10. HIK-CONSULTING. Symulator Spawania Nowej Generacji. https://www.symulatory-szkoleniowe.eu/files/Weldtrainer_PL2_HIK.pdf 11. Jagiełowicz M., Symulator do spawania na Wydziale Mechaniczo-Technologicznym. https://www.prz.edu.pl/ uczelnia/aktualnosci/symulator-do-spawania-na-wydzialemechaniczno-technologicznym-1797.html, 2020. 12. ABB, IRB2600ID Industrial robot. https://library.e.abb. com/public/f198ac79e5b14edea279cba33b158be8/ ROB0205EN_IRB2600ID_RevE.pdf, 2019. 13. ABB, Product manual IRB2600. https://abb.sluzba.cz/Pages/Public/IRC5UserDocumentationRW6/ en/3HAC035504%20PM%20IRB%202600-en.pdf, 2018. 14. ABB, IRBP R Positioner. https://library.e.abb.com/ public/7ae06be0a83848508bbafae510dc827b/IRBP R_PR10111EN_RevD.pdf, 2019. 15. Fronius International GMBH. Operating Instructions: Spare parts list, Wire-feed unit. https://www.fronius.com/~/ downloads/Perfect%20Welding/Operating%20Instructions/42%2C0426%2C0006%2CEN.pdf 16. Fronius International GMBH. Instrukcja Obsług: Źródło zasilania MIG/MAG. https://www.fronius.com/~/ downloads/Perfect%20Welding/Operating%20Instructions/42%2C0426%2C0001%2CPL.pdf 17. ABB, IRC5 Industrial Robot Controller. https://library.e.abb. com/public/d6f68ade0cb24d6aa0fe79220321d187/IRC5_ ROB029 5EN-Rev.D.pdf, 2019. 18. ABB, Assembly instruction: Torch Service Center TSC 2013. https://abb.sluzba.cz/Pages/Public/IRC5UserDocumentationRW6/en/3HDA000057A8519-001_Assembly%20Instructions_TSC2013_Rev03.pdf, 2018. 19. ABB, Operating manual: RobotStudio. https:// library.e.abb.com/public/244a8a5c10ef8875c1257b4b0052193c/3HAC032104-001_revD_en.pdf., 2020.

" & $ < & < = $ #

. ' f / 6 $ ; ' & & N 6 = & () % The use of VR technology in various industries, including in the industry is constantly growing. ABB is one of the first companies to introduce programming using virtual reality to its offer. This system greatly facilitates the work of an engineer, allowing the user to interact with 3D models through virtual reality goggles. The article presents the design and software of a robotic station that enables the creation of movement instructions using virtual reality technology. The review of the existing industrial solutions using VR technology in welding simulators and other industries. A project of a welding station in the RobotStudio environment was presented and built. Software was written using virtual reality and a model of the real tool was made using the 3D printing method. The designed welding station was tested. KeywordsI # $ # ' & # 6 $ '

' #$

' " #)

&' % ' ORCID: 0000-0002-0113-6159

' $ % ' ORCID: 0000-0003-3648-9808

H ' . 6 -& & b *!!@ ; ' *!!@A*!!F ' ' ' ; ' 0 ' > " . E 6 [' & ` Y ' > E 6 $ # &' $ ' H ' *!(* Z ' ] & ' H $ & ' ' ' E & Z ^ $ E ' '

' . ' ` H . 6 -& & b ; *!!BX*!( $ ' ^ ' > ; ' 0 ' > " . 6 ; *!() $ ' ] ' > [' *!() ' ' Y ' > 6 $ Z & ' ] ; ^ $ ' $ & $ ^

& ' * % ' ORCID: 0000-0002-6428-0959 ' 6 ' ` H . 6 -& & b ; E ' *!(FA*!(Q ' ' ' ; ' 0 ' > " . 6 E ; E Y ' > E 6 $ # &' $ Z X # & $ ^

•

N R 4 /2021

Pomiary Automatyka Robotyka, ISSN 1427-9126, R. 25, Nr 4/2021, 57–66, DOI: 10.14313/PAR_242/57

a ^ ' ' $ ^ + - & # / & + ( 0 * ! ; + ' = # - [ # & Y & *# !!EB!K ;

Streszczenie: W artykule przedstawiono koncepcję i realizację sieci czujników zobrazowania w podczerwieni służącą do lokalizacji i śledzenia obiektów. Sieć czujników używa zespołu wielu miniaturowych mikrobolometrycznych kamer termowizyjnych o niskiej rozdzielczości (80 × 80 pikseli) do wykrywania, śledzenia i lokalizacji obiektów w obszarze obserwacji. Zastosowanie systemów termowizyjnych reagujących na promieniowanie podczerwone pochodzące z obiektów sprawia, że system jest odporny na warunki oświetlenia zewnętrznego i warunki środowiskowe. Jednocześnie zastosowanie czujnika podczerwieni wymaga zastosowania specjalnie zaprojektowanych, dedykowanych technik przetwarzania obrazu. W artykule opisano techniki przetwarzania obrazu, sposoby lokalizacji obiektów, pomiary dokładności, porównanie z innymi znanymi rozwiązaniami oraz wnioski końcowe. 1 - 0 & - I # ' # $ # $ # a ^ # '

1. Wprowadzenie Systemy bezpieczeństwa, monitoringu i inteligentnego miasta są zazwyczaj wyposażone w różnego rodzaju czujniki, takie jak kamery, radary, mikrofony, detektory pirometryczne itp., które zapewniają wykrywanie, rozpoznawanie i identyfikację obiektów i zdarzeń [3]. Oczekuje się, że te systemy będą niezawodne i będą działać w szerokim zakresie warunków pogodowych oraz różnych porach dnia [10]. Kamera termowizyjna jest przykładem czujnika wizyjnego, który może zwiększyć możliwości wykrywania, rozpoznawania i identyfikacji systemu obserwacyjnego [2] w zróżnicowanych warunkach środowiskowych. Kilka ośrodków badawczych [13, 7, 12] bada aspekty jednoczesnej analizy danych obrazowych z wielu źródeł, co daje możliwość wydobycia dodatkowych informacji o obiekcie i jego położeniu. Zastosowanie kamery termowizyjnej umożliwia pracę w nocy oraz w warunkach słabej widoczności, takich jak mgła czy lekki deszcz, bez konieczności dodatkowego oświetlenia [5]. Ponadto kamera termowizyjna może dostarczyć przydatnych informacji pozwalających na zastosowanie ich przy zapobieganiu pożarom lub wykrywaniu wycieków gazu. Przedstawiona w artykule sieć czujników składa się z takich kamer i wykorzystuje podejście Internetu Rzeczy

do realizacji komunikacji wewnętrznej i zwiększenia świadomości sytuacyjnej. Eliminuje to potrzebę budowania rozbudowanych sieci przewodowych i przyspiesza proces wdrażania dzięki zastosowanym protokołom automatyzującym proces konfiguracji elementów sieci. Podstawową rolą prezentowanego systemu jest monitorowanie obszaru zainteresowania i wykrywanie: ruchu, sytuacji kryzysowych, przepływu ludzi czy prób sabotażu. System wykorzystuje sieć miniaturowych kamer termowizyjnych z matrycą detektorów mikrobolometrycznych typu Micro80 o wymiarach 80 × 80 detektorów wyprodukowanym przez francuską firmę Lynred.

L6 0 ! - Opracowany system, składający się z czujników podczerwieni, jest w stanie całkowicie pasywnie lokalizować i śledzić obiekty, zapewniając w ten sposób bezpieczeństwo, przez monitorowanie obszaru zainteresowania pod kątem określonych zdarzeń. Proponowane czujniki podczerwieni tworzą sieć mesh Wi-Fi. Wszystkie czujniki zostały wyposażone tak, że mogą przesyłać informacje o obrazie termicznym w czasie rzeczywistym. Przesyłany strumień wideo nieskompresowanych danych termicznych ma przepływność: B = fps ⋅ X ⋅ Y ⋅ bpp

0 < I = # % ' 0 1 & - ' (F !F *!*( # ' ' *! (! *!*(

(1)

gdzie: fps – częstotliwość ramek generowanych przez matrycę mikrobolometryczną, X i Y – wymiary odpowiednio poziomy i pionowy matrycy wyrażone w pikselach, bpp – szerokość bitowa słowa kodującego informację termiczną. Przy częstotliwości generowania ramek obrazu wynoszącej 50 Hz, wymiarze matrycy detektorów X = 80 pikseli, Y =

H < = M < = # M

powoduje zmianę rezystancji mikrobolometru. Specjalistyczny układ odczytowy mierzy tę rezystancję, dostarczając sygnał proporcjonalny do temperatury obserwowanego obiektu. Detektory mikrobolometryczne mają przewagę nad detektorami fotonowymi, ponieważ mogą działać bez chłodzenia kriogenicznego, dlatego często nazywa się je detektorami niechłodzonymi. W Europie, między innymi, firma Lynred produkuje mikrobolometryczne matryce detektorów wrażliwe na promieniowanie w widmie długofalowej podczerwieni (8–12 m). Ten typ matryc detektorów jest produkowany w procesie CMOS i dzięki temu są zintegrowane z układem odczytu. Detektory mikrobolometryczne mają postać mikromostków rezystancyjnych wykonanych z amorficznego krzemu. Charakterystyczna wielkość detektora zależy od modelu tablicy detektorów i waha się od 35 mm do 12 mm.

Rys. 1. Architektura zaprojektowanej sieci sensorowej Fig. 1. Architecture of the developed sensor network

80 pikseli i 16 bitach danych niezbędnych do zakodowania nieprzetworzonego sygnału termicznego, przepływność strumienia danych dla pojedynczego węzła sieci obsługującego sygnał detektora wynosi 5,12 Mb/s zgodnie z równaniem (1). Chociaż ta przepływność nie jest duża dla współczesnych sieci Wi-Fi, możliwość skalowania sieci dla dużej liczby czujników może być ograniczona przez zastosowaną technikę łączności. Zadaniem sieci czujników jest synteza danych ze zbioru węzłów i dostarczanie na ich podstawie informacji o położeniu obiektu w przestrzeni. Byłoby to niemożliwe do osiągnięcia przez pojedyncze, niewspółpracujące czujniki. Informacja o położeniu obiektu na obrazie termowizyjnym wraz z informacją o własnym położeniu czujnika w przestrzeni ustaloną przy pomocy modułu GPS, jest używana do obliczenia bezwzględnej pozycji obiektu za pomocą zaprojektowanego algorytmu lokalizacji na podstawie technik triangulacji. W związku z tym, aby obliczyć jego położenie na płaszczyźnie ziemi, obiekt musi zostać wykryty przez co najmniej dwa czujniki. Wykorzystanie technologii sieci mesh do koordynacji rozproszonej sieci czujników zwiększa użyteczność systemu, ułatwiając instalację ad-hoc w terenie. Dzięki temu możliwe jest łatwe wdrożenie systemu do monitorowania mobilnych elementów infrastruktury krytycznej. Pozyskiwanie i przetwarzanie obrazu podczerwonego IR (ang. InfraRed) odbywa się w czujnikach (jest to tzw. przetwarzanie On the Edge), natomiast zarządzanie siecią i synteza danych zapewniająca lokalizację obiektów realizowana jest centralnie przez węzeł nadrzędny, który pełni również funkcję serwera obliczeniowego. Model warstwowy architektury systemu sieci detektorów zaprezentowano na rysunku 2.

M6J6 : 0 3

Matryce mikrobolometryczne i detektory fotonowe charakteryzują się niejednorodną odpowiedzią detektorów na jednorodne promieniowanie podczerwone padające na powierzchnię matrycy. Przyczyną tych odchyleń są niedoskonałości poszczególnych detektorów i układu odczytowego, wynikające z procesu technologicznego. Odchyłka rozmiaru detektora powoduje losową niejednorodność czułości detektora i powstanie losowego napięcia niezrównoważenia [6]. Tolerancje produkcyjne ślepego bolometru i wzmacniacza całkującego powodują powstanie charakterystycznego wzoru kolumnowego na obrazie wynikowym. Ze względu na różne niedoskonałości w matrycy detektorów, kamera termowizyjna wytwarza niejednorodny obraz z nałożonym szumem o stałym wzorze (FPN), nawet mimo oświetlenia jednorodnym promieniowaniem podczerwonym. Przykładowy obraz z macierzy mikrobolometrów z nałożonym FPN przedstawiono na rysunku 3a.

(a)

(b)

Rys. 3. Termogram pozyskany z kamery termowizyjnej bez (a) oraz z (b) korekcją niejednorodności Fig. 3. Thermal image acquired from the sensor (a) without and (b) with NUC

Stały wzór szumowy spowodowany niejednorodnością jest zjawiskiem niepożądanym, ponieważ zmniejsza przestrzenną rozdzielczość urządzenia [4]. Przykładowy obraz po korekcji niejednorodności uzyskany z detektora podczerwieni zastosowanego w układzie eksperymentalnym, pokazano na rysunku 3b. Powszechnie stosowane algorytmy korekcji niejednorodności (NUC) są metodami typu referencyjnego i używają jednego lub dwóch referencyjnych zestawów danych dla realizacji algorytmu NUC [9]. Algorytmy korekcji niejednorodności oparte na wzorcowaniu zwykle wymagają mechanizmu aktualizacji, w celu kompensacji resztkowego szumu przestrzennego, który może powstać w wyniku nierównomiernego dryftu termicznego detektorów w matrycy. Aktualizacja współczynników korekcyjnych odbywa się zwykle za pomocą mechanicznej migawki,

Rys. 2. Model warstwowy architektury sieci czujników podczerwieni Fig. 2. Layer model of infrared sensor network architecture

M6 & - & & - & ' Obraz termowizyjny jest uzyskiwany przez system za pomocą mikrobolometrycznej matrycy detektorów. Mikrobolometr to detektor promieniowania podczerwonego należący do rodziny czujników termicznych. Czujnik termiczny absorbuje strumień promieniowania przychodzącego na jego powierzchnię, powodując wahania jego temperatury. Ta zmiana temperatury

•

N R 4 /2021

> $ ; A < / < > $ $ # = która czasowo blokuje promieniowanie z obserwowanej sceny i przedstawia jednolite promieniowanie referencyjne dla algorytmu korekcji. Blokada czasowa sprawia, że czujnik nie może realizować podstawowego zadania obserwacji przez krótki czas niezbędny do przeprowadzenia korekcji (zwykle kilka sekund), co sprawia, że obserwacja jest nieciągła. W systemach monitoringu uruchomienie tego mechanizmu może być nadużywane i pozwalać na potencjalne naruszenie bezpieczeństwa. Dlatego zaimplementowano specjalnie opracowany algorytm NUC oparty na analizie danych ze sceny, aby wyeliminować FPN z obrazów termicznych. Sieć czujników powinna działać bez przerw, dlatego należy zastosować odpowiedni bezprzesłonowy algorytm korekcji niejednorodności. Zasadniczo istnieją dwa podejścia do bezprzesłonowego NUC: fabrycznie skorygowany czujnik metodą „brute force” przechowujący dane referencyjne dla dużego zestawu różnych temperatur otoczenia [1] oraz algorytm oparty na analizie parametrów statystycznych obserwowanej sceny [14]. Proces pomiaru odpowiedzi matrycy detektorów dla wielu wartości temperatury otoczenia, uzyskany na przykład w kontrolowanej komorze klimatycznej, jest czasochłonny i może być znaczącym czynnikiem generującym koszty. Jest to szczególnie istotne w przypadku tanich czujników podczerwieni o niskiej rozdzielczości, takich jak zastosowane w projekcie. W rozwiązaniu zdecydowano się na wariant oparty na uproszczonej analizie parametrów obserwowanej sceny, aby przyspieszyć proces uruchomienia systemu składającego się z wielu czujników i zapewnić niezawodne działanie w niestabilnym, zróżnicowanym środowisku zewnętrznym. Niepożądane przesunięcie sygnału wyjściowego z matrycy detektorów powodujące FPN zmienia się nieznacznie wraz z temperaturą detektorów. W ten sposób dynamika sygnału FPA jest połączona z właściwościami termicznymi kamery termowizyjnej. Przy stosunkowo wysokiej stałej termicznej komponentów kamery, szum o stałym wzorze znajduje się w domenie częstotliwościowej sygnału w zakresie niskich częstotliwości [9]. Pożądany użyteczny sygnał ze sceny ma natomiast stosunkowo wysoką częstotliwość (obiekty szybko poruszające się). Jeśli wykrywanie obiektów odbywa się przez wykrywanie ich ruchu, to można założyć, że temperatura bezwzględna obiektów i szczegóły statycznego tła nie dostarczają użytecznych informacji. Użyteczne są zatem sygnały szybkozmienne, a nieużyteczne wolnozmienne. Zatem korekta niejednorodności może być wykonana za pomocą filtra górnoprzepustowego, który odfiltruje zarówno niepożądane zmiany powodujące wzór FPN jak i statyczne promieniowanie tła. Faktyczna realizacja procedury korekcji została zrealizowana metodą komplementarną do opisanej powyżej – filtrem dolnoprzepustowym wyznacza się obraz referencyjny (obraz sumy sygnału niejednorodności i tła) a następnie od obrazu zarejestrowanego w kamerze odejmowany jest obraz referencyjny. Filtr powinien być wydajny i mieć niewielkie wymagania obliczeniowe, stąd zaimplementowano filtr typu IIR. Zaprojektowany filtr ma konfigurowalną charakterystykę częstotliwościową, aby dostosować go do zmieniających się warunków akwizycji. Podstawowy schemat filtra IIR służącego do wyznaczenia obrazu odniesienia zaprezentowano na rysunku 4.

Odpowiedź częstotliwościowa tego filtru IIR zależy od parametru a0, który jest obliczany według wzoru (2). ⎧1 / N max : n ≥ N max a0 = ⎨ : n < N max ⎩ 1/ n

(2)

Parametr n jest numerem ramki, której liczenie rozpoczyna się od momentu wyzwolenia procedury korekcji niejednorodności. Parametr Nmax definiuje maksymalną stałą czasową dla filtra. Na rysunku 5a pokazana jest odpowiedź jednostkowa filtra IIR, która zależy od parametru a0. Na rysunku 5b pokazano charakterystykę widmową filtru IIR w stanie ustalonym (n t Nmax) w zależności od parametru a0. (a)

(b)

Rys. 5. Odpowiedź impulsowa (a) i unormowana charakterystyka (b) filtra IIR dla różnych wartości parametru a0 Fig. 5. Impulse response (a) and normalised spectral transfer function (b) of IIR filter with different a0 parameter

Sygnał wyjściowy filtra zawiera sumę zarówno sygnału odpowiadającego rozkładowi promieniowania statycznego tła obserwowanej sceny, jak i wewnętrznego napięcia niezrównoważenia każdego z detektorów w matrycy mikrobolometrycznej. Filtrowanie odbywa się niezależnie dla każdego detektora w tablicy, stąd przy rozdzielczości detektora 80, w sumie 6400 filtrów działa jednocześnie i do każdego z nich jest dostarczana jedna próbka sygnału na każdą klatkę obrazu termicznego. Sygnał wyjściowy po korekcji powstały w wyniku filtracji obrazem odniesienia jest następnie poddawany algorytmowi detekcji.

M6L6 ' 0

Rys. 4. Schemat filtra dolnoprzepustowego o nieskończonej odpowiedzi impulsowej (IIR) Fig. 4. Diagram of IIR LP filter with controlled time constant

Opracowana metoda detekcji obiektów realizuje zadanie poprzez rejestrację wartości termicznych obrazu, a następnie obliczanie obrazu referencyjnego. Następnie dokonuje się porównania między nowo uzyskanym obrazem termicznym i obrazem referencyjnym. Po określeniu obrazu referencyjnego algorytm przechodzi do wyznaczenia obrazu różnicowego Δf dla każdego nowo zarejestrowanego obrazu. Wykrywanie obiektu odbywa się przez dyskryminację amplitudy odchylenia sygnału

H < = M < = # M

ze sceny od sygnału tła. Obraz różnicowy Δf jest obliczany według równania: Δf(x, y) = |f(x, y) – f’(x, y)|

odpowiadającym ustalonej różnicy temperatury, a następnie podawany jest do modułów przetwarzania morfologicznego, tj. modułów erozji i dylatacji. Następnie sygnał trafia do modułu segmentacji (rys. 13). Druga gałąź składa się z modułu kompresji zakresu dynamicznego DRC (ang. Dynamic Range Compression), który przetwarza surowy sygnał promieniowania podczerwonego na obraz czytelny dla człowieka przedstawiony w odcieniach szarości, gdzie jasność obrazu jest proporcjonalna do temperatury. Obie gałęzie wyprowadzają sygnały wyjściowe do modułu lokalizacyjnego, który dokonuje syntezy informacji o wykrytych obiektach, obliczając w ten sposób kierunek kątowy do obiektu względem osi optycznej obiektywu. Moduł DRC można pominąć w przypadku pracy systemu w trybie autonomicznym, kiedy nie ma potrzeby, aby system prezentował obrazy wizualne w formacie czytelnym dla człowieka. Współrzędne obiektu (xc, yc) zostały obliczone jako geometryczny środek ciężkości obrazu wykrytego obiektu i są one obliczane według wzorów (4):

(3)

Po tej operacji następuje binaryzacja obrazu wykonywana na obrazie różnicowym, która służy do klasyfikacji każdego piksela obrazu do jednego z dwóch stanów „obiekt” (biały) i „tło” (czarny). Klasyfikacja odbywa się metodą progowania. Jeżeli obliczona wartość obrazu różnicowego jest większa niż wcześniej określony próg detekcji L wtedy obiekt uważa się za wykryty. Próg wykrywania L został eksperymentalnie wybrany dla różnych scenariuszy eksperymentu. Jeśli wartość obrazu różnicowego jest poniżej progu wykrywania zakłada się, że wykrycie nie nastąpiło, a nagrany obraz jest wykorzystywany do adaptacyjnej aktualizacji obrazu referencyjnego tła.

M6M6 ' 0 & Schemat blokowy toru przetwarzania obrazu zaprezentowano na rysunku 6. Czujnik podczerwieni przedstawiony jako IR Detector jest źródłem obrazu podłączonym do modułu korekcji uszkodzonych pikseli BPR (ang. Bad Pixel Replacement). Następnie sygnał jest rozgałęziony na dwa tory. Pierwsza gałąź przeznaczona jest do realizacji zadania wykrywania i znakowania obiektów. Składa się z modułu binaryzacji z zadanym progiem L

(4) gdzie mij jest masą (natężeniem) piksela o współrzędnych (i, j). Środek masy należy obliczyć osobno dla każdego wykrytego i uprzednio wyodrębnionego w procesie segmentacji obiektu.

Rys. 6. Tor przetwarzania obrazu w sensorze podczerwieni Fig. 6. Image processing train of the infrared sensor

Rys. 7. Przykładowe wyniki przetwarzania obrazu: a) obraz oryginalny, b) obraz po binaryzacji, c) obraz po erozji, d) obraz po dylatacji, e) obiekt segmentowany z zaznaczonymi środkami Fig. 7. Example of image processing train results: a) original image, b) image after binarization, c) image after erosion, d) image after dilation, e) segmented object with their centers marked

•

N R 4 /2021

> $ ; A < / < > $ $ # = Znając bezwzględne współrzędne czujnika i współrzędne na obrazie wykrytego obiektu, można obliczyć azymut od czujnika do wykrytego obiektu, biorąc pod uwagę kąty przesunięcia α i β od osi optycznej czujnika. Kąty a i b są obliczane według wzoru:

α = IFOV ⋅ (xc − X / 2) β = IFOV ⋅ (yc − Y / 2)

(5)

gdzie IFOV to elementarne pole widzenia zespołu matrycy detektorów i układu optycznego, a xc i yc to współrzędne wykrytego obiektu na płaszczyźnie obrazu. Dla każdego wykrytego obiektu można wykreślić półprostą wychodzącą z obiektywu i przecinającą wykryty obiekt. Zbiór takich promieni jest rzutowany na wspólną płaszczyznę równoległą do podłoża. Każda półprosta może przeciąć każdą inną ze zbioru. Punkty przecięcia półprostych służą do określenia lokalizacji wykrytego obiektu. Maksymalną liczbę możliwych przecięć można określić za pomocą wzoru (6):

1 S ∑n =1dn − 1 ∑Sn =1dn 2

(

)

(6)

gdzie S to liczba użytych czujników, a dn to liczba obiektów wykrytych przez n-ty czujnik. Obliczenie dokładnego położenia obiektu na płaszczyźnie obrazu może być obarczone błędem wynikającym z rozdzielczości przestrzennej kamery termowizyjnej, dystorsji obiektywu, niepewności pomiaru azymutu czujników, geometrii obiektu itp. Błąd ten przyczynia się do niepewności wyznaczenia położenia i azymutu do obiektu, dlatego promienie utworzone przez wiele czujników odpowiadające temu samemu obiektowi nie przecinają się w dokładnie jednym punkcie (rys. 14). Ponieważ dla każdego obiektu może istnieć wiele przecięć, lokalizacja obiektu stanowi problem optymalizacyjny. Rozwiązuje się go przez obliczenie geometrycznego punktu środkowego wszystkich przecięć między liniami od czujników do wykrytych obiektów. Tak zwana mediana geometryczna dla zbioru punktów w przestrzeni euklidesowej to punkt, dla którego sumę odległości do wszystkich punktów w zbiorze jest minimalna, co definiuje się równaniem (7). W projekcie zastosowano iteracyjny algorytm Weiszfelda do znalezienia punktu środkowego [11]. Mediana geometryczna Q jest definiowana jako punkt spełniający warunek: m

arg min ∑ Pi − Q n

Q ∈\

i =1

Operator oznacza znalezienie takiego punktu Q, dla którego suma wszystkich odległości euklidesowych do Pi jest minimalna. Jeżeli na obrazie znajduje się więcej niż jeden obiekt, liczba przecięć gwałtownie wzrasta. Nie zawsze jest możliwe właściwe oddzielenie obiektów tylko i wyłącznie na podstawie analizy obrazów z różnych czujników, ponieważ mogą one wyglądać zupełnie inaczej, ponieważ są przez różne czujniki oglądane z różnych stron. Wszystkie przecięcia są zatem analizowane za pomocą proponowanej metody, bez stawiania żadnego założenia przynależności danych półprostych do konkretnych obiektów. Wszystkie kombinacje przecięć półprostych są jednakowo brane pod uwagę do analizy lokalizacji obiektów. Okazuje się, że nawet w przypadku występowania większej liczby obiektów, punkty tworzą skupiska wokół rzeczywistej lokalizacji danego obiektu. Klastry są rozdzielane za pomocą procedury segmentacji realizowanej metodą pcsegdist z biblioteki oprogramowania MATLAB. Algorytm służy do segmentacji punktów na grupy, z uwzględnieniem zadanej minimalnej odległości euklidesowej pomiędzy punktami z różnych grup. Minimalna odległość między grupami punktowymi została ustalona eksperymentalnie na 0,35 m, co w przybliżeniu odpowiada średniej wielkości przekroju poprzecznego człowieka. Na rysunku 9 pokazana jest przykładowa sytuacja przedstawiająca dwa obiekty wykrywane przez cztery czujniki. Istnieją dwie chmury punktów wokół rzeczywistych pozycji obiektów i pewna liczba nieprawidłowo wyznaczonych punktów generowanych przez nadmiarowe przecięcia półprostych należących do nieodpowiadających obiektów. Ogólnie, niedopasowane punkty przecięcia są rzadkie i można je łatwo odrzucić w algorytmie segmentacji.

(7)

gdzie Pi = (pi1, pi2, …, pin). Rys. 9. Wyniki działania algorytmu do rozwiązania problemu lokalizacji dla dwóch obiektów w polu widzenia sieci sensorowej Fig. 9. Results of location problem algorithm for two objects in the sensor network field of view

M6P6 |

Rys. 8. Ilustracja tak zwanego problemu lokalizacji dla wybranego podzbioru czujników Fig. 8. Illustration of exemplary results of the location problem algorithm for selected subset of sensors

Każdy czujnik był wyposażony w kartę sieciową obsługującą IEEE 802.11ac Wave 1, która pracowała w trybie MIMO 2×2. Wykorzystane punkty dostępowe działały w trybie MIMO 3x3 do transmisji między punktami dostępowymi w trybie mesh oraz w trybie MIMO 2×2 podczas komunikacji z czujnikami. W przypadku kanału radiowego o szerokości 80 MHz najmniejsza możliwa prędkość transmisji danych (MCS0) w trybie MIMO 2×2 wynosi 65 Mb/s, a w trybie MIMO 3×3 97,5 Mb/s. Wartość 65 Mb/s w porównaniu do przepustowości strumienia danych pochodzącego z jednego czujnika (1) pozwala na podłączenie wielu czujników do tego samego punktu dostępowego w najgorszych warunkach propagacji sygnału. Połączenie sieciowe między czujnikami jest kluczowym elementem całego

H < = M < = # M

Rys. 10. Schemat połączenia między czujnikami a punktami dostępowymi użytymi w eksperymencie Fig. 10. Connections between the sensors and access points used in the experiment

systemu. Każdy czujnik generuje dane, które muszą być przesyłane do urządzenia zarządzającego pamięcią masową lub bezpośrednio do serwera przetwarzającego dane. Ze względu na wymagania dotyczące połączenia czujników i odpowiednio zsynchronizowanej transmisji danych w czasie rzeczywistym, sieć musi być niezawodna, zapewniać wystarczającą przepustowość i być skalowalna dla większych obszarów działania. Niezawodność można zapewnić stosując redundantne punkty dostępowe w zasięgu każdego czujnika. Umieszczenie wielu punktów dostępowych działających w nienakładających się kanałach pozwoli również zapewnić spełnienie wymagań dotyczących przepustowości sieci. Skalowalność można zapewnić dzięki punktom dostępowym z możliwością łączenia się przewodowo i bezprzewodowo z innymi punktami dostępowymi, dzięki czemu istniejąca pierwotnie infrastruktura nie jest konieczna do działania systemu. Jedynym rozwiązaniem, które spełniło wymagania systemu, była sieć bezprzewodowa IEEE 802.11ac z zaimplementowaną niestandardową siecią typu mesh. Rozważano również wariant IEEE 802.11ax, jednak na etapie realizacji badań nie było łatwo dostępnych komercyjnych urządzeń obsługujących ten standard. Teoretycznie jednak standard ten powinien zapewniać jeszcze lepsze parametry sieci, takie jak mniejsze opóźnienia i większą przepustowość. W przeprowadzonym eksperymencie nie zdarzyło się, aby którykolwiek węzeł sieci działał z najniższą możliwą przepustowością radiową – każde połączenie między czujnikami a punktami dostępowymi nawiązywano z przepustowością większą niż 300 Mb/s. Sieć składała się z pięciu punktów dostępowych, z których cztery zostały umieszczone wewnątrz budynku, a jeden na zewnątrz. Jeden z punktów dostępowych umieszczonych wewnątrz budynku działał jako punkt dostępowy typu mesh (pełniąc jednocześnie rolę punktu dostępowego dla węzłów oraz bezprzewodowego klienta innego punktu dostępowego). Sieć mesh została utworzona przy użyciu komercyjnego protokołu dostarczonego przez znanego producenta urządzeń bezprzewodowych. W ten sposób zapewniono wystarczająco duży obszar działania sieci, bez konieczności stosowania infrastruktury kablo-

•

wej. Warto zauważyć, że każde bezprzewodowe rozszerzenie sieci (punkt dostępowy połączony z innym punktem dostępowym) zmniejsza efektywną przepustowość. Jak zaprezentowano na rysunku 10, bezprzewodowe połączenie między dwoma połączonymi punktami dostępowymi zostało ustanowione z prędkością transmisji 527 Mb/s w kierunku od AP-E do AP-D i 450 Mb/s w kierunku przeciwnym. Ze względu na charakter danych przesyłanych z czujnika, które mają być odbierane z jak najmniejszym opóźnieniem, zdecydowano się na opracowanie autorskiego protokołu opartego na UDP. Jedna ramka obrazu generowana przez czujnik ma długość 12 800 bajtów, czyli kilka razy więcej niż typowe MTU (Maksymalna jednostka transmisji) sieci przewodowej Ethernet i bezprzewodowej IEEE 802.11. Możliwe jest zamieszczenie jednej ramki w jednym datagramie UDP, ale zostanie on pofragmentowany przez oprogramowanie realizujące warstwę protokołu IP (fragmentacja warstwy sieciowej). W takim przypadku, jeśli jakikolwiek fragment datagramu zostanie utracony, zostanie utracony cały pakiet IP. Zaprojektowano nowy protokół, który dzieli ramkę danych na części i enkapsuluje każdą z nich w oddzielnych datagramach UDP z niestandardowym nagłówkiem warstwy aplikacji zawierającym numer kolejny ramki obrazu, numer fragmentu ramki oraz liczbę wszystkich części. W ten sposób minimalizujemy procent utraconych danych, ponieważ w przypadku utraty pojedynczej ramki nadal dysponujemy fragmentem obrazu. Taka właściwość systemu jest istotna zwłaszcza w aplikacjach czasu rzeczywistego pracujących z sieciami bezprzewodowymi, szczególnie w trudnych warunkach radiowych. Przewidziano, że protokół może wykorzystywać kompresję danych LZ4, gdy sieć działa w trudnych warunkach (duże odległości, wielu klientów bezprzewodowych). Zastosowanie kompresji pozwala zaoszczędzić około 20–30 % przepustowości w zamian za większe opóźnienie transmisji.

M6Q6 - 1 & - & ' 1 - & ' Strumień danych przetwarzanych przez system jest pozyskiwany z matrycy mikrobolometrycznej. Głównym zadaniem A

•

N R 4 /2021

> $ ; A < / < > $ $ # =

modułu odczytowego FPA jest generowanie sygnałów sterujących obwodami wewnętrznymi matrycy detektorów, a także współpraca z przetwornikiem analogowo-cyfrowym [8]. Aby uzyskać wiarygodne dane z matrycy detektorów, istnieje potrzeba zaprojektowania specjalnego automatu cyfrowego, który generuje szereg sygnałów podłączonych do matrycy detektorów i wysyła je przez zewnętrzny interfejs IO. Odbywa się to za pomocą niestandardowych modułów cyfrowych opisanych w języku opisu sprzętu zrealizowanym w układzie FPGA Cyclone V SX firmy Intel Corporation. Układ FPGA odpowiada za generowanie i synchronizację zegara, obsługę sygnałów układu odczytu oraz zapewnia mechanizm DMA do przesyłania danych obrazowych do mikroprocesora (HPS) wbudowanego w strukturę FPGA. Przetwarzanie obrazu odbywa się w HPS (ang. Hard Processor System) przez aplikację użytkownika działającą pod kontrolą dostosowanego systemu operacyjnego GNU/Linux (wersja 5.0). System operacyjny Linux, kompilator, sterowniki i aplikacje składające się na niestandardową dystrybucję systemu zostały opracowane przy użyciu oprogramowania Buildroot. System zbudowany przez Buildroot nie zawiera żadnego nadmiarowego oprogramowania, które nie jest wymagane przez aplikację i w ten sposób został zoptymalizowany pod kątem szybkiego uruchamiania. Niestandardowe moduły jądra odpowiadają za konfigurację matrycy podczerwieni i pozyskiwanie danych. Niestandardowe oprogramowanie aplikacyjne uruchomione w systemie jest przeznaczone do przesyłania danych przez sieć za pomocą opracowanego protokołu. Wszystkie moduły i oprogramowanie jest na tyle uniwersalne, że może współpracować z modułami termowizyjnymi o innych rozdzielczościach (np. 384 × 288 lub 640 × 480). Do bezpośredniej komunikacji między czujnikiem a systemem operacyjnym wykorzystano specjalnie zaprojektowaną magistralę i mechanizm DMA. Zrealizowana sieć czujników stanowi zestaw 12 matryc podczerwieni podłączonych do płytki wstępnego przetwarzania obrazu opartej na układzie SoC-FPGA, wyposażonej w interfejs Wi-Fi oraz przenośne źródło zasilania. Jeden z elementów wewnętrznych czujnika pokazano na rys. 11.

dym rogu kwadratu, obiektywy kierując w stronę środka kwadratu. Ustalono liniową ścieżkę, po której poruszał się człowiek. Sekwencja trwała 13 sekund i składała się z około 400 zsynchronizowanych klatek dla każdej kamery. Przykładowe obrazy z czterech czujników w konfiguracji są pokazane na rysunku 12. Geometrię zestawu zmierzono taśmą mierniczą z dokładnością do 1 cm. Azymut kamery został zmierzony z dokładnością 2° względem północy magnetycznej. Ponieważ pole magnetyczne w promieniu kilku metrów jest jednorodne a ponadto ważny jest tylko azymut względny między kamerami, błąd odchylenia magnetycznego można pominąć. Dokładność systemu została określona jako średnia kwadratowa odległości między wykrytą lokalizacją a ścieżką ruchu wyznaczającą linię. Ścieżka ruchu została zamodelowana analitycznie w postaci równania liniowego, co pozwoliło na pomiar błędu detekcji. Parametry eksperymentu są zestawione w tabeli 1, a wyniki pomiarów zaprezentowane na rysunku 13. Wyraźnie daje się wyróżnić ścieżkę liniową. Przy zadanych (xn, yn) pozycjach obiektu i dla n ∈ <1…N> próbek pobranych z czujnika dokładność metody Pd została obliczona jako pierwiastek średniej kwadratowej odległości między punktami lokalizacji a linią. Dokładność obliczono za pomocą równania (8).

Rys. 12. Obrazy termiczne uzyskane z wielu czujników Fig. 12. Thermal images acquired from multiple sensors

Tabela 1. Parametry eksperymentu Table 1. Experiment conditions Parametr

Liczba kamer Wymiary obszaru badawczego Rys. 11. Czujnik termowizyjny z matrycą detektorów 80x80 i obiektywem szerokokątnym na płycie FPGA Fig. 11. Infrared sensor proximity board connected to Terasic DE10-nano FPGA board

Typ ścieżki Równanie ścieżki Parametry równania

P6 01 3 W celu oszacowania dokładności systemu opracowano specjalny eksperyment. Wyznaczono referencyjny kwadratowy obszar o wymiarze krawędzi 10 m, a kamery umieszczono w każ-

Długość ścieżki Liczba ramek obrazu Częstotliwość odświeżania

Wartość

4 10 m × 10 m liniowa ax + by + c = 0 a = –0,022 b = –1 c = 4,33 m ≈ 10 m 426 30 Hz

H < = M < = # M

(a)

(b)

Rys. 13. Pozyskana lokalizacja obiektu i opracowana ścieżka do: (a) pomiaru dokładności i (b) ogólnego testu pokrycia coverage Fig. 13. Acquired object localisation and elaborated path for: (a) accuracy measurement and (b) general coverage test

Pd =

1 N ⎛ a ⋅ x n + b ⋅ yn + c ⎞ ∑ ⎟ N n =1 ⎜⎝ ⎠ a2 + b2

Q6 , 0

(8)

Aby zweryfikować algorytm lokalizacji i wydajność sieci czujników, przygotowano specjalnie opracowany scenariusz z dwunastoma czujnikami. Cała konfiguracja znajdowała się w obszarze zabudowy o wymiarach 13 m × 40 m. Cztery czujniki zostały umieszczone w klatce schodowej i kolejne cztery dla każdego z dwóch odchodzących korytarzy. Omówiony scenariusz pomiarowy zakłada pomiar wewnątrz budynku, w którym sygnał GPS nie jest dostępny. Dlatego pozycje kamer zostały wyznaczone ręcznie za pomocą taśm mierniczych i kątomierzy i wprowadzone do algorytmu. Kamery na podczerwień zostały umieszczone i skierowane w taki sposób, aby każda osoba przechodząca przez budynek była widoczna dla co najmniej czterech kamer. W takim układzie stosunkowo łatwo było wyznaczyć trasy obiektów testowych. Celem tego testu było obliczenie drogi ludzi poruszających się wewnątrz budynku w różnych kierunkach. Umiejscowienie węzłów sensorowych w układzie eksperymentalnym i jedną z przykładowych ścieżek obliczonych za pomocą systemu pokazano na rysunku 14.

Dokładność wykrywania obiektów nieruchomych jest obliczana jako wartość RMS odległości euklidesowej między obliczoną a rzeczywistą pozycją obiektu. Obliczone położenie obiektu poruszającego się po prostej linii przedstawiono na rysunku 13a. Rzeczywiste odległości czujników od obiektu wyznaczono za pomocą taśmy pomiarowej dla obiektów nieruchomych. Dla obiektów poruszających się błąd lokalizacji obliczono jako wartość skuteczną odległości euklidesowej między pozycją detekcji a linią określającą tor ruchu. W takim scenariuszu testowym osiągnięto dokładność Pd = 16 cm dla metody. Jest prawie pewne, że poruszająca się osoba nie podążała idealnie wyznaczoną linią ścieżki. Z tego powodu obliczony błąd metody może być przeszacowany. Dodatkowo wykonano testy pokrycia obiektem poruszającym się po całym obserwowanym obszarze. Przykładowa ścieżka obiektu przedstawiona jest na rysunku 13b.

Rys. 14. Schemat rozmieszczenia czujników i ich pola widzenia w układzie eksperymentalnym i przykładowa wyznaczona ścieżka ruchu obiektu Fig. 14. Sensors’ FOV and placement diagram in the experimental setup and exemplary detection path

•

N R 4 /2021

> $ ; A < / < > $ $ # =

6. Wnioski Głównymi wyzwaniami w sieci czujników zainstalowanych wewnątrz budynków są zakłócenia elektromagnetyczne i przeszkody, które uniemożliwiają niezawodną transmisję bezprzewodową. Z punktu widzenia wydajności i niezawodności systemu termowizyjnego środowisko wewnętrzne nie jest bardzo wymagające i zapewnia stosunkowo stabilne warunki temperaturowe oraz stały sygnał tła. Jednak środowisko wewnętrzne może powodować więcej problemów z niezawodnością w części sieciowej systemu. Korzystanie z sieci czujników wewnątrz budynków może być korzystne w zastosowaniach takich jak inteligentne budynki lub systemy bezpieczeństwa. Sieć czujników w otwartym środowisku może być atrakcyjna dla zastosowań wojskowych, ponieważ zapewnia dodatkową świadomość sytuacyjną dzięki zastosowaniu automatycznie konfigurowalnych rozproszonych sygnałów obserwacyjnych. Ponadto takie sieci czujników mogą być przydatne w zastosowaniach inteligentnych miast, zapewniając na przykład bezpieczniejsze i szybsze zarządzanie ruchem. Takie systemy podczerwieni z niezawodnym wykrywaniem pieszych zapewniają jednocześnie anonimowość obserwowanym osobom, co może być atrakcyjne dla krajów dbających o prawa obywatelskie. Nasz system wykazał mniejszy średni błąd odległości 16 cm w porównaniu do około 30 cm w podejściu z czujnikiem dyskretnym [13]. Lepszą dokładność można przypisać wyższej rozdzielczości przestrzennej zastosowanego czujnika podczerwieni. Zastosowana metoda segmentacji chmury punktów zapewnia względną odporność na bardziej zatłoczoną scenę, ale istnieją możliwości rozwoju systemu w kierunku zastosowania bardziej wyrafinowanych metod, takich jak filtrowanie i śledzenie cząstek, jak używane w [12] i pozwolić na osiągnięcie jeszcze lepszej wydajności systemu. Dzięki zastosowaniu np. sprzętowej akceleracji FPGA możliwe jest przeniesienie przetwarzania obrazu do węzłów (przetwarzanie on the Edge) i przesyłanie przez sieć wyłącznie informacji o detekcji i lokalizacji obiektu na obrazie, co znacznie zmniejszyłoby wymagania dotyczące przepustowości sieci. Dalszy rozwój algorytmów przetwarzania obrazów jest przedmiotem przyszłych badań. System ma potencjalne znaczne możliwości dalszego rozwoju, jednak już na obecnym etapie wykazano przydatność współpracujących sieciowo małych matryc detektorów podczerwieni w systemach detekcji i śledzenia obiektów.

& /0 - Projekt był częściowo realizowany w ramach pracy naukowej finansowanej przez Narodowe Centrum Badań i Rozwoju w ramach projektu nr DOB-2P/02/09/2018 oraz częściowo z funduszy badawczych Instytutu Optoelektroniki WAT.

' 1. Bieszczad G., Orżanowski T., Sosnowski T., Kastek M., Method of detectors offset correction in thermovision camera with uncooled microbolometric focal plane array. [In:] “Electro-Optical and Infrared Systems: Technology and Applications” VI, ed. Huckridge D.A., Ebert R.R., Vol. 7481, 2009, 200–207. International Society for Optics; Photonics; SPIE. DOI: 10.1117/12.830678. 2. Dulski R., Kastek M., Bieszczad G., Trzaskawka P., Ciurapiński W., Data Fusion Used in Multispectral System for Critical Protection. “WIT Transactions on Information and Communication Technologies”, Vol. 42, 2009, 165–172, DOI: 10.2495/DATA090171.

3. Kastek M., Dulski R., Życzkowski M., Szustakowski M., Ciurapiński W., Firmanty K., Pałka N., Bieszczad G., Multisensor Systems for Security of Critical Infrastructures – Concept, Data Fusion, and Experimental Results. Proceedings of SPIE – The International Society for Optical Engineering, Vol. 8193, 2011, DOI: 10.1117/12.900969. 4. Krupiński M., Bieszczad G., Sosnowski T., Madura H., Gogler S., Non-Uniformity Correction in Microbolometer Array with Temperature Influence Compensation. “Metrology and Measurement Systems”, Vol. 21, No. 4, 2014. 709–718, DOI: 10.2478/mms-2014-0050. 5. Ligienza A., Sosnowski T., Bieszczad G., Bareła J., Optoelectronic sensor system for recognition of objects and incidents. [In:] Radioelectronic Systems Conference 2019, Vol. 11442, 2020, 208–215, DOI: 10.1117/12.2565165. 6. Olbrycht R., Więcek B., De Mey G., Thermal Drift Compensation Method for Microbolometer Thermal Cameras. “Applied Optics”, Vol. 51, No. 11, 2012, 1788–1794. DOI: 10.1364/AO.51.001788. 7. Siewert Sam B., Andalibi M., Bruder S., Rizor S., Slew-toCue Electro-Optical and Infrared Sensor Network for Small UAS Detection, Tracking and Identification. “AIAA Scitech 2019 Forum”, DOI: 10.2514/6.2019-2264. 8. Sosnowski T., Bieszczad G., Kastek M., Madura H., Digital image processing in high resolution infrared camera with use of programmable logic device. [In:] Optics and Photonics for Counterterrorism and Crime Fighting VI and Optical Materials in Defence Systems Technology VII, Vol. 7838, 2010, 266–276. International Society for Optics; Photonics; SPIE. DOI: 10.1117/12.865026. 9. Sosnowski T., Bieszczad G., Madura H., Image Processing in Thermal Cameras. [In:] Advanced Technologies in Practical Applications for National Security, 2018, 35–57. Springer International Publishing. DOI: 10.1007/978-3-319-64674-9_3. 10. Szustakowski M., Ciurapiński W., Życzkowski M., Pałka N., Kastek M., Dulski R., Bieszczad G., Sosnowski T., Multispectral System for Perimeter Protection of Stationary and Moving Objects. “Proceedings of SPIE – The International Society for Optical Engineering”, Vol. 7481, 2009, DOI: 10.1117/12.830051. 11. Weiszfeld E., Sur Le Point Pour Lequel La Somme Des Distances de n Points Donnes Est Minimum. “Tohoku Mathematical Journal”, Vol. 43, 1937, 355–386. 12. Yang B., Wei Q., Yuan L., Location Ambiguity Resolution and Tracking Method of Human Targets in Wireless Infrared Sensor Network. “Infrared Physics & Technology”, Vol. 96, 2019, 174–183, DOI: 10.1016/j.infrared.2018.11.011. 13. Yang B., Wei Q., Zhang M., Multiple Human Location in a Distributed Binary Pyroelectric Infrared Sensor Network, “Infrared Physics & Technology”, Vol. 85, 2017, 216–224, DOI: 10.1016/j.infrared.2017.06.007. 14. Zuo C., Chen Q., Gu G., Sui X., Qian W., Scene-based nonuniformity correction method using multiscale constant statistics, “Optical Engineering”, Vol. 50, No. 8, 2011, 1–12, DOI: 10.1117/1.3610978.

H < = M < = # M

+ ? / > = - & & / [$ G ' = & () % This paper presents a concept and implementation of an infrared imaging sensor network for object localization and tracking. The sensor network uses multiple low-resolution (80× 80 pixels) microbolometric thermal cameras to detect, track and locate an object within the area of observation. The network uses information simultaneously acquired from multiple sensors to detect and extract additional information about object’s location. The use of thermal-imaging systems responsive to objects’ natural infrared radiation, makes the system resistant to external illumination and environmental conditions. At the same time, the use of infrared sensor requires application of specially designed, dedicated image processing techniques appropriate for this kind of sensor. The paper describes: image processing techniques, means of object localization, accuracy measurements, comparison to other known solutions and final conclusions.m pracy KeywordsI & &# &# & # & &# # '

' +

' - &

& & $ '% ' ORCID: 0000-0001-8048-2609

% ' ORCID: 0000-0003-4082-8366

H *!!K ; ] + ' = E ] ; ' < H ' *!(* [$ & 'E ] E ^ / # & E ^ '^ 8.R+ ] / E $ # $ ^

+$ ; ' < ; + E ' = L(BB M = ' *!! E $ ] ] ] & E ^ / # / ] E ] & # ] $ & / & # ` '^ E & '

' #

' / & +

/ % ' ORCID: 0000-0002-1368-3854

& & % ' ORCID: 0000-0002-3002-6362

H ; ' < ; + ' E = *!!B V ' & & / $ E ' $ ;+= *!(B V & E ] $ E ' # $ H / E # & & / $ '

H . ; ] *!(( ; ' > ; *!*! ' ; + ' E = & ' E '^ ' E E/

& ' ( 0

* !

' & % ' ORCID: 0000-0002-5789-8531

% ' ' ORCID: 0000-0002-0079-1960

= ` *!() H E ] ` E ^ = & E *!(F H ] ` E ^ ; *!(K $ ] E & ` ' = E . ' = - [ ;+=

' ; ' < ; + E ' = Z & ' E ] / ' $ E 8G>

•

N R 4 /2021

Pomiary Automatyka Robotyka, ISSN 1427-9126, R. 25, Nr 4/2021, 67–76, DOI: 10.14313/PAR_242/67

6 ' ' $ ' ' & & ' ' - & + / & + 1 # ; + ' = # - [ # & Y & *# !!EB!K ;

2 3 ) 4 . b^' # ; ' < # < # - / + # - < # ;^ H *((A*(@# B!EB*) b^'g

% Kamera termowizyjna rejestruje promieniowanie podczerwone pochodzące od obserwowanych obiektów. Jej głównym elementem jest matryca detektorów podczerwieni, która przetwarza odbierane promieniowanie na sygnał elektryczny. Źródła promieniowania rejestrowane przez detektor można podzielić jako użyteczne odbierane z obserwowanej sceny oraz nieużyteczne odbierane od takich obiektów jak obudowa detektora, elementy obiektywu. Te nieużyteczne źródła promieniowania mają istotny wpływ na konstrukcję samego detektora. W artykule przedstawiono model obudowy detektora oraz ilościową analizę wpływu różnych źródeł promieniowania na możliwość skutecznej detekcji promieniowania z obserwowanej scenie. 1 - 0 & - I ' #

1. Wprowadzenie

Interfejsy zewn trzne

Modu wy wietlania

Obiektyw

Kamera termowizyjna rejestruje promieniowanie podczerwone pochodzące od obserwowanych obiektów i jest zbudowana z takich podstawowych elementów Modu sterowania Dane wideo Dane Matryca IR i cyfrowego jak [1, 8, 9]: matryca detektorów poddetektorów przetwarzania podczerwieni czerwieni, obiektyw dla danego zakresu Sterowanie obrazu Sterowanie podczerwieni, układy elektroniczne zapewniające odczyt sygnału z detektora oraz rejestrację i analizę sygnału, a także moduł wyświetlania. Zależnie od spektralnego zakresu pracy, kamery terModu zasilania mowizyjne dzieli się najczęściej na średniofalowe MWIR (zakres pracy 3–5 μm) Rys. 1. Ogólny schemat kamery termowizyjnej z podziałem na podstawowe moduły i długofalowe LWIR (8–14 μm). Ogólny funkcjonalne Fig. 1. Overview diagram of the thermal imaging camera divided into basic functional modules schemat kamery termowizyjnej został przedstawiony na rysunku 1. Najważniejszym i najbardziej technologicznie zaawansowanym sowane do standardów wyświetlania obrazów i najczęściej są elementem kamery termowizyjnej jest moduł matrycy detektoto matryce o wymiarach: 320 × 240, 384 × 288, 640 × 480, rów podczerwieni. Do budowy nowoczesnych obserwacyjnych 640 × 512, 1280 × 1024 detektorów. Minimalna wielkość pojekamer termowizyjnych używa się głównie matrycowych detekdynczego detektora (piksela) dla matryc zakresu MWIR wynosi torów chłodzonych wykonanych z InSb, HgCdTe lub detektorów obecnie 10 μm, a dla zakresu LWIR 12 μm. Rozdzielczości terQWIP. Wymiary matryc detektorów podczerwieni są dostomiczne detektorów chłodzonych są rzędu 10–20 mK. Widok matrycowych detektorów podczerwieni z układami chłodzenia i elektronicznymi zespołami odczytu danych przedstawiono na rys. 2. 0 < I W matrycowych detektorach chłodzonych kriogenicznie do = # % ' temperatury 77–90 K, w szczególności dla zakresu MWIR (3–5 μm), stosowane są rozwiązania konstrukcyjne z tzw. zimną 0 1 & - ' (F !F *!*( # ' ' *! !B *!*( przesłoną. W projektowanych i opracowywanych obecnie chłodzonych detektorach matrycowych podwyższa się temperaturę ich pracy. Jest to związane z tym, że wyższa temperatura pracy

! znacząco zwiększa czas bezawaryjnej pracy, w szczególności

D < =/ $ < $ & sowany układ odczytu ROIC z wstrzykiwaniem ładunku DI (ang. direct injection circuits). W układzie odczytu z wstrzykiwaniem ładunku (rys. 3a) obwód całkowania sygnału z detektora podczerwieni zamyka się przez kanał aktywnego tranzystora. Fotoprąd detektora w układzie ROIC a) b) c) jest wstrzykiwany przez źródło Rys. 2. Widok matrycowych detektorów podczerwieni z układami chłodzenia i elektronicznymi tranzystora do pojemności całzespołami układów odczytu danych: detektor LEO 640 × 512 firmy SOFRADIR (a), detektor PELICAN kującej (zerowanej na początku 640 × 512 firmy SCD (b) oraz detektor HERCULES 1280 × 1024 firmy SCD (c) ramki). Fotoprąd wytworzony Fig. 2. View of infrared detectors arrays with cooling systems and electronic data readout circuit: detector w detektorze powoduje ładoLEO 640 × 512 from SOFRADIR (a), the detector PELICAN 640 × 512 from SCD (b) and detector HERCULES 1280 × 1024 from SCD (c) wanie kondensatora w ciągu całego cyklu pomiarowego wydłużając czas pracy chłodziarek mechanicznych. Po przekro(procesu całkowania). Czas trwania cyklu pomiarowego (całkowania) jest nazywany czasem całkowania (ang. integration czeniu temperatury około 190–210 K możliwe jest zastosowanie ogniw Peltiera, co eliminuje konieczność stosowania mechanicztime). Po zakończeniu procesu całkowania, napięcie z konnych układów chłodzących. W związku z tym wymagane jest densatora jest odczytywane przez multiplekser. Z przedstaokreślenie optymalnego rozwiązania konstrukcji optyczno-mechawionego powyżej sposobu działania układu ROIC wynika, że napięcie kondensatora jest proporcjonalne do zgromadzonego nicznej oraz poziomu chłodzenia umożliwiającego zastosowanie odpowiednio dobranego układu odczytu detektorów. w nim ładunku, który jest proporcjonalny do całkowitej mocy Podstawowymi właściwościami detektora mającymi bezpopadającego na detektor promieniowania. Detektor matrycy średni wpływ na efektywne reagowanie na zmianę promienioodbiera promieniowanie pochodzące od wszystkich „widziawania jest czułość detektora matrycy oraz konstrukcja i sposób nych” przez niego elementów. „Widziane” przez detektor elementy to nie tylko obiekty obserwowanej sceny (przedmioty, działania układu odczytu ROIC (ang. readout integrated circuit). Większość matrycowych detektorów podczerwieni jest konstruludzie), ale także obudowa detektora, obudowa obiektywu, owana pod kątem maksymalizacji czułości detektora, ponieważ soczewki itp. Wynika z tego, że efektywność działania detekduża czułość detekcji pozwala najczęściej osiągać znacznie leptora podczerwieni zależy od zdolności do reagowania na zmianę szy stosunek sygnału do szumu. Wartość czułości oraz stosunku mocy promieniowania użytecznego (padającego na detektor sygnału do szumu ma duży wpływ na jakość zobrazowania obseri pochodzącego z obserwowanej sceny) przy uwzględnieniu wowanej sceny przez urządzenia stosujące te detektory. W ukłamocy promieniowania nieużytecznego (padającego na detekdach matryc detektorów podczerwieni IRFPA (ang. infrared tor i pochodzącego z obudowy kamery, obudowy detektora, focal plane arrays) można wydzielić dwie główne części: matrycę soczewek układu optycznego). Biorąc pod uwagę, że pojemność detektorów podczerwieni oraz scalony układ odczytu (ROIC). kondensatora całkującego w układzie ROIC ma skończoną, ściPodstawową funkcją tych elementów jest zapewnienie konwersji śle określoną wielkość to należy przeanalizować ilościowy udział i wzmocnienia sygnału detektorów podczerwieni. promieniowania użytecznego (ze sceny) oraz promieniowania Opracowano wiele rodzajów układów odczytu ROIC, jednak nieużytecznego – zakłócającego pomiar. w praktyce najczęściej stosuje się dwa: układy z wstrzykiwaniem ładunku DI (ang. direct injection circuits) oraz układy z pojemnościowym wzmacniaczem transimpedancyjnym (wzmacniacz L6 ! 0 transimpedancyjny z kondensatorem w gałęzi sprzężenia zwrot - ' nego) CTIA (ang. capacitor feedback transimpedance amplifier). Układy DI (rys. 3a) charakteryzują się niewielkim poborem Głównym celem analizy jest określenie teoretycznej, ilościoenergii oraz wysoką wydajnością dla dużych wartości prądu wej wielkości ładunku gromadzonego w kondensatorze układu ciemnego. Układy CTIA (rys. 3b) mają wyższe zapotrzebocałkującego w zależności od źródła promieniowania odbierawanie na energię oraz wyższą wydajność przy niskiej wartości nego przez detektor. W tym celu zostały opracowane uproszprądu ciemnego. czone modele kamery termowizyjnej, dla których wyznaczono numerycznie moc promieniowania odbieranego od elementów Ze względu na niższe zapotrzebowanie na energię w konstrukcji układu matrycy detektorów podczerwieni częściej stootaczających detektor. Opracowane modele, symulacja i związane z nią obliczenia opierają się na następujących założeniach: − W modelu brane jest pod uwagę tylko promieniowanie (emisja) cieplne obiektu/sceny i promieniowanie wewnętrznego (w modelu nie uwzględnia się odbitego światła słonecznego oraz emitowanego przez inne obiekty niewidoczne bezpośrednio przez kamerę). − Zakłada się, że wszystkie elementy obserwowane przez A kamerę, w szczególności „zimna” przesłona detektora, są powierzchniami doskonale lambertowskimi z emisyjnością równą jedności. − Nie uwzględniono wpływu zewnętrznego światła rozproszoa) b) nego poza polem widzenia czujnika. Rys. 3. Układ z wstrzykiwaniem ładunku DI (a) [7] oraz wzmacniacz Prawa dotyczące propagacji (przenoszenia) promieniowatransimpedancyjny z pojemnością w pętli sprzężenia zwrotnego CTIA nia między powierzchniami są jednymi z podstawowych sto(b) [7] sowanych w radiometrii [3, 12, 13]. W sytuacji przedstawionej Fig. 3. Direct injection circuit DI (a) [7] and Capacitor feedback transimpedance amplifier (CTIA) (b) [7] na rysunku 4 dwa obszary elementarne dA1 i dA2 są poło-

•

N R 4 /2021

A < > $ ; / < > $ f D \ żone względem siebie w odległości d, przy czym kąty między wektorem normalnym każdej powierzchni a prostą łączącą te powierzchnie wynoszą q1 i q2. Przez obie powierzchnie przepływa ten sam strumień i zgodnie z definicją luminancji [10–13]: L=

∂ Φ cos θ ∂A ∂Ω′ 2

(1)

(5) Całkowita moc promieniowania Φd1, która jest emitowana przez dyskretną powierzchnię dA1 w półprzestrzeń jest wyrażona wzorem: Φd1 = pL1dA1.

(6)

przy założeniu, że strumień promieniowania jest propagowany przez bezstratny ośrodek optyczny, można napisać wzór stanowiący podstawowe prawo radiometrii (ang. fundamental law of radiometry) [5, 10–13]:

Podstawiając do wzoru (4) zależności (5) i (6) otrzymuje się ogólny wzór dla współczynnika konfiguracji przypadku wymiany energii między powierzchniami 1 i 2:

(2)

(7) Relacja wzajemności (ang. reciprocity relation) dla przypadku wymiany energii między dyskretną powierzchnią dA1 i powierzchnią A2 o skończonych wymiarach może zostać określona wzorem (8) [5]: dA1 · Fd1–2 = A2 · F2–d1.

Rys. 4. Zależności geometryczne dla przenoszenia (transferu) promieniowania między dwiema powierzchniami dA1 i dA2 Fig. 4. Geometric relationships for radiation transfer between two surfaces dA1 and dA2

Moc promieniowania emitowana przez powierzchnię dA1 i odbierana przez powierzchnię dA2 zależy od odległości i względnej orientacji dwóch obszarów względem linii łączącej. W tym opracowaniu „mały obszar” (pochodna) jest używana dla strumienia, pola i kąta bryłowego, przy założeniu, że ma zastosowanie do małych obszarów źródła elementarnego i odbiornika [3, 12, 13]. W celu wyznaczenia jaka część mocy promieniowania wyemitowana z powierzchni 1 (obiektu emitującego promieniowanie) dociera do powierzchni 2 (obiektu odbierającego promieniowanie) można skorzystać ze wzoru (3) [5]:

F1−2 =

Φ 1*−2 , Φ 1*

(3)

(8)

W opracowanym modelu kamery przyjęto, że zawiera ona okno wejściowe W, powierzchnię boczną S i czołową P przesłony (powierzchnię boczną i czołową obudowy detektora), okno wejściowe L i matrycę detektorów podczerwieni D. Model pozwala na oszacowanie wielkości mocy promieniowania emitowanego przez ww. powierzchnie i padającego na każdy z detektorów matrycy. Wyznaczenie mocy promieniowania padającego na detektor jest możliwe przez określenie radiacyjnej wymiany ciepła między powierzchnią detektora a powierzchniami okna wejściowego i przesłony. W przedstawionym modelu przyjęto następujące założenia: − powierzchnia pojedynczego detektora podczerwieni D jest powierzchnią dyskretną dAD, − powierzchnia okna wejściowego L jest skończoną powierzchnią AL, − powierzchnia przesłony S (obudowy detektora) jest skończoną powierzchnią AS, − powierzchnia czołowa przesłony P jest skończoną powierzchnią AP. Na rysunku 5 został przedstawiony schemat modelu kamery z matrycą detektorów zamkniętą w prostopadłościennej obudowie.

* gdzie: Φ 1− 2 – moc promieniowania wypromieniowana z powierzchni 1 i padająca na powierzchnię 2, Φ 1* – całkowita moc promieniowania emitowana przez powierzchnię 1 w półprzestrzeń.

Uzyskana wartość F1–2 jest nazywana współczynnikiem konfiguracji (ang. view factor, configuration factor) i określana ogólnie jako część mocy promieniowania opuszczającego powierzchnię, która bezpośrednio dociera do innej powierzchni. W przypadku, gdy wymiana energii zachodzi między powierzchnią dA1 o dyskretnych wymiarach i powierzchnią A2 o skończonych wymiarach, do wyznaczenia współczynnika konfiguracji wzór (3) przyjmuje postać:

Fd 1−2 =

Φ d 1− 2 . Φd 1

(4)

W takim przypadku część całkowitej mocy Φd1–2 promieniowania dyskretnej powierzchni dA1 obiektu emitującego promieniowanie, która pada na skończoną powierzchnię A2 obiektu odbierającego promieniowanie można określić za pomocą wzoru (2) otrzymując:

Rys. 5. Model zespołu obudowy detektora z przesłoną prostopadłościenną oraz ekwiwalentem obiektywu Fig. 5. Model of the detector housing assembly with a cuboidal diaphragm and an lens equivalent

D < =/ $ < $ & Dla powyższych założeń moc padającego na detektor promieniowania emitowanego przez powierzchnie modelu można przedstawić za pomocą wzorów: ΦL–dD = ALFL–dDML(TL),

(9)

ΦS–dD = ASFS–dDMS(TS),

(10)

ΦP–dD = APFP–dDMP(TP),

(11)

ΦTot–dD = ΦL–dD + ΦS–dD + ΦP–dD

(12)

(22)

(23)

Etot = EL = EP = ES,

gdzie qe to ładunek elektronu (ładunek elementarny) [C], a Ri(λ) czułość prądowa [A/W].

gdzie: Φ X–dD – moc promieniowania wypromieniowana z powierzchni X i padająca na dyskretną powierzchnię detektora D, FX–dD – współczynnik konfiguracji określający jaka część mocy promieniowania wyemitowana z powierzchni X dociera do dyskretnej powierzchni detektora D, AX – pole powierzchni X, MX – egzytancja energetyczna powierzchni X, TX – temperatura powierzchni X, X – odpowiednio oznacza powierzchnię L, S, P.

Jednym z parametrów decydujących o mocy odbieranej przez detektor energii jest współczynnik konfiguracji. Współczynnik konfiguracji dla powierzchni okna wejściowego sprowadza się do określenia wymiany energii między powierzchnią dAD (detektorem) o dyskretnych wymiarach i powierzchnią AL (okna wejściowego) o skończonych wymiarach. Powierzchnia AL jest kołem o promieniu RL położonym równolegle, w odległości HS od powierzchni dAD. Wzajemne zależności między powierzchniami zostały przedstawione na rys. 6.

Korzystając z zasady wzajemności (8) wzory (9), (10), (11) przyjmują postać: ΦL–dD = ADFdD–LML(TL),

(13)

ΦS–dD = ADFdD–SMS(TS),

(14)

ΦP–dD = ADFdD–PMP(TP),

(15)

(24)

gdzie: AD to pole powierzchni detektora matrycy. Zgodnie z prawem Plancka rozkład widmowy egzytancji energetycznej (emitancji) ciała czarnego o temperaturze T w funkcji długości fali można przedstawić za pomocą wzoru (16) [10, 11, 13]: (16) Rys. 6. Zależności geometryczne dla przenoszenia promieniowania między powierzchnią dAD o dyskretnych wymiarach, a równoległą powierzchnią AL o skończonych wymiarach w kształcie koła Fig. 6. Geometric dependencies for the radiation transfer between the surface dAD with discrete dimensions and the parallel surface AL with finite dimensions in the shape of a circle

gdzie: T – temperatura, λ – długość fali, h – stała Plancka, c – prędkość światła w próżni, k – stała Boltzmanna. W przyjętym modelu kamery zakłada się, że powierzchnie promieniujące charakteryzują się emisyjnością ε(λ), detektor charakteryzuje się czułością napięciową Rν(λ) lub czułością prądową Ri(λ) i odbiera promieniowanie w paśmie Δλ ∈ 〈λ1, λ2〉. Dla takich założeń egzytancje energetyczne powierzchni modelu są określone wzorem:

Z założeń oraz konstrukcji i zależności geometrycznych przedstawionych na rys. 6 wynika, że rozwiązaniem analitycznym dla tego przypadku jest wzór (25) [4]:

(25)

M X (T ) = ∫λ 2 ε X (λ )M λ (T )dλ , 1

(17)

W takim przypadku wzory (13), (14) i (15) przyjmują postać:

gdzie: Hw =

(18)

HS R , Rw = L , Z w = 1 + Rw2 + H w2 . w w

(26)

(19) Następnym ważnym parametrem modelu jest współczynnik konfiguracji dla powierzchni obudowy obiektywu. W tym przypadku wymiana energii zachodzi między powierzchnią dAD o dyskretnych wymiarach i powierzchnią AP’ o skończonych wymiarach. Powierzchnia AP’ jest prostokątem o wymiarach a i b położonym równolegle, w odległości H od powierzchni dAD. Wzajemne zależności między powierzchniami zostały przedstawione na rys. 7.

(20)

W celu wyrażenia mocy odbieranej przez detektor w liczbie elektronów (ładunków elementarnych) na sekundę należy zastosować wzory: (21)

•

N R 4 /2021

A < > $ ; / < > $ f D \ Jeżeli dla założeń oraz konstrukcji i zależności geometrycznych przedstawionych na rys. 8 przyjmiemy, że: c = y2 = const, x2 ∈ 〈0, a〉, z2 ∈ 〈0, b〉, to wówczas rozwiązaniem analitycznym dla tego przypadku jest wzór (29) [4]: Fd 1−2 =

⎛ 1 1 ⎡ ⎢arctan⎜⎜ 2π ⎣⎢ ⎝Cw

⎞ Cw ⎛ 1 ⎞⎤ ⎟− ⎜ ⎟ ⎟ Y arctan⎜ Y ⎟⎥, w ⎝ w ⎠⎦⎥ ⎠

(29)

gdzie: Aw = Rys. 7. Zależności geometryczne dla przenoszenia promieniowania między powierzchnią dAD o dyskretnych wymiarach a równoległą powierzchnią AP’ o skończonych wymiarach w kształcie prostokąta Fig. 7. Geometric dependencies for the radiation transfer between the surface dAD with discrete dimensions and the parallel surface AP’ with finite dimensions in the shape of a rectangle

Jeżeli dla założeń oraz konstrukcji i zależności geometrycznych przedstawionych na rys. 7 przyjmiemy, że: x2 ∈ 〈0, a〉,

y2 ∈ 〈0, a〉,

x1 = 0,

y1 = 0,

to wówczas rozwiązaniem analitycznym dla tego przypadku jest wzór (27) [4]:

c a , C w = , Yw = Aw2 + C w2 . b b

(30)

W prezentowanym modelu powierzchnia boczna przesłony to powierzchnia boczna prostopadłościanu składająca się z czterech powyżej zdefiniowanych prostokątów.

M6 , 0

Parametry modelu obudowy detektora oraz matrycy detektorów podczerwieni przyjęte do symulacji zostały przedstawione w tabeli 1. W symulacji przyjęto dwie sytuacje dla dwóch różnych otworów względnych F# = 2,0 i F# = 4,0, wyznaczonych zgodnie ze wzorem:

F# = (27)

2RL . HS

(31)

gdzie: Aw =

a b , Bw = , Wb = H H

Bw 1 + Aw2

, Wa =

Aw 1 + Bw2

. (28)

W rzeczywistości powierzchnia czołowa przesłony jest prostokątem z „wyciętym” miejscem na okno wejściowe. W związku z tym powierzchnia czołowa przesłony wynosi AP = AP’ – AL, zaś współczynnik konfiguracji ma wartość FdD–P = FdD–P’ – FdD–L. Ostatnim ważnym parametrem modelu jest współczynnik konfiguracji dla powierzchni bocznej przesłony detektora, która ta składa się w czterech prostokątów. Dla każdego prostokąta wymiana energii zachodzi między powierzchnią dA1 o dyskretnych wymiarach i powierzchnią A2 o skończonych wymiarach. Powierzchnia A2 jest prostokątem o wymiarach a i b położonym prostopadle względem powierzchni dA1 wzdłuż osi OY. Wzajemne zależności między powierzchniami zostały przedstawione na rysunku 8.

Tabela 1. Podstawowe parametry modelu obudowy detektora oraz matrycy detektorów Table 1. Basic parameters of the detector housing model and the detector array

Parametr

Wartość

Szerokość detektora

30 μm

Wysokość detektora

30 μm

Rozdzielczość matrycy detektorów

320 × 240

Szerokość matrycy detektorów

9,60 mm

Wysokość matrycy detektorów

7,20 mm

Zakres widmowy

3–5 μm

Rys. 8. Zależności geometryczne dla przenoszenia promieniowania między powierzchnią dA1 o dyskretnych wymiarach a prostopadłą powierzchnią A2 o skończonych wymiarach w kształcie prostokąta Fig. 8. Geometric dependencies for the radiation transfer between the surface dA1 with discrete dimensions and the perpendicular surface A2 with finite dimensions in the shape of a rectangle

2,50 mm dla F# = 2,0 1,25 mm dla F# = 4,0

10,00 mm

24,60 mm

22,20 mm

Dla wszystkich modeli przyjęto następujące wspólne założenia: − wszystkie powierzchnie promieniujące nie odbijają promieniowania, czyli współczynnik odbicia jest równy zero – ρ(λ) = 0, − wszystkie powierzchnie przesłony są nieprzezroczyste, czyli współczynnik transmisji jest równy zero – τ(λ) = 0 oraz emisyjność jest równa jeden – ε(λ) = 1, − powierzchnia okna wejściowego jest całkowicie przezroczysta i niepochłaniająca (nieemitująca) promieniowania – ε(λ) = 0, τ(λ) = 1, ρ(λ) = 0.

D < =/ $ < $ &

Rys. 12. Wartości współczynników konfiguracji detektorów matrycy D dla powierzchni czołowej P przesłony (F# = 4,0) Fig. 12. Values of the configuration coefficients of the detector array D to the entrance face surface P (F# = 4.0)

Rys. 9. Wartości współczynników konfiguracji detektorów matrycy dla powierzchni okna wejściowego L od strony detektora D (F# = 2,0) Fig. 9. Values of configuration coefficients for the entrance window area L from the detector side D (F# = 2.0)

Tabela 2. Maksymalny ładunek w jednostce czasu [Me – /s] odbierany z danej powierzchni dla różnych temperatur – F# = 2,0 Table 2. Maximum charge per unit time [Me –/s] received from a given surface for different temperatures – F# = 2.0

T, °C

Etot

–80

5,84e+01

7,93e+00

7,66e+01

1,43e+02

–70

1,32e+02

1,80e+01

1,74e+02

3,24e+02

–60

2,78e+02

3,78e+01

3,65e+02

6,81e+02

–50

5,50e+02

7,47e+01

7,22e+02

1,35e+03

–40

1,03e+03

1,40e+02

1,35e+03

2,52e+03

–30

1,83e+03

2,48e+02

2,40e+03

4,48e+03

–20

3,12e+03

4,23e+02

4,09e+03

7,64e+03

–10

5,12e+03

6,95e+02

6,72e+03

1,25e+04

8,11e+03

1,10e+03

1,06e+04

1,99e+04

1,25e+04

1,69e+03

1,64e+04

3,05e+04

1,86e+04

2,53e+03

2,45e+04

4,57e+04

2,72e+04

3,69e+03

3,57e+04

6,66e+04

3,88e+04

5,27e+03

5,09e+04

9,50e+04

5,42e+04

7,35e+03

7,11e+04

1,33e+05

7,42e+04

1,01e+04

9,75e+04

1,82e+05

Rys. 10. Wartości współczynników konfiguracji detektorów matrycy D dla powierzchni czołowej P przesłony (F# = 2,0) Fig. 10. Values of the configuration coefficients of the detector array D to the entrance face surface P (F# = 2.0)

W wyniku przeprowadzonych symulacji wyznaczono współczynniki konfiguracji dla powierzchni emitujących modelu. Przykładowe współczynniki konfiguracji dla F# = 2,0 oraz F# = 4,0, zostały przedstawione na rysunkach 9–13. Dla obu przypadków otworów względnych F# = 2,0 i F# = 4,0 zostały wyznaczone maksymalne wartości ładunku w jednostce czasu [Me–/s] generowanego przez detektor na skutek promieniowania danej powierzchni dla różnych temperatur. Wartości zostały przedstawione w tabelach 2 i 3.

Rys. 11. Wartości współczynników konfiguracji detektorów matrycy dla powierzchni okna wejściowego L od strony detektora D (F# = 4,0) Fig. 11. Values of configuration coefficients for the entrance window area L from the detector side D (F# = 4.0)

•

N R 4 /2021

A < > $ ; / < > $ f D \

4. Podsumowanie

Rys. 13. Wartości współczynników konfiguracji detektorów matrycy D dla powierzchni bocznej S przesłony detektora (F# = 2,0 i F# = 4,0) Fig. 13. Values of the configuration coefficients of the detector array D to the side S of the housing (F# = 2.0 and F# = 4.0)

Tabela 3. Maksymalny ładunek w jednostce czasu [Me – /s] odbierany z danej powierzchni dla różnych temperatur – F# = 4,0 Table 3. Maximum charge per unit time [Me –/s] received from a given surface for different temperatures – F# = 4.0

T, °C

Etot

–80

5,84e+01

2,07e+00

8,25e+01

1,43e+02

–70

1,32e+02

4,69e+00

1,87e+02

3,24e+02

–60

2,78e+02

9,88e+00

3,93e+02

6,81e+02

–50

5,50e+02

1,95e+01

7,77e+02

1,35e+03

–40

1,03e+03

3,65e+01

1,45e+03

2,52e+03

–30

1,83e+03

6,50e+01

2,59e+03

4,48e+03

–20

3,12e+03

1,11e+02

4,41e+03

7,64e+03

–10

5,12e+03

1,82e+02

7,23e+03

1,25e+04

8,11e+03

2,88e+02

1,15e+04

1,99e+04

1,25e+04

4,43e+02

1,76e+04

3,05e+04

1,86e+04

6,62e+02

2,64e+04

4,57e+04

2,72e+04

9,66e+02

3,84e+04

6,66e+04

3,88e+04

1,38e+03

5,48e+04

9,50e+04

5,42e+04

1,92e+03

7,65e+04

1,33e+05

7,42e+04

2,64e+03

1,05e+05

1,82e+05

Tabela 4. Wybrane parametry układów odczytu ROIC Table 4. Chosen parameters of the ReadOut Integrated Circuits (ROIC)

Parametr

ISC9705

MT3230DA

Pojemność kondensatora całkującego

18 Me-

10 Me-

Szumy układu ROIC 870 e– (dla 50–300 K) Czas integracji

5,1 μs – 200 ms

600 e– (dla 77 K) 1 μs – 1 s

Układy odczytu z wstrzykiwaniem ładunku DI cechują się występowaniem kondensatora całkującego [2, 6], który jest ładowany w czasie cyklu pomiarowego – procesu całkowania. Wielkość zgromadzonego ładunku kondensatora zależy od fotoprądu detektora (wywołanego padającym promieniowaniem), prądu ciemnego detektora (niezwiązanego z padającym promieniowaniem) oraz szumu występującego w układzie odczytu. W opracowaniu przyjęto, że dominujący wpływ na naładowanie kondensatora ma fotoprąd detektora. W związku z tym w analizie numerycznej pominięto wpływ prądu ciemnego detektora oraz szumy w układzie odczytu. Fotoprąd detektora zależy od padającego na detektor promieniowania, które można podzielić na promieniowanie użyteczne (związane z obserwowaną sceną) oraz promieniowanie nieużyteczne (związane z promieniowaniem obudowy detektora i kamery). Oznacza to, że ładunek zgromadzony w kondensatorze całkującym można podzielić na ładunek użyteczny, odzwierciedlający moc promieniowania padającego ze sceny (ESC = EL) oraz ładunek nieużyteczny, związany z pozostałymi źródłami promieniowania (Eh = EP + ES). W symulacji przyjęto, że promieniowanie użyteczne to promieniowanie przechodzące przez okno wejściowe. Promieniowanie od pozostałych elementów modelu zostało uznane jako promieniowanie nieużyteczne. Pojemność kondensatora całkującego w układzie ROIC ma skończoną, ściśle określoną wielkość [2, 6]. W tabeli 4 zostały przedstawione wybrane parametry układów odczytu FLIR ISC9705 firmy FLIR Systems [2] oraz MT3230DA firmy Mikro-Tasarım Elektronik [6]. Z analizy wyników symulacji dla opracowanych modeli wynika, że dla temperatury sceny i obudowy zbliżonej do 30 °C wartość gromadzonego ładunku wynosi około 66 600 Me-/s. Oznacza to, że dla czasu całkowania rzędu 1 ms ładunek zgromadzony w kondensatorze wynosi prawie 70 Me-. Uzyskana wartość ładunku dla takiego czasu całkowania jest od 3,7 do 6,6 razy większa niż pojemność kondensatora całkowania rzeczywistego układu odczytu [2, 6]. Sygnał użyteczny może być w takim układzie odczytany wiernie dla czasów integracji poniżej 140 μs. Zmniejszenia ilości energii docierającej ze sceny można dokonać przez zmniejszenie okna wejściowego. Jednocześnie spowoduje to zwiększenie mocy promieniowania docierającego do detektora od obudowy detektora (przesłony). Jednak w takim wypadku, jeżeli temperatura obudowy i elementów obserwowanej sceny jest podobna to sumaryczna moc docierająca do detektora (i wywołująca naładowanie kondensatora) nie zmieni się. W celu uzyskania zmniejszenia udziału ładunku kondensatora związanego z promieniowaniem obudowy należy obudowę chłodzić, czyli zastosować tzw. „zimną przysłonę”. W opracowaniu przeanalizowano zastosowanie „zmiennej” przesłony w dwóch wariantach dla liczby otworowej F# = 2,0 i F# = 4,0. Na rysunku 14 przedstawiono wartość ładunku zgromadzonego na kondensatorze całkującym na skutek promieniowania użytecznego w funkcji temperatury sceny (wykres koloru zielonego) dla konstrukcji z „zimną” przesłoną o liczbie otworowej F# = 2,0. W tym przypadku przyjęto czas integracji (całkowania) równy tint = 1 ms. Na wykresie zaznaczono maksymalną (wykres koloru czerwonego) i minimalną (wykres koloru niebieskiego) moc promieniowania użytecznego dla dynamiki obserwowanej sceny wynoszącej ΔT = 40 °C. Wykres w kolorze czerwonym obrazuje moc promieniowania dla temperatury zwiększonej od nominalnej (wykres zielony) o 20 °C, zaś wykres w kolorze niebieskim obrazuje moc promieniowania dla temperatury zmniejszonej od nominalnej (wykres zielony) o 20 °C.

D < =/ $ < $ &

Rys. 14. Wykres ładunku gromadzonego przez kondensator całkujący w wyniku całkowania promieniowania użytecznego (z obserwowanej sceny) w funkcji temperatury sceny dla konstrukcji z „zimną” przesłoną o liczbie otworowej F# = 2,0 Fig. 14. The graph of the charge accumulated by the integrating capacitor as a result of the integration of useful radiation (from the observed scene) as a function of the scene temperature for a structure with a “cold” shield with a F# = 2.0

Rys. 15. Wykres ładunku gromadzonego przez kondensator całkujący w wyniku całkowania promieniowania nieużytecznego (przesłony) w funkcji temperatury przesłony dla konstrukcji z „zimną” przesłoną o liczbie otworowej F# = 2,0 Fig. 15. The graph of the charge accumulated by the integrating capacitor as a result of the integration of not useful radiation (from sheild) as a function of the shield temperature for a structure with a “cold” shield with a F# = 2.0

Rys. 16. Wykres ładunku gromadzonego przez kondensator całkujący w wyniku całkowania promieniowania użytecznego (z obserwowanej sceny) w funkcji temperatury sceny dla konstrukcji z „zimną” przesłoną o liczbie otworowej F# = 4,0 Fig. 16. The graph of the charge accumulated by the integrating capacitor as a result of the integration of useful radiation (from the observed scene) as a function of the scene temperature for a structure with a “cold” shield with a F# = 4.0

Rys. 17. Wykres ładunku gromadzonego przez kondensator całkujący w wyniku całkowania promieniowania nieużytecznego (przesłony) w funkcji temperatury przesłony dla konstrukcji z „zimną” przesłoną o liczbie otworowej F# = 4,0 Fig. 17. The graph of the charge accumulated by the integrating capacitor as a result of the integration of not useful radiation (from sheild) as a function of the shield temperature for a structure with a “cold” shield with a F# = 4.0

Na rysunku 15 przedstawiono moc promieniowania nieużytecznego (odbieranego z elementów obudowy – przesłony) wyrażoną w ładunku zgromadzonym na kondensatorze całkującym w funkcji temperatury obudowy dla konstrukcji z „zimną” przesłoną o liczbie otworowej F# = 2,0. Na rysunkach 16 i 17 zostały przedstawione analogiczne wykresy dla konstrukcji z „zimną” przesłoną o liczbie otworowej F# = 4,0, czasie integracji (całkowania) równym tint = 1 ms oraz dla dynamiki obserwowanej sceny wynoszącej ΔT = 40 °C. Z zaprezentowanych wyników modelowania i symulacji wynika, że w celu uzyskania detektora matrycowego cechującego się dużą dynamiką sygnału wyjściowego dobrze odwzorowującego zmianę promieniowania pochodzącego z obserwowanej sceny w konstrukcji detektora należy zastosować „zimną” przesłonę o liczbie otworowej równej F# = 2,0 lub więcej.

& /0 -

•

Badania współfinansowane przez Narodowe Centrum Badań i Rozwoju w ramach programu w ramach programu Unii Europejskiej Inteligentny Rozwój 2014–2020 5/1,1,1/2020 Szybka Ścieżka 5_2020 „KORONAWIRUSY”.

' 1. Bieszczad G., Krupiński M., Madura H., Sosnowski T., Thermal camera for autonomous mobile platforms, [In:] Nawrat A., Kuś Z. (eds.), Vision Based Systems for UAV Applications, Heidelberg: Springer International Publishing, 2013, 95–114, DOI: 10.1007/978-3-319-00369-6_6. 2. FLIR ISC9705 LOW STANDARD 320, FLIR Systems, 2002:13. A

•

N R 4 /2021

A < > $ ; / < > $ f D \ 3. Gross H., Handbook of Optical Systems, Volume 1: Fundamentals of Technical Optics, Wiley-VCH, 2005. 4. Howell J.R., A Catalog of Radiation Heat Transfer Configuration Factors. 5. Howell J.R., Mengüç M.P., Siegel R., Thermal Radiation Heat Transfer, Boca Raton London New York: CRC Press, 2020, DOI: 10.1201/9780429327308. 6. MT3230DA 320 × 240 – 30 μm DI ROIC, MikroTasarım Elektronik. 7. Song P., Ye Z., Hu W., Hu X., Injection efficiency of DI and CTIA readout integrated circuit, 2015 International Conference on Numerical Simulation of Optoelectronic Devices (NUSOD), IEEE, 2015, 81–82, DOI: 10.1109/NUSOD.2015.7292832. 8. Sosnowski T., Bieszczad G., Kastek M., Madura H., Digital image processing in high resolution infrared camera with use of programmable logic device, Proceedings of SPIE –

The International Society for Optical Engineering, Vol. 7838, 2010, DOI: 10.1117/12.865026. 9. Sosnowski T., Madura H., Bieszczad G., Kastek M., Chmielewski K., Construction, parameters, and research results of thermal weapon sight, Proceedings of SPIE – The International Society for Optical Engineering, Vol. 8193, 2011, DOI: 10.1117/12.900867. 10. Vollmer M., Möllmann K.P., Infrared Thermal Imaging: Fundamentals, Research and Applications, Weinheim, Germany: Wiley Blackwell, 2017. 11. Więcek B., De Mey G., Termowizja w podczerwieni. Podstawy i zastosowania, Łódź: Wydawnictwo PAK, 2011. 12. Willers C.J., Electro-Optical System Analysis and Design: A Radiometry Perspective, SPIE, 2013, DOI: 10.1117/3.1001964. 13. Wolfe W.L., Introduction to Radiometry, SPIE Press, 1998.

6 ' > ' / P & / ' - / ' G + () % The infrared camera detects infrared radiation from the observed objects, Its main element is the array of infrared detectors, which converts the received radiation into an electrical signal. The radiation sources recorded by the detector can be divided as useful, received from the observed scene, and useless received from such objects as the detector housing and lens elements. These unusable radiation sources have a significant impact on the design of the detector itself. The article presents a model of the detector housing and a quantitative analysis of the influence of various radiation sources on the effectiveness of radiation detection from the observed scene. KeywordsI / ' ' #

' - &

' +

% ' ORCID: 0000-0003-4082-8366

& & $ '% ' ORCID: 0000-0001-8048-2609

+$ ; ' < ; + E ' = L(BB M = ' *!! E $ ] ] ] & E ^ / # / ] E ] & # ] $ & / & # ` '^ E & '

H *!!K ; ] + ' = E ] ; ' < H ' *!(* [$ & 'E ] E ^ / # & E ^ '^ 8.R+ ] / E $ # $ ^

' / & +

5 ! ) ' 1 #

& & % ' ORCID: 0000-0002-3002-6362

' % ' ORCID: 0000-0003-1557-1685

H . ; ] *!(( ; ' > ; *!*! ' ; + ' E = & ' E '^ ' E E/

' ' # ' +$ ; ' < ;+= L(BQFM H ' (BK # H ' E $ & (BBB ; (BB(X (BBQ Y ' - [ E [' *!!! / ' ; E + ' = # ' *!(@ / [ $ ' (B! ^ / ^ / + ^ *) ' ` H () ^ Y ** $ ' $ ] (K

D < =/ $ < $ &

3 ) 4

' 2

$ % ' ORCID: 0000-0003-4972-2349

/ % ' ORCID: 0000-0002-0079-1960

Z $ ; ' < # < # - / + . E b^' ; Y ' ^ < E = & / ' $ ' ' ] '] & ' E ' ^ $ Z & E $ ' $ ] ^ ` & # ^ # ' ' '

= & ` . b^' *!!* ; E ' $ ' ' & ^ ; ' < ^ - / E R ' 0 & [' *!!* . b^' H ' . E b^' *!!Q Z & $ ' $ ] ' E '

•

N R 4 /2021

Pomiary Automatyka Robotyka, ISSN 1427-9126, R. 25, Nr 4/2021, 77–82, DOI: 10.14313/PAR_242/77

? ' ' ' Andrzej Ligienza, Grzegorz Bieszczad, Tomasz Sosnowski, Bartosz Bartosewicz, Krzysztof Firmanty ; + ' = # - [ # R Y & *# !!EB!K ;

Streszczenie: Źródła promieniowania ciała doskonale czarnego są powszechnie stosowanymi urządzeniami w dziedzinach związanych z obrazowaniem termicznym i radiometrią. Stanowią najbliższe fizyczne przybliżenie teoretycznego emitera ciała doskonale czarnego wyprowadzonego z prawa Plancka. Większość takich urządzeń jest kosztowna, a informacje o technologii ich wytwarzania, w tym o powierzchni emitera, są ograniczone. Wybrano kilka stosunkowo łatwo dostępnych powłok mających potencjalne zastosowanie w tego typu urządzeniach i zmierzono ich emisyjność. W pracy przedstawiono pomiary, które dostarczają informacji niezbędnych do określenia, czy wśród wybranych istnieją powłoki zdatne do emitowania lub powierzchnie odniesienia. 1 - 0 & - I # # a

1. Wprowadzenie W technice podczerwieni i termowizji bardzo często w opisie zjawisk oraz ocenie parametrów urządzeń stosuje się pojęcie ciała doskonale czarnego, które emituje promieniowanie zgodnie z prawem Plancka. Rozkład widmowy egzytancji energetycznej (emitancji) ciała czarnego w funkcji długości fali l można przedstawić za pomocą wzoru [15, 17–19]:

M (λ ,T ) =

2π hc 2 ⎛ hc ⎞ λ 5 ⎜e λkT − 1⎟ ⎝ ⎠

(1)

gdzie: T – temperatura, l – długość fali, h – stała Plancka, c – prędkość światła w próżni, k – stała Boltzmanna. Ciało doskonale czarne w rzeczywistości nie istnieje, jednak potrzeba pomiaru parametrów kamer termowizyjnych i urządzeń podczerwieni [8, 12–14, 17, 18] spowodowała, że opracowano techniczne ciała doskonale czarne, o parametrach zbliżonych do wyidealizowanego wzorca. Techniczne ciało doskonale czarne jest ważnym przyrządem w pomiarach parametrów urządzeń w zakresie średniej MWIR (3–5 μm) i dalekiej LWIR (8–14 μm) podczerwieni.

0 < I = # % ' 0 1 & - ' (F !F *!*( # ' ' () (! *!*(

L6 - & ' 1 0 & ' W technice podczerwieni i termowizji stosuje się różnego rodzaju techniczne ciała doskonale czarne [8, 13–15, 17]. Najczęściej stosowane ciała czarne to ciała wnękowe oraz ciała powierzchniowe. Ciało wnękowe najczęściej stosowane jest jako wysokotemperaturowe ciało czarne charakteryzujące się dużą stabilnością temperatury, jednorodnością promieniowania oraz względnie niewielką powierzchnią promieniującą [7, 18, 19]. Powierzchniowe ciała czarne są stosowane w przypadku, gdy temperatura ciała jest z zakresu temperatury otocznia (najczęściej od –40 °C do 60 °C) oraz niezbędna jest większa powierzchnia promieniująca. Powierzchniowe ciała czarne są powszechnie stosowane do oceny i pomiaru parametrów kamer termowizyjnych oraz do kalibracji i wyznaczania wartości współczynników korekcji niejednorodności w zakresie bliskiej (SWIR), średniej (MWIR) i dalekiej podczerwieni (LWIR) [8, 13–15, 17]. Zasadniczymi parametrami ciała doskonale czarnego jest wartość współczynnika emisyjności, jednorodność generowanego promieniowania oraz stabilność rozkładu promieniowania i temperatury w czasie. Stabilność rozkładu promieniowania w czasie uzyskuje się poprzez stabilizację temperatury powierzchni, najczęściej za pomocą kontrolerów typu PID (ang. Proportional Integral Derivative) oraz przez odpowiednią konstrukcję powierzchni zapewniającą dużą pojemność cieplną. Jednym z najbardziej istotnych parametrów ciała czarnego jest wartość współczynnika emisyjności e. Teoretycznie ciało doskonale czarne pochłania całkowicie padające na nie promieniowanie, a więc wartość współczynnika ciała doskonale czarnego wynosi 1. W rzeczywistości techniczne ciało czarne nie pochłania całości padającego nań promieniowania (e < 1). W związku z tym, zgodnie z prawem Kirchhoffa, część promieniowania odbija się od powierzchni ciała (dla ciał nieprzeźroczystych wartość współczynnika odbicia r wynosi r = 1 – e). Generalnie na wartość mocy promieniowania emitowanego przez ciało czarne wpływ ma bardzo wiele czynników. Do najważniejszych należy zaliczyć: emisyjność powierzchni ciała e (w

E & & = / = & ogólności emisyjność jest funkcją długość fali oraz kąta, pod którym jest oglądany mierzony obiekt), temperaturę ciała Tbb, transmisję tatm i temperaturę Tatm atmosfery (powietrza) oraz temperaturę otoczenia Ta. Badania i pomiary w warunkach laboratoryjnych realizuje się z niewielkiej odległości, co pozwala pominąć transmisję tatm i temperaturę Tatm atmosfery. Jednak przy tak niewielkiej liczbie parametrów i założeniu, że ciało czarne ma egzytancję M(Tbb), temperaturę Tbb oraz emisyjność e, to uproszczony wzór określający wartość natężenia promieniowania emitowanego z powierzchni ciała czarnego ma postać: Mtot = eM(Tbb) + (1 – e)M(Ta).

względny udział danego rodzaju promieniowania w odniesieniu do całkowitej mocy emitowanego promieniowania Mtot. Gdyby przy wyznaczaniu temperatury ciała czarnego na podstawie promieniowania pominięto wpływ promieniowania otoczenia, to zostałby popełniony znaczny błąd. Taką sytuację przedstawiono na Rys. 3. W rzeczywistych pomiarach bardzo trudno ilościowo wyznaczyć, jaka moc promieniowania odbija się od powierzchni ciała czarnego. W związku z tym ciało czarne musi charakteryzować się powierzchnią o jak największej wartości emisyjności. Jednocześnie powierzchniowe ciała doskonale czarne powinny cechować się dużą jednorodnością promieniowania. W tym celu powierzchnie ciał czarnych pokrywa się specjalnymi powłokami, materiałami o wysokiej emisyjności. Istnieje wiele sposobów na wykonanie wysokoemisyjnej powłoki na powierzchni ciała czarnego. Powłoki o najwyższej jakości można osiągnąć stosując techniki powlekania próżniowego, takie jak PVD (ang. Physical Vapor Deposition), CVD (ang. Chemical Vapor Deposition), PECVD (ang. Plasma Enhanced Chemical Vapor Deposition) [1, 5, 16, 20]. Jednak zastosowanie takich powłok jest bardzo kosztowne, w szczególności w konstrukcji powierzchniowych ciał czarnych charakteryzujących się większymi wymiarami powierzchni emitujących. Innym sposobem konstrukcji ciał czarnych jest zastosowanie powlekanych arkuszy metalu mocowanych do powierzchni emitujących. Zastosowanie tej technologii jest jednak ograniczone do powierzchni o prostej geometrii. Najbardziej uniwersalną i względnie niedrogą metodą wykonania powierzchni emitujących jest jej malowanie. Jednak najczęściej metoda ta wymaga dodatkowej obróbki mechanicznej powierzchni, np. w celu zwiększenia chropowatości, powodującej podwyższenie wartości współczynnika emisyjności. Na rynku dostępne są powłoki i materiały silnie pochłaniające i tłumiące odbicia padającego na nie promieniowania. Materiały te wydają się człowiekowi nienaturalnie czarne i znajdują zastosowanie głównie w obszarze działań artystycznych. Ze względu na zakres stosowania materiały te były w większości badane jedynie w zakresie promieniowania widzialnego. Jednak ciała doskonale czarne stosowane są jako wzorcowe źródła promieniowania podczas badań i testowania kamer termowizyjnych, ich kalibracji lub precyzyjnych pomiarów radiometrycznych. Kamery termowizyjne pracują zazwyczaj w trzech zakresach widmowych: SWIR (1–3 μm), MWIR (3–5 μm) i LWIR (8–14 μm). W związku z tym niezbędne jest przeprowadzenie prac badawczych dotyczących wybranych materiałów w celu oceny możliwości ich zastosowania w budowie ciał czarnych dla zakresu podczerwieni.

(2)

Ze wzoru (2) wynika, że promieniowanie emitowane przez ciało czarne zależy od dwóch głównych składników promieniowania własnego ciała czarnego Mbb = εM(Tbb)

(3)

oraz promieniowania odbitego od ciała czarnego Ma = (1 – ε)M(Ta).

(4)

Na Rys. 1 przedstawiono, jak zmieniają się Mbb oraz Ma w funkcji emisyjności ciała czarnego, zaś na Rys. 2 został przedstawiony

Rys. 1. Wykres wartości składników promieniowania ciała czarnego w funkcji emisyjności dla Tbb = 20 °C i Ta = 15 °C Fig. 1. The plot of the black body radiation constituents values depending upon emissivity value for Tbb = 20 °C and Ta = 15 °C

Rys. 2. Wykres względnego udziału składników promieniowania ciała czarnego w funkcji emisyjności dla Tbb = 20 °C i Ta = 15 °C Fig. 2. The plot of the black body radiation constituents relative participation depending upon emissivity value for Tbb = 20 °C and Ta = 15 °C

•

Rys. 3. Wykres temperatury ciała czarnego wyznaczonego na podstawie promieniowania z pominięciem wpływu promieniowania otoczenia dla Tbb = 20 °C Fig. 3. The plot of black body temperature based on radiation measurement with omission of the environment’s influence for Tbb = 20 °C

•

N R 4 /2021

$ > $ ; A < ; ; f < W wyniku badań przeprowadzonych w Wojskowej Akademii Technicznej zmierzono parametry i oceniono właściwości czterech materiałów: − BLACK 2.0 [3] (próbka BB2), − BLACK 3.0 [4] (próbka BB3), − NEXTEL-Velvet-Coating 811-21 [9] (próbka NEXTEL 811-21), − Shibuya Optical Light Exclusion Sheet Super Black IR [11] (próbka SBIR-S). Podstawowym kryterium wyboru badanych materiałów była, deklarowana przez producenta, wysoka wartość współczynnika pochłaniania promieniowania w zakresie widzialnym. Celem prowadzonych badań była ocena wartości współczynnika emisyjności w zakresie dalekiej podczerwieni i porównania jej z innymi materiałami. Nie bez znaczenia jest, że materiał NEXTEL 811-21 został zbadany i porównany z niektórymi innymi powłokami, takimi jak Acktar Fractal Black [1]. Daje to pewien punkt odniesienia do oceny jakości powłok.

Pomiaru wartości współczynnika emisyjności powierzchni badanych przygotowanych próbek materiałów dokonano w Akredytowanym Laboratorium Badawczym w Instytucie Optoelektroniki WAT. Przygotowane próbki poddano serii pomiarów emisjometrem ET100 [10]. Widok przyrządu pomiarowego został przedstawiony na Rys. 5. Za pomocą emisjometru ET100 zmierzono bezwzględny współczynnik odbicia promieniowania podczerwonego w sześciu zakresach widmowych: − 1,5–2,0 μm, − 2,0–3,5 μm, − 3,0–4,0 μm, − 4,0–5,0 μm, − 5,0–10,5 μm, − 10,5–21 μm. Emisjometr ET100 jest zgodny z normą ASTM E408 [2] i ma dokładność ±0,03 [10].

M6 - 0 0 - 3 - 51 & 0 3

W celu przeprowadzenia badań porównawczych przygotowano znormalizowane powierzchnie, na które naniesiono powłoki z wybranych materiałów. Powierzchnie zostały wykonane ze standardowego papieru drukarskiego o gramaturze 80 g/m2 naklejonego na tekturowy podkład. Wymiary przygotowanych powierzchni zostały dostosowane do spektroskopowych przyrządów pomiarowych. Powłoki o postaci płynnej farby zostały nałożone na przygotowane powierzchnie za pomocą identycznych pędzli gąbkowych w taki sposób, aby zapewnić równomierne ich rozprowadzenie na całej powierzchni. Każdą powierzchnię pokryto trzema warstwami farby, nakładanych kolejno po całkowitym wyschnięciu poprzedniej warstwy. Wyjątkiem od tej procedury przygotowania próbek badawczych był materiał SBIR-S. Powłoka SBIR-S występuje w postaci arkuszy materiału z warstwą kleju na spodniej powierzchni materiału. W związku z tym, materiał ten został naklejony na podłożu przygotowanym w taki sam sposób, jak w przypadku pozostałych próbek. Na Rys. 4 został przedstawiony widok badanych materiałów pokryć powierzchni ciała czarnego podczas pomiaru współczynników emisyjności.

Rys. 5. Widok emisjometru ET100 Fig. 5. The view of ET100 emissometer

W celu wykonania pomiaru emisyjności oświetla się powierzchnię badanej próbki promieniowaniem termicznym emitowanym przez żarnik Kanthala. Próbki oświetlane są pod kątem 20° i 60°. Następnie za pomocą emisjometru ET100 rejestrowane jest promieniowanie odbite od badanej próbki i na tej podstawie wyznaczane są wartości współczynników odbicia. Na podstawie dokonanych rejestracji z emisjometru ET100 można odczytać informacje o kierunkowej emisyjności termicznej przy kącie zbliżonym do normalnego (20°), przy kącie 60° oraz o całkowitej emisyjności hemisferycznej.

P6 , 0

Rys. 4. Zdjęcie badanych materiałów pokryć podczas pomiaru współczynnika emisyjności Fig. 4. Photography of examined coating materials during emissivity measurement procedure

Dla każdej próbki materiału przeprowadzono serię pomiarów emisyjności za pomocą emisjometru ET100 w stabilnych warunkach temperaturowych przy temperaturze otoczenia 20 °C. W celu minimalizowania wpływu potencjalnych niejednorodności powierzchni próbek, każdy pomiar serii był realizowany dla innego położenia emisjometru ET100. Tym samym przyrządem mierzono emisyjność materiału dla innego obszaru próbki. Następnie wykonane w serii pomiary wartości współczynnika odbicia zostały uśrednione dla każdego kąta padania promieniowania. Uśrednione wartości kierunkowego odbicia promieniowania dla materiałów przy kącie 20° zostały przedstawione w Tabeli 1, zaś w Tabeli 2 zostały przedstawione uśrednione współczynniki odbicia kierunkowego dla kąta 60°. Na podstawie zmierzonych współczynników odbicia zostały wyznaczone średnie kierunkowe wartości emisyjności dla kątów

E & & = / = & emisyjności spośród wszystkich badanych materiałów w zakresie widmowym 1,5–21,0 μm. Emisyjność tego materiału jest stosunkowo jednolita w zakresie widmowym oraz nie zmniejsza się znacząco przy pomiarze pod większym kątem. Oznacza to, że materiał SBIR-S cechuje duża dyspersyjność powierzchni. Właściwość ta implikuje, że powierzchnia wykonana z materiału SBIR-S dobrze przybliża teoretyczną powierzchnię Lamberta, która rozprasza promieniowanie równomiernie w półsferę [6]. Powierzchnie o wysokiej emisyjności i wysokich wartościach dyfuzji są najbardziej odpowiednie do zastosowania jako powierzchnia wzorcowa dla promieniowania w podczerwieni lub w konstrukcji technicznego ciała doskonale czarnego.

Tabela 1. Zestawienie wartości współczynnika odbicia kierunkowego dla kąta 20° Table 1. Juxtaposition of directional reflectance values for 20° angle Pokrycie

Zakres widmowy, µm

NEXTEL 811-21

SBIR-S

BB2

BB3

1,5–2,0

0,051

0,013

0,045

0,064

2,0–3,5

0,052

0,014

0,054

0,059

3,0–4,0

0,044

0,015

0,066

0,034

4,0–5,0

0,059

0,016

0,072

0,048

5,0–10,5

0,042

0,012

0,081

0,029

10,5–21,0

0,041

0,018

0,106

0,025

5. Wnioski Na podstawie wykonanych pomiarów można stwierdzić, że wszystkie badane materiały charakteryzują się wysoką wartością emisyjności w zakresie widmowym podczerwieni. Ponadto z pomiarów wynika, że zarówno materiał SBIR-S, jak i BB3 cechują się wyższą emisyjnością niż materiał NEXTEL 811-21, który jest powszechnie stosowany w konstrukcjach ciał czarnych. Wartość współczynnika emisyjności dla materiału NEXTEL 811-21 można zwiększyć przez natryskiwanie podkładu przed natryskiwaniem powłoki, a następnie przez jej wygrzewanie w temperaturze 120 °C [1]. Jednak taka obróbka znacząco komplikuje, wydłuża oraz zwiększa koszt konstrukcji takich powierzchni. Z pomiarów wynika, że najbardziej obiecującym materiałem jest powłoka SBIR-S. Dodatkowym atutem jest fakt, że jest dostarczana w postaci arkuszy z klejem na odwrocie. Powoduje to, że powłoka jest łatwa do nakładania na płaskie lub cylindryczne powierzchnie oraz nie wymaga wstępnego przygotowywania powierzchni. Sposób nałożenia materiału nie wpływa na wynikową wartość emisyjności ani jednorodność powierzchni. Jednak jej zastosowanie może być ograniczone i niewygodne przy pokrywaniu bardziej złożonych kształtów geometrycznych. Wydaje się również, że materiał ten może przyciągać cząsteczki kurzu, co może powodować problemy z utrzymaniem powierzchni w czystości. Drugim co do wartości emisyjności materiałem w zakresie widmowym podczerwieni jest BB3. Jest dostarczany w postaci płynnej farby, którą można nakładać pędzlem w postaci nierozcieńczonej. Jednak ze względu na wysoką lepkość może być trudno zapewnić jednorodność powierzchni przy nakładaniu na powierzchnie o większych wymiarach. Możliwe jest nałożenie powłoki za pomocą aerografu, jednak wymagałoby to pewnego stopnia rozcieńczenia, co może wpłynąć niekorzystnie na jego właściwości emisyjne. Ocena wpływu różnych rodzajów rozcieńczalników i sposobów aplikacji wymaga dalszych badań. Wszystkie badane powłoki można niezawodnie wykorzystać jako tymczasową powierzchnię odniesienia podczas jakościowych pomiarów terenowych różnych obiektów o niskiej emisyjności. Jednak do zastosowania jako promiennik do ciała czarnego najlepszym rozwiązaniem jest SBIR-S. Łatwość aplikacji, wysoka wartość współczynnika emisyjności i jednolitość powierzchni sprawiają, że jest to dobra, tania alternatywa dla komercyjnych grzejników z czarnym ciałem.

Tabela 2. Zestawienie wartości współczynnika odbicia kierunkowego dla kąta 60° Table 2. Juxtaposition of directional reflectance values for 60° angle Zakres widmowy, µm

Pokrycie NEXTEL 811-21

SBIR-S

BB2

BB3

1,5–2,0

0,075

0,022

0,067

0,092

2,0–3,5

0,077

0,024

0,077

0,085

3,0–4,0

0,074

0,026

0,091

0,054

4,0–5,0

0,086

0,028

0,095

0,078

5,0–10,5

0,072

0,023

0,107

0,051

10,5–21,0

0,074

0,029

0,131

0,051

Tabela 3. Zestawienie wartości emisyjności kierunkowej i hemisferycznej dla zakresu spektralnego 1,5–21 μm Table 3. Juxtaposition of directional and hemispherical emissivity values for 1.5–21 μm spectral range Pokrycie

e20

e60

NEXTEL 811-21

0,958

0,927

0,905

SBIR-S

0,985

0,973

0,944

BB2

0,904

0,879

0,850

BB3

0,973

0,948

0,924

Rys. 6. Wykres wartości emisyjności kierunkowej i hemisferycznej dla badanych materiałów Fig. 6. The bar plot of directional and hemispherical emissivity values of examined materials

& /0 -

padania promieniowania 20° i 60° oraz średnie wartości emisyjności hemisferycznej dla zakresu spektralnego 1,5–21 μm. Uzyskanie wartości emisyjności kierunkowej i hemisferycznej zostały przedstawione w Tabeli 3, zaś na Rys. 6 zestawiono graficznie uzyskane wyniki. Na podstawie zrealizowanych pomiarów można stwierdzić, że powłoka wykonana z materiału SBIR-S ma najwyższą wartość

•

Praca współfinansowana przez Narodowe Centrum Badań i Rozwoju w ramach grantu: DOB-2P/02/09/2018.

1. Adibekyan A., Kononogova E., Monte C., Hollandt J., High-Accuracy Emissivity Data on the Coatings Nextel 811-21, Herberts 1534, Aeroglaze Z306 and Acktar Fractal Black. “International Journal of Thermophysics”, Vol. 38, 2017, DOI: 10.1007/s10765-017-2212-z. A

•

N R 4 /2021

$ > $ ; A < ; ; f < 2. ASTM International, West Conshohocken, PA, 2019. ASTM E408-13(2019), Standard Test Methods for Total Normal Emittance of Surfaces Using Inspection-Meter Techniques. 3. CULTUREHUSTLE Stuart Semple. BLACK 2.0 – THE WORLD’S MATTEST, FLATTEST, BLACK ART MATERIAL BY STUART SEMPLE. 4. CULTUREHUSTLE Stuart Semple. BLACK 3.0 – THE WORLD’S BLACKEST BLACK ACRYLIC PAINT. 5. Falz M., Leonhardt G., PVD coatings with high IR emissivity for high temperature applications of Co-based alloys. “Surface and Coatings Technology”, Vol. 61, No. 1–3, 1993, 97–100, DOI: 10.1016/0257-8972(93)90209-7. 6. Gogler S., Bieszczad G., Zarzycka A., Model of an optical system’s influence on sensitivity of microbolometric focal plane array. Proceedings of SPIE – The International Society for Optical Engineering. Vol. 8541, 2012, DOI: 10.1117/12.976039. 7. Gross H., Handbook of Optical Systems. Volume 1: Fundamentals of Technical Optics. Wiley-VCH, 2005:826. 8. Krupiński M., Bieszczad G., Sosnowski T., Madura H., Gogler S., Non-uniformity correction in microbolometer array with temperature influence compensation. “Metrology and Measurement Systems”, Vol. 21, No. 4, 2014, 709–718, DOI: 10.2478/mms-2014-0050. 9. NEXTEL. NEXTEL Velvet Coating 811-21 – 9218 black. 10. PRO-lite TECHNOLOGY. TECHNICAL SPECIFICATIONS ET100 HANDHELD THERMAL EMISSOMETER. 11. SHIBUYA OPTICAL CO., LTD. Light Exclusion Sheet Super Black IR. 12. Sosnowski T., Bieszczad G., Kastek M., Madura H., Digital image processing in high resolution infrared camera with use of programmable logic device. Proceedings of

SPIE – The International Society for Optical Engineering. Vol. 7838, 2010, DOI: 10.1117/12.865026. 13. Sosnowski T., Bieszczad G., Madura H., Kastek M., Firmanty K., The calibration stand for thermal camera module with cooled infrared focal plane array. Proceedings of SPIE – The International Society for Optical Engineering. Vol. 7660, 2010, DOI: 10.1117/12.851144. 14. Sosnowski T., Madura H., Firmanty K., Bareła J., Bieszczad G., Kubicki J., Zautomatyzowane stanowisko do wyznaczania wartości parametrów i kalibracji obserwacyjnych kamer termowizyjnych. „Pomiary Automatyka Kontrola”, R. 59, Nr 9, 2013, 962–965. 15. Vollmer M., Möllmann K.P., Infrared Thermal Imaging: Fundamentals, Research and Applications. Weinheim, Germany: Wiley Blackwell, 2017. 16. Wang F., Cheng L., Xiang L., Zhang Q., Zhang L., Effect of SiC coating and heat treatment on the thermal radiation properties of C/SiC composites. “Journal of the European Ceramic Society”, Vol. 34, No. 7, 2014, 1667–1672, DOI: 10.1016/j.jeurceramsoc.2013.12.012. 17. Więcek B., Pacholski K., Olbrycht R. i in. Termografia i spektrometria w podczerwieni. Zastosowania przemysłowe. Wydawnictwo Naukowe PWN, Warszawa 2017. 18. Willers C.J., Electro-Optical System Analysis and Design: A Radiometry Perspective. SPIE, 2013. 19. Wolfe W.L., Introduction to Radiometry. SPIE Press, 1998:200. 20. Yi J., He X., Sun Y., Li Y., Electron beam-physical vapor deposition of SiC/SiO2 high emissivity thin film. “Applied Surface Science”, Vol. 253, No. 9, 2007, 4361–4366, DOI: 10.1016/j.apsusc.2006.09.063.

? / & / 8 - / ' 0 0 ' 6 ' Abstract: Black body radiation sources are commonly used devices in areas related to thermal imaging and radiometry. They are the closest physical approximation of theoretical black body emitter derived from the Planck’s law. Majority of such devices are costly with restricted information about their production technology, including their emitter surface. A few relatively easily accessible coatings with potential application in such devices have been chosen and their emissivity measured. The paper presents measurements that provides information necessary to determine whether there are coatings viable for black body emitter or reference surface. KeywordsI $ $ ' # & # #

E & & = / = &

& ' ( 0

' +

' & % ' ORCID: 0000-0002-5789-8531

& & $ '% ' ORCID: 0000-0001-8048-2609

= ` *!() H E ] ` E ^ = & E *!(F H ] ` E ^ ; *!(K $ ] E & ` ' = E . ' = - [ ;+=

H *!!K ; ] + ' = E ] ; ' < H ' *!(* [$ & 'E ] E ^ / # & E ^ '^ 8.R+ ] / E $ # $ ^

' - &

' # 2 & #

% ' ORCID: 0000-0003-4082-8366

/ / % ' ORCID: 0000-0002-9124-6561

+$ ; ' < ; + E ' = L(BB M = ' *!! E $ ] ] ] & E ^ / # / ] E ] & # ] $ & / & # ` '^ E & '

+$ ; ' < ; + ' = L(BB M [' (BB E ; + ' = = ' *!!

$ ] ' $ ^ ' ] & E ^ & ' E ]' ' + ^ ' F! $ E . ' - [ ; + ' E =

& ' $ $ % ' ORCID: 0000-0002-8053-6563 ; *!() H ' ; ' ? = & ; + ' = E [$ E - [ ;+= E a X $ ' ] # ' ^ $

•

N R 4 /2021

Pomiary Automatyka Robotyka, ISSN 1427-9126, R. 25, Nr 4/2021, 83–87, DOI: 10.14313/PAR_242/83

N + / < ? / = > / >[ . = / ' 0 - # / 6 " ' / = & # - / < # + . (!# 0EB $ ' &# B E@B! " ' # . '

() % The article presents the concept of using VNA (Vector Network Analyzer) to measure the temperature of the MOS transistor junction. The method assumes that the scattering parameters of the network consisting of the transistor depend on the temperature. The tests confirmed the influence of temperature on the S11 parameter and the input network capacity during ambient temperature changes in the range of 35–70 °C. Measurements were made for the gate-source (G-S) input of the system. The measurements were carried-out with the transistor in the ON/OFF states. In order to validate the measurements, the temperature of the tested element was recorded with the MWIR Cedip-Titanium thermal imaging camera. : - I N ? + # -6 # E # >[ # '

1. Introduction Measurement of the internal temperature of semiconductor power devices is normally performed with an additional temperature sensor integrated with DUT (Device Under Test). In the case of bipolar transistors (BJT), the base-emitter diode can be used to measure the temperature. Power MOS transistors have a parasitic p-n technological diode, which can be used as a temperature sensor [2, 3] when the transistor is turned off. Such a measurement requires the application of a low-value current source connected in an appropriate state of operation of a transistor [4]. For MOS transistors, the ON-state resistance Ron of the channel varies with temperature and current [1]. There were attempts to use Ron resistance to measure the internal temperature of DUT. Most of the proposed measurement methods are off-line ones, recommended for manufacturers of semiconductor devices for the verification of production quality or for system developers for the selection of appropriate components. There is a commercially available system for monitoring the internal temperature of semiconductor elements, based either on an integrated p-n junction or on an external temperature sensor to measure temperature [12].

In the field of high frequency and microwave electronic circuits, the vector analysis approach is very useful. Until now, such systems were intended rather for laboratory applications [5]. Currently, there are portable and handy Vector Network Analysers with acceptable technical specifications for various applications [6, 7]. Such measurement systems power the DUT and measure the electrical response over the wide frequency range, sometimes up to GHz. The results can be presented in the form of frequency dependent electrical impedance/admittance, but in most cases they provide scattering (S) parameters very useful in the development of microwave and antenna circuits [8–10]. There is a need to measure the temperature of the semiconductor structure of power devices that do not have any p-n junction inside, e.g. GaN transistors. This research is devoted to such applications and can be applied to AC and DC converters equipped with such modern elements. The main research hypothesis presented in the article is the possible use of the VNA and scattering parameters S to monitor the temperature inside power semiconductor devices. The power MOS transistor contains parasitic capacitances between all electrodes (Fig. 1). These capacitors correspond to the input, output and feedback capacitances (Ciss, Coss, Crss) measured by the manufacturers and reported in application notes [13]. The dependence between to the input, output and feedback capacitances Ciss, Coss, Crss and the physically existing ones Cgs, Cgd, Cds, can be expressed by eq. (1) and (2) [11].

0 < I 0 ` = # $ % '

Ciss = Cgs + Cgd Crss = Cgd

0 1 & - ' !K !K *!*( # ' ' () (! *!*(

Coss = Cds +

C gdC gs C gd + C gs

Cds = Coss −

(1) C rss (C iss − C rss ) C iss

(2)

Vector Analysis of Electrical Networks for Temperature Measurement of MOS Power Transistors

of the tested device. The electrical conditions for these measurements were: VGS = 0 V(OFF)/10 V(ON) and VDS = 20 V. The collected data was analyzed in order to estimate changes in the values of selected parameters as the function of the ambient temperature THEAT and TMOS. Before the measurements, a simple simulation of the transistor’s operation was carried out at the ambient temperature Ta = 25 °C using the LTspice XVII program. The schematic diagram of the modeled circuit is shown in Fig. 4. In order to make the model compatible with the experiment, the series inductance L1 was added to the gate connection (Fig. 4). It corresponds to the inductance of the wire several cm long used in the experiment. Switching the transistor was achieved by changing the value of the resistance R1 from a few MΩ to 10 kΩ. Voltage source V2 simulates the VNA generator. Changing the frequency of this generator allows to estimate the impedance character of the measured device. Due to the LC series branch, at lower frequency values the impedance between gate and ground starts from capacitive to resonance at frequency around 10 MHz. For higher frequencies, the input circuit becomes inductive. This simulation result is in line with the experimental result obtained by the VNA.

Fig. 1. Parasitic capacitances of MOS transistor Rys. 1. Pojemności pasożytnicze tranzystora MOS

The developed method and the results obtained confirm the validity of the concept of a new approach to measure the temperature of electronic devices with the use of VNA. However, the authors treat them as preliminary results that should be carefully analysed during the further research.

L6 ! For the research presented in this paper, the n-channel enhancement mode IRFZ44N Trench MOS transistor was selected. For this transistor, input capacitance Ciss = 1350–1800 pF, output capacitance Coss = 330–400 pF and feedback capacitance Crss = 155–215 pF, measured for VGS = 0 V, VDS = 25 V and for f = 1 MHz. The similar electrical conditions were selected for the measurements during this research. In order to verify the influence of ambient temperature changes on the tested MOS transistor IRFZ44N in the TO220AB housing, a BINDER ED 115 heating chamber was used. The DUT device was affected by natural convection anly. The temperature range of the chamber is THEAT from 5 °C above ambient temperature to 300 °C. The inspection opening made by the manufacturer in the upper part of the heating chamber allowed for recording the S11 parameters using portable VNA. A portable, inexpensive VNA was used for measurements. The device has a frequency range of 50 kHz–1500 MHz and the maximum output power of –9 dBm. At the same time, temperature changes on the tested transistor were monitored with the Cedip-Titanium MWIR (Medium Wave Infrared Range) camera through the another inspection opening in the side wall of the heating chamber. The IR camera is characterized by high recording speed up to 1000 frames per second. The thermal resolution of the camera is NETD < 18 mK, and the cooled InSb matrix contained 640 × 512 pixels. The signals recorded by the VNA and IR cameras were saved in the computer memory for the detailed analysis (Fig. 2). The measurement was based on heating the chamber in the range of 35–70 °C. The S11 parameter value changes were registered using a portable VNA every 5 °C of THEAT in the steady. The signal generated by the internal Si5351 oscillator built into the VNA was connected to the gate-source (G-S) pins of the tested MOS transistor (Fig. 2). The frequency range of the signal recorded by the VNA was 50 kHz–20 MHz. Measurement data was collected with the software installed on the notebook. At the same time, the TMOS temperature was recorded by the IR camera with a sampling frequency of 100 Hz (Fig. 3). Additionally, measurements were made for either ON or OFF state

•

Fig. 2. Schematic diagram of the measurement setup Rys. 2. Schemat ideowy stanowiska pomiarowego

Fig. 3. Measurement setup with the heating chamber, VNA and IR camera Rys. 3. Stanowisko pomiarowe: komora grzewcza, VNA oraz kamera IR

•

N R 4 /2021

;/ . A ; $ / [

Fig. 4. The schematic diagram of the simulated circuit Rys. 4. Schemat elektryczny symulowanego obwodu

M6 () Figure 5 shows the measured Smith chart representing the changes of S11 parameter value. The measurement of the selected parameters were performed for the frequency corresponding to –π/2 phase shift of S11 parameter. Experimentally, two values of excitation frequency were selected f1 = 1.0475 MHz and f2 = 0.848 MHz for which the phase shift is close f ≈ –π/2, indicated in Fig. 5. According to the concept of new application of VNA and theoretical considerations, the input capacitance were analyzed. The circular shape of S11 in the Smith diagram confirms the almost pure capacitive character of the input circuit measured between the gate and the source electrode of the MOS transistor. Due to the series inductance, the character of the circuit changes to inductive above the frequency f > 10 MHz. The sensitivity of the measured parameters is high, which results from the characteristic of the phase shift (Fig. 6). A significant and steep slope of the characteristic is for f ≈ –p/2. Negative phase shift values are related to the capacitive character of the internal in-build transistor structure. For this measurement condition, the high thermal sensitivity is expected. The obtained values of input capacitance Cin for both considered frequencies were averaged and the relation Cin = f (TMOS)

was determined for ON and OFF states of DUT. The obtained numerical results of the measurements are presented in Table 1. The temperature in the heating chamber can only be set above the ambient temperature. Therefore, a starting temperature of 35 °C was selected. The measurement system was developed to reduce or nearly eliminate self-heating of a transistor (Figures 2 and 4). This is due to the small value of the drain current of several mA. Analyzing the data presented in Tables 1, it can be seen that the ambient temperature THEAT set by the heating chamber corresponds linearly to the temperature TMOS measured by a thermal imaging camera. However, there is a difference between the TEAT and TMOS temperatures due to the nonhomogeneous temperature distribution and the long settling time in the heating chamber. Nevertheless, the TMOS takes almost the same value for both measurements, regardless of the transistor state ON/OFF. This is confirmed by the lack of self-heating effect of the transistor in the ON state.

Fig. 6. Example of the phase change characteristic of S11 parameter (1st and 2nd marker – ϕ ≈ –π/2; 3rd marker ϕ ≈ –π, 4th marker ϕ ≈ π) Rys. 6. Przykładowa charakterystyka zmiany przesunięcia fazowego parametru S11 (1, 2 marker – ϕ ≈ –π/2; 3 marker ϕ ≈ –π, 4 marker ϕ ≈ π) Table 1. Summary of changes in the series capacitance Cin versus temperature TMOS and THEAT for ON and OFF states of DUT Tabela 1. Zestawienie zmian pojemności Cin względem temperatur TMOS oraz THEAT dla stanu pracy ON/OFF

THEAT (°C)

Fig. 5. Example of the S11 parameter changes for frequency range f (0.05, 20) MHz Rys. 5. Przykład zmian parametru S11 w zakresie częstotliwości f (0.05, 20) MHz

GSOFF

GSON

TMOS (°C)

Cin (nF)

TMOS (°C)

Cin (nF)

35.00

33.67

3.11610

33.81

3.15025

40.00

41.06

3.11305

40.45

3.14640

45.00

47.59

3.11045

47.43

3.14350

50.00

54.37

3.10895

53.40

3.14100

55.00

61.43

3.10620

60.74

3.13865

60.00

66.56

3.10470

66.89

3.13645

65.00

71.13

3.10340

71.73

3.13500

70.00

76.10

3.10150

76.11

3.13205

Vector Analysis of Electrical Networks for Temperature Measurement of MOS Power Transistors

The temperature TMOS ranged from 33.67 °C to 76.10 °C. The temperature set by the control system of the heating chamber THEAT was slightly higher. An increase in TMOS temperature by approximately 40 °C caused a capacity decrease by approximately 16 pF. This means that the average sensitivity of capacitance changes as a function of temperature is –0.39 pF per 1 °C for the temperature TMOS measured with the IR camera. The obtained results of these preliminary studies confirmed the correctness of the new approach to monitor static and dynamic temperature changes inside the structure of MOS transistors with the use of S11 parameter. The application of the VNA to measure temperature changes requires calibration for each test object to determine the frequency for phase of S11 equal to ≈ –π/2. Presumably, adjusting an appropriately narrow frequency range for analysis will increase the accuracy of the measurement and eliminate the fluctuations of capacitance changes visible in the obtained results (Fig. 7). The obtained results are too early to provide clear evidence and exact dependencies for the new measurement method of junction temperature of MOS transistors. The research requires further works and the development of a dedicated measuring system in order to increase the precision and sensitivity of the registered changes in series capacitance and the temperature of the transistor’s internal structures. In particular, an uncertainty analysis will be performed to confirm the practical suitability of the proposed method. However, preliminary research and the results presented are promising.

References Fig. 7. Dependence of Ciss capacitance as a function Ciss = f(TMOS), for ON and OFF state of N-channel enhancement mode IRFZ44N TrenchMOS transistor Rys. 7. Zależność pojemności Ciss w funkcji Ciss = f(TMOS) dla tranzystora, w stanie pracy ON/OFF – IRFZ44N TrenchMOS z kanałem typu n

1. Williams R.K., Darwish M.N., Blanchard R.A., Siemieniec R., Rutter P., Kawaguch Y., The trench power MOSFET: Part I – History, technology, and prospects, “IEEE Transactions on Electron Devices”, Vol. 64, No. 3, 2017, 674–691, DOI: 10.1109/TED.2017.2653239. 2. Pangallo G., Rao S., Adinolfi G., Graditi G., Della Corte F.G., Power MOSFET Intrinsic Diode as a Highly Linear Junction Temperature Sensor, “IEEE Sensor Journal”, Vol. 19, No. 23, 2019, 11034–11040, DOI: 10.1109/JSEN.2019.2935550. 3. Blackburn D., Berning D., Power MOSFET temperature measurements, Proceedings of IEEE Power Electronic Specialists Conference, 1982, 400–407, DOI: 10.1109/PESC.1982.7072436. 4. Wenger Y., Meinerzhagen B., Low-Voltage Current and Voltage Reference Design Based on the MOSFET ZTC Effect, “IEEE Transactions on Circuits and Systems”, Vol. 66, No. 9, 2019, 3445–3456, DOI: 10.1109/TCSI.2019.2925266. 5. Niu H., Lorenz R.D., Sensing Power MOSFET Junction Temperature Using Gate Drive Turn-On Current Transient Properties. November 2015, “IEEE Transactions on Industry Applications”, Vol. 52, No. 2, 2015, 1677–1687, DOI: 10.1109/TIA.2015.2497202. 6. Bonaguide G., Jarvis N., The VNA Applications Handbook, Artech House 2019. 7. Dunsmore J.P., Handbook of Microwave Component Measurement: with Advanced VNA Techniques, 2nd Edition, Wiley, May 2020. 8. Heddallikar A., Pinto R., Prasadh S.S., A Comparative Analysis of Dielectric Fill Material for X Band Antenna and Subsystem using Scattering Parameters, 2018 IEEE MTT-S International Microwave and RF Conference (IMaRC), October 2019, DOI: 10.1109/IMaRC.2018.8877254. 9. Zhipeng Wu, Software VNA and Microwave Network Design and Characterisation, Wiley, September 2007.

These changes of TMOS temperature varies the series capacitance for both measurements setup (ON/OFF). The values of the input capacitance in both states are very similar. For the ON state of the input capacitance of the transistor it is slightly larger due to the bypassing of the drain capacitance. The input capacitance decreases with temperature as shown in Fig. 7. The input capacitance depends on the ambient temperature and the operating state of the transistor. After averaging the value of the input capacitance for 2 adjacent frequencies near the phase of S11 equal to –π/2, the input capacitance changes by –16.4 pF with increasing temperature TMOS from 33.67 °C to 76.10 °C. The nearly linear characteristics of capacitance change as a function of temperature TMOS exhibit the sensitivity of capacitance variation versus temperature as in eq. (3). ∂C in pF = −0.39 ∂TMOS °C

(3)

P6 The use of the VNA as a measuring device for S11 parameter allows the determination the impedance character of the electrical network consisting of a MOS transistor. Electrical parameters were measured for the appropriate frequency. As the temperature of the transistor increases, the input capacitance decreases.

•

N R 4 /2021

;/ . A ; $ / [

10. Berthou M., Godignom P., Millan J., Monolithically Integrated Temperature Sensor in Silicon Carbide Power MOSFETs, IEEE Transactions on Power Electronics, Vol. 29, No. 9, 2014, 4970–4977, DOI: 10.1109/TPEL.2013.2289013. 11. Zwerver H.J., LTspice built in VDMOS model, 04 Dec 2006, http://www.magma.ca/~legg/SR5/LTspice_built_in_ VDMOS_model.pdf.

12. Szekely V., Ress S., Poppe A., Török S., Magyari D., Benedek Z., Torki K., Courtois B., Rencz M., New approaches in the transient thermal measurements. “Microelectronics Journal”, Elsevier, Vol. 31, No. 9–10, October, 2000, 727–733, DOI: 10.1016/S0026-2692(00)00051-3. 13. Application Note, July 2018, https://toshiba.semicon-storage.com/info/docget.jsp?did=13415.

' ^ >[ % W artykule przedstawiono koncepcję wykorzystania wektorowego analizatora sieci VNA (ang. Vector Network Analyzer) do pomiaru temperatury złącza tranzystora MOS. Metoda zakłada, że parametry rozpraszania sieci elektrycznych wewnętrznych struktur tranzystora zależą od temperatury. Badania potwierdziły wpływ temperatury na parametr S11 oraz na pojemność wejściową przy zmianie wartości temperatury otoczenia w zakresie 35–70°C. Pomiary wykonano dla wejścia bramka-źródło (G-S) układu. Pomiary przeprowadzono z tranzystorem w stanach ON/OFF. W celu walidacji pomiarów, temperaturę badanego elementu rejestrowano kamerą termowizyjną MWIR Cedip-Titanium. I N?+# ; + # # # # >[ # ' #

/ 6 !" "

/ ' 0 - #

$ & % ' ORCID: 0000-0002-5003-1687

$ % ' ORCID: 0000-0003-4387-2741

0 & ; ' / < ' = & G - / < $ & / )! P E / S / ' &# ' ' $ ' / -6 & ' -6 ' E & ' ' P $ / & & & / & ' < < h- / ' & ' X ==.U

P ' 0 ' & < ' = = E / " ' *!( ' > ' & < < & &# < E . < & & *!(@ . G ' < E ' = & G / " ' / = & P E / ' -6 & E ' '

NR 3/2015

•

N R 4 /2021

Pomiary Automatyka Robotyka, ISSN 1427-9126, R. 25, Nr 4/2021, 89–92, DOI: 10.14313/PAR_242/89

? EG < / P & -6 = & ' <J & 7 ! > - / + = & # ; H & Q # !@E**!

() % The paper presents selected results of non-destructive testing of composite helmets with deliberately introduced defects. Ultrasound pulsed infrared thermography was used for the tests. In order to determine the initial possibilities of this method, artificial defects made of Teflon featuring different area sizes and designed to simulate delamination were placed between layers of the aramid composite from which the helmet was made. The obtained results confirmed the effectiveness of the NDT method used in these tests. : - I E' &# -6 & # '

1. Introduction In recent years, composite materials have been used more and more frequently in lightweight ballistic armour designs. This is because advances in polymer chemistry have enabled production of materials capable of protecting against hits of small arms projectiles and other fragments. Usually woven (textile) materials combined with plastic are used, creating multi-layer composites from which personal ballistic armour (vests and helmets), armoured vehicles’ panels and solid objects stationary facilities. This type of composite material is largely manufactured on the basis of highly resistant aramid and polyethylene fibres combined with phenolic and polyurethane resins as well as other flexible blends. These materials are characterized by being lightweight, corrosion-resistant, and easily mouldable which allows them to be adapted to surfaces they are to protect. Material layers can vary significantly in terms of their physical properties and because of this they are a difficult object of tests for many traditional non-destructive testing techniques. Defects that may appear in this type of multilayer composites are usually inaccuracies in bonding of composite layers and delamination also resulting from impact of fragments and projectiles. One of the most effective methods of non-destructive testing in examination of fibre-reinforced composite materials is infrared thermography. Usually, methods of active thermography are used for non-destructive testing of composite materials [1–2]. As shown in many works [3–6], ultrasounds can be a particularly effective thermal stimulation source for this type of material.

0 < I ; ' j ' # ' ' % 0 1 & - ' (F !F *!*( # ' ' (* (! *!*(

Figure 1 presents a diagram of the test setup for ultrasonic infrared thermography (on [7]).

Fig. 1. Diagram of the test setup for ultrasonic infrared thermography Rys. 1. Schemat stanowiska termografii ultrasonograficznej

L6 ! ! Thermographic and X-ray tests were carried out using a composite helmet with nine deliberately introduced defects in the form of Teflon. The design of the splinter helmet i.e. the rigid outer shell of the helmet, not in contact with the user’s head that defines the helmet shape and provides its essential function of ballistic protection, is made of composite materials. Teflon defects in the shape of squares, inserted into the helmet shell, had a thickness of about 0.1 mm and a various surface areas of, respectively, 0.5 sq. cm. (D1, D2 and D3 defects), 1 sq. cm. (D4, D5, D6), and 1.5 sq. cm. (D7, D8, D9). Eight defects were placed at the height of 100 mm below the top of the helmet, and one defect at the height of 150 mm below the top. The locations of the defects placed in the helmet are shown in Figure 2. In the beginning tests of the helmet with deliberately introduced defects were carried out using the X-ray method. Then the helmet tests were performed using infrared ultrasonic thermography. The tests were carried out using different generator parameters, i.e. power up to 2 kW, stimulation time up to approx. 130 seconds, recording time up to approx. 400 seconds and frequencies from 15 kHz to 25 kHz. Infrared image sequences

Non-Destructive Evaluation of Composite Helmets Using IR Thermography and Ultrasonic Excitation

Fig. 4. X-ray images of a part of a composite helmet. View from inside on the left side of the helmet Rys. 4. Obrazy rentgenowskie części hełmu kompozytowego, widok od wnętrza po lewej stronie hełmu Fig. 2. Diagram of the defects locations in the helmet (Central circles designate the central point of the upper surface of the helmet) Rys. 2. Schemat lokalizacji defektów w hełmie (środek okręgów oznacza centralny punkt górnej powierzchni hełmu)

were recorded using the FLIR 7600 SC infrared camera (sensor type – InSb, spectral ranges 1.5–5.1 μm, pixel resolution 640 × 512, pixel pitch – 15 μm, NETD < 20 mK, digital full frame rate – 100 Hz), both in the heating and cooling phases. Pulse Phase Thermography [8] was used for the analysis of the thermograms obtained. The generator was placed in various locations and different ways of immobilizing (supporting) the helmet were used. The experimental stand on which the helmet tests were carried out using infrared ultrasonic thermography is shown in Figure 3.

Fig. 5. X-ray images of a part of a composite helmet. The view from inside on the right side of the helmet Rys. 5. Obrazy rentgenowskie części hełmu kompozytowego, widok od wnętrza po prawej stronie hełmu

Detection of a defect with the use of ultrasonic stimulation is influenced by: frequency, generator power and stimulation time of the ultrasonic wave, time of the cooling phase, depth of the defect location under the surface of the tested object and the distance between the defect and the place where the ultrasonic wave is generated. Taking all this into account, it is obvious that due to the different location of defects in the tested object, it is impossible to visualize all defects that can be detected on one thermogram. Selected results of thermographic test of helmets, which were obtained at 24 kHz frequency, are shown in Figures 6 and 7. Usually, thermographic tests are of the non-contact type; one of the exceptions is thermography using an ultrasonic source for thermal stimulation of the test object. For this reason, good mechanical contact between the surface of the test object and the transducer transmitting ultrasonic energy is very important. The shape of the composite helmet doesn’t make it any easier. This contributes to generating a local field of increased temperature around the tip of the transducer on the surface of the tested object. This can be clearly seen in the thermogram,

Fig. 3. Photo of the experimental stand used for the tests of the helmet Rys. 3. Zdjęcie stanowiska doświadczalnego do testów hełmu

M6 * The results in the form of exographs of selected fragments of the helmet on which defects in the form of Teflon were detected, are shown in Figures 4 and 5. No defects were detected in the first stage of the X-ray analysis. Next, as a result of in-depth analyses (after a more detailed analysis of the imaging of defects in the form of Teflon inside flat samples), individual defects were detected. The defects are hardly visible in the X-ray imaging and it is difficult to determine their location in the helmet; however, their shape can be seen. The tests (Fig. 3) used the modular software package IR-NDT, which has been specially designed for non-destructive testing with active thermography by AT-Automation Technology GmbH [9]. Fourier transform is performed on the recorded signal using the Pulse Phase method. Thanks to this method, the phase spectrum of the temperature signal as a function of frequency is obtained. From the phase image sequence, you can select the image with the best representation of subsurface defects.

•

D4 a)

(b)

Fig. 6. Phase images of helmets obtained for various test parameters: (a) generator power 0.9 kW, stimulation time 130 s, recording time 200 s; (b) generator power 1.05 kW, stimulation time 130 s, recording time 300 s Rys. 6. Obrazy fazowe hełmów uzyskane dla różnych parametrów badania: (a) moc generatora 0,9 kW, czas stymulacji 130 s, czas rejestracji 200 s; b) moc generatora 1,05 kW, czas stymulacji 130 s, czas rejestracji 300 s

•

N R 4 /2021

< i " =

(a)

(b)

Fig. 7. Phase images of helmets obtained for various test parameters: (a) generator power 0.9 kW, stimulation time 100 s, recording time 240 s; (b) generator power 0.9 kW, stimulation time 80 s, recording time 240 s Rys. 7. Obrazy fazowe hełmów uzyskane dla różnych parametrów badania: a) moc generatora 0,9 kW, czas stymulacji 100 s, czas rejestracji 240 s; (b) moc generatora 0,9 kW, czas stymulacji 80 s, czas rejestracji 240 s

Fig. 6b. The power of generated radiation and the time needed to generate it are important, because too much power and an excessively long time will cause the temperature to rise rapidly around the transducer tip. This, combined with pneumatic pressure of the transducer to the tested surface, may cause local damage. Previous experiments have shown that the contact between the surface of the test object and the surface of the transducer tip can be improved by inserting a thin food grade aluminium foil (slightly crushed) between these surfaces. Attempts to use special gels did not bring any expected results. The gel dissolved very quickly and flown down the tested surface. Moreover, the gel caused hard-to-remove stains on the helmet surface. Previously conducted numerical simulations, the results of which were published in [10], had indicated that the best results can be obtained at low ultrasound frequencies. This was confirmed in the experimental tests presented in this paper. When selecting the frequency, attention should be paid to avoid frequencies at which so-called standing wave is generated, because it results in black and white, often irregular stripes appearing on the thermogram (with the selected grey scale). The tests presented in [11] shown that it is possible to improve the visualization of defects by using appropriate thermogram processing algorithms. ThermoFitTMPro software developed by prof. V. Vavilov was used for thermogram analysis [12]. This software allows one to use several different algorithms of image processing for the analysis (Fourier analysis, differentiating transient signals, correlation technique, polynomial fitting, wavelet analysis, Principal Component Analysis and thermal tomography) with the option of changing their parameters. The best results obtained in [13, 14] were achieved by means of algorithms using the wavelet analysis and PCA (Principal Component Analysis). These results were obtained from tests of flat samples of the aramid composite. According to the analysis, the second and third principal components allow an increase of the good visibility of defects. In our further planned research we intend to apply these algorithms to testing of composite helmets. The accuracy of the method used in these tests of helmets is indicated by the fact that the thermograms show the configuration of the arrangement of the aramid prepreg elements forming the shape of the helmet. Edges of triangular-shaped elements bonded in layers are visible as dark stripes on the thermograms.

P6 The paper presents use of ultrasonic IR thermography for detection of deliberately introduced defects in composite helmets. Analysis of the results obtained from both thermographic and X-ray testing of helmets with deliberately introduced defects in the form of Teflon shown that phase image defects are more

clearly visible and the area of their occurrence in the helmet is more easily identified. On the other hand, exographs show the shape of defects (which in turn is not visible on phasegrams). The defects were best detected when the generator was placed at the point of the helmet top (determined in the central point of the upper surface) and the helmet was supported from inside with a metal cylinder (on which the helmet was supported, so that edges of the helmet did not touch the stand surface). This work was supported by The National Centre for Research and Development (Project DOB-SZAFIR/02/A/001/01/2020).

References 1. Boritu A., Anghel V., Constantin N., Găvan M., Pascu A., Non-destructive inspection of composite structures using active IR-thermography methods. “UPB Scientific Bulletin, Series D: Mechanical Engineering”, Vol. 73, No. 1, 2011, 71–84. 2. Sultan R., Guirguis S, Younes M., El-Soaly E., Active infrared thermography technique for the non-destructive testing of composite material, “International Journal of Mechanical Engineering and Robotics Research”, Vol. 1, No.3, 2012, 131–142. 3. Wang Y.M., Wu Q., Experimental Detection of Composite Delamination Damage based on Ultrasonic Infrared Thermography, “International Journal of Engineering Transactions B: Applications”, Vol. 27, No. 11, 2014, 1723–1730. 4. Pracht M., Swiderski W., Ultrasonic IR Thermography Detection of Defects in Multi-layered Aramide Composites, 19th World Conference on Non-Destructive Testing WCNDT, 2016. 5. Pracht M., Swiderski W., Detection of defects in composite helmets using ultrasonic IR thermography. Proc. of Integrity/ Reliability/Failure, 2018, 491–492. 6. Umara M.Z, Vavilov V., Abdullah H., Ariffin A.K., Quantitative study of local heat sources by Ultrasonic Infrared Thermography: An approach for estimating total energy released by low energy impact damage in C/C composite. “Composites Part B: Engineering”, Vol. 165, 2019, 167–173, DOI: 10.1016/j.compositesb.2018.11.124. 7. Hong Y., Miao P., Zhang Z., Zhang Shu-yi, Ji X., Installation and application of ultrasonic infrared thermography. “Acousting Science & Techology”, Vol. 25, No. 1, 2004, 77–80, DOI: 10.1250/ast.25.77. 8. Maldague X.P.V., Theory and Practice of Infrared Technology for Non-Destructive Testing. John Willey & Son Inc. New York, 2001 9. IR-NDT, Software Manual. AT-Automation Technology GmbH, 2016 10. Świderski W., Pracht M., Vavilov V., Derusova D., Using ultrasonic IR thermography for detecting defects in military – oriented polyaramid materials, Proceedings of the 6th International Conference on Mechanics and Materials in Design, 2015, 2219-2228. 11. Świderski W., Comparison of image analysis methods on the example of ultrasonic thermography of an aramid composite, Journal of KONES Powertrain and Transport, Vol. 26, No. 2, 2019, 145-150, DOI: 10.2478/kones-2019-0043. 12. ThermoFit Pro Operation Manual, Innovation Ltd., 2016 13. Swiderski W., Pracht M., Principal component analysis in non-destructive testing by an ultrasonic thermography method of multi-layered aramid composite, Proc. SPIE 11172, Fourteenth International Conference on Quality Control by Artificial Vision 111720D, 2019, DOI: 10.1117/12.2520854. 14. Swiderski W., Wavelet analysis for detection defects in light ballistic armours by ultrasonic infrared thermography method, Proc. of the 23rd International Conference Transport Means, Part II, 2019, 621–624.

Non-Destructive Evaluation of Composite Helmets Using IR Thermography and Ultrasonic Excitation

? ] ^ & _ ' $ ' 'g & % W pracy przedstawiono wybrane wyniki badań nieniszczących hełmów kompozytowych z celowo wprowadzonymi defektami. Do badań wykorzystano impulsową termografię w podczerwieni z ultradźwiękowym źródłem wzbudzenia cieplnego. W celu określenia wstępnych możliwości tej metody, pomiędzy warstwami kompozytu aramidowego, z którego wykonano hełm, umieszczono na różnych głębokościach pod powierzchnią sztuczne defekty wykonane z teflonu o różnej wielkości powierzchni. Te sztuczne defekty symulowały rozwarstwienia. Uzyskane wyniki potwierdziły skuteczność użytej metody NDT w tych badaniach.m pracy I $ ' ] # & _ ' # 'g #

& 7

! !"

' ' % ORCID: 0000-0003-4040-2197

% ORCID: 0000-0002-6353-5147

+ & ' / G / < E > + / > / = & L(BQKM (BK!# E / > - / + = E & # / 6 ' E' & & / ' & ' / ' & E + ' E / **! / $ E ' () M

+ & ' / G / > E / > / = E & L*!!QM G ' & ' *!(B L ' / M E ' & ' ' G $ ' ' $ ; E / = & L*!(*M E *!!Q# $ / > - / + = E & k > & / + ' . > 6 E " $

•

N R 4 /2021

Pomiary Automatyka Robotyka, ISSN 1427-9126, R. 25, Nr 4/2021, 93–97, DOI: 10.14313/PAR_242/93

. ' & ` H ' ^ / ' STRIDE Tomasz Kruk . ; # ; ' < = - / # - + - / # ? (@A(B# !!EFF@ ;

Streszczenie: W niniejszym artykule opisano praktyczne podejście do zagadnienia stanowiącego aktualnie nieodłączną część wytwarzania nowoczesnych zaawansowanych i złożonych systemów informatycznych – do modelowania zagrożeń teleinformatycznych. W artykule przedstawiono praktyczną zasadność i przebieg procesu modelowania zagrożeń, a następnie opisano jedną z najpopularniejszych metod identyfikacji i analizy zagrożeń – tak zwany model STRIDE. 1 - 0 & - I $ $ H # $ & # ' & ` H# ' =6-G<

J6 , - & Modelowanie zagrożeń teleinformatycznych stało się nieodłącznym elementem wytwarzania profesjonalnego oprogramowania. Zwiększono nacisk na zapewnianie poza podstawową funkcjonalnością, spełniania niezbędnych wymagań niefunkcjonalnych wytwarzanego rozwiązania informatycznego. O ile dojście do zakładanej celem projektu funkcjonalności oprogramowania jest procesem dającym się precyzyjnie zdefiniować, a ocena osiągnięcia tego stanu wydaje się w pełni weryfikowalna przez zastosowanie odpowiedniego katalogu testów akceptacyjnych przed wdrożeniem rozwiązania w środowisku docelowym u klienta, o tyle zapewnienie podstawowych wymagań niefunkcjonalnych wymaga nadal troskliwej pracy analitycznej. Z wymagań niefunkcjonalnych w ostatnich latach na czoło zdecydowanie wysunęło się zapewnienie właściwego poziomu bezpieczeństwa wytwarzanego rozwiązania informatycznego. Ataki na systemy informatyczne stały się równie częste jak samo użytkowanie tych systemów. Dziś wdrożenie rozwiązania informatycznego bez zapewnienia właściwej dojrzałości z punktu widzenia bezpieczeństwa, to poważny błąd projektowy, najpewniej doprowadzi do problemów, które w takim scenariuszu zmaterializują się bardzo szybko. Kosztem kompromitacji systemu może być utrata reputacji, wyciek danych, czasem paraliż funkcjonowania instytucji a czasem wręcz upadek firmy.

0 < I = Y # % ' 0 1 & - ' !) (! *!*( # ' ' ! (* *!*(

Sprawdzoną techniką tworzenia bezpiecznych rozwiązań jest zastosowanie analizy ryzyka, w tym przede wszystkim modelowania zagrożeń teleinformatycznych i podjęcie z wyprzedzeniem działań neutralizujących możliwe ataki teleinformatyczne. W teorii zarządzania analiza ryzyka jest elementem składowym grupy działań współtworzących razem zarządzanie ryzykiem. Poza identyfikacją i analizą ryzyka teoria oczekuje jeszcze: określenia celu zarządzania ryzykiem, oczywistego w kontekście analizy zagrożeń teleinformatycznych, wyboru metod zarządzania ryzykiem oraz monitorowania, rozumianego jako ocena efektywności wybranych metod zarządzania ryzykiem. Artykuł nie ma charakteru sprawozdania z wykonanych badań. Artykuł ma charakter wprowadzający i przeglądowy koncentrując się na praktycznych aspektach wykonania analizy ryzyka zgodnie z modelem STRIDE.

L6 0 0 - & ' ~ > U podstaw modelowania zagrożeń w systemach teleinformatycznych leżą cztery proste pytania: 1. Jaki jest przedmiot projektu? 2. Co może pójść nie tak? 3. Co zamierzamy z tym zrobić? 4. Czy właściwie wykonano ewaluację? O potencjalnych intruzach, którzy mogą wykorzystać podatności wiadomo mniej niż o samym projekcie chronionego rozwiązania, stąd próba trafnego opisania możliwych zachowań potencjalnych intruzów z założenia będzie wysoce niedoskonała. Warto natomiast skoncentrować się na elemencie dobrze rozpoznanym, czyli samym realizowanym projekcie. Łatwiej jest opisać w pewnym wymiarze dobrze zdefiniowany projekt niż możliwe ledwie mgliście zarysowane zachowania potencjalnych intruzów. W kontekście modelowania zagrożeń i analizy ryzyka dobrym podejściem wydaje się próba zdefiniowania możliwych do wystąpienia podatności realizowanego rozwią-

" < $ . ! <M < = < < ADK B

zania oraz, na zasadzie analogii, możliwych metod eksploatacji takich podatności. Pierwsze pytanie w modelowaniu zagrożeń brzmi: co jest zasadniczym przedmiotem projektu? Zagadnienie należy rozpatrywać w szerszej perspektywie. Powinna ona obejmować nie tylko architekturę naszego rozwiązania, ale również doprecyzować jego otoczenie oraz interakcje wewnętrzne i zewnętrzne. Stąd dobrym punktem wyjścia do analizy poziomu bezpieczeństwa jest rozpoczęcie od stworzenia pewnej reprezentacji graficznej rozwiązania w postaci diagramu. Diagramu, który z jednej strony zobrazuje w sposób wykorzystywalny na rzecz analizy bezpieczeństwa architekturę przedmiotowego rozwiązania, a zarazem wskaże interakcje zewnętrzne oraz wpływ dostępności i poprawności działania elementów zewnętrznych. O ile teoretycznie rozpatruje się różne podejścia, w praktyce zawsze warto zacząć od bardzo ogólnego i stosunkowo prostego modelu i diagramu. Z założenia nie będzie on doskonały, natomiast warto pamiętać, że żaden diagram nie odda w pełni precyzyjnie całej architektury i zasady działania rozwiązania. Po wytworzeniu wersji inicjalnej diagramu, w trakcie pracy nad analizą podatności i zagrożeń, naturalnym jest iteracyjne pogłębianie, doprecyzowywanie tworzonej reprezentacji graficznej. Diagram w trakcie prac nad modelem zagrożeń ulega nie tylko doprecyzowywaniu – ale i zmianom. Jest to proces naturalny. Zmiany są dowodem użyteczności przyjętego sposobu działania – gdyby nie narysowano poprzedniej, jak się okazuje pierwotnie niedoskonałej wersji architektury jako diagramu, nie byłoby możliwości korekty percepcji postrzegania analizowanej architektury. Po narysowaniu diagramu zaczyna się uzupełniać katalog zagrożeń. Zazwyczaj osoba rysująca ma już na samym początku kilka z takich zagrożeń na myśli. Ich źródłem mogą być podobieństwa wytwarzanego rozwiązania do analizowanych uprzednio pod względem modelowania zagrożeń rozwiązań podobnych, albo świadomość aktualnie popularnych i wykorzystywanych metod ataku systemów informatycznych. Okazuje się bowiem, że w przypadku cyberbezpieczeństwa również można mówić o pewnej sezonowości występowania różnych typów ataków. Zazwyczaj bieżąca moda na konkretny wektor ataku wynika z katalogu zidentyfikowanych w niedalekiej przeszłości podatności oraz dostępności do wykorzystania gotowych fragmentów oprogramowania możliwych do natychmiastowej eksploatacji znanych podatności. Znalezienie kilku oczywistych i kilku nieoczywistych podatności prowadzi do kolejnego pytania, które współstanowi istotę modelowania zagrożeń: co można i co planuje się zrobić z każdym ze zidentyfikowanych zagrożeń? Bez wątpienia pierwszą czynnością, którą względem każdego ze zidentyfikowanych zagrożeń należy wykonać – jest odnotowanie w katalogu zagrożeń do dalszej analizy. Gromadzenie zestawienia można rozpocząć przy krótkim zestawieniu w postaci na przykład współdzielonego przez analityków zasobu (dokument, biała tablica itp.). Gdy katalog wydaje się dopełniony, jego zawartość stanowi wkład do systemu zagadnień projektowych dotyczących bezpieczeństwa, narzędzia wspierającego planowe, terminowe i częściowo zautomatyzowane rozwiązywanie zagadnień projektowych, typu: system zarządzania zleceniami (ang. ticketing system), czy system śledzenia postępów w realizacji projektów informatycznych, jak na przykład oprogramowanie Jira. Zebrany katalog często na tym etapie obejmuje również jako przedmiot analizy wybrane elementy czy scenariusze, które dopiero w wyniku pogłębionego przebadania okazują się nie być w rzeczywistości problematyczne z punktu widzenia bezpieczeństwa. Dotychczasowe uwzględnienie ich wśród analizowanych zagadnień nie było jednak błędem – umożliwiło poddanie zagadnienia pod rozwagę, dzięki czemu przedmiotowy

•

scenariusz jest świadomie odrzucany z dalszej analizy, gdyż nie wymaga żadnych działań neutralizujących. Modelowanie zagrożeń obejmuje również właśnie uwzględnianie scenariuszy, których negatywny wpływ nie musi być jednoznacznie oczywisty. Jeżeli nie jest to rzeczywisty problem bezpieczeństwa, można taki fakt udokumentować odpowiednim komentarzem, a w wybranych sytuacjach można przykładowo napisać kod testowy wykazujący prawidłowe działanie środków zaradczych. Ważne jest, by z założenia kwestiami bezpieczeństwa teleinformatycznego zarządzać równie kompleksowo jak kompleksowo zarządza się innymi wymiarami realizacji projektów i tworzenia produktów w danym przedsiębiorstwie. Zasadniczym efektem końcowym fazy modelowania zagrożeń a zarazem wkładem etapu w proces dostarczania klientom procesów i usług jest przede wszystkim sama lista zidentyfikowanych do dalszej ewaluacji zagrożeń. Poprzedzone identyfikacją zagrożeń zaplanowanie działań neutralizujących nie kończy procesu modelowania zagrożeń. Kolejnym zadaniem, które należy zrealizować jest możliwie rzetelna ocena jakości dotychczas przeprowadzonych działań. Podczas sprawdzania, co mogło zostać opisane nieprawidłowo, ważne jest, by wyszukiwać zagrożenia w każdym jednym elemencie diagramu DFD lub każdej części diagramu, która znajduje się wewnątrz odpowiednich granic zaufania. Stąd kolejne pytanie, na które odpowiedź koniecznie trzeba zweryfikować, brzmi: czy dla każdego z elementów diagramu rzeczywiście przeanalizowano możliwość wystąpienie każdego typu zagrożenia, jakkolwiek prawdopodobnego w kontekście typu danego elementu diagramu i roli tego elementu w całym analizowanym systemie. Dla każdego z wypisanych zagrożeń dokładność opisu jest na tym etapie mniej istotna niż sam fakt umieszczenia w zestawieniu niekorzystnego scenariusza, który mógłby zajść. Oczywiście są pewne granice upraszczania opisu – zagrożenie opisane zbyt ogólnie przeważnie uniemożliwia wdrożenie realnie skutecznych środków zaradczych. Przykładowo, zagrożenie opisane jako „ktoś może manipulować treścią pliku” jest istotnie mniej użyteczne niż opis „ktoś może manipulować treścią plików bazy danych w pomocniczym katalogu klienta i spowodować niecelowe wyświetlanie na stronie pierwotnie nieprzeznaczonych do wyświetlania treści”. Przy modelowaniu zagrożeń oczekiwane jest właściwie konkretne dodefiniowanie charakteru i kontekstu zagrożenia. Co mogłoby się wydarzyć w scenariuszu przełamania zabezpieczeń i gdzie dokładnie w systemie taki scenariusz może wystąpić. Warto wspomnieć, że modelownie zagrożeń może do późnego etapu - a czasem zupełnie – abstrahować od atrybucji źródeł ataków, czyli pomijać identyfikację potencjalnych rzeczywistych aktorów realizujących dany atak, o ile zaproponowane metody neutralizacji ataków danego typu są w stanie również abstrahować od takiej atrybucji bez wpływu na skuteczność metod przeciwdziałania. Przykładowo, wdrożenie do zapewnienia poufności transmisji szyfrowania kanału komunikacyjnego można uznać za skuteczne działania neutralizujące zagrożenie wycieku informacji podczas transmisji niezależnie od tego, kto próbowałby taką transmisję podsłuchiwać. Można zatem nie mieć pewności co do podmiotu, źródła takiej aktywności. Można nie mieć pewności co do celu takich działań. Na tym etapie może się również zdarzyć, że po w miarę kompletnym zidentyfikowaniu charakteru zagrożenia nie widać jeszcze oczywistej ścieżki jego neutralizacji. Na tym etapie najważniejsze jest, by samo zagrożenie zostało chociaż zidentyfikowane i wstępnie zaewidencjonowane – stanie się wkładem do późniejszej analizy zagrożeń i metod ich przeciwdziałania. Klasycznie modelowanie zagrożeń stanowi element bardziej pojemnego zagadnienia określanego mianem analizy ryzyka. Analiza ryzyka przeważnie kładzie silny nacisk na uwzględA

•

N R 4 /2021

A <

nianie prawdopodobieństwa wystąpienia czy inaczej materializacji analizowanych niebezpiecznych scenariuszy. Nie warto zajmować się zagadnieniami wysoce nieprawdopodobnymi, bo szansa ich wystąpienia jest znikoma. Z drugiej strony trzeba uważać, by nie wpaść w pułapkę nieuzasadnionego merytorycznie upraszczania, czyli próby klasyfikowania scenariuszy jako nieprawdopodobnych, w rzeczywistości tylko dlatego, że zespół identyfikujący zagrożenia choć jest zagrożenia świadom, to nie ma wiedzy czy środków, które wymagane byłyby dla neutralizacji zagrożenia, a samo zagrożenie w rzeczywistości zgodnie z wiedzą zespołu jest jak najbardziej prawdopodobne.

M6 & - & ' * * Metody modelowania zagrożeń rozwinęły wizualną reprezentację aplikacji i infrastruktury wykorzystującą diagramy przepływu danych DFD (ang. data flow diagram). Diagramy DFD zostały opracowane w latach 70. XX wieku jako narzędzie dla inżynierów systemowych do wysokopoziomowej reprezentacji sposobu w jaki aplikacja zarządza danymi: jak realizuje przepływy, przechowywanie oraz manipulowanie danymi w infrastrukturze, na której się wykonuje. Tradycyjnie, diagramy DFD wykorzystywały zaledwie cztery symbole: przepływy danych, magazyny danych, procesy i aktorów. Potem dodano dodatkowy symbol, tak zwane granice zaufania, by umożliwić wykorzystanie diagramów DFD właśnie do modelowania zagrożeń teleinformatycznych. Celowo ograniczony graficzny język opisu oraz ograniczona liczba dostępnych typów elementów sprzyja utrzymaniu dyscypliny opisu, a także wspiera uniwersalność i komunikatywność diagramów – następnie często badanych przez analityków bezpieczeństwa, którzy nie byli przecież ich autorami. Poprzez zastosowanie stosunkowo prostej reprezentacji graficznej unika się ryzyka wystąpienia przerostu formy prezentacji diagramu nad jego treścią. Po rozpisaniu systemu na pięć typów elementów, eksperci do spraw bezpieczeństwa analizują każdy zidentyfikowany punkt wejścia zagrożenia pod kątem wszystkich znanych kategorii zagrożeń. Po zidentyfikowaniu potencjalnych zagrożeń można ustalić środki zaradcze ograniczające zagrożenia lub przeprowadzić dodatkową analizę. Podsumowując, diagram przepływu danych może zawierać następujące typy elementów: − procesy − przepływy danych − interaktorzy − magazyny danych − granice zaufania

P6 ! 0 + *( - - & ' ~ > Model STRIDE wywodzi swoją nazwę z zestawienia różnych metod ataku na systemy informatyczne, katalog zagrożeńobejmuje: 1. Spoofing 2. Tampering 3. Repudiowanie 4. Information disclousure 5. Denial of Service 6. Elevation of Privilige Mnemonik STRIDE ułatwia systematyczną kompletną analizę potencjalnych zagrożeń na rzecz wybranych, bądź często wszystkich, elementów składowych diagramu DFD. Przyłożenie sześciu typów potencjalnych zagrożeń do danego elementu pozwala nam założyć, że element ten jako komponent badanego systemu został wyczerpująco przeanalizowany pod względem możliwych potencjalnych zagrożeń bezpieczeństwa. Poniżej rozwinięto opis poszczególnych składowych zestawienia typów zagrożeń stanowiącego model STRIDE.

P6J6 ' q & - /# 6 ' 0 3 ' - x Scenariusz określany mianem spoofing to sytuacja, gdy wystąpiło podszycie się pod czyjąś tożsamość, gdy nieprawidłowo zweryfikowano tożsamość. Zjawisko może dotyczyć naruszenia autentyczności źródła strony internetowej, która ładuje się w wyniku wybrania pewnego adresu URL. Własność autentyczności polega na tym, że nazwa odpowiada pewnym przyjętym przez użytkownika oczekiwaniom. W sytuacji, gdy atakujący wykonuje spoofing, dostarcza podróbkę, treść nieautentyczną, niezakładaną w miejsce treści prawdziwej.

P6L6 + ' q # 6 - 0 x T w STRIDE oznacza tampering, czyli nieautoryzowaną modyfikację. Nieautoryzowana modyfikacja dotyczyć może zarówno zmiany zawartości pewnego pliku jak i podmienienie części informacji w realizowanej komunikacji sieciowej. W prawdziwym ataku typu man-in-the-middle, pierwszym krokiem jest przekonanie jednego z komputerów na diagramie, że wskazany komputer jest najlepszym pośrednikiem sieciowym, routerem dla jego pakietów. Takie przekierowanie może być zaskakująco skuteczne w przejęciu kontroli nad ruchem sieciowym, umożliwiając nowemu pośrednikowi w komunikacji na odczyt, zmianę, odrzucanie lub tworzenie dowolnych pakietów stanowiących element przejętej komunikacji. Dzięki skutecznemu przekierowaniu atakujący nie musi znajdować się wewnątrz obszaru wzajemnego zaufania. Rozwiązanie problemu manipulacji jest relatywnie prostsze niż rozwiązanie problemu ataku poprzez spoofing. W przypadku plików lokalnych, uprawnienia systemu operacyjnego są solidne, zakładając, że zostały poprawnie skonfigurowane. Podobnie w chmurze, należy korzystać z możliwości zabezpieczania, które zapewnia system. W przypadku komunikacji sieciowej należy używać kryptograficznej ochrony integralności transmisji, na przykład poprzez wykorzystanie protokołu TLS.

P6M6 q- /# 6 & & 5- x Rys. 1. Przykładowy schemat przepływu danych Fig. 1. Example of a data flow diagram (DFD)

R w STRIDE oznacza wyparcie się, odrzucenie. Odrzucenie ma odmienną specyfikę niż pozostałe typy zagrożeń stanowiące model STRIDE. Jest to rzadziej występujące określenie i oznacza zrzeczenie się, zaprzeczenie lub jakikolwiek sposób

" < $ . ! <M < = < < ADK B

przekazania, że nie jest się za coś odpowiedzialnym. Przykładem wyparcia się, odrzucenia jest stwierdzenie o treści „Nie otrzymałem takiej wiadomości” a także „Nie można stwierdzić, czy na pewno otrzymałem taką wiadomość”. Przyczyną materializacji takiego zagrożenia może być brak wdrożonych rejestrów przesyłanych wiadomości albo braki takich dzienników systemowych za wybranych podokres. W celu neutralizacji zagrożenia niezbędne jest prowadzenie niepodważalnych rejestrów, na przykład dzienników systemowych, których zawartość zostanie dostarczona jako kontrargument w sytuacji podważania przez uczestnika pewnej aktywności swego udziału w tej aktywności.

Wiele innych ataków na podniesienie przywilejów dotyczy sposobu przetwarzania nieuprzywilejowanych danych wejściowych lub pomylenia różnicy między kodem a danymi. Przykładowo, atak SQL injection podnosi przywilej poprzez uruchomienie kodu, który serwer WWW przekazuje do bazy danych, gdzie serwer WWW pobrał dane wejściowe i pozwolił, aby niektóre z nich były traktowane jako kod. Podobnie, atak typu cross-site scripting daje atakującemu przywilej uruchamiania kodu i prawdopodobnie innych aktywności. Istnieje również wiele klasycznych ataków z przestrzeni procesów użytkowników do poziomu konta root, które zazwyczaj wykorzystują programy z ustawionym SUID. Unikanie ataków typu „elevation of privilege” wymaga dobrze zaprojektowanego i wdrożonego systemu autoryzacji.

P6P6 . -

Litera I w modelu zagrożeń STRIDE oznacza ujawnianie informacji (ang. information disclousure). W sieci, najlepsza poufność pochodzi z kryptografii. W rzeczywistości kryptografia jest najlepszym sposobem na ochronę każdego sekretu, ale wtedy trzeba byłoby zarządzać ogromną liczbą kluczy, a to jest skomplikowane. TLS w większości przypadków zajmuje się zarządzaniem kluczami za użytkownika. W ramach systemu, łatwiejsze może być użycie uprawnień. Większość serwerów WWW umieszcza zarządzanie użytkownikami i plikami w serwerze WWW. Ponieważ użytkownik loguje się do serwera WWW, nie może zalogować się do niego przez SSH. Wadą tego rozwiązania jest konieczność wyboru i zarządzania mechanizmem uprawnień Poufność może być wymagana w odniesieniu do treści lub metadanych komunikacji. Czasami obie te informacje muszą pozostać poufne. Spółki konkurują ze sobą pod względem sposobu, w jaki chronią informacje o użytkowniku przed niewłaściwym wykorzystaniem lub ujawnieniem.

P6 4 0 - 3 Nie wszystkie zagrożenia ujęte w modelu STRIDE mają zastosowanie do wszystkich typów elementów diagramów przepływu danych. Najwięcej typów zagrożeń, a zarazem największy wysiłek analityczny, związany jest z opisem procesów składowych jako elementów diagramu DFD. Pełne zestawienie stosowalności analizy poszczególnych typów zagrożeń modelu STRIDE na rzecz różnych typów składowych architektury systemu informatycznego opisanej diagramem DFD zestawiono na rysunku 2.

Rys. 2. Elementy STRIDE stosowane do poszczególnych typów elementów diagramów DFD Fig. 2. STRIDE elements used for individual types of DFD diagram elements

P6Q6 % - 3- & 1 ' D w STRIDE oznacza denial-of-service (odmowa usługi). Istnieją ataki typu denial-of-service (lub DoS) przeciwko procesorom, sieciom i pamięci masowej. Najprostsze ataki denial-of-service to po prostu brute-force. Przy dużej ilości żądań obejrzenia danej reklamy, sieć się przepełnia. Albo z powodu połączeń przychodzących, albo, co bardziej prawdopodobne, danych wychodzących. Najprostszym sposobem obrony przed atakami typu denial-of-service jest obfitość zasobów, które są trudne do wyczerpania przez atakujących. Jest to również właściwe rozwiązanie do szybkiego obsłużenia dużej liczby klientów choć jest oczywiście drogie. Obrona przed rozproszonymi atakami jest czymś, co najlepiej zrobić na poziomie sieci lub dostawcy chmury. Obrona przed sprytnymi atakami wymaga profilowania aplikacji i wiedzy o tym, jak będą się one zachowywać. Podobnie jak ujawnianie informacji dotyczy bezpieczeństwa i prywatności, utrzymywanie dostępności systemów jest zarówno właściwością bezpieczeństwa, jak i niezawodności.

P6 6 ; &/ & 0 - - & ' ~ > Istnieją narzędzia informatyczne dedykowane do modelowania zagrożeń, a w szczególności wspomagające poprawne wytwarzanie diagramów przepływu danych. Najpopularniejsze ogólnodostępne pakiety to: − Microsoft Threat Modeling Tool, https://docs.microsoft. com/en-us/azure/security/develop/threat-modeling-tool − OWASP Threat Dragon, OWASP, https://owasp.org/www-project-threat-dragon/

Q6 - Modelowanie zagrożeń jest niezwykle wydajne na początku projektu. Umożliwia systematyczne uwzględnianie w architekturze systemu niezbędnych kompromisów wynikających z wymagań bezpieczeństwa. Więcej ograniczeń pojawia się, gdy modelowanie zagrożeń rozpoczyna się pod koniec projektu lub jest wprowadzane podczas aktualizacji istniejącego produktu lub usługi. Trudniej jest zadawać pytania podstawowe. Systematyczne, ustrukturyzowane i kompleksowe podejście do modelowania zagrożeń prowadzi do osiągania rzetelnych wniosków w bardziej przewidywalnych ramach czasowych. Rozpatrując przedmiot każdego nowego przedsięwzięcia czy projektu warto jak najszybciej do aktywności projektowych wdrożyć analizę zagrożeń, czyli zadawanie sobie pytania, co w tym przedsięwzięciu może zajść niezgodnie z planem, co może wpłynąć na niezawodność, często dostępność w przy-

P6S6 4- /0 & & & - - E w STRIDE oznacza podniesienie przywilejów, czyli zmniejszenie zestawu ograniczeń stosowanych wobec konta użytkownika. Jeśli więc obecnie użytkownik ma ograniczenie do wysyłania pakietów sieciowych do serwera AD, może podnieść swoje uprawnienia do uruchamiania kodu lub nawet do poziomu uprawnień administratora. Jeśli ktoś może coś zmienić, a jego reakcja jest taka, że nie powinien móc tego zrobić, może to oznaczać atak typu „elevation of privilege”. Niektóre problemy związane z podnoszeniem przywilejów dotyczą zasobów chronionych tylko przez nieprzejrzystość, jak przykładowo udostępnienie panelu kontrolnego administratora serwera WWW pod nieoczywistą ścieżką dostępu.

•

N R 4 /2021

A <

padku usług, czy bezpieczeństwo tworzonego rozwiązania. Warto również sięgać do katalogów zagrożeń i środków zaradczych zidentyfikowanych podczas poprzednich tematycznie zbliżonych projektów oraz do sprawdzonych praktycznie metod modelowania zagrożeń, takich jak opisana w artykule metodyka STRIDE.

' 1. Shostack A., Threat Modeling: Designing for Security, John Wiley & Sons, 2014. 2. UcedaVelez T., Morana M.M., Risk Centric Threat Modeling: Process for Attack Simulation and Threat Analysis, John Wiley & Sons, 2015. 3. Shevchenko N., Threat Modeling: 12 Available Methods, Carnegie Mellon University, 2018, https://insights.sei.cmu. edu/blog/threat-modeling-12-available-methods/. 4. Jagannathan V.,Threat Modeling, Architecting and Designing with Security in Mind, 2016, https://owasp.org/ www-pdf-archive/AdvancedThreatModeling.pdf 5. Gumbley J., A Guide to Threat Modelling for Developers, 2020, https://martinfowler.com/articles/agile-threat-modelling.html

6. Jelacic B., Rosic D., Lendak I., Stanojevic M., Stoja S. (2018) STRIDE to a Secure Smart Grid in a Hybrid Cloud. [In:] Katsikas S. et al. (eds) Computer Security, SECPRE 2017, CyberICPS 2017. “Lecture Notes in Computer Science”, Vol. 10683. Springer, Cham. DOI: 10.1007/978-3-319-72817-9_6. 7. Khan R., McLaughlin K., Laverty D., Sezer S., (2018). STRIDE-based Threat Modeling for Cyber-Physical Systems. [In:] Proceedings IEEE of 2017 IEEE PES: Innovative Smart Grid Technologies Conference Europe (ISGT-Europe): DOI: 10.1109/ISGTEurope.2017.8260283 8. Kaneko T., Threat analysis using STRIDE with STAMP/ STPA, CEUR Workshop Proceedings (CEUR-WS.org), Vol. 2809, 2018. 9. de Souza N.P., César C.D.A.C., Bezerra J.D.M., Hirata C.M., Extending STPA with STRIDE to identify cybersecurity loss scenarios. “Journal of Information Security and Applications”. Vol. 55, 2020, DOI: 10.1016/j.jisa.2020.102620. 10. Sattar D., Vasoukolaei A.H., Crysdale P., Matrawy A., A STRIDE Threat Model for 5G Core Slicing, 2021 IEEE 4th 5G World Forum (5GWF), 2021, 247–252, DOI: 10.1109/5GWF52925.2021.00050.

. > ' & / = - = & =6-G< > ' Abstract: This article describes a practical approach to the issue which is currently an integral part of the development of modern advanced and complex information systems – ICT threat modelling. The article presents the practical validity and process of threat modelling and then describes one of the most popular methods of threat identification and analysis – the so-called STRIDE model. KeywordsI $ # f ' # ' &# =6-G< '

' - & % ' ORCID: 0000-0002-4907-7688 < / ] $ E H -= ^ / ' ` [' *!!( E ' / . ; E # ' Y ' L*!()# *!(Q# *!(BM ; *!(!X*!(F ' E $ ' ?+ Y ; *!(!X*!(@ Y ] & ? 0 6 ' $ ' H E $ $ H $ H ; *!(*X*!(F 6 ' . - $ - / = E [' *!*( ^ ` ` $ H + A+;

NR 3/2015

•

N R 4 /2021

" < < D K E XTOWQZXOV D' OF E T@OGOX

Informacje dla Autorów + / ? $ < < E . $ OZ < OGX ' & M & < = ? . < H / & \ $ = ! = <& < < = < < \ / & < M = C \ & \

< [ ! & $ & $ $

& < _ $ C[c' /M = [ . &

& < = = & = < $ C < & < < & $ \ < M . $ < & '

Wskazówki dla Autorów & ' - < 0 1 0 - 0

/ $/ & Q = < Pomiary Automatyka Robotyka & & / H [& \ < b ? / / _ & \ UG M c [ & < $ < ? < [ @ M Q< C _ & / & c ? / _ [ # XFG?OGG /M c [ & < $ < ? / _F?U = /c [ & < [ $ < $ < ? [#H / ? [ & < _ ' $ <c ? & & & < [ & < [ $ < ? / [ &

[ $ < ? @$ C @ [ & < ' & ' ' &$ ' m

# < ' GG & < ' XGGG & # & $ < \ $ C # '

/ & < H [ #H M \ < G V $ & & H [ # X $ _TG GGG M & < GGG <O

M c ' U / . $ ' & & /M & \ = [ [ #H $ & / [# ' Nie drukujemy komunikatów! / < \ H /\ $ C = M _ [ / c [ # FGG?WFG M = $ C ' D $ & M M [ < < $ =' " & \ & \ ! \ & H / '

& 0 0 & - 1< & 0 1 ' # - & 3 0 - - & # 0 5 & &1 - 0 0 ' & \ / \ & #H #H / ' < /M / = & \ & & $ & $ ' + M #H & [ < \ H / & < < \ H & $ < & / < [ M / ' % 3 & 5-

& 5- & 0 M $ [ ' & M # & ' " / \ / . \H < \ & = / ? M = C [ $ C ' & & & & = $ = & D M / < $ & [ < < ' & & . = & <M & < D \'

Kwartalnik naukowotechniczny Pomiary Automatyka Robotyka jest indeksowany w bazach BAZTECH, Google Scholar oraz INDEX COPERNICUS L- N *!(BS Q)#*@M# ` w bazie naukowych $ ` +6-+?=+ . ] ] ' realizacji idei Otwartej Nauki, ' $ $ naukowo-technicznym Pomiary Automatyka Robotyka. Punktacja Ministerstwa <' ? $ naukowe w kwartalniku Pomiary Automatyka Robotyka wynosi obecnie Q! L naukowych i recenzowanych ^ / ' ' ' ( & ' *!*( # *BBB@M . ' naukowe – automatyka, elektrotechnika i elektronika.

KEf D *8B ^A D

%3- & &< - 3 & & < / - 0

D Q = $ Pomiary Automatyka Robotyka

. \ & [ E . $ \ \ [ < $ / M < $ @ M /M & & & & [ < /

# \ $ b 1. / & & 0 ~ ' wymieniowego Autora - & ' - 0 ? < & & M ' j$ = = &l ' & M & M M = / & & / < $M < / < ' 2. / -&' / - 0 - & 0 5 # 0 5 1 - 1 - jej powstanie ? < b ? & . < \ /

& & / $ [

&M/ M < @ [ \ & < & & & ? & . [& & & j$= $l ' [& M \ /

& / /

< &M/ <

& [ = < & & M / $

/ & &

XGG

D < < & & \ < [& \ = \ < . \ < & & = $ < / < < '

3. / 5 1 - ># 0 5 - 0 < & 0 ? & & C & & Q & <

< $ & < M # M & [. = ' jC l ? < $ < < < ! & < & [ C !'

4 & - 51 " / < < & < M . < / < \ = = = & . = & = = ? / < < < . H $ H # ' + & < @ & = # = \. ='

. - 1 przeniesienie praw < 0 - - 5- & & - <& & { + = \ & [ / & [& & < \ = & =

[' ^< & & & & < / ' & & $ = / < $ \ '

Redakcja kwartalnika Pomiary Automatyka Robotyka %

4 - " /M & = Q = < " < < D & < & = M & / \ [ & < < K &'b

" # Y ' ; g # > [ # + - . / 0 6 $ / + 8 # ISSN 1427-9126, R. 25, Nr 4/2021, 5–18, DOI: 10.14313/PAR_242/5.

•

N R 4 /2021

Kalendarium wybranych imprez Nazwa konferencji

Data konferencji A < $/ !

Informacje dodatkowe

Vienna International Conference on Mathematical Modelling MATHMOD 2022

16–18 / 02 / 2022

www: = & b@@

'< =< ' mail: < =< Y ' ' '

14th Kf * = & Intelligent Manufacturing < IMS 2022

28–30 / 03 / 2022 10 / 09 / 2021

Tel Awiw Izrael

www: = & b@@ ' g ' <@K OGOO mail: g Y ' '

17th IFAC Conference on " $ << g B< < PDES 2022

17–19 / 05 / 2022 01 / 11 / 2021

Sarajewo ; # $

]]`K E Q Techniczna automation 2022 – < ? E # " &

25–27 / 05 / 2022

11th Kf * <& < f & g A = " SAFEPROCESS 2022

07–10 / 06 / 2022 11 / 10 / 2021

" Cypr

11th Kf * <& < Control of Power and Energy < CPES 2022

21–23 / 06 / 2022

www: = & b@@ & OGOX' < mail: & OGOXY & '

Kf * = & * < * CSC 2022

27–30 / 06 / 2022

Sozopol ; /$

www: = & b@@ OGOO' Q $' < mail: OGOO $ Y$< ' <

XX = Kf * <& < K $ < ` = IAV 2022

06–08 / 07 / 2022

Praga Czechy

FT' [ Konferencja Metrologów MKM 2022

21–23 / 09 / 2022 30 / 03 / 2022

Q /M "

www: = & b@@& Q ' mail: ' Y ' '

www: = & b@@ < '& &'& < b mail: Y& &' '$ g'&

www: = & b@@ & OGOX' mail: & OGOXY ' '

www: = & b@@< <OGOO' ' '& mail: < <OGOOY ' '&

> $ ; A < / < > $ $ # =

| - & 05- - & - 0 - 3 & 0 5A < > $ ; / < > $ f D \

- 1 & ' - ' 0 & -

$ > $ ; A < ; ; f <

; - 0 0 - & 1 & & 0 0 & -

;/ . A ; $ / [

8 ( ; - 0 + ! !% - + < i " =

; * ( 9 . ' + ' . () A <

0 & - & ' ~ > 5- & & - 0 & + *(