Pomiary Automatyka Robotyka, ISSN 1427-9126, R. 27, Nr 3/2023
Spis treści 3
Od Redakcji
5
Mariusz Kastek, Andrzej Ligienza, Tomasz Sosnowski, Jadwiga Holewa-Rataj, Mateusz Rataj, Anna Timofiejczuk, Sebastian Rzydzik Remote Detection and Quantification of Methane Emissions Based on Hyperspectral Data Analysis Zdalne wykrywanie i kwantyfikacja emisji metanu na podstawie analizy danych hiperspektralnych
13
Katarzyna Kubiak-Siwińska, Jan Kotlarz Pomiary zapotrzebowania nawozowego kukurydzy za pomocą aktywnego czujnika azotu Fertilization of Maize Crops Using Active Sensor
19
Robert Olbrycht, Marcin Kałuża, Mariusz Felczak, Dmytro Levchenko, Bogusław Więcek Potential of Indirect Regenerative Evaporative Cooling System (M-Cycle) for Electronic Applications Możliwości zastosowania systemu IREC (pracującego w cyklu M) do chłodzenia układów elektronicznych
27
Mateusz Łakomski, Mateusz Płona, Bartłomiej Guzowski, Iyad S.M. Shatarah The Impact of Optical Fiber Type on the Temperature, Measurements in Distributed Optical Fiber Sensor Systems Wpływ typu światłowodu na pomiar temperatury w systemach rozłożonych czujników światłowodowych
33
Waldemar Świderski, Martyna Strąg Comparative Studies of GFRP Composites Using Pulsed Thermography and Transmission Terahertz Non-Destructive Testing Methods Badania porównawcze kompozytów GFRP z wykorzystaniem metod badań nieniszczących – impulsowej termografii i transmisji terahercowej
39
Anna Szajewska, Paweł Kalinowski, Krzysztof Szajewski Badanie skuteczności materiałów siatek maskujących w aspekcie obserwacji z pozycji BSP Testing the Effectiveness of Camouflage Nets Materials in Terms of Observation from the UAV Position
45
Jacek Puchalski, Zygmunt Lech Warsza Metoda dopasowania funkcji nieliniowej do danych punktów pomiarowych i jej pasmo niepewności The Method of Fitting a Non-linear Function to Data of Measured Points and its Uncertainty Band
57
Zygmunt Lech Warsza Mostki dwuźródłowe jako nowy rodzaj układów pomiarowych Two-source Bridges as a New Kind of Measuring Systems
65
Evgenij T. Volodarsky, Oleh Kozyr, Zygmunt L. Warsza Zastosowanie metody głównych składowych w kartach kontrolnych procesów wieloparametrowych Application of Principal Components Method in Control Charts of Multi-Parameter Processes
73
Piotr Szydłowski, Karol Zaręba Implementacja stosu komunikacji w zasilanych bateryjnie urządzeniach NB-IoT Implementation of Communication Stack for Battery-Powered NB-IoT Devices
1
SPIS TREŚCI
85
Aleksandra Kos, Dominik Belter, Karol Majek Deep Learning for Small and Tiny Object Detection: A Survey Przegląd metod uczenia głębokiego w wykrywaniu małych i bardzo małych obiektów
95
Piotr Palma, Tomasz Rybus, Karol Seweryn Application of Impedance Control of the Free Floating Space Manipulator for Removal of Space Debris Zastosowanie sterowania impedancyjnego robotem kosmicznym typu free-floating w kontekście usuwania śmieci kosmicznych
107 Jakub Wiech Podążanie za zadaną trajektorią grupy robotów kołowych z użyciem wirtualnych połączeń sprężysto-tłumiących Trajectory Tracking of a Wheeled Robotic Group Connected with Virtual Spring-Damper Mesh 119
Agnieszka Wilk-Ilewicz Ważne zmiany w obowiązywaniu Dyrektywy Maszynowej Important Changes in the Application of the Machinery Directive
123
Informacje dla Autorów
127
Nasze wydawnictwa
128 Polecane książki Bezprzewodowe sieci czujników w Internecie Rzeczy. Modele – algorytmy – protokoły 130 Wspomnienia Profesor Józef Giergiel
2
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
OD REDAKCJI
Drodzy Czytelnicy, od dłuższego czasu kolejne numery kwartalnika naukowo-technicznego Pomiary Automatyka Robotyka poświęcone były robotyce i automatyce. Tym razem wracamy do pierwszego członu nazwy naszego czasopisma. Większość artykułów zawartych w tym zeszycie dotyczy pomiarów. Przybliżymy ich tematykę. W jednym z artykułów omówiono zdalne pomiary emisji metanu z przecieków występujących w rozległych terytorialnie sieciach przesyłowych gazu. Analizie poddane są dane hiperspektralne uzyskane ze spektroradiometru pracującego w paśmie podczerwieni. Kolejna praca koncentruje się na pomiarach stężenia azotu w kukurydzy w celu określenia właściwego stopnia nawożenia pola. Do pomiarów wykorzystano czujnik Crop Circle. Pomiary termograficzne pozwalają też ustalić przydatność pośredniego regeneracyjnego ewaporacyjnego chłodzenia do obniżania temperatury pracy elektroniki wysokich mocy. Kolejna praca ogniskuje uwagę na wpływie, jaki ma typ światłowodu na rozproszone czujniki światłowodowe dokonujące pomiarów temperatury. Inna tematyka to pomiary charakterystyk siatek maskujących stosowanych przez wojsko. Transparentność siatki w różnych zakresach promieniowania nie jest taka sama. Następna praca poświęcona jest metodzie wyznaczania parametrów i pasma niepewności funkcji nieliniowej dopasowywanej do zmierzonych danych. Innym zagadnieniem opisywanym w tym numerze jest pomiar odkształcenia i przyrostu temperatury różnicowym dwuelementowym czujnikiem tensometrycznym. Przy okazji przedstawiono podstawowe zależności oraz stan badań niekonwencjonalnych układów pomiarowych zbudowanych z mostków czteroramiennych o dwu źródłach i dwu wyjściach z obu przekątnych. Inna praca dotyczy stosowania metody głównych składowych (PCA) do tworzenia kart kontrolnych dla wieloparametrowych procesów wytwórczych o skorelowanych parametrach. Taka metoda umożliwia sprawdzanie jakości produktu w czasie jego wytwarzania. Inny artykuł zajmuje się komunikacją w wąskopasmowych sieciach IoT. Opisuje stos komunikacji dla bezprzewodowych zasilanych bateryjnie rejestratorów. Kolejna grupa artykułów przesuwa się w kierunku robotyki. Pierwszy z nich zajmuje się detekcją obiektów reprezentowanych niewielkim obszarem w obrazie uzyskanym z kamery. Artykuł zawiera wyczerpujący przegląd literatury dotyczący tego zagadnienia. Następna dotyczy manipulatorów umieszczanych w przestrzeni kosmicznej w celu przechwytywania pozostałości po zniszczonych satelitach. W tym celu wykorzystano sterowanie impedancyjne. Ostatni artykuł z tej serii dotyczy grupy robotów. Rozwiązuje zagadnienie podążania za punktem odniesienia przez geometryczny środek grupy z jednoczesnym utrzymywaniem zadanej odległości między sąsiednimi robotami. Wykorzystano tu koncepcję sił wirtualnych połączeń sprężysto-tłumiących między robotami. Nieco odmienny charakter ma ostatni artykuł zeszytu. Dotyczy on zmian, które wprowadzono do dyrektywy maszynowej opracowanej przez Unię Europejską. Dyrektywa ta ma duże znaczenie dla wszystkich tych, którzy konstruują maszyny, gdyż formułuje wymagania z zakresu ochrony zdrowia i bezpieczeństwa użytkowania urządzeń. Spektrum zagadnień poruszanych w tym numerze PAR jest znaczne, więc sądzę, że każdy z Czytelników znajdzie dla siebie coś ciekawego. W imieniu własnym i Wydawcy – Sieci Badawczej Łukasiewicz – Przemysłowego Instytutu Automatyki i Pomiarów PIAP w Warszawie – gorąco zapraszam do lektury najnowszego numeru. Redaktor naczelny kwartalnika Pomiary Automatyka Robotyka prof. dr hab. inż. Cezary Zieliński
3
4
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Pomiary Automatyka Robotyka, ISSN 1427-9126, R. 27, Nr 3/2023, 5–12, DOI: 10.14313/PAR_249/5
Remote Detection and Quantification of Methane Emissions Based on Hyperspectral Data Analysis Mariusz Kastek, Andrzej Ligienza
TechnoVis Sp. z o.o., Towarowa 20 B, 10-417 Olsztyn
Tomasz Sosnowski
Wojskowa Akademia Techniczna, Instytut Optoelektroniki, ul. gen. S. Kaliskiego 2, 00-908 Warszawa
Jadwiga Holewa-Rataj, Mateusz Rataj
Instytut Nafty i Gazu – Państwowy Instytut Badawczy, ul. Lubicz 25A, 31-503 Kraków
Anna Timofiejczuk, Sebastian Rzydzik
Politechnika Śląska, Wydział Mechaniczny Technologiczny, ul. Akademicka 2A, 44-100 Gliwice
Abstract: Measurement of methane emissions from leaks occurring on the territorially extensive
network of transmission gas grid is a topical issue and highly desirable from the point of view of safety and reducing methane emissions into the atmosphere. Remote detection of methane is a problem whose technical solution is based on several types of optoelectronic devices, e.g. thermal imaging cameras with sets of optical filters, spectroradiometers, laser systems of the DIAL (DIfferential Absorption Lidar) type. On the other hand, the quantification of emission magnitudes is in most cases realized by spectoradiometric systems. This paper will present a method for analyzing hyperspectral data from an imaging Fourier infrared spectroradiometer. Measurements will be made on a purpose-built bench simulating methane emissions from a transmission network. Data obtained from ground level under different atmospheric conditions will be presented, together with the results of their analysis for different methane emissions.
Keywords: hyperspectral detection, methane detection, infrared imagine methane detection
1. Introduction As part of the iDiaGaSys research and development project co-funded by the NCBR, the Gas Transmission Operator GAZ-SYSTEM S.A. and industrial partners, a measurement system was developed for periodic monitoring of leakage and ambient conditions of transmission pipelines. The iDiaGaSys system consists of: the measurement subsystem – a manned helicopter with a mounted imaging Fourier infrared spectroradiometer, and the data analysis subsystem – database infrastructure and diagnostic software with implemented methods of hyperspectral data analysis that enable detection of the presence of methane and prohibited objects in the gas pipeline environment [1]. The Fourier imaging infrared spectroradiometer miniHyperCam Airborne, was mounted on a Robinson R44 helicopter
Autor korespondujący: Mariusz Kastek, mariusz.kastek@wat.edu.pl Artykuł recenzowany nadesłany 11.07.2023 r., przyjęty do druku 23.08.2023 r. Zezwala się na korzystanie z artykułu na warunkach licencji Creative Commons Uznanie autorstwa 3.0
Fig. 1. Measurement subsystem: Robinson R44 helicopter with mounted imaging Fourier infrared spectroradiometer Rys. 1. System pomiarowy: helikopter Robinson R44 z zamontowanym obrazowym fourierowskim spektroradiometrem podczerwieni
using stabilised platform suspended from a GSS R44 MOUNT (Fig. 1). Paper presents a method for detecting methane emissions using components of a system developed within the iDiaGaSys project and used on a test bench for ground-based measurements.
5
Remote Detection and Quantification of Methane Emissions Based on Hyperspectral Data Analysis
2. Experimental Information
2.2. Radiative transfer model
It is important to understand that there are many paths that photons can take to arrive at a sensor pointed at the ground. There are photons emitted by materials at their respective temperatures, and transmissions through gasses, as well as absorptions and reflections by opaque objects. Though there are many paths to consider, there are only a few that significantly contribute to the signal measured at the sensor in LWIR measurements. Only those important paths will be considered in this development, which is drawn mainly from the literature focusing on the detection problem, but also from some work done on artificial plume insertion [2–4]. Firstly, a model will be developed for paths that arrive at a sensor which is pointed at the ground, but not viewing any gaseous plumes in the atmosphere. The main contributing paths to the signal in this situation are atmospheric upwelling (Lu), background (ground) radiance (Lg), and noise (Ln). Atmospheric upwelling is radiance that comes from the atmosphere’s thermal emission at its temperature. The ground radiance is described as a combination of the thermal emission of an object at the ground’s temperature scaled by the emissivity of the material emitting (εg), and atmospheric downwelling. The noise term encompasses a few effects including the noise on the focal plane and the thermal emission of the sensor itself onto its focal plane. The combination measured at the sensor can be stated as:
2.1. Standoff infrared hyperspectral imaging
he Telops Hyper-Cam is a lightweight and compact hyperspectral imaging instrument that uses Fourier Transform Infrared (FTIR) technology. It features a closed Stirling cycle cooled InAs/InAsSb (SLS) focal plane array (FPA) detector, which contains 320 × 256 pixels over a basic 13.5° × 10.9° field of view (FOV). The spectral resolution is user-selectable from 0.25 cm-1 up to 64 cm-1 over the entire spectral range of the instrument. The miniHyperCam Airborne was specifically designed for methane investigation. Its optics and detector are specifically tuned on the methane spectral features, 1230–1350 cm–1 (7.4–8.2 µm), in the thermal infrared spectral ranges [1]. A method for the detection and quantification of methane emissions based on hyperspectral data from an imaging Fourier infrared spectroradiometer was developed for the project. As part of the project tasks, measurements were carried out under near-real conditions with controlled methane emissions simulating leaks occurring in real conditions on a transmission gas grid. The measurement system was placed at a distance of 50 m from the emission point, for research purposes additionally a blackbody was placed in the field of view of the spectroradiometer, a weather station for monitoring weather conditions and a wind speed variation system. Figure 2 shows photographs of the measurements carried out. Measurements were carried out for different methane emission volumes, at a constant pressure, which corresponds to the pressure in the transmission pipelines. During the measurements, atmospheric conditions affecting methane detection were monitored: air temperature (22–28 °C), wind speed (0.7–5.7 m/s), atmospheric pressure (998–999 hPa) and relative humidity (51–56 %), emission of the methane on surface. The measurement were done with 8 nm spectral resolution for property detection of the methane cloud. Table 1 provides a summary of the conditions under which the test measurements were carried out.
( )
( )
( )
( )
( )
Lclear λ =+ Lu λ Lg λ τ atm λ + Ln λ
(1)
which describes the attenuation of the ground radiance by the transmissivity of the atmosphere, τ atm . This also denotes the wavelength λ dependence of all these terms. The background radiance must be further broken up into constituent terms:
( )
(
( )
) ( )
( )
( )
Lg= λ B λ,Tg ε g λ + Ld λ 1 − ε g λ
(2)
The background material is held to be at some temperature Tg, and it is assumed to be radiating as a perfect blackbody Fig. 2. Measurement stand for simulating methane emissions (1 – point of controlled emission of the methane, 2 – weather station, 3 – blackbody) and miniHC Airborne measurement system during measurements Rys. 2. Stanowisko pomiarowe do symulacji emisji metanu (1 – punkt kontrolowanej emisji metanu, 2 – stacja meteorologiczna, 3 – ciało doskonale czarne) i miniHC Airborne system podczas pomiarów
Table 1. Test conditions for the detection of methane emissions Tabela 1. Warunki pomiarowe podczas wykrywania emisji metanu
6
No.
Number of measurements
Pressure of methane (bar)
Emission volumes (l/min)
Wind speed (m/s)
1
150
20.2
5
0.7–4.6
2
141
20.2
7
0.7–4.7
3
110
20.2
10
0.7–5.6
4
61
20.2
15
0.7–5.6
5
31
20.2
30
0.2–5.7
7
35
20.2
40
0.3–5.4
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Mariusz Kastek i inni
(
)
does. The B λ ,Tg function represents the Planck function for radiating blackbodies. This radiation is scaled by the emissivity of the material, ε g . The other significant contribution to the background radiance term is the reflected atmospheric downwelling. The atmosphere, as previously mentioned, radiates upwards towards the sensor, but some of that energy will be radiated towards the ground and consequently reflected back towards the sensor. This radiance will not be perfectly reflected, as some will be absorbed by the material. However, for simplicity’s sake, it is assumed that the particles absorbing this downwelled radiance are in local thermodynamic equilibrium [5, 6]. Including the effects of a plume in scene can be done in a few short steps. The paths that govern this model are slightly more complicated than before. The atmospheric upwelling radiance remains a significant contributor to the signal, but the downwelling radiance that is reflected to the sensor now passes through the plume. The plume has a similar effect on the background thermal radiance. The resultant effect on these signals (reflected downwelling and background thermal radiance) is further attenuation based on the transmission of the plume (τp). The radiance of the plume material itself also contributes to the signal model. This radiance (Lp) occurs at the temperature of the plume material, and must pass through (and thus be attenuated by) the intervening atmosphere to reach the sensor. The atmospheric attenuation is assumed applied to the plume at the same strength it is applied to the background thermal radiance path. This is because the plume is assumed to be close to the ground, rather than much closer to the sensor. The result of these effects can be written as:
the atmospheric transmission in the far-infrared region. In the method was used one of the atmospheric correction methods, such as the atmospheric radiative transfer (ART) model. − Methane emission detection: Gas detection algorithm is used to identify the presence of methane in hyperspectral data. The algorithm is used spectral signatures of methane to identify methane absorption bands based on adaptive matched filter (AMF), which identifies the methane absorption feature. In the method was used a combination of clutter matched filter CMF and SAM, with appropriate thresholding and spatial filtering, to detect. The PNNL infrared database is used as a reference library for spectral characteristic of the methane [4, 7–9]. − Methane emission: Algorithm of the gas quantification involves estimating the concentration of the gas from its spectral characteristic pixels with positive detection results. The concentration can be estimated using various methods such as the Beer-Lambert law, which function of the surface thermodynamic temperature while transmittance is function of gas concentration (expressed in ppm), path length l (expressed in meters) and the gas molar absorptivity κ (with units of m-1⋅ppm-1) as expressed in (4) [5]. In addition, a module has been implemented to convert the concentration of a gas expressed in (ppm⋅m) to (g/s). Derived from the equation of state of a perfect gas (Clapeyron’s equation) is the equation of state describing the relationship between temperature, pressure and volume of a perfect gas, which can be expressed by the formula: pV = nRT,
(3) This statement describes many of the important paths and their terms, but what is desired is to express this model with a signal term (and an associated strength) and an additive noise term. The signal term should also be a function of the signature of the chemical being detected, b λ . The linear expression from this model that explicitly involves b λ . The transmission of the plume can be expressed as follows:
( )
(
)
τ p ( λ= ) exp −cb ( λ ) ≈ 1 − cb ( λ ) ,
( )
(4)
where c is the column density of the gas plume as a measure of the amount of intervening matter between an sensor and the background observed, and the chemical signature of the gas is b λ [10]. This transmissivity is approximately linearized using the assumption that cb λ is small. The assumption of a small cb λ must be kept true, otherwise the linear model will be unfaithful to the physical process.
( )
( )
( )
2.3. Method for the detection and quantification of methane emissions
The developed method for detection and quantification methane emissions was based on hyperspectral data analysis using various techniques including spectral unmixing, gas detection algorithms and statistics method. Developed method is doing the analysis hyperspectral data following steps: − Collected hyperspectral data: Hyperspectral data can be collected using miniHyperCam Airborne. The data were collected in special stand with full control emission. − Preprocessing: Preprocessing involves removing noise, atmospheric corrections, data normalization and data calibration. Atmospheric corrections is very important for methane detection since the presence of methane can affect
(5)
where p is the pressure of the gas (in Pa), V is the volume occupied by the gas (in m3), T is the temperature of the gas (in Kelvin, K), R is the gas constant (equal to 8.314462618 J K-1 mol-1), n is the number of moles of particles in the gas. The molar volume is the volume occupied by one mole of a substance and is given by the formula: V= m
V M M ⋅V , = = ρ n m
(6)
where: Vm – molar volume (unit: m3/mol), V – volume of n moles of substance, M – molar mass (unit: kg/mol), m – mass of substance (unit: kg), ρ – density (unit: kg/m3). From equation (5), the molar volume can be determined according to the formula: V= m
V RT . = n p
(7)
Knowing the volume of the mixture Vx, the molar volume Vm of the substance and its concentration value Sppm given in ppm, the number of moles of the substance can be determined using the formula: n=
S ppm ⋅ 10−6 ⋅Vx Vm
.
(8)
Based on formulae (6) and (8), the formula for the mass of the substance can be derived:
= m
S ppm ⋅Vx ⋅ M Vm
⋅ 10−6.
(9)
7
Remote Detection and Quantification of Methane Emissions Based on Hyperspectral Data Analysis
Fig. 3. Example of data registered by miniHyperCam Airborne Rys. 3. Przykładowe wyniki otrzymane podczas popmiarów za pomocą miniHyperCam Airborne Fig. 4. Infrared spectra associated with a single pixel representative of sky radiance (Sky), the wall of the house (Grey Body) and methane emission point (Methane) (left). The spectra are plotted as a brightness temperature scale for clarity purposes. The radiance methane emission point (Methane) and radiance methane spectral from NIST library (Signature Methane) [9] are shown (right) for comparison purposes. Presented brightness temperature is a measurement of the radiance traveling from source to the sensor, expressed in units of the temperature of an equivalent black body, it is better present the spectral characteristic Rys. 4. Widma w podczerwieni dla pojedynczych pikseli: nieba (Sky), ściany domu (Grey Body) i punktu emisji metanu (Methane) (po lewej). (Metan) (po lewej). Widma są wykreślone jako rozkład temperatury w celu lepszego zaprezentowania ich zmian. Radiancja punktu emisji metanu (Metan) i widmo promieniowania metanu z biblioteki NIST z biblioteki NIST (Signature Methane) [9] (po prawej) została przedstawiona w celu ich porównania. Przedstawiona temperatura jest wynikiem pomiaru radiancji od źródła do systemu pomiarowego, wyrażona w jednostkach temperatury równoważnej dla ciała czarnego, w taki sposób jest lepiej jest przedstawić charakterystykę widmową
Inserting into equation (9) the molar volume determined according to equation (7), we obtain: = m
S ppm ⋅Vx ⋅ M ⋅ p RT
(10)
⋅ 10−6.
When the concentration value of the substance Sppm-m is given in ppm-m, and knowing the areas of the mixture Ax, formula (10) for the mass of the substance can be written in the form: = m
S ppm −m ⋅ Ax ⋅ M ⋅ p RT
(11)
⋅ 10−6.
(12)
f = m gas swind 1m
where: – emission [g/s], m gas – mass of gas in a 1 m wide 1m cloud; swind – wind speed (unit m/sec) in the direction perpendicular to the direction of spectroradiometer observation.
A concentration map, which is the instantaneous state of the gas cloud, is then calculated through a gas flow rate conversion module that calculates the amount of gas transported by the wind in one second. Its shape and concentration depend on the flow rate and wind speed. Assuming that the wind direction will be orthogonal to the spectroradiometer’s direction of view, the flow rate can be calculated as the product of the wind speed and a 1 m ‘slice’ of the methane cloud.
8
P
O
M
I
A
R
Y
•
A
U
T
O
M
The various computational modules were implemented in the MATLAB environment and used to analyze hyperspectral data for the detection and quantification of methane emissions during the ongoing test studies. A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Mariusz Kastek i inni Table 2. Data prepared for analysis after detection of methane emissions Tabela 2. Wyniki otrzymane po przeprowadzonych analizach emisji metanu Total measured methane emission
Wind speed
Total methane emission after wind correction
Set up methane emission from pipeline
(l/min)
(m/s)
(l/min)
(l/min)
Test_16_20220810_114800_694.sc
3.308
3.6
11.907
15
Test_16_20220810_114801_827.sc
3.593
3.6
12.934
15
Test_12_20220810_112654_167.sc
2.48
3.9
9.69
10
Test_12_20220810_112655_300.sc
1.65
3.9
6.44
10
Test_7_20220810_111343_156.sc
2.238
3.8
8.505
7
Test_7_20220810_111344_295.sc
1.711
3.8
6.502
7
Test_1_20220810_104516_950.sc
1.478
1.9
2.809
5
Test_1_20220810_104518_085.sc
2.912
1.9
5.533
5
File name
Fig. 5. Column density map of methane set up emission from pipeline: a) 7 l/min, b) 10 l/min, c) 30 l/min. Left side pictures shows the image recoded by miniHyperCam Airborne with the column density map of the methane without analysis of the emission, right side it is zooming the point of the emission methane, the color present the emission of the methane Rys. 5. Przykładowe rozkłady emisji metanu zarejestrowane podczas pomiarów emisji: a) 7 l/min, b) 10 l/min, c) 30 l/min. Obrazy po lewej stronie przedstawiają rejestracje wykonane za pomocą miniHyperCam Airborne z mapą wykrytej chmury metanu, obrazy po lewej stronie to wybrany fragment obrazu w wynikiem z chmurą matanu przedstawiającą rozkład stężenia metanu będącym wynikiem przeprowadzonej analizy
3. Results of the test studies 3.1. Hyperspectral data and analysis results
Many materials encountered in outdoor environments behave like infrared grey bodies, i.e. are featureless across all wavelengths. Unlike many common materials, gases like methane (CH4) and water vapor (H2O) behave like selective absorbers/ emitters of infrared radiation. Their absorption/emission pattern is function of wavelength (or wavenumbers).
The recorded measurement data at the measuring station according to the measurement plan (part 2.1) were analysed, and an analysis of the results obtained is presented below. Therefore, their presence can be easily detected when looking at high spectral resolution infrared data. Hyperspectral imaging allows recording of such spectra for each pixel. In order to illustrate the great variety of infrared-active material within a scene, typical spectra associated with selected pixels are shown in Fig. 3.
9
Remote Detection and Quantification of Methane Emissions Based on Hyperspectral Data Analysis Table 3. Validation of the detection method for methane emissions in the sensitivity range Tabela 3. Walidacja metody detekcji emisji metanu w zakresie czułości metody Emissions analysed (l/min)
Number of measurements
Number of measurements with methane detection
Sensitivity of the method – probability of detecting emissions (%)
5.0
150
91
60.7
7.0
141
135
95.7
10.0
110
110
100
15.0
61
61
100
30.0
31
31
100
40.0
35
35
100
method for detecting fugitive methane emissions from the transmission gas grid. A similar parameter to the sensitivity of the method is the lower detection limit, which in this case means the smallest amount of methane emissions that can be detected by the method with a given probability. Given that the method under development is a field and screening method, it was assumed that the lower limit of detection is 7.0 l/min. It is the emission level for which the sensitivity of the method is greater than or equal to 50 %. Based on the test results shown in Table 3, it can be concluded that the developed method meets the established acceptance criteria, as it has a detection limit below 5.0 l/min. Another validation parameter of the qualitative method is specificity. Methods that are characterized by high specificity generate a small number of so-called ‘false alarms’, in this case involving the detection of a leak when there is no leak. Because of the actions to be taken by the gas grid operator after a leak has been detected, it was assumed that the specificity of the method should not be lower than 90%, meaning that the validated method would generate no more than 10 % false alarms. During the conducted tests, there were no false detections of methane emissions, the hypothesis that the developed method is 100 % specific needs to be confirmed under more diverse field conditions. The last of the validated parameters of the qualitative method for detecting methane emissions was accuracy. In quantitative methods, this is the parameter that combines the sensitivity and specificity of the method:
The infrared spectrum associated with a grey body surface should be a straight curve. However, because of the presence of atmospheric gases in the path located between the infrared sensor and the target, the measured spectrum is highly structured. They are mostly associated with ground-level atmospheric component like water vapor, CH4 and nitrous oxide (N2O) (Fig. 4). Since the atmospheric water content is typically a few orders of magnitude higher than the other components, water spectral features are dominant. The high-resolution infrared spectra corresponding to a pixel close to the drill is quite different and shares many similarities with the methane reference absorption spectrum.
3.2. Methane column density maps
Based on the recorded data for the different measurement conditions (Table 1), the hyperspectral data were processed and recalculated according to the adopted method. As results, maps of the distribution of detected methane were obtained, which for visualisation purposes were presented as a fusion of a thermogram (broadband image) and a pixel map with detected methane. Example results are presented in the images for different emissions in Fig. 5. The results data for each of the files corresponding to the measurement of methane emissions was then performed to assess the effectiveness of the method for detecting and quantifying methane emissions. Example data for analysis are shown in Table 2.
3.3. Analysis of the results obtained for the evaluation of the correctness of methane detection
The capability of the system under development to detect and measure methane emissions from the transmission gas grid was assessed on the basis of test studies for controlled methane emission rates ranging 5–40 l/min. A total of approximately 520 tests were performed, which formed the basis for the validation of the qualitative method for detecting methane emissions (Table 1). During the validation, parameters such as sensitivity, limit of detection, specificity and accuracy were taken into account. From the point of view of the validation of a qualitative method for the detection of methane emissions, the most important validation parameter is the sensitivity of the method, which in this case means the ability of the method to detect the emissions actually occurring. The acceptance criterion for method sensitivity was a 50 % probability of detecting methane emissions at 7 l/min, which increases linearly to 90 % at emissions of 150 l/min. The results of the sensitivity assessment of the method for detecting methane emissions are shown in Table 3. The results obtained during the validation of the methane emission detection method in terms of its sensitivity meet the established acceptance criteria, confirming the suitability of the
10
P
O
M
I
A
R
Y
•
A
U
T
O
M
SP + SN ⋅ 100% N+ + N−
AC =
where
(13)
SP SN is a sensitivity and is a specificity, where SP – N+ N−
a number of positive tests assessed as positive, SN – a number of negative tests assessed as negative, N + – the total number of positive tests performed and N − – is the total number of negative tests performed. Taking into account the field nature of the method and formula (13) with the acceptance criteria for sensitivity (above 50 %) and specificity of the method (above 90 %), the acceptable accuracy of the method was assumed to be 70 %. This means that 7 out of 10 results obtained with the validated method will be evaluated correctly with respect to the true value. The field results obtained indicate 100 % specificity of the method and therefore the determined accuracy of the method will be the same as its sensitivity. Based on the results collected in Table 2, it can be concluded that the validated method has acceptable accuracy for methane emissions above 7.0 l/min. A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Mariusz Kastek i inni
4. Conclusion The development of a remote system for detecting and measuring methane emissions from the transmission gas grid is a major challenge due to the size of the area to be monitored, the range of methane emissions and changing weather conditions during the measurements. The measurement subsystem developed as part of the iDiaGaSys project is designed to detect and measure methane emissions from the transmission gas grid using the FTIR technique. The Fourier imaging infrared spectroradiometer miniHyperCam Airborne selected for this purpose together with the developed computational algorithms successfully passed initial tests in the field of detecting methane fugitive emissions greater than 5 l/min. Due to the method of conducting the initial tests (stationary tests from the ground), in order to fully assess the suitability of the developed measurement subsystem, it is required to perform tests in real measurement conditions.
Acknowledgements
The authors inform that the presented system concept and its implementation has been co-financed by the European Union from the European Regional Development Fund under the Intelligent Development Programme and the Gas Transmission Operator GAZ-SYSTEM Joint Stock Company. The project was implemented under the competition of the National Centre for Research and Development: 4/4.1.1/2019 as part of the INGA Joint Undertaking. The photos in the article are not related to the infrastructure operated by GAZ-SYSTEM.
Bibliografia 1. Timofiejczuk A., Rzydzik S., Holewa-Rataj J., Kukulska-Zając E., Kastek M., Pawelski D., Brawata S., Gawełda B., The concept of a system for monitoring the condition of gas transmission pipelines and their surroundings, “Nafta-Gaz”, Vol. 79, No. 1, 2023, 52–60, DOI: 10.18668/NG.2023.01.06. 2. Lashof D.A., Ahuja D.R., Relative Contributions of Greenhouse Gas Emissions to Global Warming, “Nature”, Vol. 344, 1990, 529–531, 1990.
3. Tremblay P., Savary S., Rolland M., Villemaire A., Chamberland M., Farley V., Brault L., Giroux J., Allard J.-L., Dupuis E., Padia T., Standoff gas identification and quantification from turbulent stack plumes with an imaging Fourier-transform spectrometer, Proceedings of SPIE, Vol. 7673, 2010, DOI: 10.1117/12.850127. 4. Gålfalk M., Olofsson G., Crill P., Bastviken D., Making methane visible, “Nature Climate Change”, Vol. 6, 2016, 426–430. 5. Moritz A., Hélie J.-F., Pinti D.L., Larocque M., Barnetche D., Retailleau S., Lefebvre R., Gélinas Y., Methane baseline concentrations and sources in shallow aquifers from the shale gas-prone region of the St. Lawrence lowlands, “Environmental Science and Technology”, Vol. 49, No. 7, 2015, 4765–4771, DOI: 10.1021/acs.est.5b00443. 6. Kastek M., Piątkowski T., Dulski R., Chamberland M., Lagueux P., Farley V., Hyperspectral Imaging Infrared Sensor Used for Chemical Agent Detection and Identification, 2012 Symposium on Photonics and Optoelectronics, DOI: 10.1109/SOPO.2012.6270545. 7. Coleman T.F., Li Y., An Interior Trust Region Approach for Nonlinear Minimization Subject to Bounds, “SIAM Journal on Optimization”, Vol. 6, No. 2, 1996, DOI: 10.1137/0806023. 8. Farley V., Chamberland M., Lagueux P., Vallières A., Villemaire A., Giroux J., Chemical agent detection and identification with a hyperspectral imaging infrared sensor. Proceedings of SPIE, Vol. 6739, 2007, DOI: 10.1117/12.736864. 9. Kastek M., Piątkowski T., Trzaskawka P., Infrared imaging Fourier transform spectrometer as the stand-off gas detection systems, “Metrology and Measurement Systems”, Vol. XVIII, No. 4, 2011, 607–620, DOI: 10.2478/v10178-011-0058-4.
Inne źródła 10. https://webbook.nist.gov/cgi/cbook.cgi?ID=C74828&Type=IR-SPEC&Index=1
Zdalne wykrywanie i kwantyfikacja emisji metanu na podstawie analizy danych hiperspektralnych Streszczenie: Pomiar emisji metanu z wycieków występujących na rozległej terytorialnie sieci gazociągów przesyłowych jest zagadnieniem aktualnym i wysoce pożądanym z punktu widzenia bezpieczeństwa i ograniczenia emisji metanu do atmosfery. Zdalna detekcja metanu jest problem, którego rozwiązanie techniczne opiera się na kilku typach urządzeń optoelektronicznych, np. kamerach termowizyjnych z zestawami filtrów optycznych kamery termowizyjne z zestawami filtrów optycznych, spektroradiometry, systemy laserowe DIAL (DIfferential Absorption Lidar). Z drugiej strony, kwantyfikacja wielkości emisji jest w większości przypadków realizowana przez systemy spektroradiometryczne. W niniejszym artykule zostanie przedstawiona metoda analizy danych hiperspektralnych z obrazującwego fourierowskiego spektroradiometru podczerwieni. Pomiary zostały wykonane na specjalnie zbudowanym stanowisku symulującym emisję metanu z sieci przesyłowej. Dane uzyskane z poziomu gruntu w różnych warunkach atmosferycznych, wraz z wynikami ich analizy dla różnych emisji metanu. Słowa kluczowe: hiperspektralna detekcja w podczerweini, detekcja metanu, obrazowa detekcja metanu w podczerweini
11
Remote Detection and Quantification of Methane Emissions Based on Hyperspectral Data Analysis
Mariusz Kastek, PhD, Eng.
Andrzej Ligienza, MSc, Eng.
A graduate of the Electronics Department of the Military University of Technology (1993). Since 1997, he has been an employee of the Military University of Technology. He obtained the title of doctor of technical sciences in 2002. He deals with the problems of object detection in infrared systems, as well as signal analysis and detection algorithms implemented in infrared devices. Author and co-author of over 70 publications. He works as an assistant professor at the Institute of Optoelectronics of the Military University of Technology.
Andrzej Ligienza graduated BSc in the Military University of Technology (2014) at the Faculty of Mechatronics with a specialty of ISM. MSc graduated in 2016 at the faculty of Electronics. Currently PhD candidate and assistant lecturer at Faculty of Optoelectronics..
Tomasz Sosnowski, PhD, Eng.
Jadwiga Holewa-Rataj, MSc
Absolwent Wydziału Elektroniki Wojskowej Akademii Technicznej (1993). Tytuł doktora nauk technicznych uzyskał w 2003 r. Zajmuje się problematyką związaną z projektowaniem i programowaniem systemów cyfrowych, cyfrową analizą sygnału, analizą obrazu termograficznego, a także zastosowaniem układów mikroprocesorowych i programowalnych w technice podczerwieni.
A graduate of environmental protection at the Jagiellonian University (2006). Since 2006, he has been an employee of the Oil and Gas Institute - National Research Institute. In her professional work, she deals with issues related to environmental protection in the oil and gas industry, including, among others, methane emission measurements and inventory. She is a co-author of over 25 publications in national journals and about 30 speeches at scientific and technical conferences.
Mateusz Rataj, MSc, Eng.
Prof. Anna Timofiejczuk, DSc, PhD, Eng.
A graduate of the Fuels and Energy Faculty the AGH University of Science and Technology in Kraków (2008), majoring in Fuel Technology. Since 2008, an employee of the Oil and Gas Institute - National Research Institute in the Laboratory for Testing Gas and Heating Devices. As part of his professional activity, he deals with the problems of emission of pollutants into the atmosphere, thermovision and the development of new technologies.
Dean of the Faculty of Mechanical Engineering at the Silesian University of Technology. The area of scientific interest is technical diagnostics, signal and image analysis, applications of artificial intelligence and Industry 4.0. In 2018, together with her team, she created the first competence center for Industry 4.0 in Poland. In 2015, she developed a dual studies program, and is also the initiator and organizer of the Edual conference - dual education for Industry 4.0. She was a member of the Consulting Team of the Future Industry Platform of the Ministry of Entrepreneurship and Technology. He is a member of the Automotive Council, including electromobility in the Ministry of Industry and Development. Prof. Anna Timofiejczuk is a coordinator Priority Research Area – Process Automation and Industry 4.0, and she is also the deputy director of Industry 4.0 Center of Silesian University of Technology.
mariusz.kastek@wat.edu.pl ORCID: 0000-0001-7184-5228
andrzej.ligienza@wat.edu.pl ORCID: 0000-0002-5789-8531
tsosnowski@wat.edu.pl ORCID: 0000-0003-4082-8366
holewa@inig.pl ORCID: 0000-0001-8928-6081
rataj@inig.pl ORCID: 0000-0003-2335-6221
anna.timofiejczuk@polsl.pl ORCID: 0000-0003-2941-4955
Sebatian Rzydzik, PhD sebastian.rzydzik@polsl.pl ORCID: 0000-0003-3352-3986
An assistant professor at the Department of Fundamentals of Machine Design at the Silesian University of Technology. He is interested in broadly understood mechatronics, mobile robotics (land and air), software development (including simulation), signal processing techniques and the design of mechanical systems. He cooperated with various companies in the field of research and development works and worked as an IT engineer and mechanical engineer. Author or co-author of over 50 publications in the field of robotics, technical diagnostics, design of mechanical systems, artificial intelligence, including advisory systems.
12
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Pomiary Automatyka Robotyka, ISSN 1427-9126, R. 27, Nr 3/2023, 13–18, DOI: 10.14313/PAR_249/13
Pomiary zapotrzebowania nawozowego kukurydzy za pomocą aktywnego czujnika azotu Katarzyna Kubiak-Siwińska, Jan Kotlarz
Sieć Badawcza Łukasiewicz – Instytut Lotnictwa, Centrum Technologii Bezzałogowych, Dział Teledetekcji, Al. Krakowska 110/112, 02-256 Warszawa
Streszczenie: Azot jest ważnym makroskładnikiem biomasy, ponieważ odgrywa istotną rolę
w procesach metabolicznych, produkcji białek, syntezie aminokwasów, enzymów, hormonów oraz jest składnikiem chlorofilu. Ocena jego niedoborów w uprawach kukurydzy jest przedmiotem badań naukowych. W artykule zaprezentowano wyniki pomiarów w kontrolowanych warunkach laboratoryjnych wskaźników teledetekcyjnych kukurydzy uprawianej w wariantach nawożenia 0–150 kg·N/ha. Zaproponowana metoda oceny niedoboru azotu z wykorzystaniem sensora Crop Circle pozwala na autonomiczne sterowanie precyzyjnym nawożeniem doglebowym w projektowanym rozwiązaniu robota polowego.
Słowa kluczowe: nawożenie azotem, robot polowy, NDVI, NDRE, biomasa
1. Wprowadzenie Azot (N) jest jednym z najważniejszych makroskładników pokarmowych roślin. Właściwe gospodarowanie azotem jest istotnym czynnikiem warunkującym skuteczność i użyteczność metod stosowanych w nowoczesnym rolnictwie. Zawartość azotu w biomasie uprawy może się znacznie różnić w zależności od rodzaju uprawy, gatunku roślin, rodzaju gleby i warunków środowiskowych. Większość rodzajów biomas uprawy zawiera 0,5–5 % azotu (w stosunku do masy suchej) i może zostać zwiększona przez dostarczanie nawozów azotowych [1]. Zawartość azotu wpływa na właściwości rozpraszania światła przez liście, ponieważ odbicie, pochłanianie i rozproszenie fal elektromagnetycznych padających na biomasę jest definiowane przez pojedyncze wiązania C–O, O–H, C–H i właśnie N–H [2]. Pojedyncze wiązania azotu z wodorem absorbują światło o szczególnych długościach fali. Należy wyróżnić przede wszystkim następujące składniki biomasy, w których zachodzi to zjawisko: absorpcja światła 1020 nm powodująca rozciągnięcie wiązania w białkach, analogiczny proces zachodzi również dla fotonów 1510 nm, jednak tutaj dodatkowo poza rozciągnięciem wiązania absorpcja powoduje drgania w pierwszym owertonie. Fotony o falach długości większej niż 2000 nm powodują rozciąganie wiązań, obrót cząsteczek w białkach [3]. Azot w biomasie jest obecny w wielu związkach chemicznych, z których najważniejsze to: rubisko – powszechny enzym
Autor korespondujący: Jan Kotlarz, Jan.Kotlarz@ilot.lukasiewicz.gov.pl Artykuł recenzowany nadesłany 26.01.2023 r., przyjęty do druku 21.07.2023 r. Zezwala się na korzystanie z artykułu na warunkach licencji Creative Commons Uznanie autorstwa 3.0
katalizujący przyłączanie cząsteczek dwutlenku węgla w tzw. ciemnej fazie fotosyntezy, chlorofile, białka otoczek i rybosomów, kwasy nukleinowe oraz RNA [4]. Właściwości absorpcji azotu oraz jego powszechna obecność w najważniejszych komponentach biomasy pozwalają na oszacowanie jego zawartości wykorzystując techniki lotnicze [5] i satelitarne. Szczególnie wartościowych danych w systemach informacji o nawożeniu dostarczają obecnie trzy urządzenia satelitarne obrazujące w zakresach widzialnym i podczerwonym. Są to satelity PRISMA (włoski satelita hiperspektralny obrazujący w zakresie 400–2500 nm z rozdzielczością przestrzenną 30 m) [6], japoński HISUI o podobnych do swojego włoskiego odpowiednika parametrach [7] oraz niemiecki EnMAP [8]. Również ogólnodostępne dane konstelacji satelitarnych LANDSAT [9] oraz SENTINEL [10] są wykorzystywane w modelach służących do oszacowania zawartości azotu. Należy jednak zauważyć, że w satelitarnym obrazowaniu zapotrzebowania na azot lepsze efekty otrzymuje się wykorzystując zobrazowania hiperspektralne o kanałach optycznych szerokości spektralnej do 6 nm, niż używając zobrazowań wielospektralnych o szerokości kanałów powyżej 10–15 nm [1]. Chociaż współczesne maszyny rolnicze wykorzystują dane satelitarne w nawigacji [11] i ocenie stanu gleb i upraw [12], to na rynku dostępnych jest szereg sensorów umożliwiających mapowanie parametrów z wysoką rozdzielczością. W niniejszym artykule zaprezentowano wyniki badań nad oszacowaniem stopnia nawożenia kukurydzy przy użyciu sensora Crop Circle. Ten sensor był już wcześniej stosowany w badaniach nad zawartością azotu w uprawach ryżu [13] i innych zbóż [14]. Poniżej opisano eksperyment przeprowadzony na sadzonkach kukurydzy (Zea mays, L.) w warunkach laboratoryjnych. Celem eksperymentu było pozyskanie danych referencyjnych dla operacyjnego zastosowania sensora podczas prac polowych z użyciem zbudowanego w konsorcjum Poznańskiego Instytutu Technologicznego (Łukasiewicz – PIT), Instytutu Lotnictwa (Łukasiewicz – ILOT) oraz firmy Unia sp. z o.o. autonomicznego robota przeznaczonego do upraw kukurydzy.
13
Pomiary zapotrzebowania nawozowego kukurydzy za pomocą aktywnego czujnika azotu
2. Metodyka badawcza
chlorofile (670 nm), odbicia przez tkankę miękiszową w liściach (780 nm) oraz w kanale pośrednim odpowiadającym tzw. „red edge”, czyli przedziałowi długości fali światła w którym następuje skokowa zmiana odbicia (730 nm). Kanały optyczne wykorzystywane przez urządzenie naniesiono na typowy wzorzec reflektancji liści kukurydzy na rys 2. W ramach eksperymentu przygotowano donice z sadzonkami kukurydzy we wczesnym stadium rozwojowym, które nawożono doglebowo nawozem azotowym. Sposób nawożenia dla poszczególnych grup sadzonek przedstawiono w tabeli 1. Sadzonki w kuwetach umieszczono na dedykowanym stole z ruchomą taśmą pozwalającą na kontrolowany ruch sadzonek względem sensora Crop Circle z prędkością 0,5 m/s. Stół z poruszająca się taśmą o ustalonej, kontrolowanej prędkości
W celu określenia zawartości azotu w biomasie uprawy kukurydzy oraz precyzyjnego i dostosowanego do potrzeb rośliny dozowania nawozów azotowych przez robota polowego, wykorzystany został sensor optyczny Crop Circle ASC-435 firmy Holland Scientific Inc, Lincoln, NE, USA. Crop Circle ASC-435 jest czujnikiem aktywnym (wyposażony jest we własne źródło światła) i zawiera trzy optyczne kanały pomiarowe umożliwiające jednoczesny pomiar odbicia spektralnego upraw/gleby przy 670 nm, 730 nm i 780 nm (rys. 1 A). Czujnik rejestruje obraz w polu widzenia 40o ~10o, na wysokości 25–250 cm od celu. ASC-435 generuje wartości wskaźników wegetacji NDVI (ang. Normalized Difference Vegetation Index)
Rys. 1. A – zakupiony sensor azotu Crop Circle ASC-435, Holland Scientific Inc, USA; B – sposób pomiaru zawartości azotu dla pojedynczej sadzonki kukurydzy w warunkach polowych; C – warstwa wizualizacji oprogramowania z zaimplementowanym processingiem, klasyfikacją i interpretacją danych z sensora Crop Circle Fig. 1. A – Crop Circle ASC-435 nitrogen sensor by Holland Scientific Inc, USA; B – method of measuring nitrogen content for a single maize seedling in field conditions; C – software visualization layer with implemented processing, classification and interpretation of data from the Crop Circle sensor
oraz NDRE (ang. Normalized Difference Red Edge Index) wg poniższych wzorów: NDVI =
r780 − r670 r780 + r670
NDRE =
r780 − r730 r780 + r730
i ustawionymi na nim roślinami kukurydzy w donicach pozwolił na symulacje zachowania robota polowego poruszającego się po polu uprawnym. Sensor umieszczono 40 cm nad najwyżej położonymi liśćmi kukurydzy zgodnie z przygotowaną przez producenta metodyką akwizycji danych (rys. 3). Po uruchomieniu sensora wykonano akwizycję danych wskaźników NDVI i NDRE dziesięciokrotnie dla każdej grupy sadzonek. Otrzymano w ten sposób zbiór zarejestrowanych wskaźników dla: a) tła (taśmy), b) gleby, c) sadzonek kukurydzy w poszczególnych kategoriach nawożenia. W processingu danych dla donic z sadzonkami założono, że sensor zarejestrował dane dla sadzonek kukurydzy oraz dla gleby i na podstawie wyników pozyskanych dla grupy G ze zbiorów danych 0–D usunięto dane odpowiadające glebie.
gdzie r odpowiada strumieniowi światła odbitego w danym kanale optycznym: 670 nm, 730 nm i 780 nm. Wybór trzech w/w kanałów optycznych opiera się na porównaniu wielkości reflektancji w kanałach absorbcji światła przez
Tabela 1. Grupy sadzonek kukurydzy (Zea mays L.) wykorzystane w eksperymencie laboratoryjnym i sposób ich nawożenia Table 1. Groups of maize seedlings (Zea mays L.) used in the laboratory experiment and the method of their fertilization Nawożenie
Grupa
Opis
G
Gleba, brak sadzonek, brak nawożenia
0
0
Sadzonki kukurydzy, brak nawożenia
0
[kg N ha-1]
A B C
50 100
Nawożone sadzonki kukurydzy
D
14
Rys. 2. Kanały optyczne wykorzystywane przez sensor „Crop Circle” naniesione na typowy wzorzec reflektancji liści kukurydzy. Źródło wzorca: rys. 2 w [15] Fig. 2. Optical channels used by the “Crop Circle” sensor plotted on a typical corn leaf reflectance pattern. Standard source: Fig. 2 in [15]
125 150
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Katarzyna Kubiak-Siwińska, Jan Kotlarz
Rys. 3. Stół z ruchomą taśmą do testowania sensorów optycznych w monitoringu roślin (Łukasiewicz – ILOT, Warszawa) Fig. 3. A table with a moving belt for testing optical sensors in plant monitoring (Łukasiewicz – ILOT, Warsaw)
Dla każdego poziomu nawożenia obliczono średnie wskaźniki NDVI i NDRE oraz ich odchylenia standardowe. Otrzymane wartości naniesiono na wykres o osiach odpowiadającym wskaźnikom. Dla każdej grupy sadzonek za pomocą testu t-Studenta określono czy otrzymane średnie różnicują się ze względu na poziom nawożenia (p < 0,05). Na podstawie otrzymanych wyników opracowano tabelę klasyfikacji danych z sensora Crop Circle pozwalającą na określenie bieżącego nawożenia oraz potrzeby dodatkowego nawożenia doglebowego przy założeniu optymalnego poziomu nawożenia wynoszącego 150 kgN/ha.
Wskaźniki odpowiadające glebie różnią się od wskaźników dla wszystkich innych grup dla poziomu istotności 0,005 testu t-Studenta dla prób niezależnych. Wskaźniki odpowiadające sadzonkom różnią się od wskaźników dla wszystkich innych grup odpowiadającym sadzonkom o innych stopniach nawożenia na poziomie istotności 0,05 z następującymi wyjątkami: − średnie wskaźniki NDVI między grupami B i C różniły się na poziomie istotności 0,08, − średnie wskaźniki NDVI między grupami C i D nie różniły się, − średnie wskaźniki NDRE między grupami C i D różniły się na poziomie istotności 0,15.
3. Wyniki
Tab. 2. Wartości średnie wskaźników NDVI i NDRE dla poszczególnych klas nawożenia Tab. 2. Average values of NDVI and NDRE indices for individual classes of fertilization
Wartości wskaźników tła (materii nieożywionej) oszacowano na 0,0156 ±0,0091 dla NDVI oraz na 0,0116 ±0,0208 dla NDRE. Wartości dla gleby wynosiły 0,083 ±0,013 dla NDVI oraz 0,034 ±0,014 dla NDRE. Wartości graniczne pomiędzy klasą materii nieożywionej a biomasą ustalono wg wartości dziewiątego decyla wartości dla materii nieożywionej, tj. NDVIgr = 0,106 oraz NDREgr = 0,062. Przykładowy fragment danych surowych dla klasy nawożenia 150 kg N/ha wraz z interpretacją danych prezentuje wykres na rysunku 4. Średnie wartości pomiarów laboratoryjnych NDVI i NDRE oraz ich odchylenia standardowe dla poszczególnych klas nawożenia przedstawiają tabela 2 i rysunek 5.
Klasa nawożenia kukurydzy [kgN/ha]
NDVI
NDRE
0 (0)
0,533 ±0,007
0,401 ±0,009
50 (A)
0,561 ±0,022
0,425 ±0,026
100 (B)
0,624 ±0,024
0,493 ±0,019
125 (C)
0,685 ±0,026
0,496 ±0,048
150 (D)
0,681 ±0,026
0,596 ±0,050
Rys. 4. Dane surowe sensora Crop Circle dla donic z nawożeniem 150 kgN/ha. Czarnymi ramkami zaznaczono fragmenty danych odpowiadającym poszczególnym sadzonkom kukurydzy. Interpretację klasy nawożenia dla pojedynczych pomiarów zaznaczono literą nad pomiarem, interpretację klasy nawożenia dla całej sadzonki zaznaczono literą nad całym fragmentem danych. Litery odpowiadają nazwom grup w tabeli 1 Fig. 4. Crop Circle sensor raw data for pots with fertilization of 150 kgN/ha. Fragments of data corresponding to individual maize seedlings are marked with black frames. The interpretation of the fertilization class for individual measurements was marked with a letter above the measurement, the interpretation of the fertilization class for the entire seedling was marked with a letter above the entire data fragment. The letters correspond to the group names in table 1
15
Pomiary zapotrzebowania nawozowego kukurydzy za pomocą aktywnego czujnika azotu diody LED jest rzędu 10 W, strumień promieniowania wynosił zatem dla trzech diod i wysokości 60 cm 6,6 W/m2) a pole widzenia wynosiło: ~40° na ~10°. Strumień światła dla wysokości w tego typu sensorach natężenie światła emitowane przez źródło umieszczone na czujniku jest równe dla wszystkich długości fal świetlnych, których reflektancję mierzy sensor. Według [22], aby jak najdokładniej odzwierciedlić współczynnik odbicia roślinności, uznał że rozkład natężenia światła źródłowego musi być jednolity. Jeżeli natężenie światła w obszarze napromieniania źródła światła nie jest jednorodne, sygnał pomiarowy spektrometru odbiciowego nie będzie w stanie skutecznie uzyskać średnich charakterystyk odbicia w obszarze mierzonym, co doprowadzi do niedokładnych wskaźników wegetacji i parametrów agronomicznych. Co więcej, gdy rozkład natężenia światła aktywnego czujnika nie będzie równomierny, zmierzona wartość współczynników nie będzie odpowiednia do charakterystyki grupowej obiektu [22]. Porównując wyniki z czujników aktywnych i pasywnych (gdzie źródłem oświetlenia jest Słońce) [23], wyniki z aktywnego czujnika są traktowane jako obiecujące, pokazując, że NDVI, a zwłaszcza SAVI, mają znacznie bardziej liniowe zależności z cechami upraw i dają nadzieję na bardziej niezawodny pomiar niż czujniki pasywne. Autor twierdzi, że bardziej liniowe zależności obserwowane z aktywnym czujnikiem prowadzą do hipotezy, że wewnętrzne źródło światła pozwala czujnikowi zredukować efekt własnego cieniowania i usunąć niektóre nieliniowe interakcje. Przedstawione wartości NDVI z czujników pasywnych były wyższe niż z czujnika aktywnego, co spowodowane było efektem zacienienia, które zostało wyeliminowane w czujnikach aktywnych [23]. W literaturze brakuje jednak ujednoliconej metody oceny wpływu źródła światła na dane spektralne, co ogranicza doskonalenie spektrometru odbiciowego rośliny/łanu uprawnego. Należy podkreślić, że stosując stałe źródło światła w pomiarach wszystkich próbek ewentualny błąd pomiaru jest identyczny dla całego zestawu pomiarowego i nie ma on wpływu na zastosowane później metody klasyfikacji danych. W przeprowadzonych badaniach, odchylenia wartości wyznaczonych współczynników wegetacji mogły wynikać z parametrów niezależnych od źródła światła, jego natężenia oraz równomierności. Różnice prawdopodobnie wynikały z wielkości, kształtu, wyglądu roślin (np. kąt i kierunek nachylenia liści, gęstość liści, wysokość rośliny), co dotyczyło roślin tej samej odmiany, sianych w tym samym czasie i uprawianych w ten sam sposób. Współczynnik odbicia mógł różnić się u roślin wyższych/niższych, charakteryzujących się większą/mniejszą liczbą liści, skierowanych bardziej/mniej prostopadle do źródła światła, mimo uprawy w tych samych warunkach nawożenia. Zauważalne jest, że większe odchylenia były obserwowane przy wyższych wariantach nawożenia azoto-
Rys. 5. Wartości średnie wskaźników NDVI i NDRE wraz z odchyleniami standardowym dla poszczególnych klas nawożenia Fig. 5. Average values of NDVI and NDRE indicators with standard deviations for individual classes of fertilization
4. Dyskusja wyników Azot jest ważnym makroskładnikiem biomasy, ponieważ odgrywa istotną rolę w procesach metabolicznych. Jest używany do produkcji białek roślin. Ponadto azot jest niezbędny do biosyntezy aminokwasów, które są konieczne do wzrostu komórek, tworzenia nowych i regeneracji uszkodzonych tkanek. Azot jest również używany do produkcji wielu enzymów i hormonów, które są ważne w prawidłowej pracy organizmu. Jest również składnikiem chlorofilu, który jest miejscem wykonywania procesu fotosyntezy. Detekcja zapotrzebowania na ten makroskładnik przy wykorzystaniu wskaźników NDVI i NDRE jest często spotykana w literaturze, np. przy monitoringu upraw ryżu z użyciem bezzałogowych statków powietrznych (UAV) [17] lub upraw kukurydzy [18, 19]. Sam sensor wykorzystywany w urządzeniu Crop Circle również jest wykorzystywany w mapowaniu zapotrzebowania na azot, głównie jednak na uprawach ryżu [13, 20]. Nieliczne aplikacje tego urządzenia w uprawach kukurydzy są również jednak spotykane, głównie w Stanach Zjednoczonych [14, 21]. Pomiary przeprowadzono z użyciem aktywnego sensora azotu Crop Circle wyposażonego we własne źródło światła: modulowaną polichromatyczną matrycę LED (moc świetlna pojedynczej
Tab. 3. Macierz sterująca doglebowym dozowaniem nawozu na podstawie średnich wartości wskaźników NDVI i NDRE dla sadzonki kukurydzy wykonanych przy prędkości 0,5 m/s za pomocą urządzenia Crop Circle. Wartości liczbowe podane w kg N/ha. W przypadku niezgodnych wartości NDVI i NDRE klasę oznaczono jako „nie – biomasę” (NB) Tab. 3. Matrix controlling soil fertilizer dosing based on the average values of NDVI and NDRE indices for maize seedlings made at a speed of 0.5 m/s using the Crop Circle device. Figures given in kg N/ha. In case of inconsistent NDVI and NDRE values, the class was marked as “non-biomass” (NB)
NDRE
NDVI
16
< 0,106
0,106–0,547
0,548–0,593
0,594–0,654
> 0,655
< 0,062
NB
NB
NB
NB
NB
0,062–0,412
NB
150
125
NB
NB
0,413–0,459
NB
125
100
75
NB
0,460–0,546
NB
NB
75
50
25
> 0,546
NB
NB
50
25
0
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Katarzyna Kubiak-Siwińska, Jan Kotlarz wego. Jest to oczekiwane i typowe zjawisko dla badań z użyciem sensora Crop Circle. Omawiany eksperyment przeprowadzono w kontrolowanych warunkach laboratoryjnych, stosując aktywny sensor azotu, co pozwoliło uniknąć niepewności wynikających z nierównomiernego oświetlenia sadzonek, zróżnicowania warunków wynikających z dostępu do wody, zmienności typu gleby itp. W takich warunkach separacja wskaźników mierzonych przez sensor poprzez różnicowanie nawożenia doglebowego pozwalała na powiązanie NDVI i NDRE z konkretnym wariantem nawożenia. Należy zauważyć przede wszystkim, że wzrostowi NDVI towarzyszył wzrost NDRE (współczynnik korelacji Pearsona = +0,98). Wyjątkiem był tu zakres poziomu nawożenia 125–150 kg·N/ha. Wskaźnik NDVI osiągnął maksimum już dla poziomu nawożenia 125 kg·N/ha (NDVI = 0,685), podczas gdy wskaźnik NDRE po wzroście do wartości 0,493–0,496 dla poziomu nawożenia 100–125 kg·N/ha wzrósł ponownie dla poziomu nawożenia 150 kg·N/ha do +0,596. Wynik ten pokazuje, że dla poprawnego oszacowania braku nawożenia w zakresie do 50 kg·N/ha wymagane są pomiary obu tych wskaźników. Dla braków do 25 kg·N/ha decydującą wartość ma wskaźnik NDRE, dla braków 25–50 kg·N/ha decydująca jest wartość NDVI, dla braków powyżej 50 kg·N/ha wskazania obu wskaźników odzwierciedlają ten niedobór. Otrzymany wynik pozwala na opracowanie wstępnej wersji macierzy precyzyjnego dozowania nawozu przez robot polowy. Struktura ta może być zastosowana w oprogramowaniu sterującym robotem pozwalając na odpowiednie dozowanie w czasie rzeczywistym. Opracowana macierz dozowania przedstawiona jest w postaci tabeli 3. Kolejnym krokiem badań będzie przetestowanie proponowanego rozwiązania w warunkach zbliżonych do operacyjnych. W tym celu przygotowane będzie pole doświadczalne z pięcioma rzędami sadzonek kukurydzy dla każdego wariantu nawożenia, każdy rząd o długości 50 m.
Bibliografia 1. Berger K., Verrelst J., Feret J. B., Wang Z., Wocher M., Strathmann M., Danner M., Mauser W., Hank T., Crop nitrogen monitoring: Recent progress and principal developments in the context of imaging spectroscopy missions. “Remote Sensing of Environment”, Vol. 242, 2020, DOI: 10.1016/j.rse.2020.111758. 2. Kokaly R.F., Clark R.N., Spectroscopic determination of leaf biochemistry using band-depth analysis of absorption features and stepwise multiple linear regression. “Remote Sensing of Environment”, Vol. 67, No. 3, 1999, 267–287, DOI: 10.1016/S0034-4257(98)00084-4. 3. Fourty T., Baret F., Jacquemoud S., Schmuck G., Verdebout J., Leaf optical properties with explicit description of its biochemical composition: direct and inverse problems. “Remote Sensing of Environment”, Vol. 56, No. 2, 1996, 104–117, DOI: 10.1016/0034-4257(95)00234-0. 4. Chapin F.S., Bloom A.J., Field C.B., Waring R.H., Plant responses to multiple environmental factors. “BioScience”, Vol. 37, No. 1, 1987, 49–57, DOI: 10.2307/1310177. 5. Kotlarz J., Siwiński J., Spiralski M., Kubiak K., (2022). Monitoring Effects of Drought on Nitrogen and Phosphorus in Temperate Oak Forests Using Machine Learning Techniques. “Polish Journal of Environmental Studies”, Vol. 31, No. 2, 2022, 1137–1151, DOI: 10.15244/pjoes/141306. 6. Loizzo R., Daraio M., Guarini R., Longo F., Lorusso R., Dini L., Lopinto E., Prisma mission status and perspective. [In:] IGARSS 2019 IEEE International Geoscience and Remote Sensing Symposium, 4503–4506, DOI: 10.1109/IGARSS.2019.8899272.
7. Matsunaga T., Iwasaki A., Tsuchida S., Iwao K., Tanii J., Kashimura O., Nakamura R., Yamamoto H., Kato S., Obata K., Mouri K., Tachikawa T. (2017, July). Current status of hyperspectral imager suite (HISUI) onboard International Space Station (ISS). [In:] 2017 IEEE international geoscience and remote sensing symposium (IGARSS), 443–446, DOI: 10.1109/IGARSS.2017.8126989. IEEE. 8. Guanter L., Kaufmann H., Segl K., Foerster S., Rogass C., Chabrillat S., ... & Sang B., The EnMAP spaceborne imaging spectroscopy mission for earth observation. “Remote Sensing”, Vol. 7, No. 7, 2015, 8830–8857, DOI: 10.3390/rs70708830. 9. Croft H., Arabian J., Chen J.M., Shang J., Liu J., Mapping within-field leaf chlorophyll content in agricultural crops for nitrogen management using Landsat-8 imagery. “Precision Agriculture”, Vol. 21, No. 4, 2020, 856–880, DOI: 10.1007/s11119-019-09698-y. 10. Sharifi A., Using sentinel-2 data to predict nitrogen uptake in maize crop. “IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing”, Vol. 13, 2020, 2656–2662, DOI: 10.1109/JSTARS.2020.2998638. 11. Santos L.C., Aguiar A.S., Santos F.N., Valente A., Petry M., Occupancy grid and topological maps extraction from satellite images for path planning in agricultural robots. “Robotics”, Vol. 9, No. 4, 2020, DOI: 10.3390/robotics9040077. 12. Krishna K.R., Push button agriculture: Robotics, drones, satellite-guided soil and crop management. CRC Press, 2017. 13. Cao Q., Miao Y., Wang H., Huang S., Cheng S., Khosla R., Jiang R., Non-destructive estimation of rice plant nitrogen status with Crop Circle multispectral active canopy sensor. “Field Crops Research”, Vol. 154, 2013, 133–144, DOI: 10.1016/j.fcr.2013.08.005. 14. Cummings C., Miao Y., Paiao G.D., Kang S., Fernández F.G., Corn nitrogen status diagnosis with an innovative multi-parameter crop circle phenom sensing system. “Remote Sensing”, Vol. 13, No. 3, 2021, DOI: 10.3390/rs13030401. 15. McMurtrey III J.E., Chappelle E.W., Kim M.S., Meisinger J.J., Corp L.A., Distinguishing nitrogen fertilization levels in field corn (Zea mays L.) with actively induced fluorescence and passive reflectance measurements. “Remote Sensing of Environment”, Vol. 47, No. 1, 1994, 36–44, DOI: 10.1016/0034-4257(94)90125-2. 16. Księżak J., Ekspertyza dotycząca nawożenia kukurydzy z wykorzystaniem badawczego modelu robota polowego, Instytut Uprawy Nawożenia i Gleboznawstwa, PIB, 2022, (materiał niepublikowany). 17. Jiang R., Sanchez-Azofeifa A., Laakso K., Wang P., Xu Y., Zhou Z., Luo X., Lan Y., Zhao G., Chen X., UAV-based partially sampling system for rapid NDVI mapping in the evaluation of rice nitrogen use efficiency. “Journal of Cleaner Production”, Vol. 289, 2021, DOI: 10.1016/j.jclepro.2020.125705. 18. Scott D.A., Johnson J.M., Gesch R.W., Cover crop and nitrogen rate management practices influence corn NDVI and nitrogen content. “Agronomy Journal”, Vol. 114, No. 4, 2022, 2473–2483, DOI: 10.1002/agj2.21085. 19. Edalat M., Naderi R., Egan T.P., Corn nitrogen management using NDVI and SPAD sensor-based data under conventional vs. reduced tillage systems. “Journal of Plant Nutrition”, Vol. 42, No. 18, 2019, 2310–2322, DOI: 10.1080/01904167.2019.1648686. 20. Shen J., Miao Y., Cao Q., Wang H., Yu W., Hu S., Wu H., Lu J., Hu. X., Yang W., Liu F., Estimating rice nitrogen status using active canopy sensor crop circle 430 in Northeast China. [In:] The Third International Conference on Agro-Geoinformatics, 2014, IEEE, DOI: 10.1109/Agro-Geoinformatics.2014.6910584.
17
Pomiary zapotrzebowania nawozowego kukurydzy za pomocą aktywnego czujnika azotu 21. Solari F., Shanahan J., Ferguson R., Schepers J., Gitelson A., Active sensor reflectance measurements of corn nitrogen status and yield potential. “Agronomy Journal”, Vol. 100, No. 3, 2008, 571–579, DOI: 10.2134/agronj2007.0244. 22. Yu H., Ding Y., Xu H., Dou X., Influence of light intensity distribution characteristics of light source on measurement
results of canopy reflectance spectrometers. “Plant Methods”, Vol. 17, 2021, DOI: 10.1186/s13007-021-00804-8. 23. Fitzgerald G.J., Characterizing vegetation indices derived from active and passive sensors. “International Journal of Remote Sensing”, Vol. 31, No. 16, 2010, 4335–4348, DOI: 10.1080/01431160903258217.
Fertilization of Maize Crops Using Active Sensor Abstract: Nitrogen is an important macronutrient of biomass because it plays an important
role in metabolic processes, protein production, amino acid synthesis, enzymes, hormones and is a component of chlorophyll. The assessment of its deficiencies in maize crops is the subject of scientific research. The article presents the results of measurements in controlled laboratory conditions of remote sensing indices of maize cultivated in fertilization variants of 0–150 kg . N/ha. The proposed method of assessing nitrogen deficiency using the Crop Circle sensor allows for autonomous control of precise soil fertilization in the designed solution of a field robot.
Keywords: nitrogen fertilization, field robot, NDVI, NDRE, biomass
dr Katarzyna Kubiak-Siwińska
mgr Jan Kotlarz
Absolwentka kierunku Biologia (SGGW) oraz kierunku Ochrona Środowiska na Wydziale Biologii Uniwersytetu Warszawskiego. Od 2015 r. pracownik Zakładu Teledetekcji w Instytucie Lotnictwa w Warszawie. Główne zainteresowania naukowe to optymalizacja konfiguracji sensorów optycznych kamer wielospektralnych do obrazowania biomasy oraz elementów przyrodniczych.
Absolwent kierunku astronomia na Wydziale Fizyki Uniwersytetu Warszawskiego oraz Zarządzanie w Wyższej Szkole Bankowej w Poznaniu. Od 2012 r. pracownik Instytutu Lotnictwa. Doktorant na Uniwersytecie Mikołaja Kopernika w Toruniu.
Jan.Kotlarz@ilot.lukasiewicz.gov.pl ORCID: 0000-0002-8212-7798
Katarzyna.Kubiak@ilot.lukasiewicz.gov.pl ORCID: 0000-0002-4156-3139
18
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Pomiary Automatyka Robotyka, ISSN 1427-9126, R. 27, Nr 3/2023, 19–25, DOI: 10.14313/PAR_249/19
Potential of Indirect Regenerative Evaporative Cooling System (M-Cycle) for Electronic Applications Robert Olbrycht, Marcin Kałuża, Mariusz Felczak, Dmytro Levchenko, Bogusław Więcek Łódź University of Technology, Institute of Electronics, Wólczańska 211/215, 90-924 Łódź, Poland
Abstract: The article presents a simple prototype system based on the concept of indirect
regenerative evaporative cooling (IREC) thermodynamic cycle for electronics applications. The key problem of selecting porous capillary material is discussed and preliminary experimental results are presented using IR thermography. The presented research is an initial step towards the development of a laboratory-validated, fully operational IREC system for high-power electronics.
Keywords: evaporative cooling, porous and capillary materials, heat and mass transfer, IR thermography
1. Introduction 1.1. Maisotsenko thermodynamic cycle
The classical thermodynamic cooling system based on the Maisotsenko cycle consists of two air channels, usually called dry and wet channels (DC and WC) [1–3]. The incoming air is cooled in dry channels (DC) due to intense evaporation process that occurs behind the adjacent wall in wet channels (WC). The evaporating medium (usually water) must be continuously supplied. This is usually done through a thin-film hollow fiber (capillary) membrane separating the two channels. This membrane should conduct heat well to effectively cool dry air. A simplified diagram of the change of the thermodynamic state can be presented using the psychrometric chart (Fig. 1).
The air inlet temperature (A) Tin drops due to the heat exchange between the DC and WC and can reach the theoretical dew point limit Tdp(B). In practice, it is rather difficult to approach this limit, and the cooling stops earlier (B’). The air in the WC is then wetted to reach saturation (B”). The temperature of moist air and a thin layer of water varies from TB (TB”) to TC, causing a strong heat flow between the channels and cooling the dry air. To ensure effective cooling, the outlet temperature should be comparable to the inlet temperature. The whole process depends on many parameters, such as mass flow, size of channels, required temperature range, etc. Fig. 1. Typical change of temperature and moisture content during the Maisotsenko cycle Rys. 1. Typowa zmiana temperatury i wilgotności podczas cyklu Maisotsenko
Autor korespondujący: Robert Olbrycht, robert.olbrycht@p.lodz.pl Artykuł recenzowany nadesłany 11.03.2023 r., przyjęty do druku 24.08.2023 r. Zezwala się na korzystanie z artykułu na warunkach licencji Creative Commons Uznanie autorstwa 3.0
Let us take an example. Assume that Tin= 31 °C and RH 38 %. From the psychrometric chart [33] it is easy to read: Tdp= 15.06 °C (dew point), Twet = 20.42 °C (wet bulb). Assuming that the cooling of dry air allows decreasing temperature by 8 °C, thermodynamic parameters vary to RH = 60.9 % and Twet = 17.86 °C. In result the change of enthalpy is about 1.48 kJ/kg. This means that the cooling potential has not been exploited and that there is still room for optimization the configuration of the cooling system.
19
Potential of Indirect Regenerative Evaporative Cooling System (M-Cycle) for Electronic Applications
1.2. Applications and porous material membranes
thermal resistance of the wet sheet and the impact of channels pressure drop. This paper sets a very promising direction for further research. However, the proposed solution was used for airflow cooling which next would be used as a cooling medium. Also, the impact of inlet air temperature and humidity was not investigated.
The concept of Indirect Regenerative Evaporative Cooling (IREC), also known as the Maisotsenko or M-cycle [2, 3], was developed and published first in the 1970s. From the beginning, its essence was a heat exchanger with alternating wet and dry channels, with moisture covering the walls of the wet channels, with a part of the airflow at the outlet of the dry channels being redirected to the wet channels. A regenerative heat exchange process was taking place in the device, exploiting the latent heat of water film evaporation in the wet channels due to the psychrometric temperature difference between the cooled dry air and the temperature of a thin layer of water. This temperature difference was the driving force of the heat exchange process in the apparatus, making it possible to cool down the product stream below the wet bulb temperature of the inlet air. Since then, many research papers, both theoretical and experimental, were published on the subject. So far, IREC solutions were proposed for heating, ventilation and air-conditioning (HVAC) systems, in the power industry for fuel cells, gas turbines, exergy towers or combustion cycles, water distillation/ desalination systems or for heat recovery systems [4–10]. Indirect evaporative coolers consume electricity and water to produce cooling energy. Their performance depends on the device geometry and moisture distribution in wet channels. Dew point devices achieve Energy Efficiency Ratio (EER) values of up to 80 %, an order of magnitude greater than typical compressor-based cooling systems [11]. Scientists are striving to reduce the electricity consumption of IREC devices by modifying their geometry [12–14]. Some researchers concentrated on the problem of pressure drop reduction [12, 13] or materials [15]. One of the most important elements of an IREC device is the membrane separating the wet channel from the dry channel. One requires it to be: − impermeable to fluids, in order to prevent moisture migration from WC to DC; fluid or water vapor migration is allowed only from DC to WC; − to have low thermal resistance of the porous membrane and high heat transfer coefficient on both sides in order to easily absorb the heat from the DC air and transfer it to the WC, thus accelerating the evaporation and cooling process; − to provide effective moisture absorption and distribution over its surface from the wet channel side, usually based on capillary effects.
1.3. Tools for modelling phase-change cooling systems
IREC system modeling is widely investigated in the literature. Various types of the IREC models can be found. In general, there can be distinguished analytical and numerical types of the IREC models and both of them can be transient or static. Some of the models consider condensation from the fresh air [27]. Very few papers refer to applications in electronic cooling. Most of the papers assume that the air is perfectly dry. This comes from the fact that IREC systems are widely used for air conditioning in dry regions and the models are related to air conditioning systems. Most of the analytical models are based on simple thermodynamic equations and calculations of the heat and mass transfer through the wet and dry channels. The heat is removed due to the latent heat of water evaporation and thanks to the temperature difference between incoming air and the wall. For numerical simulations various commercial software can be found for example: ANSYS, COMSOL, TRNSYS, etc. COMSOL is a commercial multipurpose simulation software that can be employed for electromagnetics, structural mechanics, acoustics, fluid flow, heat transfer, chemical engineering and many other applications. The software is based on the FEM (Finite Element Method) which is one of the numerical methods applicable for solving differential equations in many fields of physics. In FEM, an object is divided into small elements. Each element is represented by element equation in order to approximate equations for whole geometry. These small elements are called finite elements. The aim of the method is to minimize an error function and find a stable solution. Evaporative cooling can be simulated in COMSOL environment using Heat Transfer Module. In gases the saturation pressure Psat can be defined. At this pressure, the gas and liquid phase of the substance are in equilibrium. This state depends on the temperature. COMSOL uses the following approximation for Psat (1) [30].
( )
Psat= T 610.7 ⋅ 10
Thus, the use of hydrophobic coatings or porous materials was also investigated in [13, 16, 17]. Whereas not directly devoted to IREC devices and systems, several papers were also lately devoted to the problem of nanoporous membranes wicking and evaporation processes [18–22]. The use of IREC systems for electronics cooling was presented quite rarely and the most informative studies were published in [23, 24, 26]. In [24, 25], the authors investigated the possibility of using IREC technology for data center cooling. In [23], the authors proposed to use IREC technology for electronics cooling, but the content of the paper was general, without electronics-related specifics. In 2021, the article [26] was published. It is the first and so far only paper, where a scaled-down M-cycle cooling system for electronics was presented. It investigated its applicability for electronic device cooling. The ambient air was supplied to the dry channel by a fan. Next, it was cooled down by moisture evaporation in the adjacent wet channel. At the end of the dry channel, a part of the cooled air was drawn by another fan into the wet channel, where it caused evaporation of the water film from the wet sheet separating the channels. The remaining output air from the dry channel was intended to be used for device cooling purposes. The authors demonstrated that the cooler achieved maximum efficiency with turbulent flow in both WC and DC. They also pointed out to the problem of
20
P
O
M
I
A
R
Y
•
A
U
T
O
M
75
T − 273.15 T − 35.85
Pa
(1)
where T is substance temperature. TRNSYS is commercial software that enables to simulate of transient systems like: central plant modeling, building simulation (including LEED – energy modeling – modeling according to Leadership in Energy and Environmental Design organization regulations), solar thermal processes, ground coupled heat transfer, high-temperature solar applications, geothermal heat pump systems, coupled multizone thermal/airflow modeling, optimization, energy system research, emerging technology assessment, power plants (biomass, cogeneration), hydrogen fuel cell systems, wind and photovoltaic systems, data and simulation calibration. The software has a lot of ready-to-use models like pumps, ducts, and HVAC equipment. The user can build his own model or models can be edited by the user. Evaporation and coming from this evaporation heat transfer can be simulated in TRNSYS software but a precise description of the model could not be found [31]. ANSYS software is also based on FEM concept. The area of applications is really wide. For example, it can be employed for the simulation of: electric motors, electrified powertrain system integration, electromagnetic interface and compatibility, electronics reliability, gas turbines, gas-liquid systems, heat exchangers and many others. A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Robert Olbrycht, Marcin Kałuża, Mariusz Felczak, Dmytro Levchenko, Bogusław Więcek Evaporation and condensation modeling can be done using Volume of Fluid (VOF) modeling [32]. It bases on the assumption that the simulated fluids are immiscible. For example, the momentum equations are solved separately for each of the fluids in the domain. Apart from the modeling of the air as VOF the evaporation-condensation model can be applied. The Eulerian multiphase model is used. The mass transfer for Tsat > T takes form of equation (2). m= coeff ⋅ αυ ρυ e →υ
T − Tsat Tsat
(2)
Analytical models are usually simple and based on heat and mass balance equations well known from thermodynamics. One of the most important issue is to model properly the wet channel. There has to be considered heat and mass transfer between air and the water film. The following formula (4) presenting the gradient of absolute humidity along the wet channel can be found in the literature [28]: d ωW , f hm AW = ω − ωW , f dx LW mW , f W ,S
(
)
(4)
where: coeff – coefficient that can be interpreted as a relaxation time [32], αυ and ρυ – phase volume fraction and density, me→υ – mass flow rate, T, Tsat – temperature and saturation temperature.
where: ωw,s – saturated absolute humidity (at working air temperature Tw,f), AW – cross sectional area, Lw – channel length, mw,f – mass flow rate (VOF), hm – convection coefficient.
The first of the above equations refers to mass transfer from liquid to vapor phase and is expressed in kg/s/m3. The mass flow rate multiplied by the latent heat gives the source term for the energy equation. ANSYS package also uses the Hertz-Knudsen equation [29] that enables the calculation of evaporation-condensation flux expressed in kg/s/m2.
2. Prototype cooling system and preliminary experimental results
= F β
M P * − Psat 2π RTsat
(
)
(3)
where: Psat – saturation pressure, Tsat – saturation temperature, R – universal gas constant, β – accommodation coefficient 1 ≥ β ≥ 0 (depends on evaporation rate) [32], P* – vapor partial pressure on the gas side of the interface, M – molar mass.
a)
b)
Fig. 2. a) Porous membrane structure inside the prototype, with temperature and relative humidity sensor visible, b) thermal image showing the cooling effect, with 21.5 °C measured in the center point Rys. 2. a) Porowata struktura membrany wewnątrz prototypu z widocznym czujnikiem temperatury i wilgotności względnej, b) obraz termiczny przedstawiający efekt chłodzenia, przy temperaturze 21,5 °C mierzonej w punkcie środkowym
The prototype was built according to the principle described in section 1.1. However, two wet channels were placed at both sides of the dry channel, instead of only one shown in Fig. 1. It was done to eliminate the need for thermal insulation at one side and to further improve cooling performance. The air flow through the prototype was forced by two low-speed 5 cm-diameter fans. The length of the prototype was 29 cm, with two 27 cm long vertical membranes forming a dry channel, 6 cm high, with vertically variable width, ranging from zero to 1 cm. This variable width enables further investigation of optimal channel width. The membranes, supported by 3D-printed frames, were made of thin metallic layer covered with thin, porous material, as shown in Fig. 2a. The metallic layers were directed to the inside of the dry duct, and the porous ones to the wet one. Thanks to the capillary effect, the whole membranes area was supplied with water from a tank placed below the bottom plate, creating cooling effect as shown in thermal image taken with a bolometer thermal imaging camera (Fig. 2b). Note the cooling effect is also visible at the top plate, along the DC. Two temperature and humidity sensors were placed in the prototype – in the beginning and end of the DC. The second one is partially visible in Fig. 2. The sensing elements were not in touch with the structure and measured air parameters – namely temperature and RH, as shown in figures 3 and 5. There are three input temperature values set during the experiment – 31 °C, 40 °C and 26.5 °C (corresponding to phase 1, 2 and 3). It can be observed that increasing input temperature results in higher difference between input and output temperature, as shown in Fig. 4. It translates to better wet bulb effiFig. 3. Temperature chart – input and output of the DC Rys. 3. Wykres zmian temperatury w czasie na wlocie i wylocie suchego kanału (DC)
21
Potential of Indirect Regenerative Evaporative Cooling System (M-Cycle) for Electronic Applications Fig. 4. Chart of temperature difference between input and output of the DC and wet bulb efficiency Rys. 4. Wykres różnicy temperatury na wlocie i wylocie suchego kanału oraz sprawność procesu odniesiona do temperatury mokrego termometru
Fig. 5. RH chart – input and output of the DC Rys. 5. Wykres zmian wilgotności względnej na wlocie i wylocie suchego kanału
ciency εWB expressed by the formula (5) and shown in Fig. 4. Temperature indexes are used according to Fig. 1.
εWB =
Tin − Tp
Figure 2 shows the experimental cell of the heat exchanger in which the cross-section of the dry channel varies in height. This made it possible to evaluate the influence and relationships of the geometry of the dry channel (primarily its height and length) with the achieved temperature of the cooling flow. The wet channel here has been deliberately made significantly larger to minimize the parallel effect of wet channel geometry on cooler performance. The significantly larger wet duct volume in a given test cell maximizes the driving force of the evaporation process, which in a limited wet duct cell volume would invariably drop due to the rapid saturation of the air with evaporated moisture vapor. In addition, based on the data obtained using a thermal imaging camera, it was possible to estimate the temperature gradient along the channel, see Fig. 2b (upper part of the apparatus), which made it possible to confirm the reduction in the driving force of the heat transfer process. Based on the theory of heat transfer, it is known that the theoretical limiting efficiency of any heat exchanger for a given temperature difference is achieved if its heat transfer surface tends to infinity. Of course, such a condition has no practical application, but based on it, it is possible to determine the optimal geometry of the heat exchanger with a sufficient degree of accuracy, by iterative approximations. Moreover, taking into account that IREC technology devices use water as a refrigerant, which has high values of specific heat and phase transition heat during evaporation, the optimal geometric dimensions of the device should be significantly smaller than devices in which there are no coolant phase transitions. The only “weak link” in apparatuses of this type is a dry channel, where phase transitions do not occur, the heat capacity and thermal conductivity of the air are low, and the gas flow rates are not high. There-
(5)
Tin − Twet
In terms of relative humidity, it increases along the DC due to cooling. When recalculated to absolute humidity, its change turns out to be negligibly increased at the DC output compared to its input, as there is no water access to DC (except some possible insignificant leaks from WCs). One can notice WB efficiency, calculated with formula (5), overpassing 1 during phase 2 in Fig. 4. It reaches 1.0378 and results from WB temperature (calculated basing on DC input temperature and RH) exceeding DC output temperature in this phase, as shown in Fig. 3. This effect confirms operation in M-cycle (which is characterized by εwb > 1, that is calculated with reference to TWB for input parameters) and is correct from the theoretical point of view, as the limit is εdp = 1.
3. Discussion and conclusions The data obtained allow us to conclude that the use of IREC technology for cooling electronics has significant potential. However, it should be noted that the efficiency of the heat exchanger, and its geometry in the framework of the experimental campaign was far from optimal, because the main goal of this work is to determine and verify the potential of IREC technology for electronics cooling tasks, as well as to outline the scope of the expected tasks when using this technology.
22
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Robert Olbrycht, Marcin Kałuża, Mariusz Felczak, Dmytro Levchenko, Bogusław Więcek fore, it is very important to determine the practical limit of the length of the heat exchanger using the IREC technology, based primarily on the geometry of the dry channel (its width). To do this, it is rational to step by step change the length of the device at a constant value of the width of dry and wet channels at each iterative approximation. For example, it is possible to evaluate the characteristics of a cooler taking the width of a dry channel in the range 1–3 mm with an iteration step of 0.5 or 1 mm and device lengths of 250, 500, 750, 1000, 1250 mm, respectively, for each iteration. If, at the selected geometric ratio (dry channel width), the temperature reached at the outlet of the cooler ceases to decrease with an increase in the length of the apparatus, it can be stated that the practical limit of the heat exchanger according to the IREC technology has been reached using the selected materials and the selected layout. Based on the experimental data presented in Figures 3 and 4, it can be concluded that it is preferable to conduct tests for environmental conditions with increased temperature, when the need for cooling electronic devices increases. The recommended minimum temperature level at the inlet to the apparatus can be taken as 32 ℃, because starting from this temperature, the need for cooling electronic devices increases significantly. It is important to note that ambient humidity plays a key role in determining the effectiveness of IREC devices, as it is the ratio of partial pressures of air at the inlet to the wet channel that is the key driving force of the evaporation process. Therefore, it is advisable to clarify the optimal geometry of the apparatus, taking into account the influence of the humidity of the incoming air on its characteristics. The recommended minimum humidity level is proposed to be 40 %. This level of humidity corresponds to most of the real conditions for cooling electronic devices in a room (indoor conditions). As can be seen from Fig. 5, the output relative humidity of the air does not exceed 90 %, which eliminates the phenomenon of condensation on the surface of electronic devices and is an additional positive feature of heat exchangers using IREC technology. In conclusion, it should be noted that to date there are no publications in which experimental studies have been carried out to determine the limits of the cooling capacity of the IREC technology for electronics. Therefore, further study of this technology can provide important knowledge both about the fundamental processes and determine the practical limits of its applicability for cooling electronics. As part of the next experimental campaign, it is planned to create a more advanced experimental stand for studying the characteristics of IREC heat exchangers with different geometries.
Acknowledgments
The work was supported by the National Science Centre, Poland, under research project „Phase change electronic devices cooling systems based on the thermodynamic Maisotsenko cycle„number 2022/45/B/ST7/02820.
References 1. Levchenko D., Yurko I., Artyukhov A., Baga V., Maisotsenko cycle applications for multistage compressors cooling. IOP Conference Series: Material Science and Engineerings, Vol. 233, 2017, DOI: 10.1088/1757-899X/233/1/012023. 2. Maisotsenko V. et. al., Method of indirect-evaporative air cooling in household electrical appliances, Proceedings of World Electrotechnical Congress, Moscow, USSR, 1977. 3. Maisotsenko V. et. al., Air Cooling Device for Indirect Evaporative Cooling, USSR Patent 979,796. 4. Mahmood M.H., Sultana M., Miyazaki T., Koyama S., Maisotsenko V.S., Overview of the Maisotsenko cycle – A way towards dew point evaporative cooling, “Renewable
and Sustainable Energy Reviews”, Vol. 66, 2016, 537–555, DOI: 10.1016/j.rser.2016.08.022. 5. Dizaji H.S., Hu E.J., Chen L., A comprehensive review of the Maisotsenko-cycle based air conditioning systems, “Energy”, Vol. 156, 2018, 725–749, DOI: 10.1016/j.energy.2018.05.086. 6. Sajjad U. et al., A review of recent advances in indirect evaporative cooling technology, “International Communications in Heat and Mass Transfer”, Vol. 122, 2021, DOI: 10.1016/j.icheatmasstransfer.2021.105140. 7. Gorshkov V., Systems Based on Maisotsenko Cycle: Coolerado Cooler, BSc thesis, Building Services Engineering, Mikkeli University of Applied Sciences, December 2012. 8. Pacak A., Worek W., Review of Dew Point Evaporative Cooling Technology for Air Conditioning Applications, “Applied Sciences”, Vol. 11, No. 3, 2021, DOI: 10.3390/app11030934. 9. Bi Y., Wang Y., Ma X., Zhao X., Investigation on the Energy Saving Potential of Using a Novel DewPoint Cooling System in Data Centres, “Energies”, Vol. 10, No. 11, 2017, DOI: 10.3390/en10111732. 10. Pandelidis D., Cichoń A., Pacak A., Anisimov S., Drąg P., Performance comparison between counter and cross‐flow indirect evaporative coolers for heat recovery in air conditioning systems in the presence of condensation in the product air channels, “International Journal of Heat and Mass Transfer”, Vol. 130, 2019, 757–777, DOI: 10.1016/j.ijheatmasstransfer.2018.10.134. 11. Duan Z. et. al., Indirect evaporative cooling: Past, present and future potentials, “Renewable and Sustainable Energy Reviews”, Vol. 16, No. 9, 2012, 6823–6850, DOI: 10.1016/j.rser.2012.07.007. 12. De Antonellis S., Cignatta L., Facchini C., Liberati P., Effect of heat exchanger plates geometry on performance of an indirect evaporative cooling system, “Applied Thermal Engineering”, Vol. 173, 2020, DOI: 10.1016/j.applthermaleng.2020.115200. 13. Xu P., Ma X., Zhao X., Fancey K., Experimental investigation of a super performance dew point aircooler, “Applied Energy”, Vol. 203, 2017, 761–777, DOI: 10.1016/j.apenergy.2017.06.095. 14. Waqas M.A. et. al., Performance enhancement of a cross flow dew point indirect evaporative cooler with circular finned channel geometry, “Journal of Building Engineering”, Vol. 35, 2021, DOI: 10.1016/j.jobe.2020.101980. 15. Jia L., Liu J., Wang C., Cao X., Zhang Z., Study of the thermal performance of a novel dew point evaporative cooler, “Applied Thermal Engineering”, Vol. 160, 2019, DOI: 10.1016/j.applthermaleng.2019.114069. 16. Lee J., Lee D.-Y., Experimental study of a counter flow regenerative evaporative cooler with finned channels, “International Journal of Heat and Mass Transfer”, Vol. 65, 2013, 173–179, DOI: 10.1016/j.ijheatmasstransfer.2013.05.069. 17. Lv J., Xu H., Xu T., Liu H., Qin J., Study on the performance of a unit dew-point evaporative cooler with fibrous membrane and its application in typical regions, “Case Studies in Thermal Engineering”, Vol. 24, 2021, DOI: 10.1016/j.csite.2021.100881. 18. Ranjan D. et al, Vapor generation via porous nanochannel wicks, “Cell Reports Physical Science”, Vol. 3, No. 2, 2022, DOI: 10.1016/j.xcrp.2022.100738. 19. Liu R., Liu Z., Enhanced Evaporation of Ultrathin Water Films on Silicon-Terminated Si3N4 Nanopore Membranes, “Langmuir”, Vol. 37, No. 3, 2021, 10046−10051, DOI: 10.1021/acs.langmuir.1c0121. 20. Xia G., Wang J., Zhou W., Ma D., Wang J., Orientation effects on liquid-vapor phase change heat transfer on
23
Potential of Indirect Regenerative Evaporative Cooling System (M-Cycle) for Electronic Applications nanoporous membranes, “International Communications in Heat and Mass Transfer”, Vol. 119, 2020, DOI: 10.1016/j.icheatmasstransfer.2020.104934. 21. Hanks D.F., Lu Z., Sircar J., Salamon T.R., Antao D.S., Bagnall K.R., Barabadi B., Wang E.N., Nanoporous membrane device for ultra high heat flux thermal management, “Microsystems & Nanoengineering”, Vol. 4, No. 1, 2018, DOI: 10.1038/s41378-018-0004-7. 22. Li R., Wang J., Xia G., New Model for Liquid Evaporation and Vapor Transport in Nanopores Covering the Entire Knudsen Regime and Arbitrary Pore Length, “Langmuir”, Vol. 37, No. 6, 2021, 2227−2235, DOI: 10.1021/acs.langmuir.1c00023. 23. Maisotsenko V., Reyzin I., The Maisotsenko Cycle for Electronics Cooling, 2005 International Electronic Packaging Technical Conference and Exhibition, IPACK2005, 415– 424, DOI: 10.1115/IPACK2005-73283. 24. Weerts B.A. et. al., Green Data Center Cooling: Achieving 90% Reduction: Airside Economization and Unique Indirect Evaporative Cooling, 2012 IEEE Green Technology Conference, USA, DOI: 10.1109/GREEN.2012.6200950. 25. Bi Y., Wang Y., Ma X., Zhao X., Investigation on the Energy Saving Potential of Using a Novel Dew Point Cooling System in Data Centres, “Energies”, Vol. 10, No. 11, 2017, DOI: 10.3390/en10111732. 26. Dizaji H.S. et. al., Proposing the concept of mini Maisotsenko cycle cooler for electronic cooling purposes; experi-
mental study, “Case Studies in Thermal Engineering”, Vol. 27, 2021, DOI: 10.1016/j.csite.2021.101325. 27. Chen Y., Luo Y., Yang H., A simplified analytical model for indirect evaporative cooling considering condensation from fresh air: Development and application, “Energy and Buildings”, Vol. 108, 2015, 387–400, DOI: 10.1016/j.enbuild.2015.09.054. 28. Tariq R., Benarab F.Z., Mathematical Modelling and Numerical Simulation of Maisotsenko Cycle, World Academy of Science, Engineering and Technology, “International Journal of Mechanical and Mechatronics Engineering”, Vol. 11, No. 9, 2017, 1618–1625. 29. Persad A., Ward Ch., Expressions for the Evaporation and Condensation Coefficients in the Hertz-Knudsen Relation. “Chemical Reviews”. Vol. 116, No. 14, 2016, 7727-8314, DOI: 10.1021/acs.chemrev.5b00511.
Other sources 30. www.comsol.com – Introduction to Modeling Evaporative Cooling 31. www.trnsys.com/ 32. www.ansys.com – Resource center, Ansys 2021 R1: Multiphase Volume of Fluid (VOF), Evaporation-condensation Model 33. www.kwangu.com/work/psychrometric.htm
Możliwości zastosowania systemu IREC (pracującego w cyklu M) do chłodzenia układów elektronicznych Streszczenie: W artykule przedstawiono prototypowy układ chłodzenia oparty na koncepcji
cyklu termodynamicznego pośredniego regeneracyjnego chłodzenia wyparnego (IREC) do zastosowań w elektronice. Omówiono kluczowy problem doboru porowatego materiału kapilarnego i przedstawiono wstępne wyniki eksperymentów z wykorzystaniem termografii w podczerwieni. Przedstawione badania stanowią wstępny krok w kierunku opracowania zweryfikowanego laboratoryjnie, w pełni funkcjonalnego systemu IREC do odprowadzania ciepła w systemach elektronicznych dużej mocy.
Słowa kluczowe: chłodzenie wyparne, materiały porowate i kapilarne, wymiana ciepła i masy, termografia w podczerwieni
24
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Robert Olbrycht, Marcin Kałuża, Mariusz Felczak, Dmytro Levchenko, Bogusław Więcek
Robert Olbrycht, PhD, Eng.
Marcin Kałuża, PhD, Eng.
Robert Olbrycht received the Ph.D. degree in electronic engineering from the Lodz University of Technology, Lodz, Poland, in 2012. He is currently an Assistant Professor of Electronics with the Institute of Electronics, Lodz University of Technology. He has published papers on optical gas imaging with thermal imaging cameras and applications of thermography for industrial purposes.
Marcin Kałuża was born in Lodz, Poland. He received the M.Sc. and Ph.D. degrees in electronics from Lodz University of Technology in 1995 and 2007, respectively. He is an Assistant Professor at Lodz University of Technology. His research interests include thermal management of electronic circuits, temperature measurements, and industrial applications of thermography.
Mariusz Felczak, PhD, Eng.
Dmytro Levchenko, PhD, Eng.
Mariusz Felczak received the MSc degree in electronic engineering from Lodz University of Technology, Poland, in 2002. Earlier he carried out research for his master thesis on thermal measurements in electronics at the ELIS Department of Ghent University, Belgium. Since 2002 he is working in Lodz University of Technology. He received the PhD degree from the Lodz University of Technology in Poland in 2007. His research interests include modelling of heat and mass exchange in electronics cooling.
Received the Ph.D. degree in mechanical engineering from the Sumy State University, Sumy, Ukraine, in 2012. He currently performs as an Assistant Professor of Ecotechnology Team, Lodz University of Technology, Poland. His activities cover the research and development of modern energy efficient cooling, heating and recovery systems, as well as the improvement and development of evaporative cooling technologies for various technical applications.
robert.olbrycht@p.lodz.pl ORCID: 0000-0001-9842-2815
mariusz.felczak@p.lodz.pl ORCID: 0000-0003-2360-6091
marcin.kaluza@p.lodz.pl ORCID: 0000-0003-2990-1702
dmytro.levchenko@p.lodz.pl ORCID: 0000-0003-0766-4371
Prof. Bogusław Więcek, DSc, PhD, Eng. boguslaw.wiecek@p.lodz.pl ORCID: 0000-0002-5003-1687
Prof. Bogusław Więcek is the head of the Department of Electronic Circuits and Thermography at the Institute of Electronics of the Lodz University of Technology. He specializes in computer thermography and modeling of thermal problems in electronic systems. He is a member of the scientific committee of the international Conference on Quantitative Infrared Thermography (QIRT) and chairman of the Conference on Infrared Thermography and Thermometry organized periodically in Poland.
25
26
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Pomiary Automatyka Robotyka, ISSN 1427-9126, R. 27, Nr 3/2023, 27–32, DOI: 10.14313/PAR_249/27
The Impact of Optical Fiber Type on the Temperature Measurements in Distributed Optical Fiber Sensor Systems Mateusz Łakomski, Mateusz Płona, Bartłomiej Guzowski
Department of Semiconductor and Optoelectronic Devices, Lodz University of Technology, Politechniki Ave. 10, 93-590 Lodz, Poland
Iyad S. M. Shatarah
Institute of Electronics, Lodz University of Technology, Politechniki Ave. 10, 93-590 Lodz, Poland, email: iyad.shatarah@p.lodz.pl
Abstract: This paper presents the capabilities of using distributed optical fiber sensors to
obtain the temperature profile of an optical path made of silica telecom optical fiber. The impact of the optical fiber type on the temperature measurements is also observed. Two types of optical fibers are tested: standard G.652.D and low-loss G.654.C. DOFS systems for temperature measurements are based on the phenomenon of Raman or Brillouin backscattering. In case of Brillouin-based systems, the spectral properties depend on the type of optical fiber and its parameters. The Brillouin frequency shift depends on the temperature around the fiber, as well as the strain applied to the optical fiber. The presented results show that temperature coefficient can also vary depending on the optical fiber type. For the standard G.652.D optical fiber, the temperature coefficient equals 1.12 MHz/°C and 1.14 MHz/°C depending on the tracked peaks, while for the low-loss G.654.C fiber it equal 1.4 MHz/°C.
Keywords: optical fiber, DOFS, OTDR, Brillouin scattering
1. Introduction Depending on the amount of sensing points, optical fiber sensors can be defined as single-point, multi-point or distributed sensors. Optical fiber sensors can be classified, based on the principle of operation, into [1]: − intensity-modulated, which rely on the measurement of attenuation along the optical fiber, e.g.: micro- and macro-bend sensors, evanescence wave sensors, − phase-modulated, which measure the interference of the optical fibers based on the interferometry principle, e.g.: Mach-Zehnder, Michelson, Sagnac and Fabry-Perot interferometers, − wavelength-modulated, which rely on the measurement of wavelength variations, e.g.: Fiber Bragg Grating, fluorescence sensors, − polarization-based, which implement the birefringence phenomenon in order to determine the change in the refractive
Autor korespondujący: Iyad S. M. Shatarah, iyad.shatarah@p.lodz.pl Artykuł recenzowany nadesłany 28.06.2023 r., przyjęty do druku 21.07.2023 r. Zezwala się na korzystanie z artykułu na warunkach licencji Creative Commons Uznanie autorstwa 3.0
index resulting from the change in polarization, e.g.: rotator Faraday rotating sensor, − scattering-based, which implement the light scattering phenomenon in order to measure physical quantities variations in the optical fiber environment, such as electromagnetic fields, temperature and strain, e.g.: Rayleigh, Brillouin and Raman reflectometry. Distributed optical fiber sensors (DOFS) have been popular in the past years due to the growing need to perform measurements at long distances with a respectful spatial and measurand resolutions, as well as the relatively simple and low-cost construction of the sensing system [2]. One optical fiber can replace a huge number of discrete sensors, covering distances up to tens of kilometers, providing thousands of measurement points depending on the system spatial resolution [3]. Thanks to the huge development in optical fibers, their immunity to electromagnetic interferences and durability [4, 5], DOFS systems can easily outperform conventional sensing systems, not only by the means of measurements quality, but also by the wide spectrum of applications [6–8] that can utilize these systems, even in the harsh environments [9]. The studies of the backscattered bands: Rayleigh, Brillouin and Raman, proved their dependency on the physical changes of the optical fiber itself, as well as physical changes in the environment around the optical fiber [10]. The measurement of the backscattered Rayleigh band can be implemented in distributed pressure measurements [11], magnetic fields detec-
27
The Impact of Optical Fiber Type on the Temperature Measurements in Distributed Optical Fiber Sensor Systems tion [12] or chemicals detection [13]. One may obtain temperature measurements alongside strain measurements along the optical fiber by measuring the backscattered Brillouin band [14]. However, the acquirement of only the temperature profile along the optical fiber by the measurement of the backscattered Raman anti-Stokes band is preferable, thus it is commonly used in distributed temperature sensing (DTS) systems [15]. DOFS systems are also used in the power cable monitoring [4], structure health monitoring [16], hydrology [17] and several other applications [18]. The DOFS systems measurements are performed in the optical time domain reflectometry (OTDR) [4], or in the optical frequency domain reflectometry (OFDR) [19]. The behavior of acoustic waves in optical fibers can be influenced by their construction and refractive index profiles, which can lead to variations in the Brillouin scattering parameters. To examine the behavior of acoustic waves and acousto-optic interactions in a limited geometry, it might also be helpful to compare the Brillouin gain spectra in various optical fibers types [20]. In this paper, two optical fibers are investigated in order to verify the impact of the optical fiber type on the quality of the obtained results of a DOFS system based on the measurement of the Brillouin backscattered band in the time domain. The first one is a standard optical fiber used in Fiber To The Home (FTTH) network, while the second is used in a long-haul networks due to lower attenuation. Obtained results can be handful during the development of FTTH networks extended with temperature sensing abilities.
Brillouin light scattering (BLS) is an interaction between photon and acoustic wave (phonon), where due to the annihilation of a photon of pump laser a Stokes photon and a phonon are created [16]. Hence, the frequency of the backscattered optical signal ν BS is slightly lower than that of the incident light ν P . The difference in frequency is related to the frequency of emitted phonons. The Brillouin frequency shift can be obtained by [22]: 2n
ν P − ν BS = ∆ν B = eff va , λp
where neff is the effective refractive index of optical fiber, va is the speed of the acoustic wave in the optical fiber, λp is the wavelength of incident light. For silica-based optical fiber the value of the initial Brillouin frequency ν B 0 is typically ranging from 9 to 11 GHz for 1550 nm incident wavelength. The number of Brillouin frequency peaks and their value and intensity depend on the type of optical fiber, where the refractive index profile has the most influence [23]. The refractive index depends on the temperature and strain, due to the thermo-optic and photo-elastic effects, respectively. Hence, the Brillouin frequency shift ∆ν B can be observed under the influence of temperature or strain changes along the length of the fiber [24]:
∆ν B = ν B 0 + CT (T − T0 ) + C ε ( ε − ε 0 ) ,
2. Backscattering in optical fibers
In order to distinguish the two measured values, it is necessary to use compensation methods, e.g. the implementation of two parallel fiber optic lines, one of which will not be susceptible to any stresses, or the implementation of optical fiber with different temperature and strain coefficients.
3. Measurement setup In order to verify the impact of the optical fiber type and parameters, the measurement setup shown in Fig. 2 is built. The optical system consists of OZOptics DSTS unit, which is a Brillouin Optical Time Domain Reflectometer (BOTDR), operating at the wavelength of 1550 nm [27]. The wavelength of the laser used in this unit is 1550 nm. This unit allows the setting of the desired spatial resolution through the setting of the input laser pulse duration. The optical system is connected with PC unit for data acquisition and analysis. The BOTDR unit is connected through the optical fiber jumper to the prepared optical path, which includes two types of single-mode telecommunication optical fibers: sections 1, 2 and 3 are G.652.D optical fibers, while section 4 and 5 are G.654.C. Sections 2 and 4 are placed in the heat chamber in order to change their temperature. During the measurements, the temperature in the heat chamber was set to 20 °C, 40 °C or 70 °C. As mentioned above, both optical fibers are single-mode. However, the second optical fiber type, according
Fig. 1. The backscattered light spectrum Rys. 1. Spektrum rozproszonego światła
P
O
M
I
A
R
Y
•
A
U
T
O
M
(2)
where ν B 0 is the initial Brillouin frequency, CT and C ε are the temperature and strain coefficients of optical fiber respectively, T and ε are the measured temperature and strain values respectively, T0 and ε 0 are the reference temperature and strain values respectively. The temperature and strain coefficients are different for each optical fiber, resulting from the variety of acoustic velocities in different types of optical fibers [25]. Hence, a series of experiments must be held in order to determine the value of each coefficient for each optical fiber [26].
In optical fibers, light scattering is caused by the interaction between the light photons and the medium particles, and is enhanced by the variation of physical properties of the optical fiber and the surroundings. Light scattering is either elastic, where frequency of incident and the frequency of the scattered photons are equal, or inelastic, where the frequency of the scattered photons is shifted to lower (Stokes) or higher (anti-Stokes) frequencies [2]. Fig. 1 presents the light scattering spectrum. Light scatters in every direction. The main principle in the DOFS systems is the collecting of the backscattered light spectrum. While the actual sensing mechanism in Brillouin-based DOFS systems relies on the measurement of the Brillouin frequency shift in order to calculate the strain and temperature variations, Raman-based DOFS systems measure the intensity of the Raman anti-Stokes band, which strongly depends on temperature [14]. In Raman-based DOFS systems, one may enhance the system’s signal to noise ratio (SNR) by excluding the attenuation and fiber link losses, which is possible by registering the backscattered Rayleigh signals, then applying the demodulation algorithm to calculate the ratio between the Raman anti-Stokes signals and the Rayleigh signals [21].
28
(1)
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Mateusz Łakomski, Iyad S. M. Shatarah, Mateusz Płona, Bartłomiej Guzowski
Bibliography 1. Pendão C., Silva I., Optical Fiber Sensors and Sensing Networks: Overview of the Main Principles and Applications, “Sensors”, Vol. 22, No. 19, 2022, 7554, DOI: 10.3390/s22197554. 2. Hartog A. H., An Introduction to Distributed Optical Fibre Sensors, “CRC Press”, 1st edition, 2007. DOI: 10.1201/9781315119014. 3. Palmieri L., Schenato L., Distributed Optical Fiber Sensing Based on Rayleigh Scattering, “The Open Optics Journal”, Vol. 7, 2013, 104–127, DOI: 10.2174/1874328501307010104. 4. Yilmaz G., Karlik S.E., A distributed optical fiber sensor for temperature detection in power cables, “Sensors and Actuators A” Physical”, Vol. 125, No. 2, 2006, 148–155, DOI: 10.1016/j.sna.2005.06.024. 5. Seitz W.R., Chemical Sensors Based on Fiber Optics, “Analytical Chemistry”, Vol. 56, No. 1, 1984, 16A–34A, DOI: 10.1021/ac00265a711. 6. Guzowski B., Łakomski M., Temperature sensor based on periodically tapered optical fibers, “Sensors”, Vol. 21, No. 24, 2021, 8358, DOI: 10.3390/s21248358. 7. Gu H., Dong H., Zhang H., He J., Pan H., Effects of Polymer Coatings on Temperature Sensitivity of Brillouin Frequency Shift Within Double-Coated Fibers, “IEEE Sensors Journal” Vol. 13, No. 2, 2013, 864–869, DOI: 10.1109/JSEN.2012.2230438. 8. Juan H.D.J., Humbert G., Dong H., Zhang G., Hao J., Sun Q., Review of Specialty Fiber Based Brillouin Optical Time Domain Analysis Technology, “Photonics”, Vol. 8 No. 10, 2021, 421, DOI: 10.3390/photonics8100421 9. Torre U., Conveyor fire detection & condition monitoring using fibre optic distributed temperature sensing (DTS) “Advanced Photonics Australia”, 2017, available at: https://apapl.com.au/wp-content/uploads/2022/10/ Conveyor-Fire-Detection-and-Condition-Monitoring-using-DTS-Paper.pdf 10. Thomas P.J., Hellevang J.O., A fully distributed fibre optic sensor for relative humidity measurements, “Sensors and Actuators B: Chemical”, Vol. 247, 2017, 284–289, DOI:10.1016/j.snb.2017.02.027. 11. Rogers A.J., Shatalin S.V., Kanellopoulos S.E., Distributed measurement of fluid pressure via optical-fibre backscatter polarimetry, “ Proc. SPIE 5855, 17th International Conference on Optical Fibre Sensors”, Vol. 5855, 2005, 230–233, DOI: 10.1117/12.623804. 12. Ross J.N., Measurement of magnetic field by polarisation optical time-domain reflectometry, “Electronics Letters”, Vol. 17, No. 17, 1981, 596–597, DOI: 10.1049/el:19810419. 13. Cordero S.R., Ruiz D., Huang W., Cohen L.G., Lieberman R.A., Intrinsic chemical sensor fibers for extended-length chlorine detection, “Proc. SPIE 5589, Fiber Optic Sensor Technology and Applications III”, 2004, DOI: 10.1117/12.605489. 14. Shimizu K., Horiguchi T., Koyamada Y., Measurement of distributed strain and temperature in a branched optical fiber network by use of Brillouin optical time-domain reflectometry, “Optics Letters”, Vol. 20, No. 5, 1995, 507–509, DOI: 10.1364/OL.20.000507. 15. Suárez F., Dozier J., Selker J., Hausner M.B., Tyler S.W., Heat Transfer in the Environment: Development and Use of Fiber-Optic Distributed Temperature Sensing, “Developments in Heat Transfer”, InTech, 2011, DOI: 10.5772/19474. 16. Sienko R., Zych M., Bednarski Ł., Howiacki T., Strain and crack analysis within concrete members using distributed fibre optic sensors, “Structural Health Monitoring”, Vol. 18, No. 5–6, 1510–1526, DOI: 10.1177/1475921718804466.
17. Selker J.S., Thévenaz L., Huwald H., Mallet A., Luxemburg W., van de Giesen N., StejskalM., Zeman J., Westhoff M., Parlange M.B., Distributed fiber‐optic temperature sensing for hydrologic systems, “Water Resources Research”, Vol. 42, No. 12, W12202, 2006, DOI: 10.1029/2006WR005326. 18. Ukil A., Braendle H., Krippner P., Distributed temperature sensing: Review of technology and applications, “IEEE Sensors Journal”, Vol. 12, No. 5, 2011, 885–892, DOI: 10.1109/JSEN.2011.2162060. 19. Farahani M.A., Gogolla T., Spontaneous Raman Scattering in Optical Fibers with Modulated Probe Light for Distributed Temperature Raman Remote Sensing, “Journal of Lightwave Technology”, Vol. 17, No. 8, 1999, 1379–1391, DOI: 10.1109/50.779159. 20. Yeniay A., Delavaux J.M., Toulouse J., Spontaneous and stimulated Brillouin scattering gain spectra in optical fibers, “Journal Of Lightwave Technology”, Vol. 20, No. 8, 1425, 2002, DOI: 10.1109/JLT.2002.800291. 21. Ly J., et al., Performance Improvement of Raman Distributed Temperature System by Using Noise Suppression, “PHOTONIC SENSORS”, Vol. 8, No. 2, 103–113, 2018, DOI: 10.1007/s13320-017-0474-5. 22. Lu P., Lalam N., Badar M., Chorpening B.T., Buric M.P., Ohodnicki P.R., Distributed optical fiber sensing: Review and perspective, “Applied Physics Reviews”, Vol. 6, No. 4, 2019, 041302, DOI: 10.1063/1.5113955. 23. Ippen E., Stolen R., Stimulated Brillouin scattering in optical fibers, “Appl. Phys. Lett.” Vol. 21, 1972, 539–541, DOI: 10.1063/1.1654249. 24. Lakomski M., Tosik G., Brillouin backscattering analysis in recent generation of telecom optical fibers, “Optica Applicata”, Vol. 52, No. 3, 2022, 405–416, DOI: 10.37190/oa220307. 25. Horiguchi T., Shimizu K., Kurashima T., Tateda M., Koyamada Y., Development of a distributed sensing technique using Brillouin scattering, “Journal of Lightwave Technology”, Vol. 13, No. 7, 1995, 1296-1302, DOI: 10.1109/50.400684. 26. Ismail A., Qurratu Aini binti Siat @ Sirat, Azman bin Kassim, Hisham bin Mohamad, Strain and temperature calibration of Brillouin Optical Time Domain Analysis (BOTDA) sensing system, “IOP Conference IOP Conference Series: Materials Science and Engineering”, Vol. 527, 2019, 012028, DOI: 10.1088/1757-899X/527/1/012028. 27. OZOptics BOTDR DSTS module datasheet. Available at: https://www.ozoptics.com/ALLNEW_PDF/DTS0138.pdf. 28. EXFO MaxTester730B OTDR reflectometer datasheet. Available at: https://www.exfo.com/umbraco/surface/file/download/? ni=11066&cn=en-US&pi=5644. 29. Zou W., He Z., Hotate K., Complete discrimination of strain and temperature using Brillouin frequency shift and birefringence in a polarization-maintaining fiber, “Optics Express”, Vol. 17, 2009, 1248–1255, DOI: 10.1364/OE.17.001248.
31
The Impact of Optical Fiber Type on the Temperature Measurements in Distributed Optical Fiber Sensor Systems
Wpływ typu światłowodu na pomiar temperatury w systemach rozłożonych czujników światłowodowych Streszczenie: W artykule przedstawiono możliwości wykorzystania rozłożonych czujników
światłowodowych do uzyskania rozkładu temperatury wzdłuż toru optycznego wykonanego z telekomunikacyjnego włókna światłowodowego. Obserwowany jest również wpływ rodzaju włókna światłowodowego na pomiary temperatury. Przetestowano dwa rodzaje włókien światłowodowych: standardowe G.652.D oraz o niskiej stratności G.654.C. Systemy DOFS do pomiarów temperatury wykorzystują zjawisko wstecznych rozpraszania Ramana lub Brillouina. W przypadku systemów bazujących na zjawisku Brillouina, właściwości spektralne zależą od rodzaju włókna optycznego oraz jego parametrów. Przesunięcie częstotliwości Brillouina zależy od temperatury wokół włókna oraz nałożonego na włókno naprężenia. Przedstawione wyniki pokazują, że współczynnik temperaturowy może również różnić się w zależności od rodzaju włókna optycznego. Dla standardowego włókna światłowodowego G.652.D, współczynnik temperaturowy wynosi 1,12 MHz/°C lub 1,14 MHz/°C w zależności od śledzonych szczytów, podczas gdy dla włókna o niskiej stratności G.654.C wynosi 1,4 MHz/°C.
Słowa kluczowe: światłowód, DOFS, OTDR, rozpraszanie Brillouina
Mateusz Łakomski, PhD, Eng.
Iyad S.M. Shatarah, MSc, Eng.
He received the Ph.D. degree in Electronics Engineering from Lodz University of Technology, Poland. Since 2015, he has been a Research Assistant at the LUT working in Laboratory of Optical Fiber Technique. From 2018 to 2021, he was a Scientific and Technical Specialist at LUT specialized in optical fiber strain monitoring. From 2023 he works as assistant professor position at LUT. His research interest includes the development of optical fiber application area, especially sensors and improvement of optical fiber coupling loss.
He received the M.Sc. degree in Electronics and Telecommunications Engineering from Lodz University of Technology, Poland in 2014. Currently, he is pursuing the Ph.D. degree in Electronics Engineering at Lodz University of Technology, Poland. He started working at the Institute of Electronics at Lodz University of Technology since 2019 as a Senior Technical Referent, and as an Assistant since 2021. His scientific interests are optoelectronics, fiber optic sensors and thermography.
Mateusz Płona, BSc, Eng.
Bartłomiej Guzowski, PhD, Eng.
He was born in Mragowo, Poland in 1998. He received a B.E degree in Electronics and Telecommunications Engineering from Lodz University of Technology, Lodz, Poland in 2021. He is currently pursuing a M.Sc. degree in Electronic and Telecommunication at Lodz University of Technology, Lodz, Poland. Since 2021, he has been a designer of telecommunications lines for PRO-MATT. He is keen on fiber optics systems, especially sensors and networks. He has been the recipient of scholarships awarded for academic performance, including the Rector’s scholarship at Lodz University of Technology in 2021.
He received a Ph.D. degree in 2014 from Lodz University of Technology, Poland. He works as assistant professor in Department of Semiconductor and Optoelectronics Devices. His scientific interests are optoelectronics, fiber optic sensors and energy harvesting. He is the author of numerous publications in his field of interest.
mateusz.lakomski@p.lodz.pl ORCID: 0000-0002-1341-0215
iyad.shatarah@p.lodz.pl ORCID: 0000-0002-4297-1986
222228@edu.p.lodz.pl ORCID: 0009-0007-4745-0278
32
P
O
M
bartlomiej.guzowski@p.lodz.pl ORCID: 0000-0002-6090-1359
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Pomiary Automatyka Robotyka, ISSN 1427-9126, R. 27, Nr 3/2023, 33–37, DOI: 10.14313/PAR_249/33
Comparative Studies of GFRP Composites Using Pulsed Thermography and Transmission Terahertz Non-Destructive Testing Methods Waldemar Świderski, Martyna Strąg
Military Institute of Armament Technology, Prymasa Stefana Wyszyńskiego 7, 05-220 Zielonka
Abstract: Composites are materials that have replaced traditional construction materials in
numerous applications in various fields. Due to the possibility of creating the required material properties, fiber-reinforced composites are most often used. Despite competition from carbon and aramid fibers, the earliest glass fibers produced are used in many applications. One of the areas where glass fiber reinforced composites (GFRP) make a significant contribution to structural applications is aviation. Because both during production and operation, composites are exposed to damage, which often occurs in the internal structure of the composite, works are being carried out to develop the most effective method of non-destructive testing to detect such damage. The article presents a comparison of the results of non-destructive testing of glass fiber-reinforced composite samples. A comparison of the results of the possibility of detecting defects in the form of milled holes of different diameters and depths inside the samples was made. These damages are not optically visible on both surfaces of the samples. In non-destructive testing, infrared thermography and transmission terahertz methods were used. The obtained results indicate a great possibility of using terahertz radiation, especially in thicker structures of the GFRP composite, where thermographic methods are not as effective as in thin ones.
Keywords: thermography, terahertz radiation, non-destructive testing, composite, glass fibers
1. Introduction Composites are more effective in their performance compared to metals because of their fundamental characteristics. Several distinct features of composite materials make them to be essential materials in aerospace and automotive such as; excellent damping characteristics, light weight, resistance to corrosion destruction, and stress-free attainment of complex forms [1]. Fiber-reinforced composites (FRP) have a large share in many applications. Fibers as reinforcing materials offer two advantages. Firstly, the bulk material is always stronger when produced as small diameter fibers due to the natural exclusion of large-scale defects. Secondly, the fiber configuration allows the tailoring of properties in the specific directions.
Autor korespondujący: Waldemar Świderski, waldemar.swiderski@wp.pl Artykuł recenzowany nadesłany 12.07.2023 r., przyjęty do druku 29.08.2023 r. Zezwala się na korzystanie z artykułu na warunkach licencji Creative Commons Uznanie autorstwa 3.0
FRP composites consist of two main components: a load-bearing component, mainly fibers, and a polymer matrix that serves as a binder and fiber protection [25]. Therefore, the fibers should meet specific requirements regarding strength, stiffness, stability of properties in a specific temperature range, resistance to chemical agents, etc. The matrix acts as a load-transferring medium between individual fibers, fills the space between the fibers, and also protects the fibers against the harmful effects of the external environment e.g., moisture. It also ensures the uniform transfer of loads to the fibers and the redistribution of stress transfer in the event of failure of some fibers. Glass fiber became commercially available in 1939 and is the most commonly used fiber for reinforcing polymer matrix composites and is known as GFRP (Glass Fiber Reinforced Plastics). Despite the rapid evolution of carbon and aramid fibers, glass fiber-reinforced composites are still used in many applications. Especially in the aviation industry and the production of yachts and boats. Composites can be damaged both during operation and in the production phase. Temperature and humidity are among the most important environmental factors affecting the condition of composites during their long-term use. Polymer composites are particularly sensitive to temperature increase [3]. For example, FRP composites used in many applications can experience the following defects during production:
33
Comparative Studies of GFRP Composites Using Pulsed Thermography and Transmission Terahertz Non-Destructive ...
2.2. Transmission terahertz
− resin-rich (fiber-poor) regions; − voids (e.g., at roving crossovers in filament winding and between layers having different fiber orientations, in general). This is a very serious problem; a low void content is necessary for improved interlaminar shear strength. Hence, the importance of the debulking step; − microcracks (these may form due to curing stresses or moisture absorption during processing); − debonded and delaminated regions; − variations in fiber alignment. Another type of damage is impact damage to the composite structure, which is one of the most critical damages. Determining the effects of impact damage can be divided into two areas: 1) impact damage resistance which is related to the response and damage caused by impact [4], 2) impact damage tolerance, associated with the reduced stability and strength of the structure due to the damage [5, 6].
In non-destructive active thermographic tests, we observe changes in the time of the temperature field on the surface of the tested object under the influence of a source of thermal radiation. Using terahertz radiation in non-destructive testing, we take advantage of the ease of penetration of this radiation through non-metallic materials. In non-destructive testing, terahertz radiation is used in two classic testing methods: reflection and transmission. In both methods, there must be a source of terahertz radiation and a receiver by means of which changes in the terahertz signal are recorded as a result of absorption and reflection by the tested material and discontinuities in its internal structure. In the reflection method, both the radiation source and the receiver are on the same side of the tested object. In our research, we used the transmission method in which the radiation source and receiver, in our case a line scanner, are located on opposite sides of the tested object (Fig. 1). Such a setting enables the detectors to receive a greater signal, which is linked to the distance that the signal must pass. It is important for lower power sources as the one used in our investigations.
Non-destructive testing methods are used to detect defects in composites. One of the commonly used methods is infrared thermography. The objects of the research included in the article are GFRP samples. Compared to, for example, a composite reinforced with carbon fiber, GFRP has unfavourable thermophysical parameters (thermal conductivity and thermal diffusivity) both along the fibers and perpendicularly to them. This is a significant limitation regarding the thickness of the tested GFRP samples. Therefore, we are looking for a method that would be more effective in detecting defects in thicker NDT objects made of GFRP. We conducted comparative tests using infrared thermography and terahertz radiation to assess their effectiveness.
Fig. 1. Schematic representation of the terahertz investigation setup in transmission mode [13] Rys. 1. Schematyczne przedstawienie konfiguracji terahercowego stanowiska w trybie transmisji [13]
2. Methods 2.1. Pulsed thermography
The terahertz setup consisted of a line scanner Linear (512 × 1 pixels image resolution with a pixel pitch of 0.5 mm and frequency of ~300 GHz), and a terahertz source in the form of generator THz IMPATT (frequency 292 GHz ±5 GHz and power of ~10 mW). This source includes novel reflective THz optics based on a specially configured high-gain horn antenna in combination with a metallic mirror. This generator considerably improves the THz imaging capabilities of our linear scanner by increasing the amount of power reaching the sensor array. This equipment was sourced from the company Terasense Group, Inc.
Pulse thermography is one of the most popular methods currently used in the non-destructive testing of composite materials. This is evidenced by the number of publications concerning this method. This type of test involves the use of a lamp, laser, etc. to generate a pulse (or series of pulses) of thermal excitation, which lasts from a few milliseconds for materials with high thermal conductivity (e.g., metals) to several seconds for materials with low conductivity [7–12]. You can also use a pulse cooling the surface of the tested object (e.g., a stream of cold air, liquid nitrogen, etc.). Pulse thermography can be performed using both the reflection and transmission approaches. A sequence of images (thermograms) is recorded with equal intervals between images. After switching off the radiation source, the object cools down to the ambient temperature. In the cooling phase, the temperature distribution on the surface of the tested object is determined and analysed. Depending on the thermal properties of the test material and those of sub-surface defects occurring in it, areas of higher or lower temperatures at the surface will indicate locations where there may be material defects. Often, special techniques for processing thermograms must be used to identify areas with defects. In our tests, we used a flash lamp. Using this lamp, a thermal pulse of 6 kJ and a duration of 5 ms was generated. Changes in the temperature field on the surface of the sample were recorded with an IR camera in sequences consisting of 500 images with a resolution of 640 × 512 pixels, recorded with a frequency of 25 Hz. Both reflection and transmission modes were used.
34
P
O
M
I
A
R
Y
•
A
U
T
O
M
3. Samples For comparative tests, the Air Force Institute of Technology in Warsaw/Poland made 7 samples of glass fiber-reinforced composites. The material from which the samples were made was a typical material used in aviation applications. All samples measuring 140 × 190 mm and a thickness of about 10 mm consisted of two plates of equal thickness of about 5 mm. Blind holes of various diameters and depths were milled in the front plate (Fig. 2a). When examining the samples, we did not know how many defects in the form of holes or where they were located in individual samples. The front surfaces of these plates were covered with a layer of varnish to mask the location of the defects. The back plate (Fig. 2b) was glued on the side of the holes and ensured masking of their location.
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Waldemar Świderski, Martyna Strąg
Fig. 2. View of the GFRP composite sample a) front side, b) back side Rys. 2. Widok próbki kompozytu GFRP a) strona czołowa, b) strona tylna
a) b)
4. Results Figure 3 presents the results obtained by the IR pulsed reflection method. The sequence of stored thermograms was subjected to image enhancement in order to detect defects. IR-NDT software from AT-Automation Technology GmbH [14] was used. The 1st derivation function was applied. The first derivative is calculated from the reconstructed infrared image. This analysis makes it possible to detect points of inflection of the temperature function recorded over time. Inflection points indicate the presence of defects and their location. This analysis was applied to all the thermographs presented below. As you can see in this figure, using the reflection method from the front side, we managed to identify three defects (bright spots – Fig. 3a). Defects with the largest diameters (7 and 10 mm) were detected, located 1 and 2 mm below the surface of the sample. The reflection method from the back side turned
out to be ineffective. No rare defects were detected (Fig. 3b). This proves that the thickness of about 5 mm of this material is the limit for this method. Using the pulsed transmission IR method for the same sample 1 we can identify many more defects (Fig. 4a) than with the reflection method. A similar number of defects (Fig. 4b) can also be detected using the terahertz transmission method. The detected defects were 2–10 mm in diameter and 1–3 mm below the surface of the sample. Very similar results were obtained for samples 3 and 6 shown in Figures 5 and 6. It is clearly visible that the defects presented in the terahertz images have sharply outlined edges and the shape of the defects. The image of defects on thermograms is blurred and larger than the real defects. The defects in these samples (3 and 6) had the same range of diameter and subsurface depth as in sample 1, only differences were in their location and number.
Fig. 3. Resulting thermograms of sample 1 of the GFRP composite after reflection tests a) front side, b) back side Rys. 3. Wynikowe termogramy próbki 1 kompozytu GFRP po badaniach metodą odbiciową a) strona czołowa, b) strona tylna
a)
b)
a)
b)
Fig. 4. Transmission method – sample 1 of the GFRP composite a) resulting thermogram, b) terahertz image Rys. 4. Metoda transmisyjna – próbka 1 kompozytu GFRP a) termogram wynikowy, b) obraz terahercowy
35
Comparative Studies of GFRP Composites Using Pulsed Thermography and Transmission Terahertz Non-Destructive ...
Fig. 5. Transmission method – sample 3 of the GFRP composite a) resulting thermogram, b) terahertz image Rys. 5. Metoda transmisyjna – próbka 3 kompozytu GFRP a) termogram wynikowy, b) obraz terahercowy
a)
b)
a)
b)
Fig. 6. Transmission method – sample 6 of the GFRP composite a) resulting thermogram, b) terahertz image Rys. 6. Metoda transmisyjna – próbka 6 kompozytu GFRP a) termogram wynikowy, b) obraz terahercowy
5. Conclusions
3. Vasiliev V.V., Morozov E.V., Mechanics and analysis of composite materials, 2001 Elsevier Science Ltd. 4. Sarasini F., Tirillò J., D’Altilia S., Valente T., Santulli C., Touchard F., Chocinski-Arnault L., Mellier D., Lampani L., Gaudenzi P., Damage tolerance of carbon/flax hybrid composites subjected to low velocity impact. “Composites Part B: Engineering”, Vol. 91, 2016, 144–153, DOI: 10.1016/j.compositesb.2016.01.050. 5. Koo J.-M., Choi J.-H., Seok C.-S., Prediction of residual strength after impact of CFRP composite structures. “International Journal of Precision Engineering and Manufacturing”, Vol. 15, 2014, 1323–1329, DOI: 10.1007/s12541-014-0472-0. 6. Li B., Hoo Fatt M.S., Impact damage and residual strength predictions of 2D woven SiC/SiC composites. “Finite Elements in Analysis and Design”, Vol. 113, 2016. 30–42, DOI: 10.1016/j.finel.2016.01.001. 7. Vavilov V.P., Burleigh D.D., Review of pulsed thermal NDT: physical principles, theory and data processing. “NDT & E International”, Vol. 73, 2015, 28–52, DOI: 10.1016/j.ndteint.2015.03.003. 8. Maldague X., Galmiche F., Ziadi A., Advances in pulsed phase thermography. “Infrared Physics & Technology”, Vol. 43, No. 3-5, 2002, 175–81, DOI: 10.1016/S1350-4495(02)00138-X. 9. Świderski W., Dragan K., Multimode NDE approach for structure health assessment of composite elements in aerospace applications, “Acta Physica Polonica A”, Vol. 117, No. 5, 2010, 877–882. 10. Świderski W., Bin Umar M.Z., Ahmad I., Vavilov V., Developing methodology of pulsed thermal NDT of materials: Step-by-step analysis of reference samples, “The e-Journal&Database of Nondestructive Testing”, May 2008, 1–13.
The thermophysical parameters of the GFRP composite are a significant limitation as to the thickness of the tested samples using infrared thermography. An alternative to this type of material in non-destructive testing can be terahertz method. For the material presented in this article for infrared thermography methods, it is about 10 mm. Our experience shows that using a source with a power of about 10 mW for the terahertz transmission method, one can test this material with a thickness of even between 50–60 mm. As you can see in the terahertz images, there are disturbances on them. They are mainly caused by the non-uniform movement of the tested sample. In our further work, we will look for methods to eliminate sources of interference.
Acknowledgements
The research was co-financed by the National Center for Research and Development (Project no. DOB-SZAFIR/ 02/A/001/01/2020).
References 1. Golizadeh S., A review of impact behaviour in composite materials, “International Journal of Mechanical and Production Engineering”, Vol. 7, Issue 3, 2019, 2320–2092, DOI: 10.22541/au.164269374.45990760/v1. 2. Eamon C.D., Wu H.-C., Makkawy A.A., Siavashi S., Design and Construction Guidelines for Strengthening Bridges using Fiber Reinforced Polymers (FRP), MDOT Reference Number: OR10-039 Final Report September 30, 2014.
36
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Waldemar Świderski, Martyna Strąg 11. Vavilov V.P., Burleigh D.D., Pulsed thermal NDT in tables, figures and formulas, Proc. of SPIE, Vol. 9485 94850Q-1, DOI: 10.1117/12.2181039. 12. Świderski W., Applications of IR Thermography Methods for Nondestructive Evaluation of Honeycomb Type Composite Materials in Aircraft Industry, Proceedings of the
Fourth European Workshop Structural Health Monitoring 2008, 1297–1304. 13. Strąg M., Świderski W., Non-destructive inspection of military-designated composite materials with the use of Terahertz imaging, “Composite Structures”, Vol. 306, 2023, DOI: 10.1016/ j.compstruct.2022.116588.
Badania porównawcze kompozytów GFRP z wykorzystaniem metod badań nieniszczących – impulsowej termografii i transmisji terahercowej Streszczenie: Kompozyty to materiały, które zastąpiły tradycyjne materiały konstrukcyjne
w licznych zastosowaniach w różnych dziedzinach. Ze względu na możliwość tworzenia wymaganych właściwości materiału, najczęściej stosuje się kompozyty wzmacniane włóknami. Pomimo konkurencji ze strony włókien węglowych i aramidowych, najwcześniej wyprodukowane włókna szklane są wykorzystywane w wielu zastosowaniach. Jednym z obszarów, w którym kompozyty wzmocnione włóknem szklanym (GFRP) wnoszą znaczący wkład w zastosowania konstrukcyjne, jest lotnictwo. Ponieważ zarówno w trakcie produkcji, jak i eksploatacji kompozyty narażone są na uszkodzenia, które często występują w strukturze wewnętrznej kompozytu, prowadzone są prace nad opracowaniem najskuteczniejszej metody badań nieniszczących pozwalających wykryć takie uszkodzenia. W artykule przedstawiono porównanie wyników badań nieniszczących próbek kompozytów wzmocnionych włóknem szklanym. Dokonano porównania wyników możliwości wykrywania defektów w postaci wyfrezowanych otworów o różnej średnicy i głębokości wewnątrz próbek. Uszkodzenia te nie są widoczne optycznie na obu powierzchniach próbek. W badaniach nieniszczących wykorzystano termografię w podczerwieni i transmisyjną metodę terahercową. Uzyskane wyniki wskazują na duże możliwości wykorzystania promieniowania terahercowego, zwłaszcza w grubszych strukturach kompozytu GFRP, gdzie metody termograficzne nie są tak skuteczne jak w strukturach cienkich.
Słowa kluczowe: termografia, promieniowanie terahercowe, badania nieniszczące , kompozyt, włókna szklane
Prof. Waldemar Świderski, DSc, PhD, Eng.
Martyna Strąg, PhD, Eng.
A graduate of the Department of Electro-Mechanical Arms of Military University of Technology (1978). Since 1980, an employee of Military Institute of Armament Technology, at present in the position of professor. Research interests include non-destructive testing using infrared thermography and terahertz radiation and the use of infrared technology in military applications. Author and co-author of more than 250 various scientific publications and 17 patents.
A graduate of the Faculty of Mechanical Engineering of Cracow University of Technology in Biomedical Engineering (Engineer’s degree in 2016 and Master’s degree in 2017). Doctoral degree in Materials Science received in 2021 in the Institute of Metallurgy and Materials Science, Polish Academy of Sciences. Since 2021, she has been an employee of the Military Institute of Armament Technology.
waldemar.swiderski@wp.pl ORCID: 0000-0003-4040-2197
stragm@witu.mil.pl ORCID: 0000-0002-0118-9971
37
38
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Pomiary Automatyka Robotyka, ISSN 1427-9126, R. 27, Nr 3/2023, 39–44, DOI: 10.14313/PAR_249/39
Badanie skuteczności materiałów siatek maskujących w aspekcie obserwacji z pozycji BSP Anna Szajewska
Akademia Pożarnicza, Wydział Inżynierii Bezpieczeństwa i Ochrony Ludności, ul. Słowackiego 52/54, 01-629 Warszawa
Paweł Kalinowski
Instytut Techniczny Wojsk Lotniczych, ul. Księcia Bolesława 6, 01-494 Warszawa
Krzysztof Szajewski
Wojskowa Akademia Techniczna, Wydział Cybernetyki, ul. Gen. Sylwestra Kaliskiego 2, 00 -908 Warszawa
Streszczenie: W artykule przedstawiono wyniki obserwacji wykonanych z powietrza za pomocą
BSP w podczerwieni. Warunki obserwacji były zbliżone do rzeczywistych warunków pola walki. Wyniki obserwacji porównano z badaniami laboratoryjnymi, w których użyto wzorca ciała czarnego do pomiaru transmisji radiacyjnej 11 różnych materiałów siatek maskujących. W badaniach odniesiono się do zmierzonej procentowej przepuszczalności promieniowania badanych materiałów, oznaczonych dalej w artykule współczynnikiem transparentności. Z przeprowadzonych badań wynika, że korelacja między transparentnością w świetle widzialnym i promieniowaniem podczerwonym przechodzącym przez materiał maskujący dla przebadanych materiałów nie jest zbieżna. Biorąc pod uwagę fakt, że siatki maskujące i materiały, z których są one wykonywane, stały się wyposażeniem bardzo pożądanym na współczesnym polu walki i wiele podmiotów rozpoczęło ich produkcję, powstała silna potrzeba opracowania szybkiej metody oceny przydatności takich materiałów w aspekcie kamuflażu termicznego. W pracy zaproponowano zastosowanie prostego wskaźnika oceny kamuflażu wyznaczanego na podstawie transparentności w dwóch zakresach spektralnych.
Słowa kluczowe: BSP, kamuflaż termiczny, rozpoznanie w podczerwieni, siatki maskujące, teledetekcja, ocena kamuflażu
1. Wprowadzenie Motywacją do podjęcia badań są braki w literaturze w zakresie skuteczności materiałów siatek maskujących w aspekcie obserwacji z pozycji BSP. Obowiązujące normy pokryć maskujących dotyczą wyłącznie oceny za pomocą obserwacji z poziomu ziemi. Trwający w Ukrainie konflikt dowiódł, że najczęściej występującym rozpoznaniem pozycji wroga jest teledetekcja z powietrza za pomocą BSP i z tego powodu obowiązujące normy nie przystają do panujących realiów pola walki. Doświadczenia na Ukrainie obserwowane od początku konfliktu wskazują na dynamiczne zmiany zachodzące w sposobie prowadzenia współczesnych konfliktów zbrojnych, w których rozpoznanie obrazowe jest kluczowym elementem. Rozpozna-
Autor korespondujący: Anna Szajewska, aszajewska@apoz.edu.pl Artykuł recenzowany nadesłany 01.08.2023 r., przyjęty do druku 31.08.2023 r. Zezwala się na korzystanie z artykułu na warunkach licencji Creative Commons Uznanie autorstwa 3.0
nie obrazowe polega na gromadzeniu, analizie i interpretacji informacji wizualnych zebranych z różnych źródeł w celu uzyskania precyzyjnego obrazu sytuacji na polu walki. Szczególnym rodzajem rozpoznania obrazowego jest EO IMINT (ang. Electrooptical Imagery Intelligence), które polega na pozyskiwaniu informacji metodami teledetekcji wykorzystującymi promieniowanie własne ciał (emisję) oraz promieniowanie odbite. Celem jego jest wykrycie kontrastu emisyjnego lub odbiciowego między obiektem oraz tłem. Obserwowany kontrast jest wynikiem zmian temperatury lub różnic emisyjności w obrębie sceny. Obecnie do obserwacji EO IMINT w przeważającej liczbie przypadków wykorzystuje się bezzałogowe statki powietrzne (BSP) klasy mini lub micro. Przed inwazją Rosji na Ukrainę w rozwiązaniach militarnych BSP dominowały przeważnie drogie i skomplikowane konstrukcje klasy II MALE (ang. Medium Altitude Long Endurance) o masie do 600 kg na szczeblu taktycznym. W aktualnych rozwiązaniach poza klasą II dominują relatywnie tanie i mobilne BSP klasy I mini (zasięg do 25 km) i micro (zasięg do 5 km) [1]. Stanowią one podstawowe wyposażenie rozpoznawcze pola walki na niższych szczeblach dowodzenia a nierzadko przybierając charakter osobistego wyposażenia. Rosyjska inwazja na Ukrainę doprowadziła do pierwszej wojny, w której obserwuje się wykorzystanie wojskowych i komercyjnych BSP na tak dużą skalę
39
Badanie skuteczności materiałów siatek maskujących w aspekcie obserwacji z pozycji BSP przez obie strony konfliktu. Prawdopodobnymi przyczynami powszechności wykorzystania BSP w klasie mini i micro są: − Dostępność tanich i lekkich akumulatorów litowo-polimerowych o dużej gęstości energetycznej, dzięki którym możliwe jest prowadzenie rozpoznania za pomocą wielowirnikowców o czasie lotu do godziny i płatowców z czasem lotu do kilku godzin. − Dostępność tanich akcelerometrów i żyroskopów wykonywanych w technologii MEMS (ang. Micro Electromechanical System) stosowanych w układach sterowania autopilotów. − Dostępność techniki umożliwiającej realizację komunikacji radiowej za pomocą cyfrowego radia SDR (ang. Software Defined Radio), co umożliwiło zastąpienie kosztownych filtrów analogowych przez programowe filtry cyfrowe i umożliwia realizację cyfrowego kodowania sygnału radiowego. − Stosowanie na szeroką skalę telekomunikacyjnego systemu satelitarnego Starlink. Jest on wykorzystywany nie tylko do korzystania z systemów zarządzania walką np. ukraińskiego systemu Pokrzywa (ukr. Кропива), ale również do bezpośredniego strumieniowania obrazu do dowódców wyższego
szczebla [2]. Takie rozwiązanie pomaga w naprowadzaniu i korygowaniu ognia artylerii, jak również w dowodzeniu podczas szturmów zapewniając rozszerzenie świadomości sytuacyjnej przy jednoczesnej decentralizacji elementów rozpoznawczych. Ekonomiczne aspekty prowadzenia działań bojowych doprowadziły do sytuacji, w której przystosowuje się tanie komercyjne rozwiązania BSP, nie pomijając modeli dostępnych na popularnych portalach internetowych. Komercyjne modele przystosowywane są do przenoszenia ładunków bojowych lub do rozpoznania teledetekcyjnego. Wraz ze zwiększającą się liczbą BSP po obu stronach konfliktu, pojawiły się również skuteczne metody ich neutralizacji i dlatego obecnie średni czas życia systemu bezzałogowego jest znacznie krótszy niż miało to miejsce przed konfliktem w Ukrainie. Skrócona żywotność systemu BSP stała się dodatkowym bodźcem dla konstruktorów bezzałogowych systemów do poszukiwania tanich rozwiązań konstrukcyjnych.W rozpoznawczych systemach bezzałogowych wykorzystywane są
Rys. 1. Widok próbek siatek maskujących w świetle widzialnym Fig. 1. View of camouflage nets samples in visible light
40
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Anna Szajewska, Paweł Kalinowski, Krzysztof Szajewski dwa rodzaje detektorów podczerwieni: długofalowe kamery na podczerwień LWIR (ang. Longwave Infrared), które działają w zakresie długości fal elektromagnetycznych 8–14 µm, oraz średniofalowe kamery na podczerwień MWIR (Medium Wavelength Infrared), które działają w zakresie 3–5 µm. Mimo niewątpliwych zalet kamer pracujących w zakresie MWIR, tj. zwiększony zasięg działania i mniejsze zakłócenia spowodowane warunkami atmosferycznymi, zwykle wymagają one systemów chłodzenia, co sprawia, że takie rozwiązania są kosztowne, cięższe i bardziej awaryjne. Niechłodzone kamery bolometryczne LWIR są mniejsze, lżejsze i znacznie tańsze niż kamery z chłodzonym detektorem, dlatego właśnie niechłodzone detektory bolometryczne są obecnie najszerzej wykorzystanym rozwiązaniem w rozpoznaniu z użyciem BSP na szczeblach kompanii i niższych. Stosowane obecnie w BSP kamery termowizyjne należą do grupy kamer obserwacyjnych, zatem analiza zarejestrowanych termogramów nie polega na poszukiwaniu określonej temperatury radiacyjnej, lecz może polegać na ocenie różnic wartości poszczególnych pikseli w obrazie, poszukiwaniu kształtów lub ocenie histogramów. Obecnie do wykrywania zamaskowanego rzeczywistego obrazu zastępuje się zmysły ludzkie zaawansowanymi algorytmami komputerowymi. Wykorzystywane są technologie takie jak np. analiza obrazu przeprowadzana przez dyskryminatory zbudowane w oparciu o sieci neuronowe [3] lub analiza współczynników określających teksturę, kształt i statystyczny rozkład promieniowania cieplnego [4]. Nie są to jednak metody powszechnie stosowane w tanich najczęściej występujących konstrukcjach. Obecnie najczęściej stosowaną techniką rozpoznania jest nadal wprawne oko pilota BSP. Rozpoznanie termiczne prowadzone na szeroką skalę powoduje konieczność redukcji emisji ciepła do otoczenia przez ludzi i sprzęt. Najczęściej stosowanym środkiem redukcji emisji jest kamuflaż termiczny w postaci siatki maskującej. Istnieją również środki maskowania mobilnego, które są integralnym elementem pojazdów wojskowych i ograniczają wykrycie pojazdów zarówno w trakcie ruchu jak i postoju. Istnieją cztery podstawowe cechy rozpoznania obrazowego dotyczącego rozpoznania obrazu w podczerwieni: temperatura, tekstura, kształt i statystyczny rozkład promieniowania cieplnego. Obecnie najczęściej stosowanym kryterium określającym skuteczność środków maskujących jest odległość, w jakiej nastąpiło rozpoznanie. Maskowanie uznaje się za skuteczne, jeśli odległość ta jest mniejsza niż zasięg rażenia bezpośredniego, ukrywanego obiektu. Metody określające spełnienie wymagań w kwestii maskowania termicznego pokryć i kompletów maskujących są opisane w [5]. Na uwagę zasługuje fakt, że badania zawarte w normie oparte są wyłącznie na obserwacji pomiarową kamerą termowizyjną zamontowaną na statywie stojącym na ziemi natomiast kryterium oceny jest oparte na arbitralnej ocenie trzech niezależnych obserwatorów. W normie nie ma wyszczególnionego zakresu widmowego podczerwieni, czułości detektora, jak również jego typu. Badania mogą być wykonywane wyłącz-
nie w temperaturze dodatniej, przez co z badań wykluczone są zimowe pokrycia maskujące, które powinny być badane w warunkach zimowych. Inną miarą skuteczności kamuflażu jest średnia różnica temperatur tła i ukrywanego obiektu [2]. Ponadto można wyszczególnić 11 pomocniczych wskaźników obrazu, które mogą przyczynić się do rozpoznania poszukiwanego obiektu w obrazowanej scenie [6]. Wspomniane wskaźniki dotyczą promieniowania podczerwonego bez odniesienia do transparentności w świetle widzialnym. Transparentność w świetle widzialnym jest ściśle związana ze stopniem perforacji materiału. Duży stopień perforacji umożliwia odprowadzanie ciepła na drodze konwekcji. Dzięki temu zamaskowany żołnierz leżący na ziemi pod siatką maskującą ma większy komfort termiczny. Ten aspekt nabiera dużego znaczenia podczas obserwacji z powietrza za pomocą BSP. Żołnierze chcąc ukryć się przed obserwacją prowadzoną z BSP zmuszeni są do szczelnego zakrywania całego ciała włącznie z głową. Dlatego siatki o małym stopniu perforacji powodują duży dyskomfort żołnierzy. Z kolej zbyt duże otwory ujawniają sygnaturę termalną oraz obraz w świetle widzialnym, zatem wielkość otworów stanowi pewien kompromis między tymi dwiema przeciwstawnymi właściwościami.
2. Metodyka badań Badaniu poddano 11 rodzajów materiałów siatek maskujących stosowanych na polu walki. Wygląd materiałów siatek maskujących przedstawiono na rys. 1. Celem badań było określenie korelacji między transparentnością w świetle widzialnym oraz w podczerwieni względem kontrastu termicznego ukrytego człowieka za materiałem siatki maskującej. Transparentność materiałów maskujących w świetle widzialnym wyznaczono na podstawie pomiarów wycinków siatek maskujących. W całkowitym zaciemnieniu oświetlono luksomierz i zanotowano wynik pomiaru. Następnie światło lampy przesłonięto materiałem siatki maskującej i ponownie włączono lampę. Transparentność stanowi procentowa przepuszczalność światła. Badanie przeprowadzono stosując metodę opisaną w normie [5] za pomocą źródła światła oraz luksomierza. Badanie polegało na wyznaczeniu stosunku ilości światła docierającego bezpośrednio ze źródła do detektora oraz ze źródła poprzez materiał maskujący do detektora. Detektor mierzył ilość światła widzialnego o temperaturze barwowej 4000 K. W kolejnym badaniu przeprowadzono serię 11 pomiarów polegających na zmierzeniu różnicy promieniowania między wzorcem ciała czarnego i promieniowaniem docierającym do detektora przez materiał siatki maskującej. Badanie przeprowadzono w warunkach pozbawionych bezpośredniego wpływu światła słonecznego w stałej temperaturze powietrza 8 °C. Przykładowe porównanie promieniowania wzorca ciała czarnego oraz promieniowania poprzez materiał siatki maskującej przedstawiono na rys. 2. Pomiary wykonano kamerą pomiarową Flir SC550 w zakresie spektralnym 8–12 µm o rozdzielczości 640 × 480 pikseli.
Rys. 2. Przykładowy pomiar za pomocą wzorca ciała czarnego a) Bezpośrednie promieniowanie wzorca ciała czarnego 50 °C, b) Ciało czarne przesłonięte materiałem siatki maskującej nr 2 Fig. 2. Example measurement using a black body reference: a) Direct radiation from the black body reference 50 °C, b) Black body covered with masking material No. 2
41
Badanie skuteczności materiałów siatek maskujących w aspekcie obserwacji z pozycji BSP Wzorzec ciała czarnego stanowił przyrząd Mikron M360 ustawiony na temperaturę 50 °C. Wzorzec ciała czarnego był ustawiony w odległości 1 m. od wieszaka na którym zawieszano siatki, które przesłaniały promieniowanie docierające z wzorca do kamery. Kamera stała w odległości 5 m od wzorca ciała czarnego. Badanie miało na celu określenie transparentności materiałów maskujących dla promieniowania podczerwonego. Kolejne badanie wykonano w warunkach polowych z użyciem obserwacyjnej kamery termowizyjnej KTX firmy Etronika. Przeprowadzone badanie polegało na obserwacji człowieka w ubraniu cywilnym ukrytego za materiałem siatki maskującej w warunkach obserwacji z powietrza za pomocą BSP (rys. 3). Tłem obserwacji była pokrywa śnieżna o grubości 5 cm. Detektor podczerwieni użyty w BSP stanowiła kamera obserwacyjna KTX firmy Etronika z niechłodzoną matrycą bolome-
tryczną o rozdzielczości 1024 × 768 pikseli. Zakres spektralny kamery wynosił 8–12 µm. Wielkość piksela wynosiła 17 µm. Użyto obiektywu o ogniskowej 35 mm FOV 32,34 × 24,55°. Różnica temperatury równoważna szumom NETD (ang. Noise Equivalent Temperature Difference) wynosiła 50 mK. Kamera termowizyjna została zamontowana w głowicy umożliwiającej sterowanie kamerą oraz stabilizację mechaniczną w trzech osiach: pochylenia, przechylenia i odchylenia. Wykorzystanym w badaniu BSP był czterowirnikowy mikrowiropłat Atrax, który dzięki swojej konstrukcji umożliwił zawis na określonej wysokości. Temperatura otoczenia podczas badań wynosiła –6 °C, prędkość wiatru około 7 m/s, wilgotność względna 90 %. Odległość między BSP i obserwowanym człowiekiem wynosiła 70 m pod kątem 45°. Za pomocą kamery umieszczonej na pokładzie BSP zarejestrowano termogram człowieka bez maskowania oraz 11 termogramów z człowiekiem umieszczonym za siatką dla wszystkich próbek materiałów. Na podstawie wycinków z termogramów obejmujących materiał siatki maskującej wyznaczono średni kontrast termiczny. Ponieważ kamera umieszczona w BSP nie jest kamerą pomiarową tylko obserwacyjną, kontrast wyznaczano na podstawie odchylenia standardowego wartości binarnych pikseli z zakresu 0–255 wycinków obrazów. Wyznaczono również średni kontrast referencyjny (obiekt obserwacji bez siatki maskującej). Transparentność dla podczerwieni TRLWIR wyznaczono stosując wzór 1. Pomiar wykonywany był dla współczynnika emisyjności wzorca ciała czarnego ε = 1 bez uwzględniania współczynnika emisyjności materiałów siatek maskujących. Zmierzona transparentność w podczerwieni stanowi procentowy udział promieniowania wzorca ciała czarnego przesłoniętego siatką maskującą w stosunku do promieniowania tego samego ciała czarnego, którego promieniowanie dociera bezpośrednio do kamery pomiarowej. Pomiar powinien być wykonywany bez obecności innych źródeł ciepła.
Rys. 3. Przykład wycinka termogramu z człowiekiem ukrytym za siatką maskującą. Odległość kamery od obiektu wynosiła 70 m Fig. 3. An example of a thermogram with a man hidden behind a camouflage net. The distance of the camera from the object 70 m
Rys. 5. Wyznaczone współczynniki jakości kamuflażu na podstawie wzoru 2 Fig. 5. Calculated camouflage quality factors based on formula 2
Rys. 4. Transparentność materiałów dla światła widzialnego i dla podczerwieni w zakresie LWIR Fig. 4. Transparency of materials for visible light and infrared in the LWIR range
Rys. 6. Obrazy termalne kucającego człowieka zasłoniętego próbkami materiałów siatek maskujących. W prawym dolnym rogu – obraz człowieka bez kamuflażu Fig. 6. Thermal images of a crouchingmanobscured by samples of camouflage nets materials. In the lower right corner – an image of a man without camouflage
42
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Anna Szajewska, Paweł Kalinowski, Krzysztof Szajewski t ⋅ 100% TRLWIR = det tblack
(1)
gdzie: TRLWIR – transparentność dla zakresu podczerwieni LWIR; tdet – temperatura radiacyjna zmierzona kamerą, tblack – temperatura wzorca ciała czarnego. Na podstawie parametrów transparentności w dwóch zakresach spektralnych stosując zależność (2) wyznaczono znormalizowany różnicowy współczynnik jakości kamuflażu, który dalej będzie nazywany cf (ang. camuflage factor). cf =
(100 − TR ) − (100 − TR (100 − TR ) + (100 − TR VIS
LWIR
VIS
LWIR
) )
(2)
gdzie TRVIS określa transparentność w świetle widzialnym.
3. Wyniki Na rysunku 4 przedstawiono wykres transparentności poszczególnych próbek materiałów dla światła widzialnego oraz dla zakresu podczerwieni LWIR. Na wykresie uwidoczniono nieliniową zależność transparentności w dwóch zakresach spektralnych. Próbki zostały ułożone na wykresie w porządku malejącej transparentności dla światła widzialnego w zakresie 2–25 %. Transparentność dla podczerwieni była badana dla temperatury wzorca ciała czarnego 50 °C w temperaturze otoczenia 8 °C. Zmierzony zakres transparentności dla zakresu LWIR wahał się od 38 % do 49 % Na rysunku 5 przedstawiono poziomy wyznaczonego bezwymiarowego współczynnika cf dla poszczególnych próbek, które wahały się w zakresie 0,13–0,20. Na rysunku 6 przedstawiono wycinki termogramów z człowiekiem znajdującym się za próbkami siatek maskujących. Ostatni wycinek w prawym dolnym rogu obrazuje człowieka bez osłony materiału maskującego. Na rysunku 7 przedstawiono wykres średnich kontrastów termicznych wyznaczonych na podstawie termogramów pobranych za pomocą kamery KTX Etronika. Wartości pikseli w obrazie mogą przyjmować wartości w zakresie 0–255. Średnie kontrasty termiczne stanowią odchylenie standardowe wartości bezwzględnych jasności obliczone ze wszystkich pikseli z poszczególnych wycinków obrazu przedstawionych na rysunku 6. Obraz referencyjny charakteryzuje największy kontrast, którego średnia wynosi 59,94 jasności piksela. Najmniejszy kontrast obserwujemy na termogramie siatki nr 8, który wynosi 3,37.
Rys. 7. Wykres średnich kontrastów termicznych dla 11 próbek, wyznaczanych na podstawie jasności pikseli Fig. 7. Graph of average thermal contrasts for 11 samples determined based on pixel brightness
4. Wnioski Przeprowadzone pomiary na próbkach materiałów siatek maskujących wskazują, że stopień transparentności zależy od pasma promieniowania elektromagnetycznego. Z pomiarów wynika, że współczynniki transparentności dla światła widzialnego i dla podczerwieni są wzajemnie niezależne. Oryginalność zaproponowanego wskaźnika cf polega na tym, że jest on wielokryterialny, tzn. brana jest pod uwagę perforacja, która jest cechą pożądaną i zależy od transparentności w świetle widzialnym. Drugim kryterium jest stopień transparentności dla pasma podczerwieni, który powinien być mały, aby ukryć sygnaturę termiczną kamuflowanego obiektu. Wskaźnik cf może teoretycznie przyjmować wartości od –1 do 1, choć zazwyczaj będzie przyjmować wartość większą od 0. W badaniu wartość wskaźnika wahała się zakresie 0,13–0,20. Jeżeli wartość będzie dążyć do 0, należy spodziewać się dobrych właściwości kamuflażu. Porównując wyznaczone współczynniki cf (rys. 5) z wycinkami termogramów (rys. 6) można łatwo dostrzec korelację między kamuflażem na termogramie i minimalną wartością wskaźnika. Kolejną ciekawą cechą jest to, że do wyznaczenia wskaźnika nie jest konieczna termowizyjna kamera pomiarowa, gdyż pomiar transparentności w podczerwieni można przeprowadzić metodą pirometryczną, dzięki czemu metoda jest prostsza w realizacji. Opracowany wskaźnik posiada podobne odwzorowanie do wskaźnika średnich kontrastów (rys. 7) z tą różnicą, że będzie on faworyzował materiały z większym współczynnikiem perforacji. W metodach teledetekcyjnych stosuje się również analizę obrazu, gdzie wykorzystuje się podobne znormalizowane wskaźniki. Za przykład może posłużyć powszechnie stosowany wskaźnik wegetacji roślinności NDVI (ang. Normalized Difference Vegetation Index) [7], w którym bada się promieniowanie światła widzialnego o barwie czerwonej i promieniowania w bliskiej podczerwieni NIR.
Bibliografia 1. ATP-3.3.7 Guidance for the training of unmanned aircraft systems (UAS) operators, Edition B, Version 1, NATO Standardization Agency, 2014, 1–4. 2. Kaushik R., Selvamurthy W., Starlink’s Role in Ukraine – Portent of a Space War?. “Journal of Defence Studies”, Vol. 17, No. 1, 2023, 25–44. 3. Kuznetsov A., Gashnikov M., Increasing the Size of the Camouflage Area for Remote SensingImages. [In:] Proceedings of 2021 Ural Symposium on Biomedical Engineering. Radioelectronics and Information Technology (USBEREIT). Jekaterynburg. Rosja. 2021, 0312–0315. DOI: 10.1109/USBEREIT51232.2021.9455113. 4. Qi Lv, Baoyu Ding, Ling Li, Research on Evaluation of Target Thermal Infrared Camouflage Effect Based on Image Features. [In:] Proceedings of 2019 IEEE 2nd International Conference on Information Systems and Computer Aided Education (ICISCAE), 2019, DOI: 10.1109/ICISCAE48440.2019.221678. 5. Norma Obronna NO-10-A504: 2017 „Pokrycia i komplety maskujące - Badania”. 6. Olsen F.B., Methods for Evaluating Thermal Camouflage, RTO SCI Symposium on “Sensors and Sensor Denial by Camouflage, Concealment and Deception”, Brussels, Belgium, 19–20 April 2004. 7. Townshend J.R.G, Goff T.E., Tucker C.J., Multitemporal Dimensionality of Images of Normalized Difference Vegetation Index at Continental Scales, “IEEE Transactions on Geoscience and Remote Sensing”, Vol. GE-23, No. 6, 1985, 888–895, DOI: 10.1109/TGRS.1985.289474.
43
Badanie skuteczności materiałów siatek maskujących w aspekcie obserwacji z pozycji BSP
Testing the Effectiveness of Camouflage Nets Materials in Terms of Observation from the UAV Position Abstract: This article presents the results of aerial observations conducted using infrared airborne surveillance platforms. The observation conditions closely resembled real battlefield conditions. The observation results were compared with laboratory studies that utilized a black body reference to measure the radiative transmission of 11 different masking nets materials. The research referred to the measured transparency coefficient of the tested materials. The conducted research indicates that there is no consistent correlation between transparency in visible light and infrared radiation passing through the masking material for the tested materials. Considering that camouflage meshes and the materials from which they are made have become highly sought-after equipment on the modern battlefield, with many entities initiating their production, there is a strong need to develop a rapid method for assessing the suitability of such materials in terms of thermal camouflage. The study proposes the utilization of a simple camouflage evaluation index based on transparency in two spectral ranges.
Keywords: UAV, thermal camouflage, infrared reconnaissance, camouflage nets, remote sensing, camouflage evaluation
dr inż. Anna Szajewska
por. mgr inż. Paweł Kalinowski
Adiunkt w Akademii Pożarniczej w Warszawie, Wydział Inżynierii Bezpieczeństwa i Ochrony Ludności. Działalność naukowa: badanie rozwoju pożarów zewnętrznych, komputerowe przetwarzanie obrazów, technologia podczerwieni, zastosowania termowizji.
Absolwent wydziału Mechatroniki w Wojskowej Akademii Technicznej. Kierownik Pracowni Systemów Obserwacji i Rozpoznania Zakład Kompozytowych Konstrukcji Lotniczych (Z-58) Instytut Techniczny Wojsk Lotniczych. Zainteresowania naukowe: sieci neuronowe, przetwarzanie i klasyfikacja obrazów.
pawel.kalinowski@itwl.pl ORCID: 0000-0001-6167-2140
aszajewska@apoz.edu.pl ORCID: 0000-0001-8370-6807
mgr inż. Krzysztof Szajewski krzysztof.szajewski@wat.edu.pl ORCID: 0000-0002-8429-3976
Absolwent wydziału Cybernetyki Wojskowej Akademii Technicznej. Od 2021 r. zatrudniony w Wojskowej Akademii Technicznej na wydziale Cybernetyki. Pracuje również w Pracowni Systemów Obserwacji i Rozpoznania w Instytucie Technicznym Wojsk Lotniczych. Zainteresowania koncertują się wokół prototypowania cyfrowych urządzeń elektronicznych, cyfrowego obrazowania oraz cyfrowego przetwarzania sygnałów.
44
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Pomiary Automatyka Robotyka, ISSN 1427-9126, R. 27, Nr 3/2023, 45–55, DOI: 10.14313/PAR_249/45
Metoda dopasowania funkcji nieliniowej do danych punktów pomiarowych i jej pasmo niepewności Jacek Puchalski
Główny Urząd Miar, ul. Elektoralna 2, 00-137 Warszawa
Zygmunt Lech Warsza
Sieć Badawcza Łukasiewicz – Przemysłowy Instytut Automatyki i Pomiarów PIAP, Al. Jerozolimskie 202, 02-486 Warszawa
Streszczenie: W pracy przedstawiono propozycję metody wyznaczania parametrów i pasma
niepewności funkcji nieliniowej dopasowanej do zmierzonych danych punktów badanych. By ją zlinearyzować trzeba dokonać zamiany jednej lub obu zmiennych określonej funkcji nieliniowej. Następnie metodą regresji liniowej dobrano najkorzystniejsze parametry linii prostej dopasowanej do wartości współrzędnych punktów wg ważonego ogólnego kryterium średniokwadratowego WTLS. Uwzględnia się też współczynniki autokorelacji i korelacji wzajemnej oraz niepewności obu współrzędnych oszacowane na podstawie przewodnika GUM. Z parametrów otrzymanej linii prostej i jej pasma niepewności wynikają poszukiwane parametry funkcji nieliniowej oraz jej pasmo niepewności. Podano przykłady liczbowe wyznaczania parametrów i pasma niepewności dwiema metodami dla jednej z gałęzi paraboli drugiego stopnia oraz dla złożonej funkcji wykładniczej. Słowa kluczowe: regresja liniowa funkcji nieliniowych, dopasowanie, niepewność, pasmo niepewności, autokorelacja, korelacja wzajemna, ważona ogólna metoda najmniejszych kwadratów
1. Wprowadzenie Charakterystyki znamionowe wielu sensorów, przetworników i przyrządów pomiarowych, jak i zależności parametrów wielu badanych zjawisk, właściwości materiałów, charakterystyki urządzeń i ich elementów opisuje się funkcjami nieliniowymi. W praktyce metrologicznej (np. we wzorcowaniu i okresowej kontroli przyrządów) wyznacza się rzeczywiste wartości parametrów badanych charakterystyk. Ich przebiegi i niepewności porównuje się ze znamionowymi, by stwierdzić, czy spełniają określone wymagania. Podstawowym narzędziem matematycznym stosowanym w dopasowywaniu parametrów różnych funkcji liniowych i nieliniowych do zmierzonych wartości jednej lub kilku współrzędnych badanych punktów jest regresja liniowa. Dla dwu zmiennych dotyczy ona wyznaczenia funkcji y = f(pi, x) o liniowej zależności od jej m parametrów pi, i = 1, …, m. Na przykład, dla paraboli y = ax2 + bx + c wyznacza się parametry a, b, c. Jako kryterium wykorzystuje się różne warianty metody najmniejszych kwadratów, w tym najbardziej ogólną jej postać o akronimie
Autor korespondujący: Zygmunt Lech Warsza, zlw1936@gmail.com Artykuł recenzowany nadesłany 17.07.2023 r., przyjęty do druku 25.08.2023 r. Zezwala się na korzystanie z artykułu na warunkach licencji Creative Commons Uznanie autorstwa 3.0
WTLS (ang. Weighted Total Least Squares), czyli ważona ogólna metoda najmniejszych kwadratów). Uwzględnia ona wszystkie dane badanych punktów, tj. zmierzone wartości współrzędnych, rozkłady i niepewności oraz autokorelacje i korelacje wzajemne wyników ich pomiarów. Wyznacza się równanie badanej funkcji i granice jej pasma niepewności rozszerzonej (zwanego też korytarzem niepewności) jako przedziału występowania błędów o określonym prawdopodobieństwie. Regresję liniową stosuje się we wszystkich ścisłych, przyrodniczych i społecznych dyscyplinach naukowych, w medycynie i ochronie zdrowia, w gospodarce i dziedzinach technicznych, w tym w służbie miar. Opracowne są metody analityczne i algorytmy numeryczne do wyznaczania parametrów funkcji liniowych i wiele nieliniowych dopasowanych do danych pomiarowych. Istnieje wiele metod regresji liniowej dla dopasowywania różnych funkcji nieliniowych do danych pomiarowych. Są one rozbudowane numerycznie i zwykle nazywane nazwiskami ich twórców. Najstarszą jest metoda Gaussa-Newtona z 1809 r. [5–8]. Metody quasi-newtonowskie to: metoda Davidson-a, Fletcher-a i Powell-a [9], metody BFGS [10], Levenberga-Marquardta [11–13] i ogólna numeryczna metoda rozwiązywania równań nieliniowych Raphsona-Newtona. Stosuje się też metodę Monte Carlo. W podstawowych pracach matematycznych o metodach regresji zwykle nie ocenia się niepewności pomiarów ściśle według zasad międzynarodowego przewodnika wyznaczania niepewności pomiarów GUM [1] (ang. Guide to the expression of Uncertainty in Measurement), używanego powszechnie w praktyce pomiarowej. Wynika to stąd, że jego pierwsza wersja, inicjująca pojęcia niepewności pomiarów ukazała się w 1993 r., zaś wiele metod regresji powstało wcześniej. Nawet w najnowszych pracach zwykle nie uwzględnia się niepewności składowej typu
45
Metoda dopasowania funkcji nieliniowej do danych punktów pomiarowych i jej pasmo niepewności odpowiada odwróconej dystrybuancie rozkładu t-Studenta o n – 2 stopniach swobody i pokryciu z prawdopodobieństwem 1 – α = 0,95 (α = 0,05).
z wzorów na efektywną macierz odwrotną do macierzy kowariancji i z parametrów pomocniczych [19, 22]. Minimalizacji dokonano za pomocą parametru β monitorując wyznaczoną charakterystykę φψξ θ1 zawierającą lokalne minimum. Dla dopasowania parametru β = β min otrzymuje się minimum globalne. Ilustruje to rysunek 2a. Dla tych samych danych punktów pomiarowych wyznaczono charakterystykę φψξ θ0 wykorzystując jednoznaczną zależność między wartością wyrazu wolnego, a wartością współczynnika kierunkowego w punkcie globalnego minimum funkcji φψξ (rys. 2b). Dla minimum funkcji kryterialnej otrzymuje się następujące wzory dla parametrów paraboli:
( )
3. Dopasowanie funkcji drugiego stopnia do punktów pomiarowych
( )
Charakterystyki wielu rodzajów przyrządów pomiarowych, czujników i przetworników oraz właściwości badanych materiałów, wyznacza się z pomiarów współrzędnych odpowiedniej liczby punktów badanych. Gdy są one opisywane funkcjami nieliniowymi, to parametry równania tej funkcji, wyznacza się stosując metodę regresji liniowej. Przy wzorcowaniu lub kalibracji przyrządów wyniki porównuje się z danymi znamionowymi i szacuje się ich dokładność. Rozpatrzymy przykład dopasowywania charakterystyki opisanej funkcją drugiego stopnia [24] jako gałęzi paraboli o równaniu: y = Ax2 + Bx + C
A = θ1min ,
(12a)
= B 2= Aβ min 2 β minθ1min ,
(12b)
2 = C θ0 min + β min θ1min .
(9)
(12c)
Dopasowaną funkcję drugiego stopnia z pasmem niepewności ±U y x opisuje równanie:
()
lub w postaci kanonicznej
(13) 2
B B2 y= Ax 2 + Bx + C= A x + +C − 2A 4A
gdzie niepewność rozszerzoną Uy określają wzory (7, 8).
(10)
(
3.1. Dopasowanie paraboli metodą I
Metoda I polega na przekształceniu współrzędnej x w nową 2 współrzędną kartezjańską ξ x , β= x + β oraz podstawieniu
(
θ1 = A, β =
) (
)
B B C− . Zaś rzędna się nie zmienia, i θ= 0 4A 2A 2
tj. ψ = y . Równanie (10) przekształci się więc do postaci:
= y θ1ξ + θ0
(11)
Tabela 1. Współrzędne badanych punktów paraboli drugiego stopnia o parametrach znamionowych A = 0,13333 ≈ 0,133; B =0,039999 ≈ 0,04; C = 1,003 i ich odchyłki Δy Table 1. Coordinates of the examined points of the 2nd degree parabola with parameters rated A = 0.13333 ≈ 0.133; B = 0.039999 ≈ 0.04; C = 1.003 and their deviations Δy
Niepewność nowej współrzędnej ξ określa się z prawa propagacji niepewności. Dla małych jej wartości uwzględnia się tylko wyrazy z pierwszą pochodną:
( )
u ξi
∂ξ u xi = 2 xi + β u xi ≈ ∂x i
( )
( )
i = 1, , n
(11a)
∂ξ ∆x = 2 x i + β ∆x i . ∂x i i
(
)
(11b)
Jako przykład rozpatrzymy symulowane badania rzeczywistej charakterystyki przetwarzania przetwornika napięcia o znamionowej charakterystyce parabolicznej opisanej ogólnie wzorem (10). Dla dziesięciu wartości xi jego napięcia wejściowego x zmierzono wartości yi napięcia wyjściowego y. Pomiary obu napięć wykonano miernikiem o standardowej niepewności względnej ρ = 2%. W tabeli 1 podano wartości obu współrzędnych punktów pomiarowych i symulowane odchyłki ∆y od charakterystyki znamionowej y ≈ 0,133x 2 + 0,04x + 1,003. Przy użyciu skoroszytu EXCEL (Dopasowanie, parabola I.xlsx ver.1.01), na podstawie danych pomiarowych z dziesięciu punktów, wyznaczono wartości funkcji φψξ θ1 . Skorzystano tu
( )
48
P
O
M
I
A
R
Y
•
A
U
T
O
M
Współrzędne punktów pomiarowych [V]
[V]
Błędy dopasowania do znamionowej charakterystyki parabolicznej Δy [V]
1
1
1,14
–0,034
2
2
1,72
0,1
3
3
2,14
–0,18
4
4
3,26
0,04
5
5
4,66
0,12
6
6
5,71
–0,33
7
7
6,83
–0,99
8
8
10,19
0,33
9
9
12,50
0,34
10
10
13,64
–1,1
Lp.
Błędy pomiaru określa się przez przybliżenia:
∆ξi ≈
)
Z wartości współrzędnych θ1min , θ0 min dla punktu globalnego minimum (rys. 2a,b) otrzymano następujące parametry dopasowanej paraboli drugiego stopnia: A = 0,1276, B = 0,0534, C = 0,9812. Wraz z pasmem niepewności przedstawiono ją na rys. 3a. Po przyjęciu jednakowych współczynników autokorelacji +0,2 dla elementów macierzy UX, UY i ujemnych współczynniki –0,2 korelacji krzyżowych xi i yj dla i, j = 1, …, n, tj. dla macierzy UXY otrzymano następujące parametry: β min = 0,24, θ1min = 0,1275, θ0 min = 0,968, globalne minimum φψξ min ≈ 36, 49 oraz inne równanie dopasowanej paraboli 2-go stopnia y = 0,1275x2 + 0,0612x + 0,975. Podano je wraz z pasmem niepewności na rys. 3b.
Przez odpowiednią zmianę zmiennych równanie to można przekształcić w liniowe i dopasować je do nowych współrzędnych punktów badanych [24]. Rozpatrzymy dwie metody dopasowania krzywej parabolicznej.
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Metoda dopasowania funkcji nieliniowej do danych punktów pomiarowych i jej pasmo niepewności
16. Warsza Z.L., Puchalski J., Niepewności pomiarów w metodzie regresji liniowej. Cz. 2. Niepewności prostej regresji dla zmiennej Y o skorelowanych danych, „Pomiary Automatyka Robotyka”, R. 24, Nr 4, 2020, 61–72, DOI: 10.14313/PAR_238/61. 17. Warsza Z.L., Puchalski J., Uncertainty Bands of the Regression Line for Data with Type A and Type B Uncertainties of Dependent Variable Y. Proceedings of 22nd Conference on Automation 2021, Vol. 1390, 342–363, DOI: 10.1007/978-3-03074893-7_32. 18. Warsza Z.L., Puchalski J., Uncertainty bands of the regression line for autocorrelated data of dependent variable Y. Proceedings of 22nd Conference on Automation 2021, Vol. 1390, 364–386, DOI: 10.1007/978-3-03074893-7_33. 19. Puchalski J., A new algorithm for generalization of least square method for straight line regression in Cartesian System for fully correlated both coordinates. “International Journal of Automation, Artificial Intelligence and Machine Learning”, Vol. 2, No. 2, 2021, 20–54. 20. Warsza Z.L., Puchalski J., Ocena dokładności pomiarów w metodzie regresji liniowej z uwzględnieniem zasad przewodnika GUM. Materiały Międzyuczelnianej Konferencji Metrologów. 53 MKM Warszawa Główny Urząd Miar, 2021, „Metrologia Teoria i Praktyka” (red. M.R. Rząsa, Studia i Monografie, z. 556 Politechnika Opolska 2021, 59–104. 21. Warsza Z.L., Puchalski J., Method of estimation uncertainties of indirect multivariable measurement including accuracy of processing function as extension of GUMS2. Advanced Mathematical and Computational Tools in Metrology and Testing AMCTM XII. Pavese F., Forbes A.B., Zhang N. F., Chunovkina A.G. (Eds.): Series on Advances in Mathematics for Applied Sciences. Vol. 90, (2021), 451–463, DOI: 10.1142/9789811242380_0029. 22. Puchalski J., Warsza Z.L., Regresja i niepewność linii prostej dla pomiarów obu zmiennych x i y ze wszystkimi korelacjami, „Pomiary Automatyka Robotyka”, R. 26, Nr 2, 2022, 47–58, DOI: 10.14313/PAR_244/47. 23. Puchalski J., Warsza Z.L., Wyznaczanie linii prostej metodą regresji liniowej i jej pasma niepewności według GUM z pomiarów obu zmiennych x i y przy ich autokorelacji i korelacji wzajemnej. red. J. Augustyn, Metrologia badania i zastosowania. Monografia M152 (54 MKM) Politechnika Świętokrzyska Kielce, 2022, 235–256. 24. Puchalski J., Warsza Z.L., Linear Regression method of matching the parabolic curve to tested points of both correlated coordinates Abstract 2p. Paris MathMet 2022 EMN Conference. 25. Draper R.D., Smith H., Applied Regression Analysis 3rd Edition Willey, New York, 1998 (polskie tłumaczenie wyd. 1 1966. Analiza regresji stosowana. PWN Warszawa 1973).
ści zmierzonych tym samym przyrządem o stałym maksymalnym błędzie względnym E, ich współczynnik korelacji kij ≈ 1. 2 2 uBi + 2kijuBiuBj + uBj Ze wzoru uBij = dla sumy dwu wartości
= uBi + uBj wynika uBij
uBi − uBj . i dla ich różnicy u= Bij
Dla operacji mnożenia i dzielenia takie same zależności dotyczą błędów względnych.
Bibliografia 1. Joint Committee for Guides in Metrology (BIPM, IEC, IFCC,ILAC, ISO, IUPAC, IUPAP & OIML) JCGM 100:2008 Evaluation of Measurement Data–Guide to the Expression of Uncertainty in Measurement (Sevres, France: International Bureau of Weights and Measures BIPM) 2. Golub G.H., Van Loan C.F., Matrix Computations. J. Hopkins University Press, Baltimore, 3rd ed., 1996. 3. Grafarend E.W., Awange J.L., Applications of Linear and Nonlinear Models–Fixed Effects, Random Effects, and Total Least Squares. “Journal of Geodetic Science”, Vol. 3, No. 1, 2013, 77–78 DOI: 10.2478/jogs-2013-0009. 4. Golub G., Van Loan C., An analysis of the total least squares problem, “SIAM Journal of Numerical Analysis”, Vol. 17, No. 6, 1980, 883–893, DOI: 10.1137/0717073. 5. Mittelhammer R.C., Econometric Foundations, Cambridge University Press. 2000, 197–198, ISBN 0-521-62394-4. 6. Christodoulos A., Floudalos M., Encyclopedia of Optimization. Springer, 2008. ISBN 978038774583. 7. Dennis J.E. Jr., Schnabel R.B., Numerical Methods for Unconstrained Optimization and Nonlinear Equations. SIAM 1996 reproduction of Prentice-Hall 1983 edition. DOI: 10.1137/1.9781611971200. 8. Davidson W.C., Variable Metric Method for Minimization. AEC Research and Development Report ANL 5990. DOI: 10.2172/4252678. 9. Fletcher R., Practical methods of optimization (2nd ed.) New York John Wiley and Sons, 1987, ISBN 978-0-47191547-8. 10. Mascarenhas W.F., The divergence of the BFGS and Gauss Newton Methods, “Mathematical Programming”, 2013, arXiv:1309.7922, DOI: 10.48550/arXiv.1309.7922. 11. Levenberg K., A Method for the Solution of Certain Non-Linear Problems in Least Squares. “Quarterly of Applied Mathematics”, Vol. 2, No. 2, 1944, 164–168, DOI: 10.1090/qum/10666. 12. Marquardt D., An Algorithm for Least-Squares Estimation of Nonlinear Parameters. “SIAM Journal on Applied Mathematics”, Vol. 11, No. 2, 1963, 431–441, DOI: 10.1137/0111030. 13. Kanzow CH., Yamashita N., Fukushima M., Levenberg– Marquardt methods with strong local convergence properties for solving nonlinear equations with convex constraints. “Journal of Computational and Applied Mathematics”, Vol. 172, No. 2, 2004, 375–397, DOI: 10.1016/j.cam.2004.02.013. 14. Krystek M., Mathias A., A least-squares algorithm for fitting data points with mutually correlated coordinates to a straight line. “Measurement Science and Technology”, Vol. 22, 2011, DOI: 10.1088/0957-0233/22/3/035101. 15. Warsza Z.L., Puchalski J., Niepewności pomiarów w metodzie regresji liniowej. Cz. 1. Prosta i jej pasma niepewności dla nieskorelowanych danych pomiarowych, „Pomiary Automatyka Robotyka”, R. 24, Nr 3, 2020, 79–91, DOI: 10.14313/PAR_237/79.
54
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Jacek Puchalski, Zygmunt Lech Warsza
The Method of Fitting a Non-linear Function to Data of Measured Points and its Uncertainty Band Abstract: The paper presents a method of determining parameters and uncertainty bands of a specific non-linear function fitted to given measured data of examined points. One or both of the variables of this non-linear function are changed so as to linearize it. Using the linear regression method, fined are the most favorable parameters of this straight line for its adjustment to the measured values of the coordinates of points tested according to the weighted total mean square WTLS criterion. Their autocorrelation and cross-correlation coefficients as well as uncertainties estimated according to the rules of the GUM guide are considered. The parameters and the uncertainty band of the non-linear function result from the parameters of this straight line and its uncertainty band. Numerical examples of determining the parameters and uncertainty bands for the branch of a 2nd degree parabola (two methods) and for the complex exponential function are given. Keywords: linear regression of non-linear functions, fit, uncertainty and its band, correlation, weighted total least squares method
doc. dr inż. Zygmunt Lech Warsza
dr inż. Jacek Puchalski
Absolwent Wydziału Elektrycznego Politechniki Warszawskiej 1959, doktorat 1967, docent od 1970. Praca: Instytut Elektrotechniki 1958–1963 i 1994–1995, Politechnika Warszawska 1960–1970, Politechnika Świętokrzyska 1970–1978 (organizator i dziekan Wydziału Transportu w Radomiu), Organizator i kierownik: Ośrodka Aparatury Pomiarowej w Instytucie Meteorologii i Gospodarki Wodnej 1978–1982 oraz Zakładu Automatyzacji i Pomiarów w Instytucie Chemii Przemysłowej 1983–1992. Doradca Ministra Edukacji Narodowej 1992–1995, Politechnika Radomska 1983–2002. Obecnie główny specjalista w Przemysłowym Instytucie Automatyki i Pomiarów PIAP. Autor ponad 340 publikacji, 6 monografii, kilkudziesięciu prac badawczych i konstrukcyjnych, 11 patentów oraz promotor 2 doktorów. Prezes Polskiego Towarzystwa Metrologicznego. Członek stowarzyszenia PolSPAR oraz Akademii Metrologii Ukrainy.
Absolwent Wydziału Fizyki Technicznej i Matematyki Stosowanej (1986 r.) oraz Wydziału Elektroniki (1988 r.) Politechniki Warszawskiej. W latach 1987–1995 asystent na Politechnice Warszawskiej, w 1995 r. obronił pracę doktorską. Kolejne 10 lat pracował w branży nowych technologii w firmach produkujących i importujących kasy rejestrujące. Przygotowywał i uczestniczył w certyfikacji nowych modeli kas w Ministerstwie Finansów oraz prowadził szkolenia i serwis urządzeń fiskalnych. Od 2006 r. pracuje w Głównym Urzędzie Miar. Zajmował się zatwierdzeniem typu i oceną zgodności taksometrów elektronicznych i mierników prędkości w ruchu drogowym, a obecnie jako główny metrolog rozwija metody matematyczne szacowania niepewności pomiarowych.
zlw1936@gmail.com ORCID: 0000-0002-3537-6134
j.puchalski@gum.gov.pl ORCID: 0000-0002-5055-8550
55
56
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Pomiary Automatyka Robotyka, ISSN 1427-9126, R. 27, Nr 3/2023, 57–65, DOI: 10.14313/PAR_249/57
Mostki dwuźródłowe jako nowy rodzaj układów pomiarowych Zygmunt Lech Warsza
Sieć Badawcza Łukasiewicz – Przemysłowy Instytut Automatyki i Pomiarów PIAP, Al. Jerozolimskie 202, 02-486 Warszawa
Streszczenie: W pracy omawia się podstawowe zależności i stan badań niekonwencjonalnych układów pomiarowych w postaci mostków czteroramiennych o dwu źródłach i dwu wyjściach z obu przekątnych. Dwa jednakowe źródła prądu lub napięcia są odpowiednio dołączone do przeciwległych gałęzi mostka. Podano wzory dla napięć wyjściowych i warunki równowagi obu wyjść mostków dwuźródłowych przy prądzie stałym (DC). Dla mostków dwuprądowych są to równości iloczynów rezystancji ramion przyległych do końcówek każdego z wyjść, a dla mostków dwunapięciowych – równości sum dwu rezystancji ramion. Oba te rodzaje mostków przy zrównoważeniu kolejno każdego z wyjść umożliwiają pomiary dwu różnych rezystancji (lub konduktancji) ich ramion. Ich sygnały wyjściowe zależą zaś od różnych liniowych kombinacji przyrostów rezystancji ramion od wartości w stanach równowagi. Jako przykład zastosowania rozpatrzono równoczesny pomiar odkształcenia i przyrostu temperatury różnicowym dwuelementowym czujnikiem tensometrycznym. Krótko scharakteryzowano stan prac teoretycznych i wyniki badań eksperymentalnych układów mostków dwuprądowych DC oraz prototypowych konstrukcji przyrządów pomiarowych i stanowisk laboratoryjnych na nich opartych. Słowa kluczowe: mostki dwuprądowe, mostki dwunapięciowe, dwa różne wyjścia, dwie rezystancje, przyrosty rezystancji
1. Wprowadzenie W pomiarach obiektów wieloparametrowych mierzy się ich parametry zarówno bezpośrednio, jak i z użyciem układu czujników. Aby wyznaczyć numerycznie parametry modelu matematycznego opisującego funkcjonowanie badanego obiektu, konieczne jest wyznaczenie występujących równocześnie powiązań jego parametrów ze sobą i z oddziałującymi wielkościami zewnętrznymi, zarówno zdeterminowanych, jak i losowych. Oddziaływania te wpływają w różny sposób i zwykle nieselektywnie na mierzone parametry modelu. Ponadto niemal wszystkie czujniki pomiarowe nie są selektywne. Pomiary wpływu pojedynczej wielkości przy ustabilizowanych pozostałych, nawet w warunkach laboratoryjnych są możliwe tylko w nielicznych przypadkach. Zwykle trzeba mierzyć równocześnie wpływy kilku powiązanych ze sobą parametrów wspólnym systemem pomiarowym i przy zastosowaniu czujników, na parametry których oddziałują nie tylko wielkości mierzone, ale i różne inne, w tym temperatura otoczenia.
Autor korespondujący: Zygmunt Lech Warsza, zlw1936@gmail.com Artykuł recenzowany nadesłany 14.07.2023 r., przyjęty do druku 04.09.2023 r. Zezwala się na korzystanie z artykułu na warunkach licencji Creative Commons Uznanie autorstwa 3.0
Przykładem są pomiary tensometryczne. Zmiany rezystancji tensometru zależą nie tylko od jego odkształcenia, ale i od temperatury. Trzeba więc mierzyć jej zmiany albo dodatkowym czujnikiem temperatury, albo takim samym nieodkształcanym tensometrem, by jej wpływ kompensować już w wejściowym układzie analogowym lub w dalszej cyfrowej części systemu pomiarowego. Taki pomiar może być obarczony dodatkowym błędem od zmian rezystancji tensometru wskutek grzania własnego, gdy dla podwyższenia czułości zastosuje się zbyt duży prąd płynący przez tensometr. To niepożądane odziaływanie zmian temperatury na rezystancję tensometru można też wykorzystać do pomiarów rzeczywistej jego temperatury i korekty jej wpływu. Taka możliwość powstaje przy stosowaniu czujnika różnicowego o dwu jednakowych tensometrach – ściskanym i rozciąganym. Jeśli powstające w nich przyrosty rezystancji od zmian odkształcenia, jako efekt mierzonej siły lub jej momentu, będą miały różne znaki, a od temperatury jednakowe, to możliwy jest równoczesny pomiar obu oddziałujących wielkości. W tym celu w układzie pomiarowym należy utworzyć dwa sygnały wyjściowe – dla różnicy i sumy zmian rezystancji obu tensometrów czujnika różnicowego. Pierwszy z nich, jako podstawowy, będzie zależeć od ich odkształceń, a drugi, pomocniczy – od zmian temperatury czujnika. W dalszej analogowej lub cyfrowej części układu pomiarowego ten drugi sygnał można następnie też wykorzystać do korekty wpływu temperatury na wartość początkową rezystancji i na współczynnik czułości tensometrycznego czujnika różnicowego. Zaproponowano, by do równoczesnych, powiązanych ze sobą pomiarów dwuparametrowych w obiekcie badanym lub w czujniku stosować mostki o dwu źródłach prądowych [3] oraz o dwu napięciowych [6, 33]. Mostki te stanowią odrębny, wcześniej nieopisywany, rodzaj układów pomiarowych. Autor opracował:
57
Mostki dwuźródłowe jako nowy rodzaj układów pomiarowych podstawy teoretyczne mostków dwuźródłowych jako zrównoważonych i odchyłowych dla prądu stałego DC i przemiennego AC, zasady szacowania ich dokładności jako zrównoważonych i odchyłowych oraz przykłady ich zastosowań w monografii [6] i innych pracach [3–10]. Używa też dla nich następujących nazw i symboli: mostki dwuprądowe (2J), mostki dwunapięciowe (2E), o dwu wyjściach: napięciowych (2U) lub prądowych (2I). W zrównoważonych układach mostkowych, oba źródła powinny być tylko jednakowe, lub też należy uśredniać wyniki z dwu pomiarów przy przełączaniu ich miejscami. W mostkach odchyłowych źródła muszą mieć znane wartości i być stabilizowane. Przy prądzie stałym DC można mierzyć dwie rezystancje lub dwie konduktancje, lub sumy i różnice ich przyrostów od wartości w równowadze wyjść, również równocześnie. Układami dwuźródłowymi prądu przemiennego AC można mierzyć składowe dwu impedancji i ich przyrosty [6]. Poniżej przedstawiono podstawowe zależności dla obu rodzajów mostków dwuźródłowych, tj. dwuprądowych i dwunapięciowych, jako zrównoważonych i odchyłowych oraz przykład zastosowania mostka dwunapięciowego do pomiarów dwu wielkości tensometrycznym czujnikiem różnicowym. Krótko omówiono stan prac o mostkach dwuźródłowych i proponowane kierunki badań rozwojowych.
lub = U AB J 1
′′ = U DC J1
′′ = U DC J1
(
∑ Ri
) − J R (R + R )
(1)
) − J R (R + R )
(2)
3
3
(
R3 R1 + R4
∑ Ri
1
3
1
2
∑ Ri 3
2
∑ Ri
R1R2 − R3R4
−
∑ Ri
(
)
∆J R¢ + R R
(
∑ Ri
)
∆J R1 + R4 R3
∑ Ri
(1a)
.
(2a)
Dla dwu jednakowych źródeł prądowych J= J 3 ≡ J wzory 1 upraszczają się: U AB = J ′′ = J U DC
R1R4 − R3R2
(3)
∑R
i
R1R2 − R3R4
(4)
∑R
i
Dla dwu źródeł o różnych wartościach prądów J 1 ≠ J 3 , takie same wzory uzyskuje się uśredniając wskazania przy zamianie tych źródeł miejscami, a nawet, gdy użyje się tylko jedno przełączane źródło. ′′ = 0 wynikają bezZe wzorów (3) i (4) dla UAB = 0 lub U DC pośrednio dwa warunki równowagi:
Klasyczny rezystancyjny mostek Wheatstone’a zasilany ze źródła prądowego i rezystancyjny mostek dwuprądowy przedstawione są na rysunku 1. W obu układach cztery rezystancje R1 … R4 tworzą jedno oczko, ale różnią się liczbą źródeł zasilania, sposobem ich dołączenia i liczbą wyjść. Mostek klasyczny z rys. 1a podano dla porównania. Mostek dwuprądowy z rys. 1b, (c) ma dwa idealne źródła prądu stałego (DC) J1, J2 dołączone obocznie do przeciwległych gałęzi układu np. R1, R3 (lub R2, R4) w kierunku na współdziałanie i dwa wyjścia napięciowe AB i DC. Według teorii obwodów elektrycznych mostek ten jest uproszczonym układem czterobramowym (4P): dwa wejścia, dwa wyjścia. Sformalizowany macierzowy opis tego układu jest dość skomplikowany, nawet dla nieobciążonego czteroramiennego układu rezystancyjnego. Wystarczą tu do rozważań gotowe wzory napięć wyjściowych na obu przekątnych AB i CD tego układu. W ogólnym przypadku niejednakowych prądów J 1 ≠ J 3 , napięcia wyjściowe mostka dwuprądowego są następujące [6]: R1 R3 + R4
−
∑ Ri
gdzie ∆J ≡ J 3 − J 1.
2. Mostki rezystancyjne dwuprądowe
= U AB J 1
R1R4 − R2R3
R1R4 = R2R3
(3a)
R1R2 = R3R4
(4a)
Obie pary iloczynów rezystancji (3a), (4a) mogą mieć różne wartości. Warunek równowagi dla każdego z wyjść mostka dwuprądowego dotyczy równości iloczynów innych par rezystancji. Jest to równość iloczynów rezystancji ramion przyległych do końcówek danego wyjścia. Dla wyjścia AB układu mostka 2J z rys. 1b, (c) dotyczy to rezystancji w pionie, a dla wyjścia DC – w poziomie. Z dwu wartości rezystancji regulowanej dwukrotnie dla uzyskania równowagi wyjść, można wyznaczyć dwie inne rezystancje. Oba warunki równowagi są równocześnie spełnione, gdy przeciwległe rezystancje w układzie mostka z rys. 1b(c) są sobie równe, tj. gdy R1 = R3 i R2 = R4. Warunki te nie zależą od rezystancji doprowadzeń źródeł prądowych i od jednakowych zmian względnych prądów obu źródeł. Taką samą parę warunków równowagi uzyska się dla dwu źródeł prądowych J dołączonych obocznie do ramion CB i DA. Warunek równowagi R1R3 = R2R4 klasycznego mostka 4R, to równości iloczynów rezystancji ramion przeciwległych, ale wzory (3), (4) dla napięć wyjściowych mostka dwuprądowego mają podobną formę, jak przy jego zasilaniu prądowym (Rys. 1a), tj. ′ =J U DC
R1R3 − R2R4
∑R
.
i
Rys. 1. Mostki rezystancyjne zasilane prądowo: układ a) mostek 4R Wheatstone’a zasilany prądowo na zaciskach AB i o wyjściu DC; b,(c) mostek dwuprądowy 2J2U – zasilany z jednakowych źródeł J1 = J 3 dołączonych w AC i BD. Układ ten ma dwa wyjścia: DC – b, AB – (c). Znaki przyrostów rezystancji na rysunku (dla układu c w nawiasach) rozrównoważają mostek w tym samym kierunku Fig. 1. Current supplied resistance bridges: circuit: a – conventional bridge supplied by source J via terminals AB with output DC; b,(c) – double-current 2 J bridge supplied by two sources J1 = J3 to AC and BD terminals with 2 outputs: DC – of the circuit b; AB – of the circuit c. Given on figure signs of resistance increments (for circuit c – in brackets) unbalancing the bridge in the same direction
58
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Zygmunt Lech Warsza Układy mostków dwuprądowych można stosować też jako odchyłowe (nierównoważone). Rezystancje układu można przedstawić ogólnie jako R= Ri 0 + ∆Ri = Ri 0 1 + ε Ri , dla i, j = (1, …, 4). i Jeśli początkowe wartości Ri 0 spełniają warunki równowagi (3a), (4a), to dla przyrostów ∆Ri ≠ 0 na wyjściach występują napięcia:
(
)
(5)
(6) Gdy iloczyny przyrostów względnych są bardzo małe, tj. ε Rj dla ii ≠ j , to są one pomijalne i wzory (5), (6) upraszczają się, tj.:
(
ε Ri ε Rj ε Ri ¢
)
∞ = JR10R40 U AB
′′∞ = JR10R20 U DC
ε R1 + ε R 4 − ε R 2 − ε R 3
∑R + ∑ ∆ i0
ε R1 + ε R 2 − ε R 3 − ε R 4
∑R + ∑ ∆ i0
(5a)
Ri
(6a)
Ri
W układach zrównoważonych wystarczy by prądy źródeł były jednakowe i tylko współbieżne. W układach odchyłowych – źródła powinny być jednakowe i o stałej znanej wartości. W obu przypadkach można uśredniać wyniki po przełączeniu źródeł. Dla antysymetrycznego mostka 2J, tj. o jednakowych impedancjach w ramionach przeciwległych, równowaga obu wyjść zachodzi równocześnie. Niezrównoważony mostek dwuprądowy można więc stosować do równoczesnych pomiarów dwuparametrowych wykorzystując oba jego sygnały wyjściowe. Nie może on jednak mieć obciążonych wyjść, gdyż rezystancje w przekątnych układu niezrównoważonego wpływają na rozpływ prądów i wówczas komplikują się wzory na napięcia wyjściowe. Wynika to z równań metody potencjałów węzłowych. Mostek o obu obciążonych wyjściach jest układem czterobiegunowym 4T [6] o sześciu elementach i strukturze czworoboku zupełnego. Wzory (5), (6) obowiązują więc dla każdego z wyjść tylko wtedy, gdy oba jego wyjścia napięciowe nie są obciążone. Przy nieidealnych źródłach prądowych, ich rezystancje wewnętrzne bocznikują równoległe do nich rezystancje mostka, np. R1, R3 na rys. 1b(c) i wpływają na warunki równowagi. Trzeba we wzorach (1)–(4a) uwzględniać wartości rezystancji tych równoległych połączeń [6]. Stąd wynika wnio-
sek, że przy wykorzystywaniu równoczesnym obu wyjść należy stosować układ zasilany wymuszonymi prądami i nieobciążony na wyjściach. Wzory na napięcia wyjściowe niezrównoważonego klasycznego mostka 4R zasilanego prądowo i dla wyjść z przekątnych mostka dwuprądowego o jednakowych źródłach mają taką samą formę, a rezystancje zmieniają w nich jedynie miejsca. Analizę teoretyczną i opisy wyników prac eksperymentalnych mostków dwuprądowych zawierają zestawione w bibliografii publikacje [3–34, 37].
3. Mostki rezystancyjne o dwu źródłach napięcia – wzory podstawowe Z ogólnych właściwości układów elektrycznych wynika, że dla każdego układu pasywnego istnieje jego układ dualny, czyli wariantom mostka dwuprądowego odpowiadają układy mostka o dwu źródłach napięciowych. Dwie wersje układu mostka dwunapięciowego DC o dwu wyjściach napięciowych oraz prądowych podano w sekcji 3.10 monografii [6]. Ich schematy przedstawiono na rysunkach 2a, b. Łatwiejszy do realizacji jest układ mostka dwunapięciowego (rys. 2a) o proponowanym symbolu 2E2U, tj. o źródłach E1 E3 i wyjściach napięciowych AB i DC. Zaś układ konduktancyjny 2E2I (rys. 2b(c)) o prądach zwarcia na wyjściach jest odpowiednikiem mostka 2J2U (rys. 1b). W literaturze poświęconej układom pomiarowym nie natrafiono na te układy. Najbliższy jest układ jednooczkowy do porównywania dwu napięć lub dwu rezystancji. Krawczyk i inni zrealizowali w Politechnice Wrocławskiej układ dwunapięciowy DC do przekazywania wartości wzorców bardzo dużych rezystancji, który nazwali mostkiem napięciowym [32]. Układ porównujący dwa indukowane równocześnie impulsy napięciowe przy obrocie cewek w dwu polach magnetycznych, autor stosował do wzorcowania teslomierzy hallotronowych w dużych indukcjach magnetycznych niemierzalnych miernikami NMR [33]. Realizacja dwu jednakowych źródeł napięcia jest łatwiejsza przy prądzie przemiennym AC. Można wówczas użyć wspólnego źródła i przekładnika lub dzielnika indukcyjnego o dwu jednakowych uzwojeniach wtórnych. Napięcia wyjściowe układu z rys. 2a wynoszą ′′∞ = U AB
′′∞ = U DC
(
)
(
)
)
(
)
E 3 R1 + R2 − E1 R3 + R4
(
∑ Ri
E 3 R1 + R4 − E1 R2 + R3
∑ Ri
(7)
(8)
′′ = 0 lub U DC ′′ = 0 otrzymuje Dla układu z rys. 2a, gdy U AB się dwa różne warunki równowagi:
Rys. 2. Mostki dwuwyjściowe zasilane dwoma źródłami napięcia [6] 2E – z wyjściami napięciowymi o innych zależnościach niż w mostku 2J 2U, 2E 2I – z wyjściami w postaci prądów zwarcia, dualny przy zmianach przewodności do dwuprądowego mostka rezystancyjnego z rys. 1b,(c) Podane znaki przyrostów rezystancji dla układu a) i konduktancji dla układu b) rozrównoważają w dodatnim kierunku oba wyjścia (dla wyjścia AB znaki są w nawiasach Fig. 2. Double output bridge circuits supplied by two voltage sources: of two voltage outputs and different balance equations then of 2J bridge b) of two short current outputs dual to 2J resistance bridge of Fig. 1b,(c). Signs of resistance increments given on Fig. a, and of conductance shown on Fig. b unbalance outputs of both bridges in positive direction (for AB sign are in brackets)
59
Mostki dwuźródłowe jako nowy rodzaj układów pomiarowych
E3(R1 + R2) = E1(R3 + R4),
(7a)
E3(R1 + R4) = E1(R2 + R3).
(8a)
Iloczyny w licznikach równań (13)–(14a) mostka dwunapięciowego 2E dotyczą też par jego ramion sąsiednich do zacisków wyjść, ale dla przeciwnych osi niż dla mostka dwuprądowego. Układ 2E2J (rys. 2b) o prądach zwarcia jako sygnałach wyjściowych też można wykorzystać w pomiarach dwu wielkości, np. do pomiarów przyrostów konduktancji. Na jego wyjściach trzeba by wówczas stosować aktywne przetworniki prądu o równoległym sprzężeniu zwrotnym zapewniającym pomijalnie mały wpływ ich rezystancji wejściowych. Oba układy dwunapięciowe (rys. 2a, b) można stosować w badaniach schematów zastępczych obiektów o strukturze nierozłączalnej, ale dostępnej z zacisków, ale wymagają one rozłączalnych dwu gałęzi ze źródłami napięciowymi. W tych gałęziach i w obwodach o prądach zwarcia jako sygnałów wyjściowych (rys. 2b) może wystąpić też wpływ rezystancji doprowadzeń. Jako układy współpracujące z wyjściami obu mostków (rys. 2a, b) warto stosować układy aktywne o odpowiedniej dla nich rezystancji wejściowej (>> Rwy, 0).
Do równoważenia wyjść tego układu można stosować nie tylko rezystancje, ale i zmiany wartości napięć źródłowych E1, E2, podobnie jak opisano to dla mostka napięciowego [32]. Jeśli napięcia źródeł w przeciwległych gałęziach układu 2E2U są sobie równe, tj. E= E 3 ≡ E lub wyznacza się średni wynik 1 z dwu pomiarów przy zamianie źródeł miejscami, to zależności napięć nieobciążonych wyjść AB i DC są następujące: ′′∞ = E U AB ′′∞ = E U DC
R1 + R2 − R3 − R4
(9)
∑R
i
R1 − R2 − R3 + R4
(10)
∑R
i
4. Pętla prądowa Andersona
Zaś dla E1 = E2 = E ich warunki równowagi (7a), (8a) będą następujące: R1 + R2 = R3 + R4
(9a)
R1 + R4 = R2 + R3
(10a)
W pomiarach wieloparametrowych stosuje się też wyspecjalizowane układy pomiarowe z podzespołami aktywnymi. Przykładem jest tzw. prądowa pętla Andersona (rys. 3) [1]. Pętlę tę omawia się tu dlatego, że zastosowane w niej dwuwejściowe wzmacniacze do porównywania przyrostów napięć jednakowych czujników rezystancyjnych temperatury można użyć na wyjściach mostków dwuźródłowych. Pętlą Andersona mierzy się analogowo przyrosty napięć jednakowych czujników rezystancyjnych szeregowo połączonych, a więc przy tym samym prądzie. Sygnały wyjściowe ze wzmacniaczy operacyjnych DDSi mierzących te różnice można przetwarzać dalej analogowo i cyfrowo. Trzeba jednak spełnić kilka dodatkowych wymagań: − rezystancje początkowe czujników takie same jak rezystancja odniesienia, − zasilanie czujników wspólnym prądem ograniczonym najmniejszą dopuszczalną ich mocą, − rozłączanie czujników połączonych np. w mostek co najmniej w jednym punkcie, − konieczność użycia aż 6–7 przewodów doprowadzających oraz − wielu pomiarowych wzmacniaczy różnicowych o „pływających” wejściach. Jeśli wynik zależy od bardzo małej różnicy mierzonych dwu dużych napięć, to może być bardzo niedokładny, a błędów nie ma jak wyeliminować na bieżąco i w prosty sposób. Przy takich pomiarach jednoparametrowych mostki klasyczne mają nadal szereg znanych zalet w stosunku do bezpośrednich pomiarów obu napięć, w tym dużą stabilność zera opartą na stabilności elementów pasywnych. Dla małych względnych przyrostów rezystancji realizują one na bieżąco sygnał zależny liniowo od sumy i różnicy tych przyrostów. Powszechnie stosuje się je na wejściach przetworników i komputerowych systemów pomiarowych. Dla większych przyrostów immitancji pojawiają się nieliniowości sygnału wyjściowego. Ich wpływ można eliminować przez odpowiedni dobór elementów w mostku, sprzężenie zwrotne lub korekcję w przetwarzaniu sygnału po stronie cyfrowej.
Wzory mostków dwunapięciowych mają więc inne prostsze postacie niż mostków klasycznych i dwuprądowych. Rezystancje mostka można zapisać ogólnie jako R= Ri 0 + ∆Ri . i Jeśli ich wartości początkowe Ri 0 spełniają warunek równowagi (9a) lub (10a), to przy przyrostach ∆Ri ≠ 0, na odpowiednim wyjściu układu są napięcia: ∆ + ∆R 2 − ∆R 3 − ∆R 4 ′′∞ = ∆U AB E R1 ∑ Ri 0 + ∑ ∆Ri
(11)
∆ − ∆R 2 − ∆R 3 + ∆R 4 ′′∞ = ∆U DC E R1 ∑ Ri 0 + ∑ ∆Ri
(12)
Mostkami z rys. 2a przy stałych i jednakowych napięciach źródłowych E można mierzyć dwie liniowe kombinacje przyrostów rezystancji od ich wartości w stanach równowagi. Natomiast dla mostka 2E2J (rys. 2b) o elementach pasywnych opisanych przewodnościami (G1 … G4) przy E= E 3 ≡ E i dla 1 rezystancji obciążeń wyjść RL CD = 0, RL AB = 0, otrzymuje się następujące prądy zwarcia: 0 I AB =E
0 I DC =E
G3G4 − G1G2
(13)
∑G
i
G1G4 − G2G3
(14)
∑G
i
lub dla gałęzi tego układu opisanych rezystancjami 0 I AB =E
0 I DC =E
R1R2 − R3R4
(
)
(
)
(
)
R1R2 R3 + R4 + R3R4 R1 + R2 R2R3 − R1R4
(
)
R1R2 R3 + R4 + R3R4 R1 + R2
(13a)
(14a)
5. Zastosowanie układów dwuźródłowych w pomiarach dwu rezystancji i ich przyrostów
Dla prądów zwarcia na wyjściach AB i DC mostka dwunapięciowego 2E (rys. 2b) wzory (13) i (14) w funkcji przewodności Gi jego elementów mają podobną formę jak wzory (1), (2) dla rezystancji mostka dwuprądowego 2J (rys. 1b). Układ z rys. 2a jest dualny do nierozpatrywanego tu przypadku mostka 2J o równoczesnych dwu wyjściach w postaci prądów zwarcia 2I.
60
P
O
M
I
A
R
Y
•
A
U
T
O
M
5.1. Pomiary pośrednie dwu wielkości (2D) czujnikami różnicowymi
Wpływy kilku wielkości oddziałujących równocześnie na parametry obiektu mierzonych bezpośrednio lub za pomocą czujników A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Zygmunt Lech Warsza Rozpatrzymy szczególny przypadek czujnika różnicowego o dwu jednakowych elementach, gdy wielkość x1 jednakowo wpływa na oba ich przyrosty ε1, ε2, zaś wpływy wielkości x2 są o tej samej wartości, lecz przeciwnego znaku, czyli: k11 = k21 = k22 = +1, k12 = –1 oraz
wówczas
są opisywane funkcjami zarówno liniowymi, jak i nieliniowymi. Zwykle uzyskuje się sygnały powiązane ze sobą i zależne od kilku wielkości, które następnie przetwarza się analogowo i cyfrowo według określonych algorytmów. Aby przybliżyć to zagadnienie, rozpatrzymy zasadę pomiarów w dość prostej sytuacji, gdy każdy z niewielkich przyrostów ε1, ε2 mierzonych parametrów ma takie dwie składowe, z których każda zależy tylko od jednej wielkości wpływającej x1 lub x2 [6]. Wówczas:
ε 1 ( x= , x 2 ) ε 1′ ( x1 ) + ε 1′′ ( x 2 ) 1
(15a)
ℵ2 ( x= ,x2 ) 1
(15b)
( )
( )
′ x1 + 2′′ x 2
2
Po prawej stronie układu równań (15a, b) występują aż cztery różne składowe. Znalezienie x1, x2 będzie więc wtedy możliwe, gdy składowe te będą powiązane jeszcze dwoma innymi znanymi zależnościami. Na przykład, gdy zależności te są liniowe, czyli
( ) ( )
ε 1 k11 k12 ε ′ x1 = ε 2 k21 k22 ε ′′ x 2
(16)
lub w postaci rozwiniętej dla składowych obu przyrostów:
( ) ( )
( ) ( )
( ) ( )
( ) ( )
= ε 1′ x1 k= ε ′ x1 ; ε 1′′ x 2 k12ε ′′ x 2 ; 11 = ε 2′ x1 k= ε ′ x1 ; ε 2′′ x 2 k22ε ′′ x 2 ; 21
(16a-d)
Przekształcenie odwrotne zależności (16) jest następujące:
( ) ( )
ε ′ x1 k22 1 = ε ′′ x 2 k11k22 − k12k21 −k12
( )
−k21 ε 1 k11 ε 2
( )
(17)
Przyrosty cząstkowe ε ′ x1 oraz ε ′′ x 2 składowych mogą być zarówno liniowymi, jak i nieliniowymi funkcjami przyrostów x1 oraz x2 wielkości mierzonych. Przy różnych wartościach współczynników kij układ równań (15a, b) dla przyrostów względnych opisuje zarówno liniowe zależności zmian parametrów układu od wpływających wielkości (dodawanie, odejmowanie z różnymi współczynnikami), jak i niektóre nieliniowe, gdyż suma niezbyt dużych przyrostów względnych kilku wielkości odzwierciedla mnożenie tych wielkości, a różnica – ich dzielenie.
ℵ2′′ ( x 2 ) = − 1′′ ( x 2 ) ≡ ′
(18a)
(
(
(18b)
)
= = ε ′ 0,5 ε 1 + ε 2 oraz ε ′′ 0,5 ε 1 − ε 2
)
Dla wszystkich powyższych rodzajów pracy czujników, po znalezieniu przyrostów ε1, ε2 można wyznaczyć ich składowe ε ′ x1 , ε ′′ x 2 , a z nich przyrosty x1, x2 obu wielkości mierzonych. Pomiary przyrostów dwu lub więcej parametrów i odtwarzanie wielkości mierzonych na podstawie omówionych zależności można przeprowadzać w różnych układach pomiarowych, różnicowych i sumujących. Na przykład dla modeli obiektów i czujników rezystancyjnych istnieje kilka możliwości pomiarów przyrostów rezystancji. Rezystancje podlegające zmianom można np. wraz ze stałą rezystancją odniesienia połączyć szeregowo, zasilić stabilizowanym prądem oraz bardzo precyzyjnie mierzyć cyfrowo, zapamiętywać i odpowiednio dalej przetwarzać wszystkie kolejne spadki napięć. Przy dwu tylko rezystancjach zmiennych, dla uzyskania pojedynczego wyniku trzeba wykorzystać co najmniej sześć pomiarów w tym trzech dla stanu początkowego. Liczba pomiarów i przetworzeń przyrasta wraz z każdą dodatkową zmienną rezystancją. Nie jest to wygodna metoda nawet przy jej automatyzacji, szczególnie w pomiarach dynamicznych przy szybko zmieniających się wielkościach i nadaje się do stosowania raczej tylko w warunkach laboratoryjnych. Jeśli wynik zależy od bardzo małej różnicy mierzonych dwu napięć, to może on być niedokładny, a błędów nie można na bieżąco i w prosty sposób wyeliminować. Wówczas przy pomiarach jednoparametrowych mostki klasyczne mają nadal szereg znanych zalet w stosunku do bezpośrednich pomiarów obu napięć, w tym bardzo dużą stabilność zera opartą na stabilności elementów pasywnych. Dla małych przyrostów względnych rezystancji mostki realizują sygnał wyjściowy zależny liniowo od sumy lub różnicy tych przyrostów. Są powszechnie stosowane na wejściach przemysłowych przetworników i komputerowych systemów pomiarowych. Przy większych przyrostach immitancji pojawiają się nieliniowości sygnału wyjściowego, ale ich wpływ eliminuje się przez odpowiedni dobór elementów mostka, sprzężenie zwrotne [6] lub korekcję w cyfrowym przetwarzaniu sygnału. Klasyczne mostki odchyłowe są jednowyjściowe i mają tylko pojedynczy ciągły sygnał wyjściowy. Autor zaproponował układy o dwu wyjściach [3–9], w tym mostki o niekonwencjonalnie dołączonych dwu źródłach prądowych oraz dwu napięciowych. Układy te przy prądzie stałym (DC) pozwalają uzyskiwać równocześnie dwa sygnały różnie zależne od przyrostów rezystancji ramion mostka w stanach równowagi.
( )
Rys. 3. Prądowa pętla Andersona (NASA) [1]: DDSi – dwuwejściowe układy różnicowe mierzące przyrosty napięć czujników zasilanych wspólnym prądem J Fig. 3. Current Anderson loop [1]: DDSi – double inputs differential circuits measuring the voltage increments of sensors supplied by the same current J
′ x ε= ε 2′ ( x1 ) ≡ ε ′, 1 ( 1)
( )
5.2. Przykład pomiaru naprężenia i temperatury dwutensometrycznym czujnikiem różnicowym
W pomiarach tensometrycznych siły lub ciśnienia stosuje się 2 lub 4 jednakowe tensometry tak umieszczone na konstrukcji podlegającej odkształceniu, że tworzą one jeden lub dwa czujniki różnicowe dwuelementowe. Jeden z pary tensometrów podlega rozciąganiu, a drugi ściskaniu. Przyrosty rezystancji takiej pary tensometrów są o zbliżonej wartości, ale o przeciwnych znakach. Rezystancje tensometrów zależą też od ich temperatury jako wypadkowej temperatury otoczenia i grzania własnego przepływającym przez nie prądem. Dla takiego czujnika różnicowego, można założyć, że znamionowe rezystancje początkowe obu tensometrów i czułości dla odkształcenia oraz dla przyrostów
61
Mostki dwuźródłowe jako nowy rodzaj układów pomiarowych eksperymentalnych, tj. z badań zmian parametrów schematu zastępczego hallotronów czterokońcówkowych (4T). Część odwracalna tego schematu ma strukturę czworoboku zupełnego z przecinającymi się przekątnymi o gałęziach zależnych równocześnie w różny sposób od wielkości wpływających indukcji magnetycznej B i temperatury. Autor znalazł równoważne temu czworobokowi struktury płaskie i dzięki nim opracował nowe układy do niezależnej od zmian temperatury kompensacji napięcia asymetrii hallotronów (czyli ich napięcia początkowego tylko od prądu hallotronu przy indukcji magnetycznej B = 0) [2]. Zaproponował też układ dwuprądowy zasilany z hallotronem o wyjściu włączonym w mostek rezystancyjny, w którym uzyskuje się regulowaną nieliniową charakterystykę napięcia w funkcji indukcji magnetycznej [13]. Autonomiczny układ mostka dwuprądowego 2J2U prądu stałego (DC) zbudował, zbadał i zweryfikował w ramach rozprawy doktorskiej Adam Idźkowski, obecnie prof. Politechniki Białostockiej. Wraz z dr. Jarosławem Makalem, obecnie profesorem tej uczelni i przy konsultacjach autora [10] sprawdzili oni różne zastosowania układu mostka dwuprądowego do pomiarów dwuparametrowych, w tym użycie w laboratoryjnym stanowisku do pomiaru momentu ugięcia belki i jej temperatury za pomocą dwu tensometrów tej uczelni. Następnie A. Idźkowski i dr Wojciech Walendziuk przy współpracy z autorem [10–26] zbudowali, zbadali i opisali kilka modeli przyrządów pomiarowych wykorzystujących układ mostka dwuprądowego DC. Wyniki tych badań i zbudowane modele przedstawione są w publikacjach [23–26, 29–31]. Zgłosili też dwa patenty [34, 35]. Wszystkie te prace zweryfikowały pozytywnie podana przez autora ideę dwuprądowych mostków DC i ich podstawy teoretyczne opisane w monografii [6] i w innych publikacjach własnych i wspólnych [3–28]. Utrudnienia w konstrukcji elektronicznego układu pomiarowego mostków dwuźródłowych DC wynikają z braku wspólnej masy dla obu źródeł prądowych, chociaż w stanach równowagi jedna z końcówek każdego z nich ma wspólny potencjał. W konstrukcjach prototypowych stosowano też komercyjne scalone źródła prądowe. Próbowano kształtować potencjały układu poprzez rezystancję szeregową ze źródłami prądowymi, ale nie uzyskano wystarczająco stabilnych wyników. W konstrukcjach profesjonalnych układy aktywne tworzące źródła prądowe, lub napięciowe, powinny mieć dwa odizolowane obwody zasilacza. Napięcia wyjściowe należy mierzyć bez obciążania wyjść, w tym stosując układy różnicowe ze wzmacniaczami operacyjnymi o pływających wejściach, tj. podobnie jak są użyte w pętli Andersona [1]. Napięcia wyjściowe można wtedy przetwarzać dalej, analogowo i cyfrowo, wg przyjętych algorytmów. Natomiast mostki dwuprądowe prądu przemiennego AC, po niemal 20 latach od omówienia kilku ich przykładów w monografii [6], nie są jeszcze zweryfikowane eksperymentalnie. Jedną z przyczyn jest rezygnacja jednego z pracowników tej uczelni z kontynuacji częściowo zaawansowanej habilitacji (wybrał nową możliwość kariery profesora dydaktycznego, zapewne jako korzystniejszą też dla uczelni). Mostki DC i AC z dwoma źródłami napięciowymi też nie mają jeszcze takiej weryfikacji. Wspomniano już, że przy prądzie przemiennym AC realizacja ich wydaje się prostsza niż źródeł dwuprądowych. Można je stworzyć używając przekładnika napięciowego lub dzielnika indukcyjnościowego o dwu jednakowych uzwojeniach wtórnych, dołączonego po stronie pierwotnej do stabilnego źródła napięcia. Budowa i badania mostków dwuźródłowych jest propozycja oryginalnego i niekonwencjonalnego kierunku badań teoretycznych i eksperymentalnych w dziedzinie nowych rozwiązań autonomicznych układów pomiarowych i układów wejściowych systemów pomiarowych. Autor zachęca dotychczasowych wykonawców do kontynuowania prac oraz namawia też wszystkie inne osoby zainteresowane rozwojem techniki pomiarowej do podjęcia tej obszernej tematyki, gdyż jest ona zarówno atrakcyjna naukowo, jak i ukierunkowana wdrożeniowo.
temperatury są takie same dla każdego z nich. Jeśli elementy czujnika różnicowego umieści się w sąsiednich ramionach, np. 1, 2 omówionych układów mostków dwuźródłowych zrównoważonych w określonej temperaturze odniesienia T0 i dla określonej początkowej wartości mierzonego naprężenia ϭ0, np. równej zeru, to na ich wyjściach pojawia się sygnały od sumy i różnicy przyrostów obu elementów – wzory (18a, b). Otrzymuje się
(
)
(
)
(
)(1 + ε ) ,
(
)
(
)
(
)(1 + ε ) ,
R1 σ , ∆T = R10 1 + ε R1 = R10 1 + ε σ R2 σ , ∆T = R20 1 + ε R 2 = R10 1 − ε σ
∆T
∆T
ε R1 =ε σ + ε ∆T + ε σ ε ∆T , εR2 = −ε σ + ε ∆T − ε σ ε ∆T . Dla mostka dwuprądowego 2J o jednakowych rezystancjach R3 = R4 = R10 z (5) i (6) wynika:
(
)
2ε σ 1 + ε ∆T ℵR1 − R 2 σ ′′∞ JR = = ≈ JR10 U AB JR10 (19) 10 4 + ε R1 + ε R 2 4 + 2ε ∆T 2 + ε ∆T
(20) Przybliżenia polegają na pominięciu wyrazów stanowiących iloczyny małych przyrostów rezystancji. Dla mostka dwunapięciowego o symbolu 2E2U, gdy R3 = R4 = R10 z (9)–(12) otrzymuje się odpowiednio ′′∞ E = ∆U AB
ε R1 + ε R 2 ε ∆T = E 4 + ε R1 + ε R 2 2 + ε ∆T
(21)
′′∞ E = ∆U DC
ε R1 − ε R 2 εσ = E 4 + ε R1 + ε R 2 2 + ε ∆T
(22)
Wzory te są proste i podobne do (5a), (6a) dla małych przyrostów rezystancji w mostku dwuprądowym 2J. Dwa źródła napięciowe E = E3 = E w układzie mostków 1 dwunapięciowych, jeśli są realizowane elektronicznie, to powinny mieć obwody zasilające DC izolowane od siebie. Łatwiej jest to uzyskać przy prądzie przemiennym AC, np. stosując dwa jednakowe uzwojenia wtórne w przekładniku napięciowym lub dzielniku indukcyjnym i uzwojenie pierwotne zasilane z jednego źródła AC, stabilizowanego dla pracy jako mostka odchyłowego.
6. Stan i propozycje kierunków badań dwuźródłowych układów mostkowych i ich zastosowań Mostki z dwoma źródłami do równoczesnych pomiarów dwu wielkości to nowy rodzaj układów pomiarowych. Autor opublikował ideę mostków dwuprądowych początkowo pod nazwą antymostki w 2000 r. [3] i omawiał je w latach następnych [4–10]. Ich podstawy teoretyczne rozwinął szczegółowo w monografii [6]. Rozpatrzył w niej m.in. kilka wariantów struktury mostków dwuźródłowych prądu stałego DC, prądu przemiennego AC, mostek kaskadowy (mostek w mostku) [6, 8] oraz podał mostki o dwu źródłach napięciowych [6]. Idea tego nowego rodzaju mostków wynikła z wcześniejszych prac
62
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Zygmunt Lech Warsza
Bibliografia 1. Anderson K.F., The New Current Loop: An Instrumentation and Measurement Circuit Topology. “IEEE Transactions on Instrumentation and Measurement”, Vol. 46, No. 5, 1997, 1061–1067, DOI: 10.1109/19.676711. 2. Kobus A., Tuszyński J., Warsza Z.L., Technika hallotronowa, WNT Warszawa 1980. 3. Warsza Z., Antymostki – nowy rodzaj układów do pomiaru impedancji. Mat. Konf.: Systemy Pomiarowe w Badaniach Naukowvch i Przemyśle. Politechnika Zielonogórska, 2000, 233–240. 4. Warsza Z.L., Pomiary impedancji układami mostkowymi o dwuprądowym zasilaniu. „Pomiary Automatyka Robotyka”, R. 5, Nr 5, 2001, 17–21. 5. Warsza Z.L., Bridges Supplied by Two Current Sources – New Tool for Impedance Measurements and Signal Conditioning, IMEKO-TC7 Symposium, Kraków, 2002, 231–36. 6. Warsza Z.L, Immitancyjne układy czterobiegunowe (4T) w pomiarach wieloparametrowych. Przemysłowy Instytut Automatyki i Pomiarów PIAP, Warszawa 2004. 7. Warsza Z.L., Two Parameter (2D) Measurements in Four Terminal (4T) Impedance Bridges as the New Tool for Signal Conditioning, 14th International Symposium on New Technologies in Measurement and Instrumentation 10th Workshop on ADC Modeling and Testing IMEKO TC-4, Gdynia, Jurata, Sept. 2005, Vol. 1. Part 1. Main Equations and Terminal Parameters, 31–36. Part 2. Measurements of Two Variables (2D), 37–42. 8. Warsza Z.L., Backgrounds of two variable (2D) measurements of resistance increments by the bridge cascade circuit. SPIE Photonics Applications in Astronomy, Communications, Industry, and High-Energy Physics Experiments, Vol. 6347, 2006, red. Romaniuk R.S., DOI: 10.1117/12.714768. 9. Warsza Z.L., Two Parameter (2D) Measurements in Double-Current Supply Four-terminal Resistance Circuits. “Metrology and Measurement Systems”. PAN Vol. XIII, No. 1, 2006, 49–65. 10. Idźkowski A., Makal J., Warsza Z.L., Application of Double Current Bridge-Circuit for Simultaneous Measurements of Strain and Temperature. Instrumentation and Measurement Technology Conference – IMTC IEEE 2007 Warsaw, Poland, DOI: 10.1109/IMTC.2007.379259. 11. Warsza Z.L., Idźkowski A., Makal J., Experimental verification of the double-current supplied bridge circuit in 2D measurements of strain and temperature, 15th IMEKO TC-4 International Symposium on Novelties in electrical measurements and instrumentation, Vol. 1, 2007, 127–131. 12. Idźkowski A., Makal J., Mostek zasilany dwuprądowo – eksperyment symulacyjny, „Pomiary Automatyka Robotyka”, R. 8, Nr 7-8, 2004, 61–65. 13. Warsza Z., Hallotron jako czwórnik sterowany polem magnetycznym. „Przegląd Elektrotechniczny”, R. 83, Nr 1, 2007, 57–64. 14. Warsza Z.L, Idźkowski A., Makal J., Zastosowanie mostka dwuprądowego do jednoczesnego pomiaru odkształcenia mechanicznego i temperatury. „Pomiary Automatyka Kontrola”, R. 53, Nr 9 bis, 2007, 470–473. 15. Idźkowski A., Makal J., Realizacja układu pomiarowego z czujnikami tensometrycznymi w mostku z przełączanym źródłem prądowym, „Elektronika – konstrukcje, technologia, zastosowania”, Vol. 49, Nr 6, 2008, 159–161. 16. Makal J., Idźkowski A., Warsza Z.L., Ocena dokładności nowego rodzaju mostka z czujnikiem tensometrycznym do pomiarów dwuparametrowych, „Pomiary, Automatyka, Komputery w Gospodarce i Ochronie Środowiska, Nr 1, 2010, 21–23.
17. Idźkowski A., Makal J., Warsza Z.L., Simultaneous Measurements of Two Parameters by Double Current Supplied Bridge. “Journal of Automation, Mobile Robotics and Intelligent Systems”, Vol. 6, No. 2, 2012, 26–31. 18. Warsza Z.L., Idźkowski A., Unconventional Double-Output Bridge for Simultaneous Measurement of Two Parameters. “Sistemy Obrobki Informacji”, Vipusk 1(99) Kharkiv 2012, 59–64. 19. Warsza Z.L., Idźkowski A., Analiza błędów granicznych i niepewności mostków sensorowych jako przetworników rezystancji na napięcie, „Pomiary Automatyka Kontrola”, T. 59, Nr 6, 2013, 548–553. 20. Warsza Z.L., Idźkowski A., Walendziuk W., The parameters of unconventional double-current circuit, their accuracy measures and measurement of strain and temperature. “International Journal of Electronics and Telecommunications”, Vol. 60, No 4, 2014, 327–330. DOI: 10.2478/eletel-2014-0043. 21. Warsza Z.L., Idźkowski A., Opisy dokładności układu oczka 4R zasilanego klasycznie oraz dwuprądowo jako przetwornika rezystancji w pomiarach dwuparametrowych (2D), „Pomiary Automatyka Kontrola”, Vol. 60, Nr 11, 2014, 1002–1005. 22. Warsza Z.L., Idźkowski A., Relations of limited errors and uncertainties type B of the bridge as conditioner circuit for sensors of broadly variable resistances, “Przegląd Elektrotechniczny”, Vol. 90, No. 12, 2014, 83–86, DOI: 10.12915/pe.2014.12.1. 23. Idźkowski A., Świętochowski P., Warsza Z.L., Walendziuk W., Unconventional Double R/U Converter for Measurement of Two Quantities by a Single Differential Sensor. Proceedings. of Conf. Automation 2015 Progress in Automation, Robotics and Measuring Techniques. (Editors: R. Szewczyk, C. Zieliński, M. Kaliczyńska), Vol. 352, 2015, 83–90, DOI: 10.1007/978-3-319-15835-8_10. 24. Warsza Z.L., Idźkowski A., Accuracy analysis of the 2D resistance-to-voltage converters for resistive sensors, “Measurement Automation Monitoring”, Vol. 61, No. 10, 2015, 460–464. 25. Idźkowski A., Walendziuk W., Warsza Z.L., Unconventional Double-Current Circuit for Deflection and Temperature Simultaneous Measurement. “Elektronika ir elektrotechnika“, Vol. 15, No. 1, 2015, 23–27, DOI: 10.5755/j01.eee.21.1.6834. 26. Idźkowski A., Walendziuk W., Świętochowski P., Warsza Z., Metrological Properties of a Two-Output Transducer for Measuring Sum and Difference of Small Resistances. „Elektronika ir elektrotechnika“, Vol. 23, No. 5, 2017, 41–45, DOI: 10.5755/j01.eie.23.5.19268. 27. Warsza Z.L., Idźkowski A., Uncertainty Analysis of the Two-Output RTD Circuits on the Example of Difference and Average Temperature Measurements, Mechatronics 2017 – Ideas for Industrial Applications, Advances in Intelligent Systems and Computing, Vol. 934, 2019, 435–446, DOI: 10.1007/978-3-030-15857-6_43. 28. Idźkowski A., Warsza Z., Temperature difference measurement with using two RTD sensors as example of evaluating uncertainty of a vector output quantity, “Robotic Systems and Applications”, Vol. 1, No. 2, 2021, 53–58. 29. Walendziuk W., Gołębiowski J., Idźkowski A., Comparative Evaluation of the Two Current Source Supplied Strain Gauge Bridge, “Elektronika ir elektrotechnika”, Vol. 22, No. 6, 2016, 33–38, DOI: 10.5755/j01.eie.22.6.17220. 30. Idźkowski A, Gołębiowski J., Walendziuk W., Analysis and application of two-current-source circuit as a signal conditioner for resistive sensors, “Journal of Electrical Engineering”, Vol. 68, No. 3, 2017, 200–205, DOI: 10.1515/jee-2017-0029. 31. Walendziuk W., Idźkowski A., Calibration procedure and uncertainty analysis of an electronic scale based on two-cur-
63
Mostki dwuźródłowe jako nowy rodzaj układów pomiarowych 35. Wojciech Walendziuk, Adam Idźkowski, P.395194, patent udzielony, numer prawa wyłącznego 221900, „Układ elektryczny do sekwencyjnego pomiaru czterech różnic lub sum przyrostów rezystancji”, zakres terytorialny ochrony patentowej: Polska, Urząd Patentowy Rzeczypospolitej Polskiej, zgłoszono 2011, udzielono 2016.
rent source supplied circuit, “Tehnički Vjesnik”, Vol. 24, suppl. 1, 2017, 93–97, DOI: 10.17559/TV-20141026162349. 32. Krawczyk K., Lisowski M., Kocjan B., Dwutorowy system trasabilności rezystorów wzorcowych w zakresie 10 kΩ – 100 TΩ. „Metrologia. Badania i zastosowania”, red. J. Augustyn, Politechnika Świętokrzyska Kielce, 2022, 110–121. 33. Warsza Z.L., Żyła B., Miernik ilorazu indukcji magnetycznych. „Pomiary Automatyka Kontrola”, 1966, 8/9.
Patenty Pl 34. Wojciech Walendziuk, Adam Idźkowski, P.394350, patent udzielony, numer prawa wyłącznego 220087, „Układ z dwoma źródłami prądowymi do jednoczesnego pomiaru dwóch różnic przyrostów rezystancji”, zakres terytorialny ochrony patentowej: Polska, Urząd Patentowy Rzeczypospolitej Polskiej, zgłoszenie 2011, udzielono 2015.
Two-source Bridges as a New Kind of Measuring Systems Abstract: The paper discusses the basic relationships and the state of research on a new
type of bridge measurement systems with two outputs from both diagonals of a four-arm bridge. Their measuring circuits contain either two current sources or two voltage sources respectively unconventionally connected to opposite branches of these circuits. With direct current (DC), these bridges, after balancing the outputs of each of the diagonals, will enable measurements of two resistances (or two conductances) of their arms. As deflection bridges - they measure simultaneously increments of these resistances from balanced states in diagonals. The formulas for the voltages of both outputs of the systems and the balance conditions for each of them are given. As an example of application, the simultaneous measurement of stress and temperature increase with a differential two-element strain gauge was considered. The current state of theoretical work and the results of several experimental constructions of measuring instruments with a two-current bridge are briefly characterized. Keywords: two-current and two-voltage bridges, simultaneously measurements of two resistances and of their increments
doc. dr inż. Zygmunt Lech Warsza zlw1936@gmail.com ORCID: 0000-0002-3537-6134
Absolwent Wydziału Elektrycznego Politechniki Warszawskiej 1959, doktorat 1967, docent od 1970. Praca: Instytut Elektrotechniki 1958–1963 i 1994–1995, Politechnika Warszawska 1960–1970, Politechnika Świętokrzyska 1970–1978 (organizator i dziekan Wydziału Transportu w Radomiu), Organizator i kierownik: Ośrodka Aparatury Pomiarowej w Instytucie Meteorologii i Gospodarki Wodnej 1978–1982 oraz Zakładu Automatyzacji i Pomiarów w Instytucie Chemii Przemysłowej 1983–1992. Doradca Ministra Edukacji Narodowej 1992–1995, Politechnika Radomska 1983–2002. Obecnie główny specjalista w Przemysłowym Instytucie Automatyki i Pomiarów PIAP. Autor ponad 340 publikacji, 6 monografii, kilkudziesięciu prac badawczych i konstrukcyjnych, 11 patentów oraz promotor 2 doktorów. Prezes Polskiego Towarzystwa Metrologicznego. Członek stowarzyszenia PolSPAR oraz Akademii Metrologii Ukrainy.
64
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Pomiary Automatyka Robotyka, ISSN 1427-9126, R. 27, Nr 3/2023, 65–71, DOI: 10.14313/PAR_249/65
Zastosowanie metody głównych składowych w kartach kontrolnych procesów wieloparametrowych Evgeniy T. Volodarsky, Oleh Kozyr
Narodowy Uniwersytet Techniczny Ukrainy «KPI», Katedra Technologii Informatyczno-Pomiarowych, Kijów, Ukraina
Zygmunt L. Warsza
Sieć Badawcza Łukasiewicz – Przemysłowy Instytut Automatyki i Pomiarów PIAP, Al. Jerozolimskie 202, 02-486 Warszawa
Streszczenie: W artykule opisano metodę głównych składowych PC (ang. Principal Components) służącą do tworzenia kart kontrolnych dla wieloparametrowych procesów wytwórczych o skorelowanych parametrach. Ocenę skuteczności zastosowania tej metody przeprowadzono na symulowanych danych, zbliżonych do wyników pomiarów uzyskanych w sterowaniu rzeczywistym procesem technologicznym. W wyniku modelowania kontroli procesu n-parametrowego otrzymano potwierdzenie skuteczności tej metody. Praca ta kontynuuje cykl publikacji autorów o kartach stosowanych w metodach kontroli jakości produkcji.
Słowa kluczowe: kontrola wieloparametrowego procesu technologicznego, karty kontrolne Shewharta, metoda głównych składowych
1. Wprowadzenie Metoda zapewniania jakości przemysłowo wytwarzanych wyrobów polegała początkowo na kontroli wartości parametrów pojedynczego produktu, identyfikacji ich niezgodności z wymaganymi wartościami i korekcie tego stanu. W skrajnych przypadkach, gdy korekta ta nie była możliwa, utylizowano wytworzony produkt. Przez wiele lat był to jedyny, dosyć kosztowny sposób zapewnienia jakości produkcji. Wadą był brak badania cech produktu w procesie jego wytwarzania i niemożność zapobiegania niezgodności jego parametrów z wymaganiami. Celem takich badań jest wykrycie, czy wartości istotnych parametrów produktu na poszczególnych etapach produkcji różnią się od ich wartości dopuszczalnych. Jeśli to wystąpi, wówczas oddziela się taki produkt od dobrych wyrobów, by nie uczestniczył w kolejnych etapach procesu produkcyjnego [1] i nie trafiał do użytkownika. Jest to indywidualne zarządzanie jakością każdej produkowanej jednostki, gdyż sprawdza się każdą z nich, tj. realizuje kontrolę wszystkich wyrobów. Wskutek dążenia do poprawy efektywności ekonomicznej procesu produkcyjnego, w tym przez obniżenie kosztów produkcji, pojawiły się nowe sposoby kontroli jakości. W 1924 r. amerykański inżynier i matematyk Walter Shewhart, znany później jako konsultant i wybitny specjalista w dziedzinie zarządzania jakością produkcji, zaproponował aby do zapo-
Autor korespondujący: Zygmunt Lech Warsza, zlw1936@gmail.com Artykuł recenzowany nadesłany 04.07.2023 r., przyjęty do druku 08.09.2023 r. Zezwala się na korzystanie z artykułu na warunkach licencji Creative Commons Uznanie autorstwa 3.0
biegania przyczynom powodującym wady wyrobów zastosować kontrolę i sterowanie ich procesem wytwórczym [2]. Wykorzystując statystykę matematyczną i teorię prawdopodobieństwa opracował sposób umożliwiający utrzymywanie procesu w stanie stabilnym statystycznie, a tym samym zapobiegający pojawianiu się jego niespójności. W tym celu stworzył narzędzie, zwane kartami kontrolnymi Shewharta. Dało to początek nowej koncepcji zapewniania jakości wyrobów opartej na założeniu, że jest ona kontrolowana i tworzona już w procesie produkcyjnym, a nie dopiero jako wynik kontroli parametrów gotowego produktu. Zidentyfikowanie rozbieżności cech produktu jest wówczas zdarzeniem, które już zaszło i jest już za późno na korektę procesu by temu zapobiec. Natomiast jest to możliwe, jeśli przeprowadza się prewencyjną kontrolę w trakcie procesu wytwarzania. Statystyczne metody analizy dokładności i stabilności parametrów wykorzystywanych do kontroli procesów technologicznych są obecnie regulowane odpowiednimi normującymi dokumentami, w tym ISO. Stosowanie klasycznych kart Shewharta jest bardzo skuteczne, jeśli proces można kontrolować za pomocą jednego wskaźnika jakości wytwarzanego produktu. Jednak w wielu przypadkach jakość ta charakteryzuje się kilkoma wskaźnikami, w tym skorelowanymi ze sobą. Wówczas niezależna jednoczesna kontrola poszczególnych wskaźników może prowadzić do błędnych decyzji o zaburzeniu (lub jego braku) procesu technologicznego. Karty Shewharta dla poszczególnych kontrolowanych parametrów można z powodzeniem stosować tylko wtedy, gdy istnieje pewność, że nie są one skorelowane. Dla zbioru kart kontrolnych Shewharta) oblicza się wartość średnią parametru x ( x – wykresy) dla poziomu istotności αi każdego wskaźnika na podstawie ogólnego poziomu istotności α0 charakteryzującego wektor wyników X x1, x 2 , , x i , , x p [1]. Jeśli nie ma informacji o stopniu istotności każdego ze składników X, to wszystkie współczynniki αi traktuje się jednakowo i definiuje jako α = α0/n.
(
)
65
Zastosowanie metody głównych składowych w kartach kontrolnych procesów wieloparametrowych Górne i dolne granice kontrolne i-tego parametru procesu technologicznego wyznacza się z następujących zależności: − dla granicy górnej:
UCL = µ 0i + z i
− dla granicy dolnej:
LCL = µ 0i − z i
1−
1−
α
danych dla skorelowanych parametrów [6]. Zaletą jest znaczna redukcja liczby parametrów, które należy estymować przy projektowaniu karty (nie estymuje się całej macierzy kowariancji!). Wadą jest trudniejsza identyfikacja rzeczywistych przyczyn rozregulowania procesu. Niniejsza praca jest rozwinięciem komunikatu [13] prezentowanego na konferencji Automation 2023 (7–8 marca) w Warszawie w Sieci Badawczej Łukasiewicz – Przemysłowy Instytut Automatyki i Pomiarów. Przedstawiono metodę głównych składowych PCA i szczegółowo omówiono symulowany przykład jej zastosowania w kartach kontroli procesu n-parametrowego.
σi
2
α
σi
2
gdzie µ0i i σ i to wartość średnia i odchylenie standardowe próbki danych wyznaczane z wyników badań wstępnych lub określone w dokumentach normatywnych.
2. Podstawy teoretyczne metody głównych składowych
W takim przypadku obszar rozproszenia dopuszczalnych wartości wektora wyników xl będzie ograniczony hiper-równoległościanem o bokach przeciwległych odpowiadających różnicy dopuszczalnych granic górnych i dolnych: UCLi – LCLi. Do testowania hipotezy H0: μ = μ0 dla próby o liczebności n z ogólnej populacji jednowymiarowej o znanej wariancji, stosuje się statystykę z =
Metoda głównych składowych PCA polega na liniowym wielowymiarowym przekształceniu zbioru skorelowanych czynników w zbiór składowych ortogonalnych. Celem tej operacji jest wyodrębnienie podstawowych (głównych) składowych procesu, tj. tych, które w stopniu największym przyczyniają się do rozproszenia danych kontrolowanych, czyli do tworzenia obszaru ich dyspersji. Zwykle liczba takich składowych wynosi dwa lub trzy. Umożliwia to wykorzystanie metody PC w konstruowaniu kart kontrolnych, jako najprostszego i najbardziej użytecznego narzędzia do badania zmienności procesu. Zakłada się więc, że istnieje wielowymiarowy układ p czynników X x1, x 2 , , x i , , x p przedstawiony w postaci macierzy
x − µ0
. n Podstawę zastosowania kart kontrolnych do monitorowania procesów wielowymiarowych stworzyła pionierska praca Hotellinga z 1947 r. Do opisu wielowymiarowej zmiennej losowej wykorzystuje się wyrażenie:
σ
(
(
)
= z 2 n x − µ0 σ −1. Można je też przedstawić w postaci macierzowej jako:
(
TH2 =− n X µ0
)
T
(
x1,1 x1,2 x 2,1 x 2,2 X = x x j ,2 j ,1 xm ,1 xm ,2
)
Σ −1 X − µ0 .
Otrzymane wyrażenie to statystyka T 2 zaproponowana przez Hotellinga jako uogólniona charakterystyka, którą stosuje się do oceny jakości wielowymiarowego procesu technologicznego przy występowaniu korelacji między jego wskaźnikami [2]. Przy znanej macierzy kowariancji Σ, statystyka ta ma rozkład chi-kwadrat. W takim przypadku kontroli statystycznej obiektu wieloparametrowego położenie granicy kontrolowanej o danym poziomie istotności α wyznacza z tabeli rozkładu chi-kwadrat bezpośrednio dla kwantyli, tj.:
(
O
M
I
A
R
Y
•
A
U
T
O
M
x1,p x 2,p x j ,p xm ,p
x 2,i x j ,i xm ,i
(1)
)
(
)
σ 12 ρ12σ 2σ 1 Σ = ρ σ σ 1i i 1 ρ1pσ pσ 1
Karta kontrolna T 2 jest do dzisiaj najczęściej stosowana w praktyce do sterowania jakością procesów wielowymiarowych. Wykorzystywanie samego tylko kryterium Hotellinga umożliwia graficzną prezentację wyników monitorowania oraz ocenę stanu procesu jako całości, ale bez wskazywania przyczyny jego zaburzenia. Wadą karty Hotellinga jest więc to, że nie pokazuje, który wskaźnik bezpośrednio (lub jako łączny wpływ których wskaźników) powoduje zakłóceniem przebiegu procesu. Do sprawdzenia hipotezy, że przyczyną jest i-ty wskaźnik, stosuje się indywidualne kryterium Hotellinga [3, 4]. Jednakże przy identyfikacji wpływających wskaźników, może się okazać, że każdy z nich osobno nie jest przyczyną zakłócenia procesu. Powodem jest łączny ich wpływ. Stanowi to ograniczenie w korzystaniu z tych kart kontrolnych. Konstrukcję kart kontrolnych do sterowania procesem wielowymiarowym, dla przypadków występowania w nim korelacji parametrów, można rozwiązać też za pomocą metody głównych składowych PCA (ang. Principal Components Analysis) zaproponowaną przez Jacksona [5]. Metoda ta opiera się na zastosowaniu liniowej transformacji otrzymywanego wektora parametrów mierzonych. Umożliwia ona przejście do niezależnej analizy każdego składnika bez zniekształcania obszaru P
x1,i
gdzie każdy element jest próbką m średnich T z n obserwacji wylosowanych x i x i 1 , x i 2 , , x ij , , x i ,m z populacji o rozkładzie normalnym i o wartościach średnich a0 a1, a2 , , ai , , ap oraz z macierzą kowariancji:
Tkp2 = χ2(1−α ) p .
66
)
ρ12σ 1σ 2 ρ1iσ 1σ i ρ1pσ 1σ p ρ2iσ 2σ i ρ2 pσ 2σ p σ i2 ρipσ iσ p 2 σ p ρipσ pσ i
σ 22
ρ 2i σ i σ 2
ρ2 pσ pσ 2
(2)
gdzie: σ i2 – wariancja współczynnika x i ; ρ1p – współczynnik korelacji między współczynnikami xi oraz xp. Jeżeli między wartościami początkowymi istnieje korelacja, to aby było możliwe niezależne monitorowanie każdej z nich, konieczne jest przekształcenie macierzy wartości wejściowych (1) takie, aby nowe zmienne (wektory kolumnowe) zawarte w transformowanej macierzy były parami ortogonalne. Jednocześnie informacja o rozproszeniu wartości wejściowych powinna być możliwie jak najbardziej zbliżona do rozrzutu oryginalnego. Zadanie wymaga znalezienia macierzy głównych składowych F przez pomnożenie macierzy X parametrów wejA
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Evgeniy T. Volodarsky, Oleh Kozyr, Zygmunt L. Warsza ściowych i macierzy ortonormalnej współczynników transformacji V, czyli dokonuje się liniowego przetwarzania: F = X·V
(3)
Istotę liniowej transformacji cech układu pierwotnego, prowadzącej do metody głównych składowych PC, rozważy się na przykładzie interpretacji geometrycznej dla dwu czynników. Zakłada się więc dwuwymiarowy system monitorowania pro-
(
cesu o x1 x11, x12 , , x1 j , , x1m
) i x ( x , x , , x , , x ) T
2
21
22
2j
ρσ 1σ 2 , σ 22
ρ < 1,
σ 1 > 0,
(5)
Συ = λυ
Liczba λ nazywana jest wartością własną macierzy. Na jej podstawie znajduje się jej wektor własny. Stąd macierz diagonalną Λ można zapisać jako:
T
2m
wyodrębnionych z populacji normalnej ze średnimi wartościami a0(a1, a2) i z macierzą kowariancji: σ2 = Σ 1 ρσ 1σ 2
Każdy niezerowy wektor nazywa się wektorem własnym macierzy kowariancji (2), jeśli liczba λ jest taka, że zachodzi równość:
σ 2 > 0.
Geometrycznie oznacza to, że punkty x1i oraz x2i (i = 1, …, n) znajdują się w obrysie elipsy na rys. 1. Do zbadania wpływu parametrów x1 i x 2 , prościej jest przejść do nowych współrzędnych f1 i f2 stosując przekształcenia:
λ1 0 0 λ2 X = 0 0 0 0
0 0 λi 0
0 0 0 λp
Mnożąc po prawej stronie równanie macierzowe (4) przez V, otrzymuje się: Σ∙V = V∙Λ∙V T∙V
(6)
Ponieważ dla macierzy ortonormalnej macierz transformowana VT i macierz odwrotna V–1 są wyrażeniami równoważnymi, to otrzymamy, że VT·V = I. Macierz I jest jednostkowa. Jej elementy na głównej przekątnej są równe 1, a pozostałe są zerami i wyrażenie (6) można zapisać jako: gdzie: tgα =
2 ρσ 1σ 2 (przyjmuje się, że σ 12 > σ 22 ). σ 12 − σ 22
Σ∙V = V∙Λ∙I
Dla wyznaczenia macierzy transformacji, zakłada się konieczność zapewnienia niezależnej kontroli (monitorowania) parametrów x i . Można to osiągnąć, jeśli macierz kowariancji Σ z wzoru (2) jest diagonalna, czyli wszystkie elementy tej macierzy, poza tymi na głównej przekątnej, są równe zeru. W diagonalizacji macierzy Σ korzysta się z macierzy współczynników transformacji V. Stosując metodę dekompozycji rzeczywistych, dodatnich macierzy symetrycznych [7], przedstawia się diagonalizowaną macierz kowariancji (2) jako iloczyn trzech macierzy: Σ = V∙Λ∙VT,
(4)
gdzie Λ jest macierzą diagonalną z wartościami własnymi na jej głównej przekątnej.
(7)
Macierz F głównych składowych (3) wyznacza się na podstawie równania (7) z wykorzystaniem wektorów własnych i wartości własnych. Jeżeli przy liniowej transformacji macierzy istnieje wektor, który nie zmienia kierunku, to jest on wektorem własnym transformacji. Każdy wektor równoległy do wektora własnego będzie też wektorem własnym. Takich wektorów będzie nieskończenie wiele. Zadanie polega na znalezieniu takiego wektora, aby dyspersja w jego kierunku była maksymalna. Zmienne x1, x 2 , , x i , , x p mogą mieć różną naturę fizyczną i zmieniać się w różnych zakresach. Dlatego dla sformalizowania dalszej analizy konieczne jest rozważenie wartości znormalizowanej i wyśrodkowanej: yi =
x i − ai
σi
Wówczas równanie (3) można zapisać jako: F = Y·V
(8)
Aby znaleźć macierz współczynników transformacji V uwzględnia się (5) i wychodzi z (7) przekształcając do postaci: 0 ( Σ − λΙ ) υ =
(9)
Wartości własne macierzy (2) znajduje się stosując wyrażenie (9). Ponieważ wektor własny υ ≠ 0, to rozważa się równanie:
Σ − λΙ = 0.
Rys. 1. Interpretacja geometryczna metody głównych składowych PC Fig. 1. Geometric interpretation of the Principal Components (PC) method
(10)
Rozwiązanie równania (10) umożliwi wyznaczenie wag dla składowych jako wskaźników przy wyznaczaniu f1 jako pierwszej składowej głównej. Wartości własne macierzy (2) wylicza
67
Evgeniy T. Volodarsky, Oleh Kozyr, Zygmunt L. Warsza
Rys. 3. Karty kontrolne Shewharta dla danych początkowych Fig. 3. Shewhart control charts on initial data
Rys. 4. Karta kontrolna Hotellinga dla procesu z dwiema zmiennymi Fig. 4. Hotelling’s control chart for a process with two variables
(
)
2 THj2 n C jT X j − µ0 j C jTSC j , Cj – specjalny wekgdzie: =
tor kolumnowy, który wyrównuje wartości wszystkich cech z wyjątkiem j-tego i zawiera zera we wszystkich wierszach z wyjątkiem j-tego, w którym występuje jedynka. Tak więc dla j = 1 mamy C 1T = 1 0 . Jeżeli T > T i T > T , to z prawdopodobieństwem P = (1 – α) = 0,95 można stwierdzić, że oba badane wskaźniki (parametry) wpływają na stabilność procesu. Jednak nie zawsze określony parametr jest przyczyną zaburzenia procesu technologicznego. Na przykład, gdy karta kontrolna Hottelinga pokazuje dezorganizację procesu, a sprawdzenie pokazuje, że poszczególne kryteria spełniają nierówność THj2 < Tkp2 . Zatem dopiero kombinacja kilku wskaźników znacząco wpływa na sterowalność statystyczną procesu technologicznego. Dla tych samych danych konstruuje się wykresy kontrolne dla głównych składowych f1 i f2 . Po wstawieniu do (2) wartości: σ 12 = 1, σ 22 = 0,1681, ρσ 1σ 2 = 0,2050, uzyskuje się macierz kowariancji: 2 H1
2 kp
2 H2
2 kp
1 0,2050 0,2050 0,1681
Σ =
(14)
Aby znaleźć wartości własne, korzysta się z wyrażenia (10). Ponieważ macierz jednostkowa I jest diagonalna, to wyznacza się wyznacznik macierzy Σ, który tworzy równanie charakte-
Rys. 5. Pole rozrzutu we współrzędnych składowych głównych Fig. 5. Scatter area in principal components coordinates
rystyczne. Po jego rozwiązaniu otrzymuje się wartości własne macierzy (14): λ1 = 1,0478 i λ2 = 0,1203. Każdej z nich odpowiada wektor własny. Po ich wyznaczeniu otrzymuje się równanie macierzowe (11): 1 − λi 0,2050 ui 1 0 = . 0,2050 0,1681 − λi ui 2 0
(15)
Po podstawieniu wartości własnych λ1 i λ2 kolejno do wzoru (15), otrzymuje się odpowiednie układy równań, takie jak w (12). Rozwiązując te równania, otrzymuje się wektory u1 i u2 dla przyjętych danych. Po skorzystaniu z normalizującego równania (13) otrzymuje się wektory własne υ1 i υ 2 , które tworzą macierz współczynników przetwarzania V: 0,9739 −0,2270 V = 0,2270 0,9739 Wykorzystując macierz znormalizowanych i wyśrodkowanych wartości wejściowych, na podstawie równania (8), wyznacza się współrzędne danych początkowych w płaszczyźnie składowych głównych. Na rys. 5 przedstawiono pole rozrzutu danych wejściowych we współrzędnych składowych głównych. Widać, że punkty zmieniły swoje położenie względem położenia na rys. 2 ze względu na wspomnianą wyżej transformację geometryczną.
69
Zastosowanie metody głównych składowych w kartach kontrolnych procesów wieloparametrowych
Rys. 6. Karty kontrolne metody wykorzystujące główne składowe Fig. 6. Control charts of the method using principal components
Bibliografia
Na rysunku 6 przedstawiono punkty charakteryzujące zmiany procesu na dwu kartach kontrolnych z wykorzystaniem metody składowych głównych. Druga główna składowa w punkach 5 i 16 wykresów na rysunku 6 przekracza dolną granicę kontrolną, co świadczy o zaburzeniach badanego procesu. Z przeprowadzonej analizy wynika, że w procesie technologicznym wystąpiły trzy zakłócenia. Jeżeli odchylenia te nie prowadzą do sytuacji krytycznej, to ich konsekwentna identyfikacja może służyć jako narzędzie do udoskonalenia jakości obserwowanego procesu.
1. Joint Committee for Guides in Metrology, Evaluation of Measurement Data—The Role of Measurement Uncertainty in Conformity Assessment, [www.bipm.org/ documents/20126/2071204/JCGM_106_2012_E.pdf]. 2. Shewhart W.A., The Application of Statistics as an Aid in Maintaining Quality of a Manufactured Product, „Journal of the American Statistical Association”, Vol. 20, No 152, 1925, 546–548, DOI: 10.2307/2277170. 3. Volodarsky E., Warsza Z.L., Kosheva l., Dobrolyubova M., Zastosowanie kart kontrolnych Hotellinga w kontroli jakości wieloparametrowego procesu technologicznego, „Przemysł Chemiczny”, Vol. 97, No. 4, 2018, 579–583, DOI: 10.15199/62.2018.4.13. 4. Bersimis S., Psarakis S., Panaretos J., Multivariate statistical process control charts: an overview, „Quality and Reliability Engineering International”, Vol. 23, No. 5, 2007, 517–543. DOI: 10.1002/qre.829. 5. Montgomery D.C., Introduction to Statistical Quality Control, 3rd ed., New York: John Wiley & Sons, 1996 6. Jackson J.E., Mudholkar G.S., Control Procedures for Residuals Associated with Principal Component Analysis., „Technometrics”, Vol. 21, No. 3, 1979, 341–349, DOI: 10.1080/00401706.1979.10489779. 7. Strang G., Eigenvalues and Eigenvectors, Introduction to Linear Algebra, 5th ed., Wellesley-Cambridge Press, 2016, 283–297, ISBN:978-09802327-7-6. 8. Volodarsky E., Warsza Z.L., Kosheva L., Idźkowski A., Precautionary statistical criteria in the monitoring quality of technological process. SCIT 2016 Recent Advances in Systems, Control, and Information Technology. (Editors: R. Szewczyk, M. Kaliczyńska), Vol. 543, “Advances in Intelligent Systems and Computing” Springer International Publishing 2017, 740–750, DOI: 10.1007/978-3-319-48923-0_80. 9. Volodarsky E., Warsza Z.L., Kosheva L., Nowe statystyczne kryteria ostrożności do monitorowania jakości procesów technologicznych. „Przemysł Chemiczny”, Vol. 96, No. 2, 2017, 386–390, DOI: 10.15199/62.2017.2.21. 10. Volodarsky E., Warsza Z.L., Kosheva l., Dobrolyubova M., Zastosowanie kart kontrolnych Hotel linga w kontroli jakości n-parametrowego procesu technologicznego. „Przemysł Chemiczny”, Vol. 97, No 4, 2018, 579–583, DOI: 10.15199/62.2018.4.13. 11. Volodarskyi Y., Warsza Z.L.., Pototskiy I., The use of CUSUM-charts for identification the technological process disorder at the initial stage, Proceedings of
4. Wnioski W kontroli jednoparametrowych procesów technologicznych stosuje się powszechnie wykresy na kartach Shewharta. Wykresy te tworzy się na osiach ortogonalnych, co umożliwia na podstawie rozrzutu odrębną ocenę wpływu każdego z monitorowanych parametrów na przebieg procesu technologicznego. Przy sterowaniu procesami o dwu kontrolowanych parametrach, rozrzut wartości wyjściowych w większości przypadków opisuje się równaniem elipsy o nachyleniu głównej osi zależnej od współczynnika korelacji. Dlatego też przy występowaniu korelacji karty Shewharta dają nieprawidłowe wskazanie punktu na karcie kontrolnej, który odpowiada wyjściu procesu ze stanu statystycznie kontrolowanego. W takim przypadku wiarygodny wynik otrzymuje się stosując kryteria wieloparametrowe. Przykładem jest zastosowanie kart kontrolnych Hotellinga. W większości przypadków pozwalają one najpierw zidentyfikować występowanie zaburzenia procesu. Jeśli ono występuje, to stosując określone kryterium, można zidentyfikować przebieg każdego ze składników. Jednak karty Hotellinga mogą nie zawsze pokazywać, który wskaźnik bezpośrednio (lub łączny wpływ których wskaźników) powoduje naruszenie właściwego przebiegu procesu. Odrębne i niezależne szacowania wpływu obserwowanych parametrów procesu umożliwia zastosowanie w konstrukcji kart kontrolnych omówionej metody analizy głównych składowych PCA. Metoda ta eliminuje wpływ korelacji na ocenę zaburzenia procesu, gdyż wybierane są w niej osie, które pokrywają się z osiami wektora rozpraszania. Przy dużej liczbie parametrów wpływających na przebieg procesu technologicznego, metoda ta pozwala na ocenę prawidłowości tego przebiegu przez monitoring dwu lub trzech najbardziej istotnych parametrów. Ułatwia to budowanie wykresów kontrolnych i stanowi uzasadnienie, że metoda głównych składowych ma perspektywy zastosowania w kartach kontrolnych do badania jakości procesów produkcyjnych.
70
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Evgeniy T. Volodarsky, Oleh Kozyr, Zygmunt L. Warsza
AUTOMATION 2020, AISIC, Vol. 1140, 2020, 147–156, DOI: 10.1007/978-3-030-40971-5_14. 12. Volodarsky.Y., Kosheva L. Warsza Z.L., Klevtsova M., Control stability of indicators product quality. Proceedings of 28th Symposium “Metrology and Metrology Assurance 2018. Sozopol, Bulgaria, 7–11 September 2017, 332–336.
13. Volodarskyi Y., Kozyr O., Warsza Z.L., Principal Components Method in Control Charts Analysis. Automation 2023: Key Challenges in Automation, Robotics and Measurement Techniques. LNNS, Vol. 630, Springer Nature Switzerland AG, 2023, 212–222, DOI: 10.1007/978-3-031-25844-2_20.
Application of Principal Components Method in Control Charts of Multi-Parameter Processes Abstract: The article describes in detail the method of constructing control charts based on principal components. Evaluation of the effectiveness of the application of the method is carried out on simulated data, which are close to the measurement results obtained during the control of a real technological process. The results show that the proposed method is effective for controlling a multi-parameter technological process in the presence of a correlated parameters. Keywords: Shewhart control charts, principal components method, control of a multi-parametric technological process
doc. dr inż. Zygmunt Lech Warsza
prof. dr nauk techn. Evgeniy T. Volodarsky
Absolwent Wydziału Elektrycznego Politechniki Warszawskiej 1959, doktorat 1967, docent od 1970. Praca: Instytut Elektrotechniki 1958–1963 i 1994–1995, Politechnika Warszawska 1960–1970, Politechnika Świętokrzyska 1970–1978 (organizator i dziekan Wydziału Transportu w Radomiu), Organizator i kierownik: Ośrodka Aparatury Pomiarowej w Instytucie Meteorologii i Gospodarki Wodnej 1978– 1982 oraz Zakładu Automatyzacji i Pomiarów w Instytucie Chemii Przemysłowej 1983–1992. Doradca Ministra Edukacji Narodowej 1992–1995, Politechnika Radomska 1983–2002. Obecnie główny specjalista w Przemysłowym Instytucie Automatyki i Pomiarów PIAP. Autor lub współautor ponad 400 publikacji, 10 monografii, kilkudziesięciu prac badawczych i konstrukcyjnych, 11 patentów oraz promotor 2 doktorów. Prezes Polskiego Towarzystwa Metrologicznego. Członek stowarzyszenia PolSPAR oraz Akademii Metrologii Ukrainy.
Praca: Narodowy Techniczny Uniwersytet Ukrainy – Politechnika Kijowska „KPI”, Katedra Automatyzacji Badań Eksperymentalnych; Przewodniczący Podkomisji „Metrologia” w Państwowej Agencji Akredytacyjnej Ukrainy. Senior member of IEEE. Prezydent Ukraińskiej Akademii Metrologii. Zainteresowania naukowe: podstawy teoretyczne systemów pomiarowych do monitorowania i testowania. Autor kilku książek i ponad 300 publikacji. Odznaczony przez Prezydenta „Zasłużony wykładowca Ukrainy”.
zlw1936@gmail.com ORCID: 0000-0002-3537-6134
vet-1@ukr.net ORCID: 0000-0003-2573-6543
dr inż. Oleh Kozyr
olegkozyr86@gmail.com ORCID: 0000-0002-9285-5940 W 2021 r. obronił pracę magisterską o specjalności: normalizacja, certyfikacja i aparatura pomiarowa oraz uzyskał stopień doktora nauk inżynieryjnych na Politechnice Kijowskiej im. Igora Sikorskiego. Pracuje na stanowisku profesora nadzwyczajnego w Katedrze Technologii Informacyjnych i Pomiarowych Wydziału Inżynierii Instrumentalnej Politechniki Kijowskiej. Zainteresowania naukowe: modelowanie statystyczne, statystyczna kontrola jakości, uczenie maszynowe.
71
72
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Pomiary Automatyka Robotyka, ISSN 1427-9126, R. 27, Nr 3/2023, 73–83, DOI: 10.14313/PAR_249/73
Implementacja stosu komunikacji w zasilanych bateryjnie urządzeniach NB-IoT Piotr Szydłowski, Karol Zaręba
Efento Sp. z o.o., ul. Krupnicza 14/5, 31-123 Kraków
Streszczenie: W artykule zaprezentowano sposób implementacji wydajnego stosu komunikacji
dla bezprzewodowych, zasilanych bateryjnie rejestratorów NB-IoT. Na podstawie doświadczeń zgromadzonych przy projektowaniu i rozwoju oprogramowania rejestratorów, wykonano analizy mające na celu wybór odpowiednich protokołów komunikacji, formatu serializacji danych, konfiguracji modułu NB-IoT oraz dodatkowe algorytmy opracowane w celu optymalizacji liczby transmisji i ilości przesyłanych danych. Przedstawiono również uzyskane wyniki wraz z analizą wpływu poszczególnych parametrów konfiguracji na czas życia baterii urządzenia i zużycie danych.
Słowa kluczowe: NB-IoT, Internet Rzeczy, CoAP, Protobuf, stos komunikacji, rejestrator, zasilanie bateryjne
1. Wprowadzenie Obecnie znacząco wzrasta rola zdalnego nadzoru za pomocą różnego rodzaju urządzeń Internetu Rzeczy, IoT (ang. Internet of Things) [1]. Coraz bardziej istotne staje się opracowanie niezawodnych sposobów komunikacji dopasowanych do specyfiki tych urządzeń. Po latach testowania różnych modeli i technik komunikacji urządzeń Internetu Rzeczy coraz większą popularność zyskuje model wykorzystujący wydzielone i licencjonowane sieci, przede wszystkim Narrowband IoT (NB-IoT) [2]. Wynika to między innymi z niskich cen modułów komunikacyjnych i kosztów utrzymania urządzenia, coraz większej dostępność sieci (dostęp do sieci NB-IoT jest oferowany przez 168 operatorów na całym świecie [3]) oraz trafnych założeń przy projektowaniu standardu, które umożliwiają producentom urządzeń uzyskanie bardzo długiego czasu życia baterii. W artykule przedstawiono szereg praktycznych wskazówek projektowych oraz wykonanych analiz, które pozwoliły na opracowanie optymalnych metod komunikacji dla zasilanych bateryjnie urządzeń NB-IoT. Zdobyte doświadczenia zostały zebrane w trakcie projektowania i wdrożenia do produkcji rejestratorów bezprzewodowych NB-IoT, a następnie analizę danych dotyczących ich pracy. Do tej pory zainstalowano ponad 50 000 rejestratorów, które każdego dnia przesyłają do serwerów ponad 24 miliony pomiarów. Artykuł składa się z kilku sekcji. W Sekcji 2 omówiono standard Narrowband IoT. W Sekcji 3 zaprezentowano podstawową charakterystykę i konstrukcję rejestratora Efento. W Sekcji 4 zawarto
Autor korespondujący: Piotr Szydłowski, piotr.szydlowski@efento.pl Artykuł recenzowany nadesłany 06.06.2023 r., przyjęty do druku 16.08.2023 r. Zezwala się na korzystanie z artykułu na warunkach licencji Creative Commons Uznanie autorstwa 3.0
opis kluczowych problemów przy projektowaniu metod komunikacji zasilanych bateryjnie urządzeń NB-IoT (dobór protokołów warstwy transportowej i aplikacyjnej, sposób serializacji danych, konfigurację modułu NB-IoT oraz pozostałe algorytmy optymalizujące liczbę transmisji i wielkość przesyłanych ramek). W Sekcji 5 przedstawiono i omówiono uzyskane wyniki.
2. Narrowband IoT (NB-IoT) Narrowband Internet of Things to jeden ze standardów komunikacji radiowej Low Power Wide Area Network (LPWAN), opracowany przez 3GPP i po raz pierwszy udostępniony w 2016 r. (3GPP Release 13 [4]). Główne założenia uwzględnione podczas projektowania standardu komunikacji to: − zapewnienie łączności urządzeniom o niskiej złożoności (sensory bezprzewodowe, liczniki energii elektrycznej, trackery GPS), − zminimalizowanie zużycia energii przez urządzenia i zapewnienie im długiego czasu życia baterii, − zapewnienie zasięgu sieci w trudno dostępnych miejscach (np. piwnice, parkingi podziemne), − zapewnienie dużej gęstości połączeń, umożliwiając tym samym instalację dużej liczby urządzeń IoT w obrębie pojedynczej stacji bazowej, − zminimalizowanie kosztów, zarówno po stronie operatorów wdrażających NB-IoT w swoich sieciach, jak i użytkowników urządzeń. Standard NB-IoT powstał w dużej mierze w oparciu o technologię LTE, zachowując schematy kodowania, modulacji kanałów oraz protokoły wyższych warstw. Dzięki temu wdrażanie NB-IoT w istniejących sieciach LTE jest szybkie i łatwe z punktu widzenia operatora. Aby zmniejszyć złożoność urządzeń NB-IoT (a tym samym obniżyć ich koszty), zrezygnowano z mechanizmów stosowanych w LTE, które nie są użyteczne w urządzeniach IoT. Wprowadzono natomiast dodatkowe funkcje, umożliwiające wydłużenie czasu życia baterii. Do najważniejszych z nich należą extended Discontinuous Reception (eDRX) i Power Saving Mode (PSM) [5]. Dodatkowo w standardzie NB-IoT uzyskano poprawę pokrycia
73
Implementacja stosu komunikacji w zasilanych bateryjnie urządzeniach NB-IoT
Rys. 1. Rejestrator NB-IoT Efento. Wnętrze urządzenia z zamontowanym PCB (po lewej) i obudowa (po prawej) Fig.1. Efento NB-IoT logger. PCB mounted inside the enclosure (on the left) and the enclosure (on the right)
Rys. 2. Schemat blokowy rejestratora NB-IoT Efento Fig. 2. Block scheme of Efento NB-IoT logger
radiowego dzięki mechanizmom powtarzania transmisji. Standard NB-IoT jest wciąż rozwijany a kolejne wersje 3GPP wprowadzają jego dalsze ulepszenia [6]. Przewagą NB-IoT nad innymi standardami komunikacji LPWAN jest wykorzystanie licencjonowanego pasma komunikacji. Gwarantuje to poprawną pracę urządzeń i zmniejsza ryzyko zakłóceń między nimi.
− Jak najmniejszą wielkość przesyłanych ramek danych. Ponieważ operatorzy sieci komórkowych rozliczają się z ich użytkownikami na podstawie użycia danych, zmniejszenie ilości danych zmniejsza koszty użytkowania urządzenia. Dodatkowo sieci NB-IoT zostały zaprojektowane i zoptymalizowane do przesyłania małych ilości danych, zapewniając jednocześnie łączność dużej liczbie urządzeń zlokalizowanych w obrębie tej samej stacji bazowej (do 100 000 urządzeń). W celu zapewnienia poprawnej pracy sieci, urządzenia NB-IoT nie powinny transmitować zbyt dużej ilości danych niepotrzebnie konsumując zasoby sieci. − Jak najkrótszy czas wysyłki/odbierania danych. Zużycie energii przez urządzenia pracujące w sieciach NB-IoT w trakcie transmisji danych (stan aktywny) jest znacznie większe w porównaniu do trybu oszczędzania energii PSM (ang. Power Saving Mode). Aby ograniczyć zużycie energii kluczowe jest zminimalizowanie wielkości przesyłanych ramek danych. − Jak najmniejsze obciążenie serwera. Dane przesyłane przez urządzenia IoT trafiają do serwera, gdzie są przetwarzane. Aby ograniczyć zużycie zasobów serwera dane przesyłane przez urządzenia IoT powinny być przesyłane w formacie umożliwiającym szybkie przetwarzanie przez serwer. − Niezawodność transmisji danych. Ponieważ urządzenia IoT często przesyłają dane, na podstawie których podejmowane są decyzje lub wyzwalane są akcje, konieczne jest, aby istotne informacje zawsze trafiły do serwera zajmującego się ich dalszym przetwarzaniem. − Kompatybilność z popularnymi platformami IoT i łatwą możliwość integracji z aplikacjami firm trzecich. Rozwiązania budowane w oparciu o urządzenia IoT coraz częściej składają się z komponentów pochodzących od różnych dostawców. Wybrany protokół komunikacji powinien być powszechnie znany i używany, aby umożliwić użytkownikom łatwą integrację z wybraną przez nich platformą IoT/aplikacją.
3. Rejestratory NB-IoT Efento Rejestratory NB-IoT Efento to urządzenia zasilane bateryjnie umożliwiające pomiary ponad 20 różnych parametrów (m.in. temperatura, wilgotność, ciśnienie atmosferyczne, poziom CO2, wykrywanie ruchu, wykrywanie zalania). Wyposażone są w moduły komunikacji NB-IoT oraz Bluetooth Low Energy. Dzięki temu mogą komunikować się zarówno z platformami IoT/serwerami, jak i z pobliskimi urządzeniami (smartfon, tablet) w celu konfiguracji lub odczytu danych. Urządzenia mogą współpracować z udostępnioną platformą do przechowywania i analizy danych lub mogą być zintegrowane z dowolną aplikacją serwerową, stosowaną przez użytkowników. Do głównych zastosowań rejestratorów NB-IoT Efento należą: monitoring warunków przechowywania leków i szczepionek, nadzór nad rozproszonymi obiektami, monitoring jakości powietrza w pomieszczeniach biurowych. Obwód drukowany rejestratora (PCB) oraz jego obudowę przedstawiono na Rys. 1. Urządzenie zaprojektowano w sposób modułowy. Umożliwia to łatwe dodawanie obsług kolejnych rodzajów sensorów, bez konieczności modyfikowania części wspólnej układu elektronicznego, która zawiera moduły komunikacyjne i procesor. Rejestratory Efento NB-IoT bazują na układzie SoC Nordic Semiconductor NRF 52832 wyposażonym w 32-bitowy, energooszczędny procesor ARM Cortex-M4, do którego podłączone są poszczególne peryferia. Transmisję NB-IoT zapewnia moduł Quectel BC66. Rejestratory zasilane są pakietem baterii składającym się z trzech baterii litowych o napięciu 3,6 V i łącznej pojemności 6300 mAh (Rys. 2).
Prace projektowe związane ze stosem komunikacji używanym przez bezprzewodowe rejestratory NB-IoT Efento prowadzone były etapowo. W pierwszym etapie dokonano analizy i wyboru protokołów warstw transportowej i aplikacyjnej. Następnie dobrano optymalny sposób serializacji przesyłanych przez rejestratory danych. W ostatnim etapie przeprowadzono optymalizację algorytmów kompresji i transmisji pod kątem ograniczenia ilości danych i liczby transmisji.
4. Implementacja wydajnego sposobu komunikacji urządzeń pracujących w sieci NB-IoT W przypadku zasilanych bateryjnie urządzeń pracujących w sieciach NB-IoT kluczowe jest takie zaprojektowanie stosu komunikacji, aby zapewnić:
74
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Piotr Szydłowski, Karol Zaręba
4.1. Wybór protokołu warstwy transportowej i aplikacyjnej
Do najpopularniejszych protokołów warstwy aplikacyjnej w IoT należą obecnie Constrained Application Protocol (CoAP) i MQ Telemetry Transport (MQTT) [7]. Oba protokoły są szeroko stosowane w rozwiązaniach IoT, a biblioteki obsługujące każdy z nich są powszechnie dostępne dla praktycznie wszystkich popularnych języków programowania. Zarówno CoAP jak i MQTT są wspierane przez szereg popularnych platform IoT. Porównanie wydajności tych protokołów było tematem wielu analiz prowadzonych środowiskach akademickich oraz w przemysłu. Na podstawie przeprowadzonych symulacji [8] omówiono korzyści z zastosowania CoAP i MQTT w sensorach medycznych. Badacze z Ericsson, korzystając z wewnętrznych narzędzi tej firmy [9], symulują pracę 76 500 urządzeń NB-IoT, a następnie analizują wpływ protokołu na wydajność i niezawodność komunikacji. W artykule skupiono się na porównaniu korzyści płynących z zastosowania CoAP i MQTT w zasilanych bateryjnie urządzeniach NB-IoT oraz pokazano, w jaki sposób podjęto decyzję o wyborze protokołu warstwy aplikacyjnej zastosowanego w rejestratorach Efento. CoAP to protokół warstwy aplikacyjnej opracowany i ustandaryzowany przez IETF [10]. Protokół ten jest podobny do HTTP (używa tych samych metod: GET, POST, PUT, DELETE) i oparty jest na modelu klient/serwer. Został zoptymalizowany do zastosowania w urządzeniach o ograniczonych zasobach. CoAP najczęściej wykorzystuje UPD jako warstwę transportową ale może działać w dwóch różnych trybach: wysyłka ramki danych bez wymagania potwierdzenia otrzymania przez serwer (ramki oznaczone jako NON) lub wysyłka ramki danych z wymaganiem potwierdzenia (ramki oznaczone jako CON). Wybór typu ramki danych jest decyzją klienta i może zmieniać się między ramkami (np. co piąta ramka jest typu CON, pozostałe NON). Protokół CoAP charakteryzuje się dodatkowo małym narzutem – minimalny rozmiar nagłówka protokołu to cztery bajty (wielkość nagłówka może wzrosnąć w przypadku przesyłania pól opcjonalnych). MQTT to protokół warstwy aplikacyjnej opracowany i rozwijany przez OASIS [11]. Protokół ten został zaprojektowany z myślą o urządzeniach IoT i jest oparty na modelu publikacja/ subskrypcja. Każdy z klientów łączy się z brokerem, a następ-
nie subskrybuje dany temat. Każdy z klientów może również publikować dane w wybranym temacie. Jeśli któryś z klientów opublikuje dane w wybranym temacie, każdy subskrybujący go klient otrzyma te dane. Dodatkowo MQTT realizuje mechanizmy Quality of Service (QoS), które zapewniają niezawodność komunikacji między klientami a brokerem. Najczęściej protokół MQTT wykorzystuje TCP jako warstwę transportową. Istnieje implementacja protokołu MQTT zoptymalizowana do zastosowań w urządzeniach o ograniczonych zasobach (MQTT-SN), która nie zyskała takiej popularności jak oryginalna wersja protokołu. Protokół MQTT charakteryzuje się małym narzutem – minimalna wielkość nagłówka to dwa bajty (oraz do 12 bajtów opcjonalnego nagłówka dodatkowego). Komunikacja z użyciem protokołu CoAP nie wymaga nawiązywania i rozłączania połączenia między klientem a serwerem, co znacząco zmniejsza ilość przesyłanych danych (Rys. 3). Niezawodność transmisji zapewniona jest przez ramki wymagające potwierdzenia przez serwer (CON). Gwarantuje to, że mimo wykorzystania UDP jako protokołu warstwy transportowej dane przesyłane przez klienta na pewno zostaną otrzymane przez serwer. W przypadku braku potwierdzenia, klient ponawia transmisję. Komunikacja z użyciem protokołu MQTT wymaga nawiązania i rozłączania połączenia zgodnie z protokołem TCP (“three-way handshake”). Wynikająca z tego konieczność wymiany dodatkowych ramek znacząco zwiększa ilość przesyłanych danych oraz wydatek energetyczny na każdą transmisję. Niezawodność zapewniona jest przez wykorzystanie protokołu TCP w warstwie transportowej oraz dodatkowe mechanizmy MQTT (w przypadku QoS1 i QoS2) – przetworzenie każdej publikacji przez klienta (MQTT Publish) potwierdzona jest przez brokera (MQTT PubAck). W celu analizy wpływu protokołu na zużycie danych zaimplementowaliśmy testowe rozwiązanie umożliwiające przesyłanie tej samej wiadomość z wykorzystaniem CoAP i MQTT. Aby określić narzut każdego z protokołów, jako poziom odniesienia przyjęto wysyłkę danych z użyciem wyłącznie protokołu UDP. Przesyłana ramka danych w każdym przypadku była identyczna i zawierała typową wiadomość przesłaną przez rejestratory Efento – 84 bajty zawierające pakiet 20 pomiarów temperatury. Zużycie danych zaprezentowano na Rys. 4.
Rys. 3. Schemat komunikacji z wykorzystaniem protokołów CoAP i MQTT (QoS1) Fig. 3. Communication scheme of CoAP and MQTT protocols
75
Implementacja stosu komunikacji w zasilanych bateryjnie urządzeniach NB-IoT Rys. 4. Porównanie zużycia danych przy wysyłce pojedynczej wiadomości o wielkości 84 bajtów przy użyciu protokołów CoAP (CON), MQTT (QoS1) i “gołego” UPD Fig. 4. Comparison of data usage when sending a single message of 84 bytes using raw UDP, CoAP (CON) and MQTT (QoS1) protocols
− Wielkość danych i szybkość przetwarzania – w celu zapewnienia niskich kosztów obsługi urządzeń NB-IoT oraz długiego czasu życia baterii, sposób serializacji powinien zapewniać minimalizację wielkości ramek danych. − Szybkość serializacji i deserializacji – wybrana metoda powinna umożliwić minimalizację zasobów niezbędnych do wykonania procesu zarówno po stronie urządzenia, jak i po stronie serwera. − Możliwości integracji – wybrany format danych powinien być powszechnie stosowany. − Wersjonowanie – wybrany sposób serializacji danych powinien zapewniać łatwą możliwość dodania/usunięcia pól do ramek danych.
Wielkość ramki wysyłanej przy użyciu protokołu CoAP jest większa o 31 bajtów (33 %), a w przypadku MQTT o 309 bajtów (336 %) w stosunku do “gołego” UDP. Tak duża różnica wynika przede wszystkim z opisanego narzutu protokołu TCP, przez który wykorzystanie protokołu MQTT do wysyłki małych ilości danych, w regularnych (stosunkowo dużych) odstępach czasu jest nieefektywne. Protokół MQTT ma wbudowany mechanizm podtrzymania połączenia (MQTT Pingreq/MQTT Pingresp), który eliminuje konieczność zestawienia połączenia TCP przed każdą wysyłką danych, ale użycie tego mechanizmu jest nieefektywne w przypadku bateryjnie zasilanych urządzeń pracujących w sieciach NB-IoT. Urządzenie musiałoby stale utrzymywać połączenie TCP z serwerem, co uniemożliwiałoby przejście do trybu oszczędzania energii i skutkowałoby znacznym skróceniem czasu życia baterii. Wykorzystanie protokołu CoAP wprowadza stosunkowo niewielki narzut w stosunku do “gołego” UDP, zapewniając jednocześnie duże korzyści – niezawodność komunikacji (ponowna wysyłka danych w przypadku, gdy urządzenie nie otrzymało potwierdzenia z serwera) oraz łatwą integrację z aplikacjami serwerowymi. Z opisanych powodów w rejestratorach Efento zdecydowano się zastosować protokół CoAP. Analiza korzyści poszczególnych protokołów komunikacji powinna być wykonana każdorazowo, biorąc pod uwagę specyfikę danego rozwiązania. W niektórych przypadkach (np. urządzenie mające dostęp do zasilania i wysyłające większe ilości danych w ramach pojedynczej transmisji) protokół MQTT (lub inne protokoły warstwy aplikacyjnej) jest lepszym rozwiązaniem niż wybrany przez nas protokół CoAP [12].
Formaty danych można podzielić na dwie grupy: formaty tekstowe i formaty binarne. Analiza formatów serializacji pod kątem wielkości danych oraz szybkość ich przetwarzania przeprowadzona była wielokrotnie. Najważniejsze wnioski z przeprowadzonych badań: − Wielkość danych w formatach binarnych jest zdecydowanie mniejsza niż w formatach tekstowych. Różnica ta może być nawet ośmiokrotna [13]. − Czas serializacji/deserializacji danych jest zdecydowanie krótszy w przypadku formatów binarnych. Różnica ta może być nawet dwudziestokrotna [14]. − Narzut wynikający ze specyfiki formatów tekstowych (metadane) jest bardzo duży w stosunku do formatów binarnych. Jedynie 16 % wiadomości JSON to właściwe dane, pozostałe 84 % to metadane. Jeśli ta sama ramka danych została serializowana jako Protobuf, stosunek ten uległ zmianie do 71 % – dane, 29 % – metadane [15].
4.2. Format i serializacja danych
Istotnym aspektem mającym wpływ na wielkość przesyłanych danych jest wybór odpowiedniego formatu serializacji danych. Projektując sposób komunikacji przeanalizowano następujące aspekty:
Binarne formaty danych są znacznie lepszym wyborem w przypadku zasilanych bateryjnie urządzeń IoT. Minimalizacja wielkości danych oraz krótszy czas serializacji niosą korzyści zarówno po stronie urządzeń (mniejsze zużycie energii, a tym
Tabela 1. Porównanie serializacji danych z wykorzystaniem Protobuf i MessagePack Table 1. Comparison of data serialisation with Protobuf and MessagePack
Wielkość ramki (bajty)
Średni czas serializacji (μs)
Średni czas deserializacji (μs)
Protobuf
84
<1
<1
MessagePack
146
<1
<1
76
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Piotr Szydłowski, Karol Zaręba samym dłuższy czas życia baterii), jak i platform IoT (mniejsze zasoby potrzebne do przetworzenia danych pochodzących z dużej liczby urządzeń). Do najpopularniejszych binarnych formatów serializacji danych należą Protobuf [16] i MessagePack [17]. Dla porównania ich efektywności wykonano test polegający na serializacji i deserializacji paczki 20 pomiarów temperatury wykonanych przez rejestrator Efento. Czasy serializacji i deserializacji w obu przypadkach są na tyle małe, że nie mają istotnego wpływu na pracę urządzenia. Wielkość otrzymanej paczki danych jest natomiast aż o 62 bajty mniejsza niż w przypadku zastosowania Protobufa. Dodatkową przewagą wybranego sposobu serializacji jest rozpoznawalność (format został opracowany i udostępniony przez Google) oraz implementacja praktycznie w każdym języku programowania. Protobuf umożliwia zachowanie kompatybilności między wersjami oprogramowania rejestratorów – jeżeli w nowej wersji urządzenie wysyła dodatkowe informacje (pole), to jest ono dodawane do schematu wiadomości z zachowaniem kompatybilności wstecznej. Pliki .proto, określające strukturę przesyłanych przez rejestratory danych, dostępne są w repozytorium [22]. Obecnie istnieje znacznie więcej binarnych formatów serializacji niż te opisane powyżej (np. BSON [18] czy Apache Avro [19]). Wybierając sposób serializacji należy brać pod uwagę specyfikę danego rozwiązania i przeprowadzić testy, które pozwolą określić, jaki format najlepiej pasuje do konkretnej struktury danych.
4.3. Optymalizacja algorytmów kompresji i transmisji danych 4.3.1. Mechanizm kompresji danych
Mechanizmem, który umożliwił znacząco zmniejszyć wielkość przesyłanych ramek jest algorytm kompresji danych. Pomiary przesyłane są przez rejestratory w postaci paczek danych. Podczas przygotowywania danych do wysyłki rejestrator oblicza wartość średnią ze wszystkich pomiarów z danej paczki (“wartość startowa”), a następnie przesyła do serwera tę wartość wraz z różnicami między nią, a kolejnymi pomiarami. Ponieważ rejestratory mierzą wielkości fizyczne niepodlegające szybkim zmianom, różnice w pomiarach w obrębie jednej paczki są małe i mogą być zapisane na mniejszej liczbie bajtów niż pełne wartości pomiarów. Ten prosty algorytm kompresji danych pozwala zredukować o kilka procent wielkość przesyłanych danych. Wyniki działania algorytmu dla paczek danych składających się z 5 i 10 pomiarów wilgotności zaprezentowano w Tabeli 2. Przesłana przez rejestrator paczka danych zawiera jedynie znacznik czasu wartości startowej oraz informację o okresie pomiaru, który jest stały w obrębie każdej paczki. Znaczniki czasów poszczególnych pomiarów obliczane są przez serwer, po otrzymaniu danych. To podejście pozwala znacząco zmniejszyć wielkość paczek danych, oszczędzając 4 bajty na każdy pomiar.
4.3.2. Optymalizacja algorytmów transmisji
W przypadku urządzeń NB-IoT znaczna część energii zużywana jest na transmisję danych. Z tego względu, projektując mechanizmy i algorytmy mające na celu wydłużenie czasu życia baterii skupiliśmy się na ograniczeniu liczby transmisji
(im rzadziej urządzenie transmituje dane, tym dłuższy czas życia baterii) oraz skróceniu czasu w stanie aktywnym (im krócej urządzenie pozostaje w stanie aktywnym, tym dłuższy jest czas życia baterii).
4.3.3. Zminimalizowanie liczby transmisji
Pierwszym mechanizmem, który ogranicza liczbę transmisji jest wysyłka pomiarów w paczkach. Konfigurując urządzenie użytkownik może ustawić dwa niezależne od siebie parametry: okres pomiaru i okres transmisji. Jeśli dostęp do pomiarów w trybie rzeczywistym nie jest potrzebny, należy wykonywać transmisję rzadziej, z zachowaniem, by każda z wysyłanych paczek danych zawierała wszystkie pomiary wykonane od momentu ostatniej komunikacji z serwerem. Takie podejście powoduje opóźnienie w transmisji danych, co wpływa na czas reakcji osoby odpowiedzialnej za utrzymanie prawidłowych warunków monitorowanego obiektu. Jeżeli pomiar wykonany przez rejestrator ma wartość leżącą poza bezpiecznym zakresem (np. temperatura w lodówce jest poza zakresem zdefiniowanym przez producenta przechowywanych w niej szczepionek), serwer powinien otrzymać tę informację jak najszybciej. Aby rozwiązać ten problem, przeniesiono część logiki związanej z analizą danych pomiarowych z serwera do rejestratora. Algorytmy analizy danych w rejestratorze wykorzystują silnik reguł. Użytkownik może konfigurować szereg warunków, które analizowane są po każdym pomiarze/serii pomiarów. W zależności od wyników analizy, rejestrator podejmuje decyzję o wyzwoleniu transmisji (“Report by Exception”). Najprostszy przykład reguły “jeżeli temperatura wzrośnie powyżej określonej wartości, natychmiast wyślij dane do serwera”. Opracowany silnik reguł daje użytkownikowi duże możliwości konfiguracji, uwzględniając m.in.: − Różne rodzaje progów: Próg dolny – jeżeli wartość pomiaru spadnie poniżej wartości progu, Próg górny – jeżeli wartość pomiaru wzrośnie powyżej progu, Próg różnicowy – jeżeli różnica między pomiarem bieżącym a ostatnim wysłanym do serwera jest większa niż wartość progu, − Mechanizmy niwelowania fluktuacji: Histereza – ograniczenie niepotrzebnych transmisji, gdy pomiary oscylują w okolicy wartości progu, Średnia krocząca – w celu eliminacji krótkich fluktuacji, porównując wartości pomiaru do ustalonego progu urządzenie może brać pod uwagę wartość średnią z ostatnich N pomiarów, Opóźnienie – ograniczenie transmisji w przypadku chwilowych fluktuacji – wartość pomiaru musi przekroczyć wartość progu i pozostać powyżej/poniżej przez określony czas, − Operatory logiczne AND, OR, NOT, które umożliwiają budowę złożonych reguł, uwzględniających więcej niż jedną mierzoną przez rejestrator wartość (np. „jeżeli temperatura wzrośnie powyżej progu i wilgotność spadnie poniżej progu”, natychmiast wyślij dane do serwera), − Kalendarze reguł – ograniczenie analizy danych pomiarowych jedynie do wybranych dni tygodnia i godzin.
Tabela 2. Wpływ algorytmu kompresji na wielkość ramki danych Table 2. Impact of the compression algorithm on the data frame size
Wielkość ramki danych bez kompresji (bajty)
Wielkość ramki danych z kompresją (bajty)
[0, 45, 47, 50, 45]
96
90
[0, 45, 47, 50, 45, 43, 49, 50, 45, 42]
114
106
Pomiary [%RH]
77
Implementacja stosu komunikacji w zasilanych bateryjnie urządzeniach NB-IoT
4.3.4. Skrócenie czasu transmisji
wysłaniu każdej ramki niewymagającej potwierdzenia przez serwer (NON), jak również po otrzymaniu odpowiedzi z serwera w przypadku transmisji ramki wymagającej potwierdzenia (CON). Gdyby rejestratory nie używały flagi RAI, pozostawałyby w stanie aktywnym do momentu zwolnienia zasobów przez sieć (Inactivity Timer). Ta optymalizacja ma znaczący wpływ na zużycie energii w trakcie transmisji danych – przykładowo w polskiej sieci T-Mobile wykorzystanie flagi RAI skraca czas o około 6 s, w którym urządzenie pozostaje połączone z siecią. Dodatkowo całkowicie zrezygnowano z użycia eDRX. Po wysłaniu flagi RAI rejestrator natychmiast przechodzi w tryb oszczędzania energii. W naszym przypadku komunikacja z serwerem jest zawsze inicjowana przez urządzenie, a ewentualne dane (np. nowa konfiguracja) są przesyłane do niego w odpowiedzi na ramki typu CON. Umożliwia to całkowite wyłączenie eDRX (Active Timer ustawiony na 0), minimalizując w ten sposób zużycie baterii podczas transmisji (Rys. 6). Inny sposób skrócenia czasu transmisji jest możliwy dzięki wykorzystaniu protokołu CoAP i wbudowanego w niego mechanizmu wymagania (lub nie) potwierdzenia otrzymania ramki przez serwer. W przypadku wysyłki ramki wymagającej potwierdzenia, urządzenie musi ponad dwukrotnie dłużej pozostać w stanie aktywnym, czekając na odpowiedź serwera – średni czas w trybie aktywnym dla ramki CON: 7,9 s, dla ramki typu NON: 3,6 s (pomiary wykonano przy następujących parametrach sygnału: RRSP – 65 dBm, RSRQ – 4 dBm, RSSI – 61 dBm, ECL 0). Zaprojektowany algo-
W przypadku urządzeń NB-IoT kluczowe jest wykorzystanie mechanizmów oszczędzania energii oferowanych przez tę technikę komunikacji. Analiza ich wpływu na zużycie energii przez urządzenia NB-IoT w warunkach laboratoryjnych wykonywana była wielokrotnie [20]. Typowy schemat komunikacji urządzeń NB-IoT zaprezentowano na Rys. 5. Po wybudzeniu i włączeniu radia urządzenie inicjuje komunikację z siecią (TAU), następnie przesyła dane (Data transmission (TX)) oraz otrzymuje odpowiedzi z serwera (Data transmission (RX)). Po zakończeniu komunikacji urządzenie pozostaje połączone z siecią przez zdefiniowany okres czasu (Inactivity timer). Następnie urządzenie nasłuchuje dane przychodzące z serwera nie utrzymując pełnego połączenia sieciowego (eDRX). W tym trybie zużywa mniej energii niż w przypadku stanu aktywnego (RRC connected – pełne połączenie sieciowe), ale więcej niż w przypadku pracy w trybie oszczędzania energii (PSM – brak komunikacji z siecią). Po upływie czasu zdefiniowanego przez Active Timer (T3324) urządzenie przechodzi do trybu oszczędzania energii (PSM), w którym zużycie energii jest minimalne. W celu skrócenia czasu transmisji, a tym samym wydłużenia życia baterii, w oprogramowaniu rejestratorów Efento wykorzystano oferowaną przez standard NB-IoT funkcję Release Assistance. Przez wysłanie flagi Release Assistance Indicator (RAI), urządzenia NB-IoT mogą informować sieć, że transmisja danych jest zakończona, zasoby radiowe mogą być zwolnione, a urządzenie przechodzi do trybu oszczędzania energii. W naszym oprogramowaniu używamy tej flagi po
Rys. 5. Typowy schemat komunikacji urządzeń NB-IoT Fig. 5. Typical scheme of NB-IoT devices communication
Rys. 6. Schemat komunikacji rejestratora NB-IoT Efento Fig. 6. Scheme of Efento NB-IoT logger communication
78
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Piotr Szydłowski, Karol Zaręba rytm komunikacji umożliwia użytkownikom określić, jak często urządzenie ma wysyłać dane korzystając z ramek CON. Pozwala to dostosować pracę rejestratora do potrzeb użytkownika. Jeśli otrzymanie wszystkich pomiarów przez serwer nie jest kluczowe, użytkownik może ustawić rejestrator tak, że ramka typu CON wysyłana jest raz na dobę, wydłużając tym samym czas życia baterii. W celu zapewnienia niezawodności transmisji w istotnych momentach (np. przekroczenie ustalonego progu alarmowego), kluczowe dane zawsze wysyłane są za pomocą ramek CON i powtarzane w przypadku braku potwierdzenia otrzymania danych przez serwer. W celu skrócenia czasu transmisji zrezygnowano z wykorzystania eDRX oraz skorzystano z funkcji Release Assistance. Teraz rejestrator przechodzi do trybu oszczędzania energii natychmiast po zakończeniu transmisji. Dodatkowo użytkownicy mogą skonfigurować typ wysyłanych ramek danych (CON/NON). W ten sposób udało się skrócić czas, w którym urządzenie pozostaje połączone z siecią o około 10 s, co znacząco wpływa na żywotność baterii.
5. Wyniki Opracowane rejestratory zostały poddane testom w celu zbadania i określenia parametrów kluczowych dla zasilanych bateryjnie urządzeń NB-IoT, jak niezawodności komunikacji, czas życia baterii oraz zużycia danych. Badania przeprowadzono w sieci NB-IoT o dobrym zasięgu (RRSP – 65 dBm, RSRQ – 4 dBm, RSSI – 61 dBm, ECL 0).
5.1. Niezawodność komunikacji
Niezawodność komunikacji została zbadana dla dwóch konfiguracji urządzeń: 1. Żadna z ramek wysyłanych przez urządzenie nie wymaga potwierdzenia otrzymania od serwera (są ramkami typu NON), 2. Wszystkie ramki wysyłane przez urządzenie wymagają potwierdzenia otrzymania od serwera (są ramkami typu CON). Oba urządzenia wysłały do serwera 10 000 ramek danych. Za sukces uznano każdorazowe otrzymanie przez serwer ramki danych. W przypadku ramek wymagających potwierdzenia rejestrowano dodatkowo, w której próbie ramka została dostarczona do serwera (Tab. 3).
W przypadku ramek niewymagających potwierdzenia, sukcesem zakończyło się 99,95 % transmisji. Utrata 0,05 % ramek danych wynika ze sporadycznych problemów z siecią NB-IoT. W przypadku ramek wymagających potwierdzenia, sukcesem zakończyło się 100 % transmisji. Wzrost zużycia energii wynikający z retransmisji jest pomijalny w stosunku do wydatku energetycznego na transmisję wszystkich 10 000 ramek danych. Obie konfiguracje zapewniają zadowalającą niezawodność, a dzięki możliwości wyboru typu ramek danych, użytkownik może balansować między kompletnością pomiarów a żywotnością baterii.
5.2. Czas życia baterii
W celu określenia uzyskanego czasu życia baterii wykonaliśmy pomiary zużycia energii przez rejestrator temperatury i wilgotności w poszczególnych fazach jego pracy. Pomiary dla każdej fazy wykonywano 30 razy, a następnie obliczano z nich wartość średnią (Tabela 4). Wykres poboru prądu w poszczególnych fazach pracy rejestratora zaprezentowano na Rys. 7. Na podstawie danych pomiarowych opracowano narzędzie umożliwiające symulację czasu życia baterii z uwzględnieniem wpływu jakości sygnału NB-IoT [17]. Przykładowe czasy życia baterii prezentuje Tabela 5. Otrzymane wyniki wskazują, że przy odpowiedniej konfiguracji czas życia baterii rejestratorów temperatury i wilgotności NB-IoT Efento może wynieść nawet 11 lat. Istotny wpływ na czas życia baterii mają przede wszystkim okres transmisji i typ wysyłanych ramek. W przypadku rejestratora temperatury i wilgotności okres pomiaru nie ma istotnego wpływu na czas życia baterii. Ponadto czas życia baterii znacząco skraca się w przypadku gorszego zasięgu sieci. Wynika to ze specyfiki standardu NB-IoT: moduł NB-IoT automatycznie dostosowuje moc nadawania do parametrów sygnału (im gorszy sygnał tym większa moc nadawania) oraz, w przypadku gorszego zasięgu, zwiększa maksymalną dopuszczalną liczbę retransmisji w celu wysyłki danych. Opracowany model ma szereg ograniczeń i nie uwzględnia wielu parametrów mających wpływ na czas życia baterii. Obecnie gromadzimy dane dotyczące pracy urządzeń, które w przyszłości pozwolą nam oszacować czas życia baterii na podstawie danych rzeczywistych, uwzględniając m.in. warunki środowiskowe w jakich pracuje rejestrator, dodatkowych transmisji wynikających z wyzwolenia reguł, zmiany konfiguracji czy zdalnej aktualizacji oprogramowania.
Tabela 3. Wyniki analizy niezawodności transmisji danych Table 3. Results of data transmission reliability analysis Typ ramki danych
Liczba wysłanych ramek danych
Liczba sukcesów w pierwszej transmisji
Liczba sukcesów w drugiej transmisji
Liczba sukcesów łącznie
NON
10 000
9995
brak retransmisji
9995
CON
10 000
9996
4
10 000
Tabela 4. Analiza poboru prądu w poszczególnych fazach pracy rejestratora temperatury i wilgotności NB-IoT Table 4. Analysis of current consumption in each phase of logger’s operations Faza pracy
Średni pobór prądu [mA]
Czas trwania [s]
Uruchomienie, rejestracja do sieci
13,22
25,72
Transmisja bez potwierdzenia
8,04
3,6
Transmisja z potwierdzeniem
8,36
7,9
Tryb oszczędzania energii
0,01
–
Wykonanie pomiaru
0,747
0,06
79
Implementacja stosu komunikacji w zasilanych bateryjnie urządzeniach NB-IoT Tabela 5. Symulacja czasu życia baterii w zależności od konfiguracji rejestratora Table 5. Simulation of the impact of logger’s configuration on the battery life time Konfiguracja
Dobry zasięg (ECL0)
Średni zasięg (ECL1)
Słaby zasięg (ECL2)
Okres pomiaru: 15 min Okres transmisji: 180 min Potwierdzenie: zawsze
11 lat
4,7 lat
2,35 lat
Okres pomiaru: 15 min Okres transmisji: 60 min Potwierdzenie: zawsze
9,79 lat
1,96 lat
0,98 lat
Okres pomiaru: 15 min Okres transmisji: 180 min Potwierdzenie: zawsze
10,53 lat
2,11 lat
1,05 lat
Okres pomiaru: 5 min Okres transmisji: 180 min Potwierdzenie: zawsze
11 lat
4,69 lat
2,35 lat
Okres pomiaru: 5 min Okres transmisji: 60 min Potwierdzenie: zawsze
6,47 lat
1,3 lat
0,65 lat
Rys. 7. Wykres poboru prądu przez rejestrator Efento w poszczególnych fazach pracy Fig. 7. Efento logger’s current consumption in its operations phases
5.3. Zużycie danych
transmisji (60 min) i zastosowaniu ramek typu CON zmodyfikowano okres pomiaru. Wpływ okresu pomiaru na miesięczne zużycie danych prezentuje Rysunek 9. Zwiększenie okresu pomiaru powoduje zmniejszenie ilości danych wysyłanych przez rejestrator (uplink), nie ma jednak wpływu na ilość danych wysyłanych przez serwer do rejestratora w celu potwierdzenia otrzymania ramek. Zużycie danych jest odwrotnie proporcjonalne do okresu pomiaru i asymptotycznie zmierza do stałych wartości, które wynikają z narzutu protokołów IP, UDP i CoAP. W ostatniej analizie sprawdzono wpływ typu ramki (CON i NON) na zużycie danych. Okres transmisji wynosił 60 minut, a okres pomiaru 15 minut. Zmieniano okres wysyłki ramki typu CON. Przykładowo, jeżeli okres wysyłki ramki CON wynosił 1 godzinę, to każda wysłana przez rejestrator ramka była ramką CON. Jeżeli okres wysyłki ramki CON wynosił 24 godziny, to 23 ramki wysyłane były jako ramki NON, a co 24. ramka była ramką typu CON. Wyniki analizy zostały zaprezentowane na Rys. 10. W tym przypadku widoczne jest zarówno zmniejszenie ilości danych wysyłanych przez rejestrator (uplink), jak i ilości
W analizie zużycia danych uwzględniono wszystkie dane przesyłane przez rejestrator (nagłówki protokołów IP, UDP, CoAP i przesyłane dane pomiarowe) oraz dane przesyłane do rejestratora (nagłówki protokołów, ramki ACK). Po opracowaniu modelu, wyniki zostały zweryfikowane z platformą operatora komunikacyjnego, prezentującą zużycie danych przez urządzenia. Pierwsza analiza polegała na zbadaniu wpływu okresu transmisji na zużycie danych. Okres pomiaru ustawiony był na stałe na 15 minut, a wszystkie wysyłane ramki były typu CON. Miesięczne zużycie danych przez rejestrator w zależności od skonfigurowanego okresu transmisji przedstawiono na Rys. 8. Zgodnie z przewidywaniami, zwiększenie okresu transmisji powoduje zmniejszenie miesięcznego zużycia danych przez rejestrator. Wynika to z narzutu protokołów IP, UDP i CoAP – im mniej ramek danych wysyła urządzenie, tym mniejszy jest sumaryczny narzut w skali miesiąca. Potwierdza to wspomnianą wcześniej konieczność odpowiedniego wyboru protokołów warstw transportowych i aplikacyjnej dla urządzeń IoT. Kolejna analiza miała na celu zbadanie wpływu okresu pomiaru na zużycie danych. Przy zachowaniu stałego okresu
80
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Piotr Szydłowski, Karol Zaręba Rys. 8. Analiza wpływu okresu transmisji na miesięczne zużycie danych Fig. 8. Analysis of the impact of the transmission interval on the monthly data usage
Rys. 9. Analiza wpływu okresu pomiaru na miesięczne zużycie danych Fig. 9. Analysis of the impact of the measurement interval on the monthly data usage
Rys. 10. Analiza wpływu okresu wysyłki danych w ramkach typu CON na miesięczne zużycie danych Fig. 10. Analysis of the impact of the transmission interval of the CON frames on the monthly data usage
81
Implementacja stosu komunikacji w zasilanych bateryjnie urządzeniach NB-IoT 4. Release 13, 3GPP [www.3gpp.org/specifications-technologies/releases/release-13] 5. Sultania A., Blondia C., Famaey J., Optimizing the Energy-Latency Tradeoff in NB-IoT with PSM and eDRX. „IEEE Internet of Things Journal”, Vol. 8, No. 15, 2021, 12436– 12454, DOI: 10.1109/JIOT.2021.3063435. 6. Hoglund A., Lin X., Liberg O., Behravan A., Yavuz E.A., Van Der Zee M., Sui Y., Tirronen T., Ratilainen A., Eriksson D., Overview of 3GPP Release 14 Enhanced NB-IoT. „IEEE Network”, Vol. 31, No. 6, 2017, 16–22, DOI: 10.1109/MNET.2017.1700082. 7. Ralte V., Chawngsangpuii R., Comparative Analysis of MQTT and CoAP Using Wireshark. Evolution in Computational Intelligence, 2023, 369–380, DOI: 10.1007/978981-19-7513-4_33. 8. Chen Y., Kunz T., Performance evaluation of IoT protocols under a constrained wireless access network. 2016 International Conference on Selected Topics in Mobile & Wireless Networking (MoWNeT), Kair, Egipt, 2016, 1–7, DOI: 10.1109/MoWNet.2016.7496622. 9. Larmo A.; Ratilainen A., Saarinen J., Impact of CoAP and MQTT on NB-IoT System Performance. „Sensors”, Vol. 19, No. 1, 2019, DOI: 10.3390/s19010007. 10. Shelby Z., Hartke K., Bormann C., The Constrained Application Protocol (CoAP), „Internet Engineering Task Force (IETF)”, 2014, ISSN: 2070-1721. 11. MQTT v 5.0, Oasis, 2019 [https://docs.oasis-open.org/ mqtt/mqtt/v5.0/mqtt-v5.0.html ] 12. Thakur R., Kumari R., A Comparison of Various IoT Application Layer Protocol. „American Journal of Electronics & Communication”, Vol. 3, No. 1, 2022, 28–34. DOI: 10.15864/ajec.3106. 13. Popić S., Pezer D., Mrazovac B., Teslić N., Performance evaluation of using Protocol Buffers in the Internet of Things communication Protobuf vs. JSON/BSON comparison with a focus on transportation’s IoT, International Conference on Smart Systems and Technologies, Osijek, Chorwacja, 2016, DOI: 10.1109/SST.2016.7765670. 14. Hunter G., A Comparison Of Serialization Formats [https://blog.mbedded.ninja/programming/serializationformats/a-comparison-of-serialization-formats/], 2019. 15. Martincevic J., Data exchange in embedded systems – JSON vs Protocol Buffers, Infinium [https://infinum.com/ blog/json-vs-protocol-buffers/], 2023. 16. Specyfikacja Protobuf, Google [https://protobuf.dev/] 17. Specyfikacja MessagePack [https://msgpack.org/] 18. Specyfikacja BSON [https://bsonspec.org/] 19. Specyfikacja Apache Avero [https://avro.apache.org/] 20. Abbas M., Eklund J., Grinnemo K., Brunstrom A., Alfredsson S., Alay O., Katona S., Seres G., Rathonyi B., Guidelines for an Energy Efficient Tuning of the NB-IoT Stack. The 45th IEEE Conference on Local Computer Networks (LCN), Sydney, Australia, 2020, DOI: 10.1109/LCNSymposium50271.2020.9363265.
danych otrzymywanych przez rejestrator (downlink) wraz ze zwiększaniem okresu transmisji danych z użyciem ramki CON. Spadek ilości danych wysyłanych przez rejestrator (uplink) przy większym okresie komunikacji z użyciem ramek typu CON wynika z wysyłki flagi RAI po otrzymaniu potwierdzenia z serwera. Im mniej transmisji wymaga potwierdzenia z serwera, tym urządzenie rzadziej wysyła te ramki (w przypadku ramek typu NON flaga zawarta jest w ramce z pomiarami), co przekłada się na ilość danych wysłanych przez rejestrator. Wyniki pokrywają się z przewidywaniami teoretycznymi. Analizując zużycie danych przez rejestrator można stwierdzić, że opracowany sposób komunikacji wraz z metodą serializacji danych przyniósł oczekiwane rezultaty. Przy odpowiedniej konfiguracji (np. okres pomiaru 15 minut, okres transmisji 60 minut, potwierdzenie raz na dobę) rejestratory Efento zużywają mniej niż 1 MB danych rocznie. Biorąc pod uwagę stawki operatorów za korzystanie z sieci NB-IoT w 2023 r., przy takim zużyciu danych roczny koszt utrzymania pojedynczego rejestratora wynosi 1 Euro. Zaprezentowane wyniki (zarówno czas życia baterii jaki i zużycie danych) mogą być odtworzone/zasymulowane dla innych konfiguracji z wykorzystaniem opracowanego narzędzia [22].
6. Podsumowanie W oparciu o zdobyte doświadczenia przedstawiono istotne tematy, które należy brać pod uwagę projektując sposób komunikacji zasilanych bateryjnie urządzeń NB-IoT. Pokazano, w jaki sposób wykorzystano popularne protokoły komunikacji, funkcje oferowane przez standard NB-IoT i dodatkowe algorytmy minimalizujące zużycie danych przez urządzenia oraz wydłużenie czasu życia baterii. Przy odpowiedniej konfiguracji urządzenie może zużywać mniej niż 1 MB danych rocznie i pracować ponad 10 lat bez konieczności wymiany baterii. Wydaje się, że uzyskane wyniki potwierdzają poprawny projekt stosu komunikacji i algorytmów optymalizujących transmisję danych. Należy podkreślić, że ze względu na mnogość zastosowań urządzeń IoT i specyfikę ich pracy, projektując nowe rozwiązania należy każdorazowo przeprowadzić opisaną w artykule analizę. Zawarta analiza nie uwzględnia wszystkich parametrów mających wpływ na pracę urządzeń NB-IoT. Pominięto również kwestie bezpieczeństwa (DTLS dla CoAP oraz konfigurację prywatnego APN), co ze względu na rozległość może być tematem na osobny artykuł.
Podziękowania
Artykuł powstał w oparciu o wyniki prac badawczo rozwojowych przeprowadzonych w ramach projektu „Opracowanie systemu monitoringu danych fizycznych opartego na technologii NB-IoT/LTE Cat M1 i platformie w chmurze, z wykorzystaniem nowej generacji bezprzewodowych sensorów” współfinansowany przez Unię Europejską ze środków Regionalnego Programu Operacyjnego Województwa Małopolskiego na lata 2014–2020 w ramach programu Gospodarka wiedzy.
Inne źródła
Bibliografia
21. Narzędzie umożliwiające symulację czasu życia baterii i zużycia danych przez rejestratory Efento [https://dev. efento.io/tools/battery] 22. Pliki .proto definiujące strukturę wiadomości przesyłanych między rejestratorami, a serwerem [https://github.com/ efento/Proto-files/]
1. Sinha S., State of IoT 2023: Number of connected IoT devices growing 16% to 16.7 billion globally, IoT Analytics [https://iot-analytics.com/number-connected-iot-devices/] 2. Sinha R., Yiqiao W., Hwang S.-H., A survey on LPWA technology: LoRa and NB-IoT. „ICT Express”, Vol. 3, No. 1, 2017, 14–21, DOI: 10.1016/j.icte.2017.03.004. 3. NB-IoT & LTE-M March-2023 – Summary, GSA [https:// gsacom.com/paper/nb-iot-lte-m-march-2023-summary/]
82
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Piotr Szydłowski, Karol Zaręba
Implementation of Communication Stack for Battery-Powered NB-IoT Devices Abstract: In this article we present how to implement an efficient communication stack for
wireless, battery-powered NB-IoT loggers. Based on the experience gained by designing and developing loggers’ software, we present our analyses performed in order to select the appropriate communication protocols, data serialisation format, configuration of the NB-IoT module and proprietary algorithms developed to optimise the number of transmissions and the amount of data sent. We also present the obtained results together with an analysis of the impact of individual configuration parameters on the devices’ battery life and data usage.
Keywords: Narrowband IoT, IoT, CoAP, Protobuf, communication stack, logger, battery-powered
mgr inż. Piotr Szydłowski
mgr inż. Karol Zaręba
Współzałożyciel i CEO Efento, firmy zajmującej się projektowaniem, rozwojem i produkcją rejestratorów bezprzewodowych oraz platformy do gromadzenia i przetwarzania danych pomiarowych. Przed założeniem Efento pracował w firmie doradczej (technologicznym i strategicznym). Absolwent Wydziału Fizyki i Informatyki Stosowanej, AGH Akademii Górniczo-Hutniczej, kierunek Fizyka Techniczna.
Współzałożyciel i CTO Efento, firmy zajmującej się projektowaniem, rozwojem i produkcją rejestratorów bezprzewodowych oraz platformy do gromadzenia i przetwarzania danych pomiarowych. Przed założeniem Efento zajmował różne stanowiska związane z rozwojem oprogramowania (programista, architekt oprogramowania). Absolwent Wydziału Elektrotechniki, Automatyki, Informatyki i Elektroniki, AGH Akademii Górniczo-Hutniczej, kierunek Automatyka i Robotyka.
piotr.szydlowski@efento.pl ORCID: 0009-0007-1384-2011
karol.zareba@efento.pl ORCID: 0009-0009-7886-5163
83
84
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Pomiary Automatyka Robotyka, ISSN 1427-9126, R. 27, Nr 3/2023, 85–94, DOI: 10.14313/PAR_249/85
Deep Learning for Small and Tiny Object Detection: A Survey Aleksandra Kos, Dominik Belter
Poznan University of Technology, Institute of Robotics and Machine Intelligence, 60-965 Poznań, Poland
Karol Majek
CuFiX Karol Majek, ul. gen. F. Kleeberga 1A, 05-825 Grodzisk Mazowiecki
Abstract: In recent years, thanks to the development of Deep Learning methods, there has
been significant progress in object detection and other computer vision tasks. While generic object detection is becoming less of an issue for modern algorithms, with the Average Precision for medium and large objects in the COCO dataset approaching 70 and 80 percent, respectively, small object detection still remains an unsolved problem. Limited appearance information, blurring, and low signal-to-noise ratio cause state-of-the-art general detectors to fail when applied to small objects. Traditional feature extractors rely on downsampling, which can cause the smallest objects to disappear, and standard anchor assignment methods have proven to be less effective when used to detect low-pixel instances. In this work, we perform an exhaustive review of the literature related to small and tiny object detection. We aggregate the definitions of small and tiny objects, distinguish between small absolute and small relative sizes, and highlight their challenges. We comprehensively discuss datasets, metrics, and methods dedicated to small and tiny objects, and finally, we make a quantitative comparison on three publicly available datasets.
Keywords: Deep Learning, Small Object Detection, Tiny Object Detection, Tiny Object Detection Datasets, Tiny Object Detection Methods
1. Introduction Object detectors can be divided into one-stage [1] and twostage [2] detectors. Most methods are anchor-based [2, 1], but in recent years, some anchor-free detectors have also been proposed [3]. Two-stage methods tend to have a rather long inference time because of the additional step of region proposal generation [2]. One-stage methods are usually faster, however, they are also less precise [4]. To better handle multiscale objects, a method presented in [5] proposes the Feature Pyramid Network that combines feature maps from different depths of the pyramid. The main challenges of general object detection include invariance to object scale, inter-class and intra-class appearance differences, and noisy backgrounds. The difference between the precision for small and large instances indicates that small objects are still a big challenge even for the state-of-the-art detectors [1, 6]. In recent years, the collected datasets contain objects of an even smaller scale and
Autor korespondujący: Aleksandra Kos, aleksandra.kos@doctorate.put.poznan.pl Artykuł recenzowany nadesłany 23.06.2023 r., przyjęty do druku 30.08.2023 r. Zezwala się na korzystanie z artykułu na warunkach licencji Creative Commons Uznanie autorstwa 3.0
refer to them as tiny [7–9]. Numerous datasets, particularly the remote sensing from drones and satellites [10, 11], contain extremely high-resolution images, which poses additional challenges. In this article, we summarize the progress of the research in the field of tiny object detection. The main contribution of this paper is as follows: 1) a detailed discussion of the challenges specific to small and tiny object detection, as well as a comparison of different object size definitions, 2) a comprehensive analysis of publicly available small and tiny object detection benchmarks, 3) a thorough discussion of metrics and methods dedicated to small objects, and extensive quantitative analysis.
2. Tiny Object Detection Visual recognition of tiny objects shares many challenges with the problem of generic object detection, however, there are also many small-scale specific issues: 1) objects with a small number of pixels have limited appearance information, making both classification and localization difficult, 2) a low signal-to-noise ratio that appears especially in high-resolution aerial images with complex backgrounds and sparsely distributed objects, 3) most convolutional backbones rely on downsampling, which can cause the small features to disappear or make them highly contaminated by the background. Standard anchor assignment strategies and the Intersection over Union (IoU) have also been shown to be ineffective [8, 12, 13].
85
Aleksandra Kos, Dominik Belter, Karol Majek Table 2. Comparison of the main characteristics of object detection datasets Tabela 2. Porównanie głównych cech wybranych zbiorów danych do wykrywania obiektów
dataset
data type
object type
labels
images
objects
classes
Simage
Sobject
WIDER FACE [16]
natural scenes
faces
HBB
16,106
199,132
1
877±132
33±53
TinyPerson [9]
aerial (UAV-based)
people
HBB
1,610
72,651
2
1540±527
19±23
SeaPerson [18]
aerial (UAV-based)
people
HBB, CP
6,279
304,462
1
1456±207
23±13
SeeDronesSee [19]
aerial (UAV-based)
objects at sea
HBB, MOT, SOT
10,477
67,390
5
2644±831
63±71
UAVDT [20]
aerial (UAV-based)
vehicles
HBB, MOT, SOT
40,409
798,795
3
743±3
32±21
VisDrone [21]
aerial (UAV-based)
vehicles, pedestrians
HBB, MOT, SOT, CC
8,599
471,266
10
1200±250
35±33
AI-TODv2 [8]
aerial (mixed)
multi-type
HBB
14,008
376,625
8
800±0
13±6
DOTAv2 [22]
aerial (mixed)
multi-type
HBB, OBB
2,422
349,675
18
3756±3536
33±49
xView [17]
aerial (satellite-based)
multi-type
HBB
847
601,806
60
3148±317
35±40
SODA-A [11]
aerial (satellite-based)
multi-type
OBB
2,513
872,069
9
3627±162
16±8
SODA-D [11]
autonomous driving
pedestrians, vehicles, etc.
HBB
24,828
278,433
9
2790±597
25±10
10 pixels are ignored. SODA [11], AI-TOD [8], and TinyPerson [9] introduce upper object size limits, which are 45, 64, and 32 pixels respectively. More detailed information on the distribution of the object scales can be found in Fig. 1. To distinguish between small absolute size datasets and small relative size datasets, we plotted the number of instances in each size category for two sets of thresholds. We used thresholds from [9] for very tiny, tiny and small combined with thresholds from [14] for medium and large. To obtain relative thresholds, each absolute value was divided by the average size of the image in the COCO dataset. The absolute thresholds have the following values: micro (0–2 px), very tiny (2–8 px), tiny (8–16 px), small (16–32 px), medium (32–96 px), large (96–∞ px), and the relative thresholds are as follows: micro (0–0.38 %), very tiny (0.38–1.52%), tiny (1.52–3.05 %), small (3.05–6.10 %), medium (6.10–18.30 %), large (18.30–100 %). Satellite data include multiscale objects when the absolute definition is applied. However, due to extremely high resolution most of them become micro, very tiny, or tiny when the relative definition is applied. A similar relationship holds for UAV-based datasets, but, due to the lower resolution, there are rather no micro objects in these datasets. There are some exceptions – AI-TOD, SODA fully dedicated to the tiny object detection, so there are no large instances, and UAVDT in which, regardless of the definition, most objects are medium, small or tiny.
4. Tiny Object Detection Metrics The same metrics are usually used to evaluate the quality of tiny and small object detection and multi-scale object detection [14, 22]. Older datasets [15, 19, 10] use metrics introduced by the Pascal VOC [22], while newer ones [18, 20, 7, 16, 11] more often apply MS-COCO [14]. Average Precision (AP) is used by both Pascal VOC and MS-COCO. The main differences are the interpolation method, the IoU threshold, and Average Recall (AR) introduced in COCO. For more details, we refer to [22, 14]. AP is also often reported for each class [15, 7, 8, 21, 16, 11] or object size [14, 15, 7–9, 11] separately.
AR is sometimes adjusted to better reflect the conditions of a particular dataset, e.g. VisDrone and AI-TOD report AR500 and AR1500 respectively due to the large average number of objects per image. In Tiny Person, an IoU of 0.25 is used to emphasize that detection is more important than precise localization. In [8, 12, 13] the reduced effectiveness of the IoU in small object detection was shown. This is because the IoU is highly sensitive to position deviation when applied to small objects. The issue was solved by introducing the Normalized Gaussian Wasserstein Distance (NWD), a Dot Distance (DotD), and the Receptive Field based Label Assignment (RFLA), respectively. All three methods are discussed in more detail in the following sections.
5. Tiny Object Detection Methods In this section, we discuss the following groups of small and tiny object detection methods: Focus-and-Detect, Data-Augmentation, Sampling-Based, Attention-Based, Scale-Aware, Context-Aware, and Feature-Imitation Methods. The groups we use are similar to those defined in [11].
5.1. Focus-and-Detect Methods
Focus-and-detect methods are used to guide the detector to focus on the specific areas of high-resolution images. To increase the relative size of the object, high-resolution images can be processed using a sliding window [23–25]. In [23], the input image and the tiles obtained by dividing the input image are fed to the detector to maintain the detection quality for larger objects. In the end, the predictions from all windows are combined. The method presented in [25] integrates a super-resolution GAN into a simple slidingwindow pipeline. The use of a sliding window, however, is computationally sub-optimal. In aerial datasets, objects are often clustered in selected image areas, and a large portion of an image does not contain any objects. Therefore, [24] supports the sliding-window detection pipeline with additional neural networks that remove the background-only tiles. Many methods find the regions that are analyzed in detail in additional steps. The main differen-
87
Deep Learning for Small and Tiny Object Detection: A Survey ces between these approaches are how the tiles are generated, and whether the coarse and fine predictions are fused. [26, 27] divide the original images into several uniformly sampled tiles, and then select tiles for fine detection. Regular grid sampling, however, can lead to errors, since objects can lie on multiple tiles at the same time. In [28] a fine detection based on the prior coarse cluster proposals is introduced. Each selected tile can be divided or padded before resizing to maintain the scale of the objects. Zhang et al. [29] also use a coarse-to-fine approach, and the tiles are predicted by the Difficult Region Estimation Network (DREN), but no scale prediction is performed. Similar approaches are proposed in [30–32], where either binary semantic segmentation [30] or density maps [31, 32] support the tiling process. Unlike [28, 29, 31], in [32, 30] only tiles are passed to the detector. Koyun et al [33] propose the Incomplete Box Suppression (IBS) algorithm to eliminate the influence of truncation on the tile-based detection quality. In [34], same as in [31, 29, 28, 23], the final detections are obtained by fusing the predictions from a global image and selected tiles. However, in [34] the initial detections are directly used to generate tiles in an unsupervised manner. Then, the anchorfree detectors are utilized to eliminate the negative impact of high variability in object sizes. In [35] tiles are generated with a deep reinforcement learning strategy to handle variations in scales and sizes. During testing, final detections are obtained by merging the global image and tile outputs. Deng et al. [36] combine focus-and-detect with feature imitation, but unlike in [25], it scales only selected tiles, and the coarse detections are fused with predictions from tiles. The tiles are selected non-uniformly to deal with differences in scales and various aspect ratios.
backbone network to ensure proper representation and scale of anchors for different object sizes. An anchor-matching strategy is also adjusted by lowering the IoU threshold. A new anchor design, together with the Expected Max Overlapping (EMO) score, was proposed in [43] to increase the average IoU between objects and anchors. The authors reduce the stride of the anchor by enlarging the feature map, use shifted anchors, and randomly shift objects during training. In [44], the feature up-sampling, multi-level features, and an inception module are all combined to improve anchor sampling. [12, 13] introduce new metrics designed to replace an IoU in the label assignment process. The IoU has been observed to be very sensitive to location variations when applied to small objects. Thus, [12] proposed a Dot Distance (DotD) defined as a normalized Euclidean distance between two rectangles. Both [14] and [8] model the Gaussian Distributions of the bounding boxes. Xu et al. [13] measure the distance between these distributions with Kullback-Leibler divergence, while [8] uses the Normalized Wasserstein distance.
5.4. Attention-Based Methods
When dealing with tiny object detection in high-resolution images, the signal-to-noise ratio is particularly low, so many attention-based methods [44–49] were developed to suppress the background noise and highlight relevant features. These methods are often combined with the multi-level feature fusion [44, 46–49] to enhance the feature representation of small objects. Yi et al. [45] use a Recurrent Neural Network (RNN) with attention to make the detector more focused on the relevant image areas, such as a road for cars, and a roadside for traffic signs. Attention-Guided Balanced Pyramid (ABP) introduced in [49] fuses features at different levels of the feature pyramid. The fusion is made adaptively with a two-part attention-based sub-net. The Level-Based Attention method (LA) is used to learn weights for each pyramid level, while the Spatial Attention Network (SA) highlights regions that do contain objects. [44, 46, 47] adapt the channel attention mechanism based on the Squeezeand-Excitation (SE) Block [50] to highlight channels relevant to detection and suppress noise. Other attention-based blocks are pixel attention in [44], and spatial attention in [46]. [48] models the spatial relationship between pixel pairs.
5.2. Data Augmentation Methods
Data augmentation is commonly used in generic object detection to diversify the samples and reduce the risk of overfitting [1]. In this section, we have collected data augmentation methods developed specifically for detecting small objects. In [37], the authors duplicate images with small objects and perform a copy-paste operation on each of them to increase the number of small instances. This solution can increase the number of underrepresented samples, however, to avoid introducing extra noise, a semantic mask is required to precisely crop an object. Also, in many tasks, such as aerial imagery, objects tend to occupy specific areas in the image, and pasting them in random locations could degrade the results. To address these issues, [38] uses an additional semantic segmentation network to extract the road map from the UAV-taken image, and an object scale is also properly handled. In [39], input images are obtained by cropping a new image for each object. An even simpler cropping strategy is used in [40], where the original image is split into several parts using a regular grid. Both of these methods also use multi-model fusion. In [40] two detectors are trained, one for classes with many instances, and the other for classes with sparse representation in the dataset. In [39], the division is made based on the image resolution. Another data augmentation method has been proposed in [41], which uses Downsampling-GAN (DS-GAN) to generate small synthetic objects from larger ones. The generated objects are then added and blended with the background.
5.5. Scale-Aware Methods
In tiny object detection, because of downsampling, the last feature map that is usually used for detection has little or no representation of these objects. To combine the rich semantic information of deep features with the spatial information present in shallow layers, and to prevent the disappearance of small objects features, feature maps from different layers are used [51–54]. The scale-aware methods for detecting small objects are often based on the Feature Pyramid Network (FPN) [5], but introduce additional modifications to better handle the small-scale objects. In [51], global features are combined with multi-scale ROI features. Liu et al. [52] handle the misalignment between deep and shallow features by introducing the Image Pyramid Transformation Module (IPGT). [53] proves that the simple FPN can have a negative impact on tiny object detection, and thus introduce a statistically estimated fusion factor to control how deep and shallow features are combined. In [54], an attention module is combined with a feature-fusion approach. The Context Attention Module (CAM) generates multi-scale attention heatmaps, while the Scale Enhancement Module (SEM) makes the detector focus on specific object scales in different layers. Features in subsequent layers are fused. Similar approaches that combine feature-fusion and attention-based techniques are [44, 46–49, 55]. [56] uses a feature pyramid pooling to reduce false positives in high-resolution satellite images. In [57] a set of feature maps from different layers is processed and a new set of feature maps is fed to the detector head. DSFD
5.3. Sampling-Based Methods
Sampling-based methods address the issues of anchor sampling strategies in the detection of small objects. As pointed out in [42], the feature map for a small object contains too little information, and the anchors are too large. Small objects also get very few matches, which has been linked to a problem in the anchor matching strategy. Due to multiple negative anchors, there is also an increased risk of false positives. In [42], the anchor association is performed at different depths of the
88
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Aleksandra Kos, Dominik Belter, Karol Majek combines feature fusion with a sampling method to increase the number of positive anchors. Another approach is presented in [58], where instead of a feature pyramid, the authors proposed multiple detection modules, each for a feature map with a different stride. QueryDet [59], in a multi-stage process, fuses the lower-resolution features with the higher-resolution features to create a sparse feature map and filter-out background pixels. In [39] a multi-model fusion is applied – the authors use three detectors, each trained with images at different resolutions.
5.6. Context-Aware Methods
Since small objects contain little information, especially in the deep layers of the convolutional network, many efforts have been made to aid the detection using the contextual clues carried by their surroundings [60–66]. In [60], a simple two-branch pipeline, built on top of R-CNN [2], was proposed. The object region proposal and its surrounding area are both encoded into a feature vector, concatenated, and then passed to the classification head. The Inside-Ouside Net (ION) [61] extracts the context features using the RNN, and fuses them with the multiscale ROI features for each region, which makes it both scale and context-aware. The method presented in [62] developed for tiny face detection tasks, also combines the scale-aware and context-aware approaches. Multiple scales are handled by a coarse image pyramid and separate detectors for each scale that share the backbone weights. The context features are incorporated by enlarging receptive fields and introducing more background information. A receptive field can be increased by using skip connections as done in [67]. The authors also enhance the spatial information lost by using skip connections and thus help in the localization task. Tang et al. [63] use a semi-supervised learning strategy to additionally learn the important context classes, e.g. human body for face detection. The authors of [65] prove that ROI Pooling used in twostep methods has a negative impact on contextual information, therefore they propose a Context-Aware ROI Pooling method based on deconvolutions. The method is also scale-aware as it uses separate detection heads for each object size. In [66], a Context-Aware Detection Network (CADNet) was introduced. It combines global context features with a pyramid of local context features and the attention module to detect small objects in satellite images. In [64], a spatial context information is used for the re-detection of low-confidence objects. This approach is based on the observation that in UAV images, distinctive classes are often clustered in separate areas of the image, so the class probabilities for low-confidence detections are updated based on the weighted distance from high-confidence detections.
5.7. Feature-Imitation Methods
To enhance the poor representation of small objects, some methods [68–73] leverage recent advances in Generative Adversarial Networks (GANs). The authors of the Perceptual Generative Adversarial Network (Perceptual GAN) [68] point out the fact that simple feature enhancement made by adding the features extracted from the shallow layers is not always beneficial to the detection task. Instead of using a multi-level pyramid, feature, or image upsampling, a super-resolution approach has been proposed to make the features of small objects similar to those of larger objects. A similar feature-level GAN approach is presented in [71], however, it also introduces direct supervision for the training process. [69] and [70] work directly on image regions extracted by baseline detectors. In [69] small, blurred faces are super-resolved by the generator. The classification loss is back-propagated to the generator. [70] extends this method to multi-class detection. The discriminator additionally outputs the class probabilities and offsets of the bounding boxes. Unlike [69], both the classification loss and the regression loss are used to train the generator. In [72, 73] the image-level super-reso-
lution methods are explored for detecting objects in satellite images. In addition to super-resolution methods at the image, feature, or region level, some methods perform feature imitation in other ways. In [74], a Knowledge Distillation approach, called Self-Mimic Learning (SML), was introduced to improve the weak representation of small pedestrians. It uses the “mimic loss” to teach the features of small objects to be similar to those of larger objects. [75] handles the small pedestrian detection by mimicking the cued recall process in humans. It uses the embedding learning to help detect small objects by recalling the appearance of large objects. Unlike [74], clues from bigger instances can also be used during inference. A self-supervised learning approach was used in Self-supervised Feature Augmentation Network (SFANet) [76]. During training, the backbone takes a pair of images (upsampled and downsampled) as input and uses features extracted from the larger image as guidance.
6. Quantitative Results Among the datasets described earlier (Tab. 2), we selected VisDrone [20], and AI-TOD [7] due to their frequent use by authors of small object detection methods. In the case of VisDrone, there are slight differences in labels between the 2018 and 2019 versions. Additionally, it has become a common practice to use the validation subset for conducting tests, due to the delayed publication of the test subset and earlier utilization of the validation set by other authors. Therefore, we present metric values for each version separately – VisDrone18-val (Tab. 3) and VisDrone19-val (Tab. 4). For AI-TOD, the reported values relate to the test dataset (Tab. 5). In all comparisons, we used the metric values provided by the authors of each respective method. For the VisDrone2018 dataset (Tab. 3), among the three methods using ResNet50 or ResNet101 as a backbone, CDMNet achieves the best values for almost all metrics. CDMNet does not use coarse predictions, which may explain its lower APl. DMNet performs better than ClusDet, except for AP50 which is higher for ClusDet. The supreme value of AP50, with other metrics lowered, may indicate that ClusDet has some difficulties with precise location. F&D [33] achieves the best results on the VisDrone2018 validation dataset, except for APl. Like CDMNet, F&D does not utilize coarse predictions, however the obtained APl value is much higher than CDMNet. Most likely, Incomplete Box Suppression used in F&D reduces the negative impact of region cropping on the quality of large object detection. The second best result (in terms of AP, AP50 and AP75) is achieved by SAIC-FPN, which does not report AP broken down by object size, so it is difficult to assess its effectiveness for small objects. Similar to CDMNet and F&D, SAIC also does not use coarse detections, however, due to the lack of APl, it is impossible to assess how this affects the detection of large objects. Second best APs and APm are achieved by CRENet with Hourglass as a backbone network. With a relatively lightweight backbone (DLA-34), CRENet still achieves competitive results. In Tab. 4 the VisDrone2019 results are shown, and AGDN has the highest metrics except for AP50. This method, however, uses a variety of components to improve detection quality. AGDN is the only one to report AP at different scales, so it is not possible to compare methods with respect to different object sizes. Most of the methods in Tab. 4 perform inference with a different input resolution, so it is difficult to isolate the effect of the method itself from the effect that an input size may have on the detection quality. Of the three metrics that have been introduced to replace the IoU, RFLA shows the highest quality on the AI-TOD test subset (Tab. 5), except for APm. The main difference between RFLA and NWD is the function used to measure the distance between Gaussian Distributions. As pointed
89
Deep Learning for Small and Tiny Object Detection: A Survey Table 3. Comparison of selected object detection methods on the VisDrone18-val dataset. We mark the first, second, and third best value for each metric Tabela 3. Porównanie wybranych metod na zbiorze danych VisDrone18-val. Oznaczamy pierwszą, drugą i trzecią najlepszą wartość każdej metryki method
backbone
AP
AP50
AP75
APs
APm
APl
ClusDet [29]
ResNet50
26.7
50.6
24.7
17.6
38.9
51.4
DMNet [32]
ResNet50
28.2
47.6
28.9
19.9
39.6
55.8
CDMNet [33]
ResNet50
29.2
49.5
29.8
20.8
40.7
41.6
ClusDet [29]
ResNet101
26.7
50.4
25.2
17.2
39.3
54.9
DMNet [32]
ResNet101
28.5
48.1
29.4
20.0
39.7
57.1
CDMNet [33]
ResNet101
29.7
50.0
30.9
21.2
41.8
42.9
ClusDet [29]
ResNeXt101
28.4
53.2
26.4
19.1
40.8
54.4
DREN [30]
ResNeXt101
27.1
—
—
—
—
—
DMNet [32]
ResNeXt101
29.4
49.3
30.6
21.6
41.0
56.9
CDMNet [33]
ResNeXt101
30.7
51.3
32.0
22.2
42.4
44.7
F&D [34]
ResNeXt101
42.0
66.1
44.6
32.0
47.9
54.5
SAIC-FPN [26]
ResNeXt101
35.7
63.0
35.1
—
—
—
CRENet [35]
Hourglass
33.7
54.3
33.5
25.6
45.3
58.7
RRNet [39]
Hourglass
—
61.1
32.9
—
—
—
CRENet [35]
DLA-34
30.3
53.7
29.2
21.6
41.9
50.6
Table 4. Comparison of selected object detection methods on the VisDrone19-val dataset. We mark the first, second and third best value for each metric (⋆ methods using Cascade R-CNN) Tabela 4. Porównanie wybranych metod na zbiorze danych VISDRONE19-VAL. Oznaczamy pierwszą, drugą i trzecią najlepszą wartość każdej metryki (⋆ metody korzystające z Cascade R-CNN method
backbone
AP
AP50
AP75
APs
APm
APl
AGDN [40]
CSPDarknet53
41.8
66.1
43.6
33.7
54.2
59.4
AdaZoom [36]
ResNet50
36.2
63.5
36.1
—
—
—
GLSAN [37]
ResNet50
30.7
55.4
30.0
—
—
—
GLSAN⋆ [37]
ResNet50
32.5
55.8
33.0
—
—
—
DeForm [41]
ResNet50
30.1
58.0
27.5
—
—
—
RFEB⋆ [68]
ResNet50
33.7
58.6
33.9
—
—
—
GLSAN [37]
ResNet101
30.7
55.6
29.9
—
—
—
MPFPN⋆ [56]
ResNet101
29.1
54.4
27.0
—
—
—
AdaZoom [36]
ResNeXt101
37.6
66.3
37.3
—
—
—
AdaZoom⋆ [36]
ResNeXt101
40.3
66.9
41.8
—
—
—
Table 5. Comparison of selected tiny object detection metrics on the AI-TOD test dataset Tabela 5. Porównanie wybranych metryk do wykrywania bardzo małych obiektów na zbiorze testowym AI-TOD method
backbone
AP
AP50
AP75
APvt
APt
APs
APm
DotD [12]
ResNet50
14.9
38.5
9.3
7.2
16.1
17.9
23.7
RFLA [14]
ResNet50
21.1
51.6
13.1
9.5
21.2
26.1
31.5
NWD [78]
ResNet50
17.8
43.8
11.0
2.5
17.0
26.1
34.3
7. Conclusions and Future Work
out in [13], NWD is not scale-invariant, which may explain the relatively low APvt and APt, and its superior performance for medium objects. DotD shows the worst quality among the three compared methods. It is also the simplest as IoU is replaced by the Normalized Euclidean Distance.
90
P
O
M
I
A
R
Y
•
A
U
T
O
M
In this work, we collected various size definitions and metrics used for evaluation of small and tiny object detection. We also described the challenging datasets, and compared them A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Aleksandra Kos, Dominik Belter, Karol Majek taking into account both relative and absolute object size definitions. We gathered multiple methods targeting small and tiny object detection. We divided them into seven groups: focus-and-detect, data augmentation, sampling-based, attention-based, scale-aware, context-aware, and feature-imitation, and discussed each approach extensively. We also presented quantitative results for selected methods. Focus-and-detect systems are successfully applied to drone-based datasets as shown in Tab. 3 and Tab. 4. These coarse-to-fine approaches are mainly used for high-resolution data with many tiny instances, however, due to the truncation effect, they tend to deteriorate the quality of larger objects. Based on the reported values, methods that support the detection process by using a global image tend to report higher APl. Incomplete Box Suppression used in [33] seems to significantly improve the quality of small and medium objects. RRNet [38], which introduces data augmentation focused on small objects, also shows promising results. The improvement in the detection quality for tiny objects is also observed for methods replacing IoU with other metrics, such as DotD [12], NWD [77] and RFLA [13]. Despite all efforts, it is difficult to accurately and reliably compare the methods based on the results presented by the authors. Different approaches use different backbones, input resolutions or additional components. Many of the methods studied use self-collected datasets, and even when a publicly available dataset is used, there are still variations in the versions and splits used for evaluation. In the future, we plan to analyze the most promising approaches on a common benchmark, taking into account the inference time, which is crucial in practical applications such as mobile robotics.
Acknowledgements
The research was supported by the Ministry of Education and Science as part of the ”Doktorat Wdrożeniowy” program (DWD/5/0203/2021).
References 1. Bochkovskiy A., Wang C.-Y., Liao H.-Y.M., Yolov4: Optimal speed and accuracy of object detection, arXiv preprint arXiv:2004.10934, 2020, DOI: 10.48550/arXiv.2004.10934. 2. Girshick R., Donahue J., Darrell T., Malik J., Rich feature hierarchies for accurate object detection and semantic segmentation, [In:] Proceedings of the IEEE conference on computer vision and pattern recognition, 2014, 580–587, DOI: 10.1109/CVPR.2014.81. 3. Zhou X., Wang D., Krähenbühl P., Objects as points, arXiv preprint arXiv:1904.07850, 2019, DOI: 10.48550/arXiv.1904.07850. 4. Liu W., Anguelov D., Erhan D., Szegedy C., Reed S., Fu C.-Y., Berg A.C., Ssd: Single shot multibox detector, [In:] Computer Vision–ECCV 2016: 14th European Conference, Amsterdam, The Netherlands, October 11–14, 2016, Proceedings, Part I 14. Springer, 2016, 21–37, DOI: 10.1007/978-3-319-46448-0_2. 5. Lin T.-Y., Dollár P., Girshick R., He K., Hariharan B., Belongie S., Feature pyramid networks for object detection, [In:] Proceedings of the IEEE conference on computer vision and pattern recognition, 2017, 2117–2125, DOI: 10.1109/CVPR.2017.106. 6. Kos A., Majek K., CNN-based traffic sign detection on embedded devices, [In:] Proceedings of the 3rd Polish Conference on Artificial Intelligence, April 25-27, 2022, Gdynia, Poland, 108–111, [Online]. Available: https://wydawnictwo.umg.edu.pl/pp-rai2022/pdfs/25_pp-rai-2022-016.pdf. 7. Wang J., Yang W., Guo H., Zhang R., Xia G.-S., Tiny object detection in aerial images, [In:] 2020 25th International Conference on Pattern Recognition (ICPR). IEEE, 2021, 3791–3798, DOI: 10.1109/ICPR48806.2021.9413340.
8. Xu C., Wang J., Yang W., Yu H., Yu L., Xia G.-S., Detecting tiny objects in aerial images: A normalized Wasserstein distance and a new benchmark, “ISPRS Journal of Photogrammetry and Remote Sensing”, Vol. 190, 2022, 79–93, DOI: 10.1016/j.isprsjprs.2022.06.002. 9. Yu X., Gong Y., Jiang N., Ye Q., Han Z., Scale match for tiny person detection, [In:] Proceedings of the IEEE/CVF winter conference on applications of computer vision, 2020, 1257–1265, DOI: 10.1109/WACV45572.2020.9093394. 10. Xia G.-S., Bai X., Ding J., Zhu Z., Belongie S., Luo J., Datcu M., Pelillo M., Zhang L., DOTA: A large-scale dataset for object detection in aerial images, [In:] Proceedings of the IEEE conference on computer vision and pattern recognition, 2018, 3974–3983. 11. Cheng G., Yuan X., Yao X., Yan K., Zeng Q., Han J., Towards large-scale small object detection: Survey and benchmarks, arXiv preprint arXiv:2207.14096, 2022, DOI: 10.1109/TPAMI.2023.3290594. 12. Xu C., Wang J., Yang W., Yu L., Dot Distance for Tiny Object Detection in Aerial Images, [In:] Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, 2021, 1192–1201, DOI: 10.1109/CVPRW53098.2021.00130. 13. Xu C., Wang J., Yang W., Yu H., Yu L., Xia G.-S., RFLA: Gaussian receptive field based label assignment for tiny object detection, [In:] Computer Vision–ECCV 2022: 17th European Conference, Tel Aviv, Israel, October 23–27, 2022, Proceedings, Part IX. Springer, 2022, 526–543, DOI: 10.1007/978-3-031-20077-9_31. 14. Lin T.-Y., Maire M., Belongie S., Hays J., Perona P., Ramanan D., Dollar P., Zitnick C.L., Microsoft COCO: Common objects in context, [In:] European Conference on Computer Vision. Springer, 2014, 740–755, DOI: 10.1007/978-3-319-10602-1_48. 15. Yang S., Luo P., Loy C.-C., Tang X., WIDER FACE: A face detection benchmark, [In:] Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016, 5525–5533, DOI: 10.1109/CVPR.2016.596. 16. Lam D., Kuzma R., McGee K., Dooley S., Laielli M., Klaric M., Bulatov Y., McCord B., xView: Objects in context in overhead imagery, arXiv preprint arXiv:1802.07856, 2018, DOI: 10.48550/arXiv.1802.07856. 17. Yu X., Chen P., Wu D., Hassan N., Li G., Yan J., Shi H., Ye Q., Han Z., Object localization under single coarse point supervision, [In:] Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022, 4868–4877, DOI: 10.1109/CVPR52688.2022.00482. 18. Varga L.A., Kiefer B., Messmer M., Zell A., SeaDronesSee: A maritime benchmark for detecting humans in open water, [In:] Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, 2022, 3686–3696, DOI: 10.1109/WACV51458.2022.00374. 19. Du D., Qi Y., Yu H., Yang Y., Duan K., Li G., Zhang W., Huang Q., Tian Q., The unmanned aerial vehicle benchmark: Object detection and tracking, [In:] Proceedings of the European conference on computer vision (ECCV), 2018, 375–391, DOI: 10.1007/978-3-030-01249-6_23. 20. Zhu P., Wen L., Du D., Bian X., Fan H., Hu Q., Ling H., Detection and tracking meet drones challenge, “IEEE Transactions on Pattern Analysis and Machine Intelligence”, Vol. 44, No. 11, 2021, 7380–7399, DOI: 10.1109/TPAMI.2021.3119563. 21. Ding J., Xue N., Xia G.-S., Bai X., Yang W., Yang M. Y., Belongie S., Luo J., Datcu M., Pelillo M., Zhang L., Object detection in aerial images: A large-scale benchmark and challenges, IEEE transactions on pattern analysis and machine intelligence, Vol. 44, No. 11, 2021, 7778–7796, DOI: 10.1109/TPAMI.2021.3117983.
91
Deep Learning for Small and Tiny Object Detection: A Survey 22. Everingham M., Van Gool L., Williams C.K., Winn J., Zisserman A., The PASCAL Visual Object Classes (VOC) challenge, “International Journal of Computer Vision”, Vol. 88, No. 2, 2010, 303–338, DOI: 10.1007/s11263-009-0275-4. 23. Özge Ünel F., Özkalayci B.O., Cigla C., The power of tiling for small object detection, [In:] Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, 2019, DOI: 10.1109/CVPRW.2019.00084. 24. Xie X., Cheng G., Li Q., Miao S., Li K., Han J., Fewer sis more: Efficient object detection in large aerial image , arXiv preprint arXiv:2212.13136, 2022, DOI: 10.1007/s11432-022-3718-5. 25. Zhou J., Vong C.-M., Liu Q., Wang Z., Scale adaptive image cropping for UAV object detection, “Neurocomputing”, Vol. 366, 2019, 305–313, DOI: 10.1016/j.neucom.2019.07.073. 26. Růžička V., Franchetti F., Fast and accurate object detection in high resolution 4K and 8K video using GPUs, [In:] 2018 IEEE High Performance extreme Computing Conference (HPEC). IEEE, 2018, DOI: 10.1109/HPEC.2018.8547574. 27. Plastiras G., Kyrkou C., Theocharides T., Efficient ConvNet-based Object Detection for Unmanned Aerial Vehicles by Selective Tile Processing, [In:] Proceedings of the 12th International Conference on Distributed Smart Cameras, 2018, DOI: 10.1145/3243394.3243692. 28. Yang F., Fan H., Chu P., Blasch E., Ling H., Clustered object detection in aerial images, [In:] Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019, 8311–8320, DOI: 10.1109/ICCV.2019.00840. 29. Zhang J., Huang J., Chen X., Zhang D., How to fully exploit the abilities of aerial image detectors, [In:] Proceedings of the IEEE/CVF International Conference on Computer Vision Workshops, 2019, DOI: 10.1109/ICCVW.2019.00007. 30. Kos A., Majek K., Belter D., Where to look for tiny objects? ROI prediction for tiny object detection in high resolution images, [In:] 2022 17th International Conference on Control, Automation, Robotics and Vision (ICARCV). IEEE, 2022, 721–726, DOI: 10.1109/ICARCV57592.2022.10004372. 31. Li C., Yang T., Zhu S., Chen C., Guan S., Density map guided object detection in aerial images, [In:] Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, 2020, 190–191, DOI: 10.1109/CVPRW50498.2020.00103. 32. Duan C., Wei Z., Zhang C., Qu S., Wang H., Coarsegrained density map guided object detection in aerial images, [In:] Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021, 2789–2798, DOI: 10.1109/ICCVW54120.2021.00313. 33. Koyun O.C., Keser R.K., Akkaya I.B., Töreyin B.U., Focus-and-Detect: A small object detection framework for aerial images, “Signal Processing: Image Communication”, Vol. 104, 2022, DOI: 10.1016/j.image.2022.116675. 34. Wang Y., Yang Y., Zhao X., Object detection using clustering algorithm adaptive searching regions in aerial images, [In:] European Conference on Computer Vision. Springer, 2020, 651–664, DOI: 10.1007/978-3-030-66823-5_39. 35. Xu J., Li Y., Wang S., AdaZoom: adaptive zoom network for multiscale object detection in large scenes, arXiv preprint arXiv:2106.10409, 2021, DOI: 10.48550/arXiv.2106.10409. 36. Deng S., Li S., Xie K., Song W., Liao X., Hao A., Qin H., A global-local self-adaptive network for drone-view object
92
P
O
M
I
A
R
Y
•
A
U
T
O
M
detection, “IEEE Transactions on Image Processing”, Vol. 30, 2020, 1556–1569, DOI: 10.1109/TIP.2020.3045636. 37. Kisantal M., Wojna Z., Murawski J., Naruniec J., Cho K., Augmentation for small object detection, arXiv preprint arXiv:1902.07296, 2019, DOI: 10.48550/arXiv.1902.07296. 38. Chen C., Zhang Y., Lv Q., Wei S., Wang X., Sun X., Dong J., RRNet: A hybrid detector for object detection in drone-captured images, [In:] Proceedings of the IEEE/CVF International Conference on Computer Vision Workshops, 2019, DOI: 10.1109/ICCVW.2019.00018. 39. Wang X., Zhu D., Yan Y., Towards efficient detection for small objects via attention-guided detection network and data augmentation, “Sensors”, Vol. 22, No. 19, 2022, DOI: 10.3390/s22197663. 40. Zhang X., Izquierdo E., Chandramouli K., Dense and small object detection in UAV vision based on cascade network, [In:] Proceedings of the IEEE/CVF International Conference on Computer Vision Workshops, 2019, DOI: 10.1109/ICCVW.2019.00020. 41. Bosquet B., Cores D., Seidenari L., Brea V.M., Mucientes M., Del Bimbo A., A full data augmentation pipeline for small object detection based on generative adversarial networks, “Pattern Recognition”, Vol. 133, 2023, DOI: 10.1016/j.patcog.2022.108998. 42. Zhang S., Zhu X., Lei Z., Shi H., Wang X., Li S.Z., S3FD: Single Shot Scale-invariant Face Detector, [In:] Proceedings of the IEEE International Conference on Computer Vision (ICCV), 2017, 192–201, DOI: 10.1109/ICCV.2017.30. 43. Zhu C., Tao R., Luu K., Savvides M., Seeing small faces from robust anchor’s perspective, [In:] Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018, 5127–5136, DOI: 10.1109/CVPR.2018.00538. 44. Yang X., Yang J., Yan J., Zhang Y., Zhang T., Guo Z., Sun X., Fu K., SCRDet: Towards more robust detection for small, cluttered and rotated objects, [In:] Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2019, 8232–8241, DOI: 10.1109/ICCV.2019.00832. 45. Yi K., Jian Z., Chen S., Zheng N., Feature selective small object detection via knowledge-based recurrent attentive neural network, arXiv preprint arXiv:1803.05263, 2018. 46. Lu X., Ji J., Xing Z., Miao Q., Attention and feature fusion SSD for remote sensing object detection, “IEEE Transactions on Instrumentation and Measurement”, Vol. 70, 2021, DOI: 10.1109/TIM.2021.3052575. 47. Ran Q., Wang Q., Zhao B., Wu Y., Pu S., Li Z., Lightweight oriented object detection using multiscale context and enhanced channel attention in remote sensing images, “IEEE Journal of Selected Topics Applied Earth Observations and Remote Sensing”, Vol. 14, 2021, 5786–5795, DOI: 10.1109/JSTARS.2021.3079968. 48. Li Y., Huang Q., Pei X., Chen Y., Jiao L., Shang R., Cross-layer attention network for small object detection in remote sensing imagery, “IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing”, Vol. 14, 2020, 2148–2161, DOI: 10.1109/JSTARS.2020.3046482. 49. Fu J., Sun X., Wang Z., Fu K., An anchor-free method based on feature balancing and refinement network for multiscale ship detection in SAR images, “IEEE Transactions on Geoscience and Remote Sensing”, Vol. 59, No. 2, 2020, 1331–1344, DOI: 10.1109/TGRS.2020.3005151. 50. Hu J., Shen L., Sun G., Squeeze-and-Excitation Networks, [In:] Proceedings of the IEEE/CVF Conference on ComA
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Aleksandra Kos, Dominik Belter, Karol Majek puter Vision and Pattern Recognition, 2018, 7132–7141, DOI: 10.1109/CVPR.2018.00745. 51. Zhang H., Wang K., Tian Y., Gou C., Wang F.-Y., MFRCNN: Incorporating multi-scale features and global information for traffic object detection, “IEEE Transactions on Vehicular Technology”, Vol. 67, No. 9, 2018, 8019–8030, DOI: 10.1109/TVT.2018.2843394. 52. Liu Z., Gao G., Sun L., Fang L., IPG-Net: Image pyramid guidance network for small object detection, [In:] Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, 2020, DOI: 10.1109/CVPRW50498.2020.00521. 53. Gong Y., Yu X., Ding Y., Peng X., Zhao J., Han Z., Effective fusion factor in FPN for tiny object detection, [In:] Proceedings of the IEEE/CVF winter conference on applications of computer vision, 2021, 1160–1168, DOI: 10.1109/WACV48630.2021.00120. 54. Hong M., Li S., Yang Y., Zhu F., Zhao Q., Lu L., SSPNet: Scale selection pyramid network for tiny person detection from UAV images, “IEEE Geoscience and Remote Sensing Letters”, Vol. 19, 2021, DOI: 10.1109/LGRS.2021.3103069. 55. Liu Y., Yang F., Hu P., Small-object detection in UAV-captured images via multi-branch parallel feature pyramid networks, “IEEE Access”, Vol. 8, 2020, 145 740–145 750, DOI: 10.1109/ACCESS.2020.3014910. 56. Pang J., Li C., Shi J., Xu Z., Feng H., R2-CNN: Fast tiny object detection in large-scale remote sensing images. arXiv preprint arXiv:1902.06042, DOI: 10.1109/TGRS.2019.2899955. 57. Li J., Wang Y., Wang C., Tai Y., Qian J., Yang J., Wang C., Li J., Huang F., DSFD: Dual Shot Face Detector, [In:] Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019, 5060–5069, DOI: 10.1109/CVPR.2019.00520. 58. Najibi M., Samangouei P., Chellappa R., Davis L.S., SSH: Single Stage Headless Face Detector, [In:] Proceedings of the IEEE International Conference on Computer Vision, 2017, 4885–4894, DOI: 10.1109/ICCV.2017.522. 59. Yang C., Huang Z., Wang N., QueryDet: Cascaded sparse query for accelerating high-resolution small object detection, [In:] Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022, 13 658– 13 677, DOI: 10.1109/CVPR52688.2022.01330. 60. Chen C., Liu M.-Y., Tuzel O., Xiao J., R-CNN for small object detection, [In:] ACCV 2016: 13th Asian Conference on Computer Vision, Revised Selected Papers, Part V 13. Springer, 2017, 214–230, DOI: 10.1007/978-3-31954193-8_14. 61. Bell S., Zitnick C.L., Bala K., Girshick R., Inside-outside net: Detecting objects in context with skip pooling and recurrent neural networks, [In:] Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016, 2874–2883, DOI: 10.1109/CVPR.2016.314. 62. Hu P., Ramanan D., Finding tiny faces, [In:] Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017, 1522–1530, DOI: 10.1109/CVPR.2017.166. 63. Tang X., Du D.K., He Z., Liu J., PyramidBox: A context-assisted single shot face detector, [In:] Proceedings of the European Conference on Computer Vision (ECCV), 2018, 812–828, DOI: 10.1007/978-3-030-01240-3_49. 64. Liang X., Zhang J., Zhuo L., Li Y., Tian Q., Small object detection in unmanned aerial vehicle images using feature fusion and scaling-based single shot detector with spatial context analysis,” IEEE Transactions on Circuits and Systems for Video Technology”, Vol. 30, No. 6, 2019, 1758–1770, DOI: 10.1109/TCSVT.2019.2905881.
65. Hu X., Xu X., Xiao Y., Chen H., He S., Qin J., Heng P.-A., SINet: A scale-insensitive convolutional neural network for fast vehicle detection, “IEEE Transactions on Intelligent Transportation Systems”, Vol. 20, No. 3, 2018, 1010–1019, DOI: 10.1109/TITS.2018.2838132. 66. Zhang G., Lu S., Zhang W., CAD-Net: A context-aware detection network for objects in remote sensing imagery, “IEEE Transactions on Geoscience and Remote Sensing”, Vol. 57, No. 12, 2019, 10 015–10 024, DOI: 10.1109/TGRS.2019.2930982. 67. Wang H., Wang Z., Jia M., Li A., Feng T., Zhang W., Jiao L., Spatial Attention for Multi-Scale Feature Refinement for Object Detection, [In:] Proceedings of the IEEE/CVF International Conference on Computer Vision Workshops, 2019, DOI: 10.1109/ICCVW.2019.00014. 68. Li J., Liang X., Wei Y., Xu T., Feng J., Yan S., Perceptual generative adversarial networks for small object detection, [In:] Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017, 1222–1230, DOI: 10.1109/CVPR.2017.211. 69. Bai Y., Zhang Y., Ding M., Ghanem B., Finding tiny faces in the wild with generative adversarial network, [In:] Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018, 21–30, DOI: 10.1109/CVPR.2018.00010. 70. Bai Y., Zhang Y., Ding M., Ghanem B., SOD-MTGAN: Small object detection via multi-task generative adversarial network, [In:] Proceedings of the European Conference on Computer Vision (ECCV), 2018, 210–226, DOI: 10.1007/978-3-030-01261-8_13. 71. Noh J., Bae W., Lee W., Seo J., Kim G., Better to Follow, Follow to Be Better: Towards Precise Supervision of Feature Super-Resolution for Small Object Detection, [In:] Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019, 9725–9734, DOI: 10.1109/ICCV.2019.00982. 72. Jiang K., Wang Z., Yi P., Wang G., Lu T., Jiang J., Edge-Enhanced GAN for Remote Sensing Image Superresolution, “IEEE Transactions on Geoscience and Remote Sensing”, Vol. 57, No. 8, 2019, 5799–5812, DOI: 10.1109/TGRS.2019.2902431. 73. Ji H., Gao Z., Mei T., Ramesh B., Vehicle detection in remote sensing images leveraging on simultaneous super-resolution, “IEEE Geoscience and Remote Sensing Letters”, Vol. 17, No. 4, 2019, 676–680, DOI: 10.1109/LGRS.2019.2930308. 74. Wu J., Zhou C., Zhang Q., Yang M., Yuan J., Self-mimic learning for smal l-scale pedestrian detection, [In:] Proceedings of the 28th ACM International Conference on Multimedia, 2020, 2012–2020, DOI: 10.1145/3394171.3413634. 75. Kim J.U., Park S., Ro Y.M., Robust small-scale pedestrian detection with cued recall via memory learning, [In:] Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021, 3050–3059, DOI: 10.1109/ICCV48922.2021.00304. 76. Pan X., Tang F., Dong W., Gu Y., Song Z., Meng Y., Xu P., Deussen O., Xu C., Self-Supervised Feature Augmentation for Large Image Object Detection, “IEEE Transactions on Image Processing”, Vol. 29, 2020, 6745–6758, DOI: 10.1109/TIP.2020.2993403. 77. Wang J., Xu C., Yang W., Yu L., A normalized gaussian Wasserstein distance for tiny object detection, arXiv preprint arXiv:2110.13389, 2021, DOI: 10.48550/arXiv.2110.13389.
93
Deep Learning for Small and Tiny Object Detection: A Survey
Przegląd metod uczenia głębokiego w wykrywaniu małych i bardzo małych obiektów Streszczenie: W ostatnich latach, dzięki rozwojowi metod uczenia głębokiego, dokonano
znacznego postępu w detekcji obiektów i innych zadaniach widzenia maszynowego. Mimo że ogólne wykrywanie obiektów staje się coraz mniej problematyczne dla nowoczesnych algorytmów, a średnia precyzja dla średnich i dużych instancji w zbiorze COCO zbliża się odpowiednio do 70 i 80 procent, wykrywanie małych obiektów pozostaje nierozwiązanym problemem. Ograniczone informacje o wyglądzie, rozmycia i niski stosunek sygnału do szumu powodują, że najnowocześniejsze detektory zawodzą, gdy są stosowane do małych obiektów. Tradycyjne ekstraktory cech opierają się na próbkowaniu w dół, które może powodować zanikanie najmniejszych obiektów, a standardowe metody przypisania kotwic są mniej skuteczne w wykrywaniu instancji o małej liczbie pikseli. W niniejszej pracy dokonujemy wyczerpującego przeglądu literatury dotyczącej wykrywania małych i bardzo małych obiektów. Przedstawiamy definicje, rozróżniamy małe wymiary bezwzględne i względne oraz podkreślamy związane z nimi wyzwania. Kompleksowo omawiamy zbiory danych, metryki i metody, a na koniec dokonujemy porównania ilościowego na trzech publicznie dostępnych zbiorach danych. Słowa kluczowe: uczenie głębokie, wykrywanie małych obiektów, wykrywanie bardzo małych obiektów, zbiory danych bardzo małych obiektów, metody wykrywania bardzo małych obiektów
Aleksandra Kos, MSc, Eng.
Karol Majek, PhD
PhD student at Poznan University of Technology, Deep Learning Developer at Cufix. She holds a Master’s degree in Automatic Control and Robotics, and completed her studies at the Warsaw University of Technology. Professionally, since 2019, she has been working on deep neural networks in image analysis. She is particularly interested in the detection of small objects in high-resolution images – this is the subject of her Applied Doctorate, which she has been pursuing since 2021 in cooperation with Poznan University of Technology and Cufix company.
Currently working at Cufix on Computer Vision problems such as object detection and tracking. Previously researcher at NASK PIB, Fraunhofer FKIE and Institute of Mathematical Machines. His main research interests are learning based computer vision techniques from classification to object detection.
aleksandra.kos@doctorate.put.poznan.pl ORCID: 0000-0001-9726-4472
karolmajek@cufix.pl ORCID: 0000-0002-1351-8496
Dominik Belter, PhD, DSc dominik.belter@put.poznan.pl ORCID: 0000-0003-3002-9747
Graduated from the Poznan University of Technology (2007). He received a Ph.D. degree in robotics from the same University in 2012. Since 2012, he has been an Assistant Professor at the Institute of Control and Information Engineering of the Poznan University of Technology. He has been an Associate Professor at the Poznan University of Technology since 2021. He received a DSc. degree in robotics from the same University in 2020. He spent a year working as a postdoc in the Intelligent Robotics Laboratory at the University of Birmingham in the years 2013-2016. Dominik Belter has been taking part as an investigator in 3 EC and 6 national projects. He serves as a member of the scientific board of the CLAWAR and EMCR conferences. He is the author or co-author of over 90 technical papers in the fields of robotics and computer science. His research interests include walking robots, machine learning, vision, robot manipulation, and soft computing. He has been involved in Erasmus+ and IAESTE internships and supervised students from multiple countries. Since 2023, he has been a member of the Committee on Automatic Control and Robotics Committee of the Polish Academy of Sciences
94
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Pomiary Automatyka Robotyka, ISSN 1427-9126, R. 27, Nr 3/2023, 95–106, DOI: 10.14313/PAR_249/95
Application of Impedance Control of the Free Floating Space Manipulator for Removal of Space Debris Piotr Palma, Tomasz Rybus, Karol Seweryn
Space Research Centre, Polish Academy of Science (CBK PAN), Bartycka 18A, 00-716 Warsaw, Poland
Abstract: A broad and significant class of space debris can be mitigated by means of a satellite,
capable of capturing a large non-cooperating object by using a robotized arm with a gripper. The capture operation typically comprises of an approach, a close-on manoeuvre, establishing contact between the robotic grappler arm and a suitable feature on the target satellite, and finally it is concluded when a positive mechanical connection is achieved by the gripper closed on that feature. The phase of establishing contact poses a critical challenge in this scenario, since the target typically will be tumbling with respect to the chaser satellite causing high forces on the gripper and the robotic arm. A family of control methods known collectively as impedance control is typically employed in terrestrial robots for tasks involving an interaction with an environment, especially the dynamic contact. In this work, we present the model-based impedance control applied to a robotic manipulator on a free floating base. The derivation of impedance control law for a robotic manipulator on a free floating satellite, involving Generalized Jacobian Matrix (GJM), is presented, followed by simulation results comparing the loads in the manipulator joints against a classical GJM-based Cartesian controller. The simulation results show that the impedance controlled free floating robotic manipulator completes the task of trajectory following amid contact with unknown target with lower torques in the robot joints.
Keywords: space manipulator; impedance control; nonholonomic; in-orbit servicing; debris removal, robotics
1. Introduction The active debris removal and mitigation is an important priority of space exploration agencies [6]. An approximate measure of 10 cm in size is the threshold above which the object colliding with a spacecraft will generate further hundreds of objects of the disastrous size of 10 cm or larger. The highest risk is posed by large defunct satellites occupying important, and populated orbits like the geostationary or low Earth orbit [24]. The capability to physically intercept such objects opens a possibility to lower the risk of their collision with other satellites [10]. The captured defunct spacecraft or upper stages of launchers can be then manoeuvred away from the orbit where they posed a danger, using the propulsion and orbit control capabilities of the robotized satellite [4]. Some satellites whose main payload is still functioning while their orbit
Autor korespondujący: Piotr Palma, piotr@palmaline.pl, ppalma@cbk.waw.pl Artykuł recenzowany nadesłany 19.02.2023 r., przyjęty do druku 23.06.2023 r. Zezwala się na korzystanie z artykułu na warunkach licencji Creative Commons Uznanie autorstwa 3.0
control functions are partly impaired (e.g. telecommunication satellites depleted of the orbit-correcting propellant) may be saved from becoming space debris if they can be attached to a servicer satellite capable of providing the manoeuvrability and orbit control functions for them. In either case, the success of the capture operations depends on the ability of the robotic arm to bring its end effector in contact with the object being captured and establish a mechanical connection between them. Common scenarios for aforementioned establishment of the mechanical connection involve closing a gripper on a suitable mechanical feature of the object being intercepted. This requires manoeuvring the gripper by a robotic arm into a position on the feature and maintaining its position for the duration necessary of the gripper mechanism to form a positive geometric constraint e.g. by closing on a protruding, convex rigid feature e.g. like in [11] or around a rim of the separation ring or a thruster cone), or expanding inside a concave feature (e.g. inside a combustion chamber of a thruster like in [25]. The contact between the target moving with uncertain velocity and the rigid gripper of the end effector will result in abrupt and rapidly changing forces and torques being propagated from the end effector down through the joints of the arm to the base satellite. The proposed approach aims at providing the robotized satellite with means to control the dynamic stiffness of the point of interaction between its end effector and the object being intercepted while following the planned trajectory. For this purpose, the use of the impedance control paradigm is adopted to the context of a free floating space robot with
95
Application of Impedance Control of the Free Floating Space Manipulator for Removal of Space Debris
2. Mathematical Model of the Space Robot
particular focus on the modelbased type of approach [21] and employing Generalized Jacobian Matrix in [23] which relates the end effector Cartesian velocity and angular rate to the time derivatives of configuration space variables of the robot arm on a free floating satellite. It takes into account the configuration-dependent changes of inertia across the whole chain of bodies comprising the robotic arm’s links and the satellite. The impedance control is an established topic in terrestrial robotics literature [21, 17, 7–9]. The advances in the impedance control researches led to various implementation approaches established over the years, which are summarized in the comparative survey presented in [21]. The suitability of the impedance control to space robotic manipulation tasks has been recognized by research teams. The impedance matching to the target satellite was proposed as a means to shape the dynamic properties of the capturing robotic arm of the intercepting satellite in [25]. The control of free floating space manipulators using Generalized Jacobian Matrix has established history [23] and numerous applications, including optimization [19], as well as evolution to multiple manipulators on a single satellite [3]. The work on application of impedance control to a satellite based robot [1] uses the Generalized Jacobian Matrix in the formulation of control. While it approaches formulation of model based impedance control, it focuses on the topics of computational complexity and uncertainty of the intercepted object. The approach to compliance control of satellite manipulator using force controller is proposed in [20]. The goal of our research is to formulate the model-based impedance controller for a satellite model operating in three dimensional space, as a continuation of work of the authors done on a model in 2D space [12]. The second goal is to simulate the controller’s performance in comparison with a Cartesian controller used as a benchmark in space robotics control research in [15] with focus on the joint loads and disturbance of the satellite generated by the external force exerted on the manipulator end effector. The importance of the amplitude and time characteristics of the disturbance and torque loads which the joints have to counteract by their drives is important for establishing the operational envelope of the drives and their control performance. This is especially important in the space applications, where allowable mass and power are stringent constraints for robotic hardware. Slower load transients with lower peaks naturally allow for less powerful, lighter drives, and ease the bandwidth requirements on control compared to abrupt peaks in torque loads. The text is organized as follows: In the section 2 the mathematical model of the system is elaborated. Section 2.2 derives the equations of motion of the space robot. A short discussion of types of impedance control is laid out as the basis for selection of the model-based impedance control law in section 3.1 followed by the derivation of the model based impedance control for the free floating robot in section 3.2. A classical, GJM-based Cartesian control of the space robot is introduced in section 2.3 as a benchmark controller for comparison with the impedance one. In the section 4, the simulation environment for the space robotics platforms is used to simulate a 7-DoF robotic arm on a free floating satellite base attempting to follow a planned trajectory involving contact with another free floating body. The satellite based robot is controlled by the impedance controller and by a benchmark Cartesian controller. Both sharing the same GJM. Section 4 presents and discusses the results obtained with the impedance controller comparing them with simulation results of the same robot controlled by a classical Cartesian controller.
96
P
O
M
I
A
R
Y
•
A
U
T
O
M
2.1. The Nonholonomic nature of a free floating space robot
The free floating satellite equipped with manipulator arm exhibits nonholonomic properties as the angular momentum of the system consisting of the satellite and manipulator chain is not integrable [13]. The presented control method does not address the nonholonomic aspects of the trajectory planning and tracking, unlike e.g. [22], but the simulation cases are selected such that the simulated trajectories are unlikely to evolve into singular ones.
2.2. Equations of motion of a free floating space robot
The satellite equipped with robotic arm is modelled as a multibody system. It is described using the coordinate systems depicted in Figure 1. The satellite centre of mass is defined in the inertial reference frame by vector rs. The end effector is at ree. The base of the first joint of the robotic arm is displaced from the satellite centre of mass by rq. Each link has the length vector l pointing to the next joint coordinate frame.
2.2.1. Kinematics of the free floating space robot
In this subsection, the standard description of the manipulator kinematic equations is recalled after [23, 15]. In the inertial reference system, the satellite’s center of mass position 𝒓𝐬 is rs = [(𝑟𝑠)𝑥 (𝑟𝑠)𝑦 (𝑟𝑠)𝑧]T,
(1)
The satellite’s orientation 𝜽s is expressed using Euler angles as follows: 𝜽s = [𝜓 𝜙 𝜃]T, (2)
The series-type manipulator with n joints is described by a vector of configuration variables corresponding to the angles of each joint: 𝜽 = [𝜃1 … 𝜃𝑛]T.
(3)
The vector of generalised coordinates qp, describing the system of satellite base and manipulator is assembled from definitions (1) (2) and (3) rs q p = Θs (4) θ The differentiation of the state vector yields the following expression, where TΘ transforms the angular velocities to the time derivatives of the Euler angles: drs dt dΘ s TΘ−1 = q v = dt dθ dt
vs ωs θ
(5)
The position vector of the end effector in the inertial frame is determined by the sum of positions of the links of the robot manipulator and the satellite position: n
ree = rs + rq + ∑ li
(6)
i =1
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Piotr Palma, Tomasz Rybus, Karol Seweryn Fig. 1. Schematic depiction of the satellite-based robotic arm with reference frames and defining geometrical parameters Rys. 1. Schematyczne przedstawienie robota kosmicznego z zaznaczonymi układami współrzędnych i kluczowymi prametrami geometrycznymi
as depicted in Figure 1. By taking the time derivative of the expression for position vector, we arrive with the end effector velocity in the Cartesian inertial frame: n
vee =vs + ωs × (ree − rs ) + ∑ ki × (ree − ri ) θl
(7)
i =1
For an i-th joint, ki represents the unit vector of the rotation axis and θl is its angular rate, while ri represents the position of the ith kinematic pair. The angular velocity of the end effector is simply: (8) Having arrived at the kinematic expressions for the velocities the model of dynamics of the satellite manipulator system can be formulated.
The velocity dependent effects are modelled by the Coriolis matrix whose entries have the following form [5]: = cij
1 d
n
d
d
∑ 2 dq m + dq m − dq m q k =1
k
ij
j
ik
i
jk
k
(12)
where the mij ∈ M (q p ) and 𝑖, 𝑗, 𝑘 = 1, …, 𝑛. The sub-matrices of the mass matrix (11) are: n = A m s + ∑ ( mi ) I i =1
(13)
n = B ms + ∑ (mi ) rs_q i =1
(14)
n
DM = ∑ (mi JTi )
(15)
i =1
2.2.2. Dynamics of the space robot
This section introduces the dynamics of a full (non-free floating) space robot without nonholonomic constraints. The reaction forces and torques acting on the system are following: Fs Q = Η s Τ
(9)
n
FM = ∑ ( I i J Ri + mi ri_sJTi )
(17)
n
T T N = ∑ ( J Ri I i J Ri + mi JTi JTi )
(18)
i =1
= Q M (q p ) qv + C (q p ,q p ) qv
(10)
The mass matrix M [23, 15] for the general case is: B EM FMT
(16)
i =1
i =1
were Fs and Hs are the forces and torques acting on the satellite base center of mass. Elements of the vector T are the torques in the joints of the robotic arm. The derivation of the generalized equations of motion for the satellite equipped with robotic manipulator using the Lagrangian equations of the second kind take the following form [19]:
A M = BT T DM
n
EM= I s + ∑ ( I i + mi riT_sri_s )
DM FM N
With rs_q = rs – rq, ri_s = rm,i – rs where rm,i is the position of centre of mass of i-th link, while the JTi, JRi are the translational and rotational components of a Jacobian of the i-th link of the manipulator (relating the joint velocities to the end effector position expressed in the coordinate frame of the base of the manipulator). The tilde symbol ~ denotes a skew symmetric matrix of a vector. The matrix Is is the satellite inertia matrix, Ii denotes the inertia matrices of each link and I is an identity matrix.
2.2.3. Free floating space manipulator (11)
In case of a free floating manipulator system, being the scope of this research, the above formulation of the kinematics and dynamics equations change. The manipulator’s angular momentum is described as follows:
97
Application of Impedance Control of the Free Floating Space Manipulator for Removal of Space Debris
L = L0 + rs × P
(19)
2.3. Basic Cartesian controller for free floating robot
With L0 being the initial angular momentum and P being the linear momentum for which the following relationship holds:
with
L vs θ 0 P= H 2 w + H 3= s
(20)
A B H2 = T B + rsA E + rsB
(21)
A simple control strategy for a trajectory following task in Cartesian coordinates can be realized for a space robot using the GJM. This strategy will then be used by us as a benchmark for the actual impedance controller following [15]. The dynamic Jacobian relates the velocity space to joint space so a simple controller computing the joint velocities can be expressed as in (24). It can be used to find joint velocities θcont minimizing the deviation ev between the intended and actual velocity as follows:
θcont = J D† ev
DM H3 = F r D + M s M
Since the planned trajectory is typically not defined in the velocity space but rather in the position space, we use the approximation of the velocity error ev by the position and orientation error ep multiplied by some gain matrix Gee. The joint control torques defined by the simple Cartesian trajectory following controller are given by:
(22)
The system is free floating and there is no exchange of momentum and angular momentum with the environment, hence the equation (20) is equated to zero. The relationship between the angular velocities of the joints of the space robot and the linear and angular velocity of the end effector 𝒗𝒆𝒆, 𝝎𝒆𝒆 are given by: vee ω= ee
(J
M
− JS H 2-1H 3 ) θ
(
= Τ Gθ J D† Geeep − θ
(J − J H H ) M
S
-1 2
contr
3. The Impedance Control Impedance control [21, 7, 8] is a paradigm which aims to achieve a desired characteristics of the interaction between the robot and its environment. It draws from the long recognized analogies between electrical and mechanical building blocks of dynamic systems and became an important toolbox for modelling robotics interacting with environment and humans, cooperative robotics, exoskeletons etcetera. Impedance describes the dynamic behaviour of the system at its interaction port with the environment which is the end effector in case of most robotic manipulators. The impedance is fundamentally a relationship between the input “flow variables” F like velocity or electric current and output “effort variables” X – force or voltage. In the Laplace domain this can be written as the following ratio:
The Jacobian JM is a standard manipulator Jacobian mentioned earlier and the satellite Jacobian JS is defined as: T I rees JS = 0 I
(25)
= ree − rs expressed in a matrix form. Where rees
2.2.4. Dynamics of the free floating manipulator
The center of mass of the satellite-arm system remains constant under the assumption of no momentum exchange with environment and by neglecting the orbital motion but the base is free to change its orientation and position in the inertial reference frame. In such case the vector 𝒒𝒑 in (4) contains only the joint angles. qp = θ q = θ
Z (s ) =
v
The vector of generalized forces becomes: T
(27)
T
98
P
O
M
A
R
Y
•
A
(28)
U
T
O
M
(32)
The virtual trajectory is useful in its generality since it can be defined in terms of position space as, as well as velocity or acceleration spaces and need not be within the reachable space of the manipulator [8]. In a basic form, the mechanical impedance is typically described to be composed of elements which exhibit an inertia-like or mass – like behavior represented below as Md, damping-like behavior described by D and elastic-like behavior described by matrix E.
−1
I
(31)
Xr = X – X0
By applying the approach presented in the paper [14] and using constrained Lagrangian formulation, the mass matrix becomes: D A B DM M m (q= ) N − M T FM B E FM
F (s ) X (s )
Since most robotic tasks involving interaction with an environment are naturally defined in coordinates relative to the environment, it is useful to replace the X (s ) with relative displacement sXr(s). Specifically, the relative displacement is understood as the difference between the current actual position of the interaction port X relative to the intended one, often referred to as the “virtual” trajectory X0 [7].
(26)
Qm= T= T1,T2 Tn
(30)
torque.
(24)
3
)
Where Gθ is the gain matrix converting the difference between θ and current joint angular velocities to the control
(23)
Where finally the Generalized Jacobian Matrix (GJM) emerges as JD:
= JD
(29)
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Piotr Palma, Tomasz Rybus, Karol Seweryn
Z(s) = Mds + D + E/s
(33)
Substituting (32) and (33) into (31), rearranging terms and taking the inverse Laplace transform gives the time-domain differential equation describing the interaction point forces F as a function of the difference between current and virtual trajectory, parametrized by the desired inertia parameters: M d ( x − x0 ) + D ( x − x 0 ) + E ( x − x 0 ) = F (t )
(34)
The above basic formulation of a generic impedance control law can be described from the point of view of the environment as “hiding” the natural dynamics of the manipulator and exposing only the desired dynamics at the interaction port. At the implementation level there are numerous ways by which the dynamic behavior of the robot’s interaction port can be shaped. There exist purely mechanical methods like springs and dampers or exploiting the redundancies of the manipulator to achieve different inertial properties by the virtue of their dependence on the manipulator’s configuration shown in [7, 8]. The software based methods rely on using control strategies which reproduces the dynamic behavior with robot’s actuators based on the loop closed via sensors. Three important types of software approaches to impedance implementation discussed in [21] are: − Position based approach, where typically the controller’s outer loop gives the desired position based on the desired impedance parameters and feedback information about interaction force, and inner loop tracks the position simply as a position servo. − Torque/force based approach, where instead of the position, the outer loop commands the torque or force and the inner loop is the torque/force servo. − Model based approach, which fundamentally differs from the previous two, because it uses the known manipulator dynamics and substitutes into it the desired dynamics described by the impedance parameters. An exhaustive discussion and comparison of the above methods is presented in [21]. In this work we propose the use of Cartesian, model-based impedance controller to a space robot on a free floating satellite platform.
3.1. Cartesian impedance control
In this section we briefly recall the Cartesian impedance control [7, 8] and show how the dynamics model of the free floating satellite robot is incorporated into the control law. Note that in this chapter θ and ω are not related to the satellite from previous chapters. A general robotic manipulator dynamic is modelled by the configuration dependent inertia I(𝜽), configuration and velocity dependent inertial coupling between the links e.g. Coriolis and centrifugal effects 𝑪𝒄(𝜽, 𝝎), and 𝑽𝒄(𝜽) the velocity dependent terms e.g. the viscous friction. The static forces S(𝜽) like gravitational loads are assumed to be zero, since the application we are discussing is set in microgravity context of on-orbit operation. The manipulator control torques are denoted as Tact and Tint, Fint are the torques and force due to interaction at the interface. I (θ )
dω + Cc (θ , ω ) + Vc (ω ) + S (θ ) = Tact + Tint dt
(35)
The desired behavior in Cartesian space can be expressed as follows: dV = M d-1E (X 0 − X ) + M d-1D X 0 − X + M d-1Fint dt
(
)
(36)
With use of standard manipulator Jacobian, the transformation between the Cartesian and joint space follows: dV dω + G (θ , ω ) = J (θ ) dt dt G (θ , ω ) =
d [J (θ )] dt
(37) (38)
ω
dω dV − = J −1 (θ ) G (θ , ω ) dt dt
(39)
And the Cartesian impedance control law takes the form: Tact = I (θ ) J -1 (θ ) M d-1E [X 0 − X ] + S (θ )
(position terms)
+I (θ ) J -1 (θ ) M d-1D X 0 − V + X c (ω )
(velocity terms)
+I (θ ) J −1 (θ ) M d-1Fint − J T (θ ) Fint (force interaction terms) (40) −I (θ ) J −1 (θ )G (θ , ω ) + Cc (θ , ω )
(inertial coupling terms)
3.2. Free floating platform based space robot under Cartesian impedance control
In case of the free floating satellite platform equipped with a robotic manipulator, the Jacobian in (35)−(40) is replaced with its dynamic counterpart given by (24). The mass matrix (28) encodes the configuration dependent inertial properties of the manipulator and base. Combining the above we arrive at the following expression:
T = M m (θ ) J D-1 (θ ) M d-1E [X 0 − X ] +M m (θ ) J D-1 (θ ) M d-1D X 0 − X +M m (θ ) J D-1 (θ ) M d-1Fint − J DT (θ ) Fint
(41)
−M m (θ ) J D-1 (θ )G (q p ,q v ) + C (q p ,q v ) q v The equation relates the driving torques T of the joints to the end effector’s deviation from the virtual trajectory, parametrized by desired impedance terms, in essence expressing the Cartesian impedance control law for the robot on a free floating satellite base. The driving torque T as well as the effects of the force Fint acting on the end effector are introduced into the satellitemanipulator dynamics equation right hand side.
0 FS M (q p ) qv + C (q p ,qv ) qv =+ 0 H s T T J M (q p ) Fint
(42)
The following chapter presents the simulation of the system (42) under control (41).
4. Simulation 4.1. Simulation parameters and configuration
The simulation of a free floating space robot with the proposed control method was performed using the simulation tool developed at the Space Research Center of the Polish Academy of Sciences and used in numerous research [16, 2, 3]. The robot
99
Application of Impedance Control of the Free Floating Space Manipulator for Removal of Space Debris
arm configuration is 7-DoF and is depicted in Figure 2 and the block diagram on Figure 3. The system has the mass and geometrical parameters as listed in Table 1.
ranges. Another aspect is the model uncertainty impact on the numerical quality of the matrix inversions. This would be more important in a hypothetical embedded controlled implementing the control law, with lower precision than MATLAB environment used for this study.
Table 1. Geometric and mass properties of the simulated robot Tabela 1. Kluczowe parametry masowe i geometryczne manipulatora symulowanego robota
4.2. Contact model
Link
Length [m]
Mass [kg]
Inertia [kg∙m2] (dominant about the joint axis)
1
0.28
1.60
0.004
2
0.2
4.20
1.25
3
0.6
1.60
0.004
4
0.6
4.40
1.14
5
0.2
1.60
0.004
6
0.1
1.60
0.008
7
0.1
0.19
1e-04
The external force Fint acting on the interface of the end effector is simulated using the following simplified spherical contact model (Fig. 4). The contact force acts along the line connecting the centers of two spheres. One sphere simulates the end effector, while the second sphere simulates a target with uniform mass distribution.
The satellite base mass is 100 kg and has inertia Ixx = 2.8, Iyy = 6.0, Izz = 7.4 kg∙m2. The manipulator mounting point is shifted from the centre of mass of the satellite by [200 100 400] mm. Model uncertainty was not the subject of this study and the simulation approach allows to assume ideal model. In a nonideal setting the uncertainty of the model of the satellite would affect the control law in various ways: One would affect the accuracy, which can be assessed using e.g. Monte Carlo methods with model parameter randomization around expected
Fig. 4. Simplified contact model used in the simulation (not to scale) Rys. 4. Schematyczne przedstawienie modelu kontaktu użytego w symulacji
Fig. 2. Visualization of the simulated satellite robot, target and intended end effector trajectory depicted by the red arrow a-b Rys. 2. Schemat symulowanego scenariusza wejścia w kontakt końcówki roboczej manipulatora robota kosmicznego z obiektem. Śledzona trajektoria oznaczona jest strzałką a-b
Fig. 5. Initial configuration of the robot end effector with relation to the target mass Rys. 5. Szczegółowe przedstawienie początkowego położenia końcówki roboczej i obiektu-celu oraz śledzonej trajektorii w symulowanym scenariuszu
Fig. 3. Block diagram of the simulated system under control Rys. 3. Schemat blokowy symulowanego układu, na który składa się robot satelitarny, jego prawo sterowania oraz obiekt-cel
100
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Piotr Palma, Tomasz Rybus, Karol Seweryn Table 2. Joint load comparison during contact with 5 kg target Tabela 2. Zestawienie porównawcze obciążeń przegubów robota w przypadku kontaktu z celem o masie 5 kg. Wartości średniokwadratowe i szczytowe dla każdego przegubu RMS
PEAK
Joint
Impedance [N∙m]
Cartesian [N∙m]
Ratio* [%]
Impedance [N∙m]
Cartesian [N∙m]
Ratio* [%]
1
0.01
0.013
76.9
0.103
0.124
83.1
2
0.018
0.02
90.0
0.088
0.095
92.6
3
0.013
0.014
92.9
0.063
0.063
100.0
4
0.03
0.031
96.8
0.083
0.073
113.7
5
0.011
0.011
100.0
0.022
0.033
66.7
6
0.008
0.008
100.0
0.032
0.039
82.1
7
0.014
0.015
93.3
0.185
0.202
91.6
Table 3. Joint load comparison during contact with 50 kg target Tabela 3. Zestawienie porównawcze obciążeń przegubów robota w przypadku kontaktu z celem o masie 50 kg. Wartości średniokwadratowe i szczytowe dla każdego przegubu RMS
PEAK Impedance
Cartesian
[N∙m]
[N∙m]
52.6
0.286
0.683
41.9
0.062
66.1
0.207
0.426
48.6
0.018
0.026
69.2
0.08
0.164
48.8
4
0.03
0.037
81.1
0.081
0.164
49.4
5
0.017
0.016
106.3
0.089
0.088
101.1
6
0.021
0.025
84.0
0.133
0.174
76.4
7
0.093
0.097
95.9
0.598
0.709
84.3
Impedance
Cartesian
[N∙m]
[N∙m]
1
0.05
0.095
2
0.041
3
Joint
Ratio* [%]
Ratio* [%]
* The column “Ratio” shows the ratio of torque commanded by the impedance control to the torque due to Cartesian control, expressed as percentage of the Cartesian torque, for the same joint.
4.4. Simulation scenario
The controllers were fed the reference straight line trajectory leading from point a to b in the Cartesian space. The trajectory is visualized in Figure 5 the arrow. The executed trajectory is designed such that the end effector must collide with the target mass. The duration of the simulation is designed to be 20 s. The planned trajectory timespan is 15 s. During the additional 5 s, the last point of the planned trajectory is used as a fixed reference point for the controller to track.
5. Results The metrics useful for comparison of performance of the impedance controller and Cartesian controller are the driving torques in the robot joints, the ability to track the planned trajectory, the displacement of the base of the satellite from its initial state, in particular the change of its orientation, as this is what the satellites Attitude and Orientation Control System (AOCS) would need to account for. The Figure 6 shows the trajectory tracking results compar-
ing the ability of the two controllers to follow a reference path when the target they collide with has a mass of 5 kg. The corresponding set of trajectory tracking plots for the case involving 50 kg target is shown in Figure 7. In the former case, the final tracking error is below 0.1 mm for both controllers, in the latter case the final tracking error for the Cartesian controller is 0.25 mm while for the impedance controller it is 1.6 mm, which is 1.6 % of the commanded displacement. In the view of the fact that the features which the manipulator tracks in order to grip them, are typically at least a few tens of millimetres in size [11], this result is considered to be a good performance. The reference orientation of the end effector is also included in the planned trajectory and kept is constant throughout the timespan of the simulation. The final orientation error was marginally low: 0.42° in the worst case, being the 50 kg target under impedance control. The Figure 8 and Figure 9 present the driving torques on each joint of the robotic manipulator. Those plots show that the impedance controller brings some qualitative advantages from the point of view of the AOCS of the satellite. During the transient after the collision which happens at 𝑡 = 2.5 s, we observe that:
103
Application of Impedance Control of the Free Floating Space Manipulator for Removal of Space Debris
References
The peak torque is lower for impedance controller than for the Cartesian one, − The torque due to impedance control oscillates less, in particular, its change (slope) is slower, especially when the sign of the torque changes. Those effects are more pronounced in case of the 50 kg target. The closer a joint is to the satellite, the higher is the relative disturbance its torque causes to the satellite. Therefore, the lower and smoother the torques on joints 1, 2 and 3 is, the easier it is for the hypothetical AOCS system to account for it. The impedance controller brings this kind of an advantageous behaviour to the manipulator, which is clearly seen in the 50 kg target case. It is still present in the 5 kg case, although less pronounced. The peak and RMS average of the joint driving torques are one set of potential useful shorthand metrics for the controllers’ performance comparison. They allow to assess which control strategy leads to lower peaks and lower maximum transient loads across all joints. The data in Table 2 shows the RMS and peak torques in the manipulator joints during contact with a 50 kg target. For all the joints except no. 5 the impedance controller shows both RMS averaged and peak loads lower than for the Cartesian controller. The torques in case of impedance controller do not exceed 52.6 % of the torques from Cartesian for the first joint of the robot, and in general, the loads on the joints closer to the satellite are lower. Still, for joint 5 the difference is marginal 1 %. For the lighter target with mass 5 kg, the advantage of the impedance controller also prevails. The torques are closer to the ones from Cartesian controller, which is expected – in case of 5 kg target, the mass-like impedance components Md of the manipulator system are roughly four times higher than that of the target – the controller makes the end effector act as if it was more difficult to be pushed off its intended trajectory which makes it more similar in behaviour to the Cartesian controller. The contact with the target mass causes the free floating servicer satellite to exchange momentum and angular momentum with the target. As a result, the satellite starts to rotate and change its orientation. Again, from the perspective of assessment of controller’s performance for a space application, the more favorable control strategy is the one that leads to lower magnitude of displacement and its time rate. The Figure 10 shows the Euler angles of the satellite body which describe its orientation in inertial reference frame. By inspecting the slopes of the angles at the final time as well as their absolute values, it can be seen that the simulated impedance controller yielded a slower rotation of the servicer satellite. −
1. Abiko S., Lampariello R., Hirzinger G., Impedance control for a free-floating robot in the grasping of a tumbling target with parameter uncertainty. [In:] 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems, 1020–1025, DOI: 10.1109/IROS.2006.281785. 2. Basmadji F.L., Chmaj G., Rybus T., Seweryn K., Microgravity testbed for the development of space robot, control systems and the demonstration of orbital maneuvers. [In:] Proceedings of SPIE 11176, Photonics Applications in Astronomy, Communications, Industry, and High-Energy Physics Experiments 2019, DOI: 10.1117/12.2537981. 3. Basmadji F.L., Seweryn K., Sąsiadek J.Z., Space robot motion planning in the presence of nonconserved linear and angular momenta. „Multibody System Dynamics”, Vol. 50, No. 1, 2020, 71–96, DOI: 10.1007/s11044-020-09753-x. 4. Bonnal C., Ruault J.-M., Desjean M.-C., Active debris removal: Recent progress and current trends. „Acta Astronautica”, Vol. 85, 2013, 51–60, DOI: 10.1016/j.actaastro.2012.11.009. 5. Echeandia S., Wensing P.M., Numerical methods to compute the Coriolis matrix and Christoffel symbols for rigid-body systems. „Journal of Computational and Nonlinear Dynamics”, Vol. 16, No. 9, 2021, DOI: 10.1115/1.4051169. 6. ESA Space Debris Office, ESA’s annual space environment report. Darmstadt. 7. Hogan N., Impedance control of industrial robots. „Robotics and Computer-Integrated Manufacturing”, Vol. 1, No. 1, 1984, 97–113, DOI: 10.1016/0736-5845(84)90084-X. 8. Hogan N., Impedance Control: An Approach to Manipulation, [In:] 1984 American Control Conference, 304–313, DOI: 10.23919/ACC.1984.4788393. 9. Lu W.-S., Meng Q.-H., Impedance control with adaptation for robotic manipulations, „IEEE Transactions on Robotics and Automation”, Vol. 7, No. 3, 1991, 408–415, DOI: 10.1109/70.88152. 10. Luu M.A., Hastings D.E., Review of on-orbit servicing considerations for low-earth orbit constellations. Accelerating Space Commerce, Exploration, and New Discovery Conference, ASCEND 2021, DOI: 10.2514/6.2021-4207. 11. Oleś J., Rybus T., Seweryn K., Surowiec M., Wojtyra M., Pietras M., Scheper M., Testing and simulation of contact during on-orbit operations. [In:] Proceedings of 14th Symposium on Advanced Space Technologies in Robotics and Automation (ASTRA’2017). European Space Agency. 12. Palma P., Seweryn K., Space robot equipped with compliant linear actuator on end effector: simulations results. [In:] R.S. Romaniuk, L. Maciej (Eds.), Proceedings of SPIE 11176, Photonics Applications in Astronomy, Communications, Industry, and High-Energy Physics Experiments 2019, DOI: 10.1117/12.2537207. 13. Papadopoulos E.G., Nonholonomic Behaviour in Free-floating Space Manipulators and its Utilization. „Nonholonomic Motion Planning”, 1993, 423–445, DOI: 10.1007/978-1-4615-3176-0_11. 14. Rybus T., Seweryn K., Trajectory Planning and Simulations of the Manipulator Mounted on a Free-Floating Satellite, „Aerospace Robotics, 2013, 61–73, DOI: 10.1007/978-3-642-34020-8_6. 15. Rybus T., Seweryn K., Sąsiadek J.Z., Control System for Free-Floating Space Manipulator Based on Nonlinear Model Predictive Control (NMPC), „Journal of Intelligent and Robotic Systems: Theory and Applications”, Vol. 85, 2017, 491–509, DOI: 10.1007/s10846-016-0396-2. 16. Rybus T., Wojtunik M., Basmadji F.L. (2022). Optimal collision-free path planning of a free-floating space robot
6. Conclusions The presented results of simulations comparing the impedance and a benchmark Cartesian controller show that the proposed impedance controller which takes into account the dynamic model of the satellite-robot system is able to drive the end effector to the planned target position with marginally higher error than Cartesian controller while doing so with substantially lower driving torques (and hence lower loads on the joints and their drives) for a target with mass about 50 % of the chaser satellite mass. This promising result is encouraging a further exploration of impedance control approaches to scenarios involving contact between the space robot manipulator and a target in future work.
104
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Piotr Palma, Tomasz Rybus, Karol Seweryn
using spline-based trajectories. „Acta Astronautica”, Vol. 190, 2022, 395–408, DOI: 10.1016/j.actaastro.2021.10.012. 17. Sakai S., An Exact Impedance Control of DC Motors Using Casimir Functions, Ferroelectrics. InTech, Dec. 14, 2010. DOI: 10.5772/13432. 18. Seweryn K., Dynamika manewru zbliżania satelitów i ich połączenia za pomocą manipulatora o więzach nieholonomicznych. Politechnika Warszawska, 2008. 19. Seweryn K., Banaszkiewicz M., Optimization of the trajectory of a general free-flying Guidance, manipulator during the rendezvous manoeuvre. [In:] Proceedings of the AIAA navigation and control conference and exhibit. Honolulu, Hawaii, USA, 2008, DOI: 10.2514/6.2008-7273. 20. Sharma S., Suomalainen M., Kyrki V., Compliant Manipulation of Free-Floating Objects, [In:] Proceedings of IEEE International Conference on Robotics and Automation, 2018, 865–872, DOI: 10.1109/ICRA.2018.8462889.
21. Song P., Yu Y., Zhang, X. (2019). A Tutorial Survey and Comparison of Impedance Control on Robotic Manipulation. Robotica, 37(5), 801–836. 22. Tchoń K., Dystrybucje w robotyce, Krynica-Zdrój 2014, Internal presentation of Instytut Informatyki, Automatyki i Robotyki Politechniki Wrocławskiej. 23. Umetani Y., Yoshida K., Resolved Motion Rate Control of Space Manipulators with Generalized Jacobian Matrix. „IEEE Transactions on Robotics and Automation”, Vol. 5, No. 3, 1989, 303–314, DOI: 10.1109/70.34766. 24. United Nations; Technical Report on Space Debris. United National Publication, 1999. 25. Yoshida K., Nakanishi H., Inaba N., Ueno H., Oda M., Contact Dynamics and Control Strategy Based on Impedance Matching for Robotic Capture of a Non-cooperative Satellite, „Advanced Robotics”, Vol. 18, No. 2, 2004, 175–198.
Zastosowanie sterowania impedancyjnego robotem kosmicznym typu free-floating w kontekście usuwania śmieci kosmicznych Streszczenie: Wiele obiektów orbitujących Ziemię stanowią wyeksploatowane lub nieczynne
satelity i inne urządzenia kosmiczne oraz ich fragmenty. Poruszając się w sposób niekontrolowany po orbitach aktywnie wykorzystywanych stanowią zagrożenie dla czynnych satelitów, stacji kosmicznej, astronautów jak i również rakiet wynoszących w przestrzeń kosmiczną nowe satelity. Obiekty te uznawane są za śmieci kosmiczne. Zdolność chwycenia i manipulowania niewspółpracującym obiektem na orbicie Ziemi przez robota satelitarnego pozwoliła by na zmniejszenie liczby śmieci kosmicznych i zagrożeń z nimi związanych w dwojaki sposób: po pierwsze umożliwiła by chwycenie i usunięcie śmieci kosmicznych znacznej wielkości z orbity, po drugie dała by możliwość serwisowania i tym samym przedłużenia okresu eksploatacyjnego satelitów będących blisko końca swojej nominalnej misji, zapobiegając by stały się one śmieciami kosmicznymi. Oba te zastosowania wymagają fizycznego wejścia w kontakt pojazdu kosmicznego chwytającego oraz obiektu chwytanego. W naziemnych zastosowaniach robotów, w których dochodzi do kontaktu manipulatora robota z otoczeniem, powszechnie stosowane są metody sterowania impedancyjnego. W niniejszym tekście autorzy proponują wykorzystanie sterowania impedancyjnego w oparciu o model (model-based impedance control) do realizacji manewru wejścia w kontakt końcówki manipulatora robota satelitarnego z niewspółpracującym obiektem w stanie nieważkości. W pracy przedstawiono wyprowadzenie prawa sterowania impedancyjnego manipulatorem o swobodnej bazie w oparciu o model, z wykorzystaniem jakobianu uogólnionego (Generalized Jacobian Matrix, GJM), oraz rezultaty symulacji manewru wejścia końcówki roboczej manipulatora kosmicznego w kontakt z nieważkim obiektem. Wyniki symulacji pokazują, że zaproponowane prawo sterowania pozwala realizować zadanie śledzenia trajektorii zachowując momenty i obciążenia w przegubach robota na niskim poziomie. Słowa kluczowe: robot kosmiczny, manipulator orbitalny, sterowanie impedancyjne, naprawa urządzeń na orbicie, usuwanie śmieci kosmicznych, robotyka
105
Application of Impedance Control of the Free Floating Space Manipulator for Removal of Space Debris
Piotr Palma, PhD, Eng.
Tomasz Rybus, PhD, Eng.
Received his PhD from Space Research Centre of Polish Academy of Science (CBK PAN) in the discipline of Automation, Electronics, Electrical Engineering and Space Technology in 2023. His scope of research covers space robotics, machine learning, dynamics and control systems, nonlinear control particularly in the context of engineering applications of impedance control and advanced actuators. He graduated with MSc from Coventry University, UK and Technical University of Lodz, Poland in mechanical engineering and applied computer science. Additionally Piotr Palma has been involved in development of hardware systems for space missions..
Received his Ph.D. in Automation and Robotics from Wrocław University of Science and Technology in 2017. He is currently employed as an Assistant Professor at the Space Research Centre of the Polish Academy of Sciences (CBK PAN) in Warsaw. His research interests include the dynamics and control of satellite-manipulator systems. Additionally, he is actively engaged in experimental validation of robotic systems in simulated microgravity conditions. Tomasz Rybus has been involved in several European Space Agency and national projects related to these topics, and he has participated in the e.Deorbit mission consolidation phase study..
piotr@palmaline.pl, ppalma@cbk.waw.pl ORCID: 0000-0001-7604-8834
trybus@cbk.waw.pl ORCID: 0000-0002-7957-5346
Prof. Karol Seweryn, DSc, PhD, Eng. kseweryn@cbk.waw.pl ORCID: 0000-0002-4372-0900
Assistant professor at the Space Research Centre of the Polish Academy of Sciences, Warsaw, Poland. In 2008 received the Ph.D. from Warsaw University of Technology, Faculty of Power and Aeronautical Engineering in the field of Robotics. In 2017 received the Doctor of Science degree from AGH University of Science and Technology, Faculty of Mechanical Engineering and Robotics in the field of Robotics. In recent years he has been involved in more than 20 projects, including ESA e.deorbit mission, PACKMOON sampling tool development for ESA, Project manager of the CHOMIK sampling tool development for Phobos-Grunt mission and Co-I of the on-going STIX project for ESA Solar Orbiter mission. Currently his research is focused on the dynamics and control algorithms of space robots as well as on the development of mechatronic devices for In Situ Resource Utilization (ISRU) activities.
106
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Pomiary Automatyka Robotyka, ISSN 1427-9126, R. 27, Nr 3/2023, 107–117, DOI: 10.14313/PAR_249/107
Podążanie za zadaną trajektorią grupy robotów kołowych z użyciem wirtualnych połączeń sprężysto-tłumiących Jakub Wiech
Politechnika Rzeszowska, Wydział Budowy Maszyn i Lotnictwa, al. Powstańców Warszawy 8, 35-959 Rzeszów
Streszczenie: W artykule przedstawiono rozwiązanie problemu śledzenia trajektorii przez
grupę robotów kołowych w środowisku bez przeszkód. Śledzenie trajektorii rozumiane jest jako podążanie za punktem odniesienia przez geometryczny środek grupy, wraz z jednoczesnym utrzymaniem zadanej odległości między sąsiadującymi robotami. Zaproponowana metoda opiera się na wirtualnych siłach z wirtualnych połączeń sprężysto-tłumiących między robotami, co pozwala na śledzenie trajektorii grupy po samoorganizacji z zachowaniem jej pożądanego kształtu. Przedstawiona metoda sterowania została szczegółowo opisana wraz z opisem dynamiki i-tego robota oraz została przetestowana numerycznie i eksperymentalnie. W pracy przedstawiono wyniki badań numerycznych i eksperymentalnych oraz dyskusję i wnioski z nich wynikające. Wyniki pracy można rozszerzyć o praktyczne aplikacje związane ze śledzeniem trajektorii grupy robotów.
Słowa kluczowe: grupa robotów, roboty kołowe, podążanie za zadaną trajektorią, fizykomimetyka, sterowanie grupą robotów
1. Wprowadzenie Aby grupa robotów mogła przemieszczać się w zorganizowany sposób, należy rozwiązać szereg problemów. Na najwyższym poziomie decyzyjnym trajektoria grupy musi pasować do środowiska i celu. Jeden lub więcej liderów [1] lub środek ciężkości grupy [2] może podążać określoną trajektorią. Na poziomie sterowania grupy, roboty powinny być wyposażone w narzędzia umożliwiające dostęp do parametrów funkcji określających kształt grupy, tak aby można było ją zmieniać. W celu utrzymania zadanego kształtu konieczne jest opracowanie metody synchronizacji kierunku ruchu robotów z ich prędkością i przyspieszeniem oraz prędkością kątową kształtu grupy względem jej środka geometrycznego [2]. W tym celu wykorzystuje się algorytmy konsensusu [3], teorię grafów [3] oraz wymuszanie ograniczeń między odległościami robota i kątami obrotu ramy robota w stosunku do całej grupy. Aby roboty poruszały się jako grupa, muszą być ze sobą połączone, tzn. roboty muszą mieć możliwość wymiany informacji. Oznacza to, że zasięgi czujników i nadajników robotów muszą się pokrywać. Metody sterowania grup robotów mogą opierać się na tzw. Wirtualnej Fizyce [5] lub częściej, wirtualnych polach
Autor korespondujący: Jakub Wiech, j.wiech@prz.edu.pl Artykuł recenzowany nadesłany 08.12.2022 r., przyjęty do druku 18.07.2023 r. Zezwala się na korzystanie z artykułu na warunkach licencji Creative Commons Uznanie autorstwa 3.0
potencjalnych. W takim przypadku roboty utrzymują stałą odległość od siebie poruszając się po trajektorii lub do punktu docelowego. Sztuczne pola potencjalne [6] mogą służyć jako podstawa do obliczeń sił wirtualnych działających na roboty. Sztuczne pola potencjalne mogą być „emitowane” przez przeszkody, roboty i punkt docelowy. Suma tych sztucznych potencjałów jest następnie wykorzystywana do obliczenia wirtualnej siły wypadkowej działającej każdego robota w grupie. W artykule przeanalizowano problem śledzenia trajektorii grupy robotów w środowisku bez przeszkód po samoorganizacji grupy w kształt wielokąta foremnego. Prawo sterowania grupy opiera się na wirtualnych siłach działających na roboty. Wirtualne siły pochodzą od robotów i punktu odniesienia, służą one do wyznaczania zadanej trajektorii poszczególnych robotów. Sterowanie grupą ma na celu umożliwienie podążania środka geometrycznego grupy za punktem odniesienia i utrzymanie pożądanego kształtu grupy. Zadany tor grupy robotów składa się z krzywej typu prosta – pętla – prosta. Punkt odniesienia porusza się z prędkością opisaną jako gładka krzywa trapezowa z funkcjami sigmoidalnymi. Roboty wyposażone są w czujniki o ograniczonym zasięgu, dzięki czemu dany robot może określić położenie tylko najbliższych robotów. Położenie punktu odniesienia jest znane wszystkim robotom. Dla zaproponowanego modelu robotów mobilnych przeprowadzono symulacje śledzenia trajektorii grupy pięciu robotów kołowych. Przyjęte rozwiązania zostały zweryfikowane w laboratorium wyposażonym w Motion Capture System. Omówiono otrzymane wyniki symulacji i weryfikacji. Na podstawie uzyskanych wyników wyciągnięto wnioski pozwalające na dalsze prace w oparciu o opracowane prawo sterowania grupy robotów kołowych.
107
Podążanie za zadaną trajektorią grupy robotów kołowych z użyciem wirtualnych połączeń sprężysto-tłumiących gdzie: α1i , α 2i – prędkości kątowe obrotu własnego kół napędowych, r – promień koła napędowego robota, L – połowa długości osi napędowej robota. Parametry kinematyczne robota to α1i , α 2i , α1i , α 2i .
Artykuł podzielony jest na pięć części. Pierwsza część jest wprowadzeniem do artykułu. Druga część, „Modelowanie i sterowanie grupy robotów kołowych”, koncentruje się na matematycznym modelowaniu i-tego robota oraz zachowania grupy. Część zatytułowana „Wyniki”, pokazuje wykresy i inne dane z symulacji i eksperymentu grupy pięciu robotów kołowych. Następnie dwie ostatnie części, „Dyskusja” i „Podsumowanie”, szczegółowo opisują uzyskane wyniki i na ich podstawie przedstawiają wyciągnięte wnioski.
Dynamiczne równania ruchu robota dwukołowego znane są z literatury [7]. W przypadku robotów wykorzystujących moduły napędowe o wysokich przełożeniach model i-tego robota można rozbudować o model serwomechanizmu. Biorąc pod uwagę dynamikę silników napędowych robota [8], adaptacja równań dynamiki dla prezentowanego robota będzie miał postać:
2. Modelowanie i sterowanie grupy robotów kołowych
Mqi + C (qi ) qi + F (qi ) = ui ,
(3)
gdzie:
Rozdział opisujący modelowanie i sterowanie grupy robotów kołowych rozpoczyna się prezentacją modelu dynamiki i kinematyki robota dwukołowego. Następnie opisano algorytm sterowania grupy z zależnościami między sygnałami sterującymi i-tego robota a siłami wirtualnymi.
2.1. Model robota dwukołowego
Roboty wchodzące w skład grupy to roboty dwukołowe z dwoma sferycznymi kołami podporowymi 1 i 2, jak pokazano na rys. 1a. Zakłada się, że ruch i-tego robota odbywa się po płaskiej powierzchni, bez poślizgu. Robot napędzany jest dwoma modułami napędowymi o jednakowych kołach oznaczonych jako 3 i 4 (rys. 1b), o promieniu r, ze środkami geometrycznymi oznaczonymi jako punkty B, C. Środek ciężkości robota znajduje się w punkcie Si na ramie robota oznaczonej numerem 5. Punkt Si leży w osi symetrii kół napędowych w odległości d od środka segmentu |CB| oznaczonego jako punkt Ai. Kąty obrotu kół 3 i 4 oznaczono jako α1i , α 2i . Kąt βi to chwilowy kąt obrotu ramy. Każdy robot porusza się po określonej trajektorii wyrażonej w funkcji prędkości kątowej obrotu własnego kół napędowych α1i , α 2i . Prędkości kątowe obrotu własnego kół napędowych robota są współrzędnymi konfiguracji robota, wyznaczanymi z następujących równań [7]:
v Ai L 1i α= + βi , r r oraz:
v Ai L 2i α= − βi r r
(4)
Elementy wektora parametrów mechanicznych robota a = [a1, a2, a3, a4, a5, a6]T mają postać: r2 , 4
( 2m L + m d + I
= a2
w
2
2
5
2
5S
a3 = I yw ,
r + 2I zw ) , 2L
(5)
2
r rd a4 = m 5 2 , 2 l a5 = N 1 f1
(1)
r ( 1i − 2i ) , 2L r = xAi (ℵ1i + 2i ) cos ( i ) , 2 r = yAi (ℵ1i + 2i ) sin ( i ) , 2
( 2mw + m5 )
= a1
= ℵ i
gdzie: mw – masa kół 3 i 4, m5 – masa ramy robota, Iyw – masowy moment bezwładności koła 3 wokół osi Y4 i koła 4 wokół osi Y4 (rys. 1a), Izw – masowy moment bezwładności koła 3 wokół osi Z3 i koła 4 wokół osi Z4 (rys. 1b), I5S – masowy moment bezwładności ramy robota obliczony względem osi prostopadłej do ramy i przechodzącej przez punkt Si (rys. 1a),
(2)
a)
Rys. 1. Schematy i-tego robota kołowego w grupie robotów: (a) rama robota (b) koła robota Fig. 1. The schematics of the i-th wheeled robot in the group of robots: (a) robot frame (b) robot wheels
b)
108
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Jakub Wiech u1, u2 – znormalizowane sygnały sterujące, KM – stała momentowa, rk – przełożenie przekładni, Vmax – maksymalne dopuszczalne napięcie na wejściu zasilania silników DC, k – numer modułu napędowego, Bi – współczynnik oporów ruchu w przekładni, Jki – masowy moment bezwładności wału i elementów przekładni silnika, R – rezystancja uzwojeń silnika. W procesie identyfikacji parametrycznej uzyskano następujące wartości powyższych parametrów: a = [7,3125·10–5 kg·m2, 8,97·10–9 kg·m2, 5,543·10–6 kg·m2, 0,0126 kg·m2, 0,917 Nm oraz B1 = 3,01·10–5 kg·m2/s, B2 = 3,37·10–5 kg·m2/s. Z dokumentacji modułów napędowych możemy wyczytać inne parametry: r = 0,03 m, L = 0,069 m, KM = 0,048 Nm/A, R = 2,17 Ω, rk = 1/120, Vmax = 7,4 V. Przedstawiony model opisany równaniami (1–5) użyty jest w symulacjach.
Na i-tego robota działają siły wirtualne pochodzące z wirtualnych połączeń sprężysto-tłumiących między najbliższymi robotami Fij (między środkami osi napędowych robotów (punkt Ai i punkt Aj) a punktem odniesienia Fip (między środkiem osi napędowej i-tego robota Ai a punktem odniesienia P). Wektory sił wirtualnych Fij i Fip opisują równania: = Fij
(k e + c e ) δ ,
(6)
= iip
(k e + c e ) δ ,
(7)
ij ij
ip ip
ip ip
ij
ip
gdzie: δ ij , δ ip – wektory jednostkowe wyznaczane od punktu Ai, do punktu Aj i punktu odniesienia P. Wartości wektorów Fij i Fip można wyznaczyć z równań:
2.2. Śledzenie zadanej trajektorii
Zadaniem grupy robotów jest poruszanie się po zadanej trajektorii w środowisku bez przeszkód. Zadana trajektoria jest definiowana dla wirtualnego punktu odniesienia, którego położenie początkowe wybiera operator robotów. Zadaniem robotów jest podążanie za punktem odniesienia w określonej odległości, przy jednoczesnym zachowaniu zadanej odległości do najbliższych sąsiadujących robotów. Przez najbliższe sąsiadujące roboty rozumie się j-te roboty znajdujące się w zasięgu czujników i-tego robota poniżej określonej odległości granicznej. Roboty znają predefiniowane współrzędne punktu odniesienia. Położenie i-tego robota względem j-tego robota oraz względem punktu odniesienia pokazano na rys. 2.
ij ij
= Fij kijeij + cijeij ,
(8)
= Fip kiPeip + ciPeip ,
(9)
gdzie: kij, cij > 0, kip, cip > 0 – odpowiednio, stałe sprężystości i tłumienia wirtualnych połączeń sprężysto-tłumiących łączących sąsiadujące roboty oraz i-tego robota z punktem odniesienia P. Wartości deformacji wirtualnych sprężyn wyznaczamy z zależności:
eij = rij − lij =
( x − x ) + (y − y ) − l , ij
(10)
eip = rip − lip =
( x − x ) + (y − y ) − l ,
(11)
2
Aj
Ai
2
Aj
Ai
2
p
Ai
2
p
Ai
ip
gdzie: x Ai , x Aj , x p ∈ R, yAi , yAj , y p ∈ R, – odpowiednio współrzędne x i y punktów Ai, Aj, P, Lij, Lip > 0 – długości spoczynkowe wirtualnych sprężyn między punktami Ai i Aj, oraz punktami Ai i P. Do wyznaczenia pochodnych deformacji wirtualnych sprężyn
(e , e ) wykorzystano równania (10, 11), zależności kątowe ij
ip
pokazane na rys. 3b oraz zależność między rzutami prędkości vAi, vAj, vp a ich współrzędnymi, tj.:
Rys. 2. Wypadkowa siła wirtualna działająca na i-tego robota Fig. 2. Resultant virtual force acting on the i-th robot
a) b)
= v Ai xAi cos βi + yAi sin βi , = v Aj xAj cos β j + yAj sin β j , = v p x p cos β p + yp sin β p .
(13)
Rys. 3. Zależności kątowe (a) między punktem Ai a punktem wypadkowym Wi , (b) między środkami osi napędowych robotów i, j Fig. 3. The angular relationships (a) between the point Ai of the i-th robot and resultant point Wi, (b) between the centers of the robots’ drive axes i, j
109
Podążanie za zadaną trajektorią grupy robotów kołowych z użyciem wirtualnych połączeń sprężysto-tłumiących Zakres sensorów (SR) jest opisany nierównością:
Pochodne deformacji wirtualnych sprężyn wynoszą:
= eij v Aj cosψ ji − v Ai cosψ ij ,
(14)
= eip v p cosψ pi − v Ai cosψ ip ,
(15)
(21)
lij 3 < SR < lij .
gdzie: v Ai , v Aj ∈ R – prędkości środka osi napędowej i-tego i j-tego robota, v p ∈ R – prędkość punktu P.
Aby robot poruszał się w kierunku siły wypadkowej do jej źródła, wektor prędkości punktu Ai musi mieć kierunek wypadkowego wektora sił wirtualnych działających na tego robota, więc musi być spełniona zależność:
Wartości kątów pokazanych na rys. 3b wynikają z zależności:
FiW × dv Ai = 0,
ψ= γ ij − βi , ij ψ= γ ji ji − β j ,
gdzie: FiW – wektor wypadkowy będący sumą wektorową wektorów FiJ i Fip opisanych równaniami (6–9), dv Ai – wektor nieskończenie małej prędkość punktu Ai.
(16)
ψ ij , ψ ji ∈ −π , π
γ= arctg2 (yAj − yAi , x Aj − x Ai ) , ij
Kąt ψ iW (rys. 3a) między wektorami F1W i dv Ai będzie bliski zeru, jeśli wektor zadanej chwilowej prędkości kątowej ramy robota βid będzie proporcjonalny i przeciwny do iloczynu wektorowego (22) [9]:
(17)
γ= arctg2 (yAi − yAj , x Ai − x Aj ) . ji
βid = −λ1 ( F1W × dv Ai ) k = ω i , λ1 > 0
Pochodne kątów ψij, ψji, ψip są wyliczone podobnie jak pochodne deformacji wirtualnych sprężyn i wynoszą:
ψ ij = v Ai
ψ ji = v Aj
ψ ip = v Ai
sinψ ij
eij + lij sinψ ji
eij + lij sinψ ip
eip + lip
− v Aj
− v Ai
− vp
sinψ ji
eij + lij sinψ ij
eij + lij sinψ pi
eip + lip
− βi ,
(18)
− βj ,
(19)
− βi .
(22)
(23)
gdzie: k – wektor jednostkowy na osi prostopadłej do ramy robota przechodzącej przez punkt Ai. Po przekształceniach równania (23) otrzymamy, że wektor zadanej prędkości kątowej ramy robota powinien wynosić:
βid = λ1FiW sin (ψ iW ) k
(24)
Wartość wektora zadanej prędkości kątowej ramy robota (24) opisuje równanie:
(20)
= βid λ1FiW sin = (ψ iW ) u β i ,
λ1 > 0,
(25)
Kształt grupy określają odległości między najbliższymi roboZakładając, że zadane przyśpieszenie i-tego robota jest protami. Najbliższy robot jest zdefiniowany jako robot w zasięgu i-tych czujników robota, poniżej określonej odległości granicznej. porcjonalne do rzutu wektora F1W na kierunek wektora v Ai , Najbliższe sąsiadujące roboty można zilustrować na przykławartość zadanego przyspieszenia punktu Ai będzie wynosiła: dzie grupy bez punktu odniesienia. Siły działające od robotów aid λ2FiW cos (ψ iW ) , λ2 > 0. zrównoważą się, gdy grupa utworzy siatkę trójkątów równo- = (26) bocznych. Dzieje się tak w przypadku, gdy na robota działają siły wirtualne pochodzące tylko od najbliższych sąsiadujących Całkując równanie (26) można wyznaczyć prędkość zadaną robotów, jak pokazano na rys. 4. punktu Ai, czyli:
= vid λ= uvi . 2 ∫ FiW cos (ψ iW ) dt
(27)
Każdy robot wyznacza swoje sygnały sterowania uvi i u β i według równań (25, 27) na podstawie znanych położeń i prędkości sąsiadujących robotów i punktu odniesienia. Punkt P porusza się zgodnie z zadanym profilem prędkości punktu. Profil ten został zdefiniowany jako gładka krzywa trapezowa z aproksymowanymi funkcjami sigmoidalnymi etapami przyspieszania i hamowania. Krzywa trapezowa opisana jest wzorem:
1 1 − −c t −b −c t −b 1 1 +e ( ) 1 +e ( )
= vp vp ¢
gdzie: vpmax – prędkość maksymalna punktu P (prędkość w ruchu ustalonym), c [1/s] – współczynnik przyspieszenia i hamowania punktu P, b [s], b1 [s] – odpowiednie współczynniki średniego czasu przyspieszania i hamowania, t [s] – czas symulacji. Jeżeli punkt P ma się poruszać po okręgu lub po jego części (pętli), to prędkość kątowa βp zmienia się zgodnie ze wzorem:
Rys. 4. Zakres sensorów robota Fig. 4. Robot sensor range
110
P
O
(28)
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Jakub Wiech
dla 0, v = βp p , dla R dla 0,
3. Wyniki
0 ≤ t < b2 b2 ≤ t ≤ b3
(29)
t > b3
gdzie: b2 [s], b3 [s] – współczynniki opisujące czas wejścia i wyjścia z pętli, R [m] – promień pętli. Jako miarę określającą pozycję grupy robotów wybrano geometryczny środek grupy robotów. Współrzędne środka geometrycznego grupy T(xt, yt) opisują równania: n
n
x Ai ∑ ∑i 1 yAi . i 1= = xT yT = = , n n
(30)
Natomiast prędkość środka geometrycznego wynoszą: n
n
xAi ∑ ∑i 1 yAi , i 1= = xT yT = = , n n
(31)
gdzie: i – numer robota, n – liczba robotów. Sterowanie i-tego robota (rys. 5) można opisać następująco. Zadana trajektoria i-tego robota jest realizowana przez algorytm sterowania nadążnego. Jako regulator zastosowano regulator PD (blok „PD”). Wzmocnienia regulatora dobrano eksperymentalnie, ustalając wartości kp = 0,113 oraz kd = 0,046. Rozwiązując zadanie proste dynamiki mobilnego robota kołowego (blok „MRKi”, przekształcone równanie (3)), wyznaczono parametry kinematyczne: α1i , α 2i , α1i , α 2i , dla i-tego robota, które na podstawie równań (2) pozwalają na obliczenie rzutów prędkości punktu Ai, tj.: xAi , yAi oraz prędkość kątową βi (blok „wyznaczanie prędkości MRK”). Znajomość tych wartości oraz warunków początkowych umożliwia wyznaczenie współrzędnych punktów Ai oraz kątów orientacji ram βi wszystkich robotów. Przy znajomości parametrów kinematycznych robotów i znajomości współrzędnych punktu odniesienia, opartych na równaniach (10–20) wyznaczono odległości między robotami eij, robotami a punktem odniesienia eip, kąty między wektorami sił wirtualnych Fij , Fip oraz osi p, czyli ψij, ψip i ich pochodne (blok „wyznaczenie odległości i orientacji”). Znając odległości, kąty i ich pochodne, można znaleźć sygnały sterowania uvi , β za pomocą równań (25, 27) (blok „wyznaczenie sterowań regulatora nadrzędnego”). Na podstawie równań (1) i (2) (blok „zadanie odwrotne kinematyki”) wyznaczana jest zadana trajektoria dla i-tego robota.
Zadaniem grupy robotów jest podążanie za punktem odniesienia, który porusza się zgodnie z zadaną trajektorią, np. po linii prostej, po pętli itp. Przyjmuje się, że grupa podąża za trajektorią prawidłowo, gdy geometryczny środek grupy pokrywa się z punktem odniesienia z założoną dokładnością. Wartości współczynników sprężystości i tłumienia oraz wartości parametrów λ1, λ2 dobierane są doświadczalnie. Procedura doboru parametrów sterowania grupą (tab. 1) wymaga w pierwszej kolejności ustawienia wartości λ2 na 1. Parametr ten może służyć do zwiększania lub zmniejszania prędkości robotów, jeśli prędkość ruchu grupy nie jest zadowalająca. Parametr λ1 powinien być ustawiony na wartość o rząd wielkości wyższą niż 2 , aby nadać priorytet zmianom kąta obrotu ram robotów w kierunku punktu Wi nad ruchem do tego punktu. Wartości współczynników sprężystości i tłumienia powinny być wówczas wyrównane, z małymi wartościami poniżej 1, aby zapewnić stabilność sterowania. Następnie w serii symulacji należy zwiększyć wartości współczynnika tłumienia, aby ograniczyć ruch oscylacyjny robotów, oraz dopasować wartości współczynnika sprężystości, aby wartość odkształcenia była bliska zeru. W artykule nie przedstawiono formalnego dowodu stabilności sterowania grupy, dlatego w celu określenia odpowiednich parametrów należy zastosować metodę prób i błędów.
3.1. Symulacja
Symulacja dotyczy grupy pięciu robotów kołowych, które po procesie samoorganizacji wokół punktu odniesienia P = [0, 7, 0] m podążają za poruszającym się punktem odniesienia po zadanej trajektorii. Punkt odniesienia porusza się po krzywej typu prosta-pętla-prosta z maksymalną prędkością vpmax = 0,02 m/s osiągając położenie końcowe [–0, 7, 0] m. Odcinek prostej ma długość 0,7 m, pętla ma średnicę R = 0,2 m i środek w punkcie (0, 0). Współczynniki profilu prędkości opisanego równaniami (26, 27) wynoszą: b = 8,3 s, b1 = 109,6 s, b2 = 43 s, Tabela 1. Założone parametry symulacji Table 1. Assumed parameter values for the simulation
kij = 0,8 N/m cip = 1,8 Ns/m lij = 0,28 m
kip = 0,7 N/m
cij = 1,8 Ns/m
λ1 =120 rad/Ns
λ2 =1 kg -1
lip = 0,24 m
Rys. 5. Schemat sterowania i-tego robota Fig. 5. Schematics of control in case of the i-th robot
111
Podążanie za zadaną trajektorią grupy robotów kołowych z użyciem wirtualnych połączeń sprężysto-tłumiących b3 = 75 s, c = 5 1/s. Zadaniem robotów jest osiągnięcie i utrzymanie zadanej odległości względem siebie lij oraz względem punktu odniesienia. Ze względu na wprowadzone zakłócenia sensorów, poniższe wykresy przedstawiają wykresy co dwudziestą próbkę. Dla przejrzystości wykresów przedstawiono dane dla robota 1. Dane
z innych robotów pokrywają się z wynikami robota 1 i pokazują podobne zachowania jak robot 1. Parametry symulacji przedstawiono w tabeli 1, natomiast pozycje początkowe robotów Ai oraz kąty orientacji ramy przedstawiono w tabeli 2 oraz na rys. 6. Na wykresie torów ruchu robotów (rys. 7) wyraźnie widoczne są „pętle” i proste dla poszczególnych robotów. Ponadto ostateczny kształt grupy to pięciokąt foremny, czyli kształt przed rozpoczęciem ruchu grupy. Biorąc pod uwagę odległości między robotami (rys. 8), ich oscylacje wokół pożądanej wartości, można stwierdzić, że grupa utrzymywała podczas ruchu kształt zbliżony do pożądanego. Różnica między początkową i końcową pozycją robotów w kształcie grupy jest znacząca. Zmiana pozycji robotów wynika z obrotu grupy podczas przechodzenia przez pętlę. Rotacja jest efektem działania na roboty niezerowych rzutów sił wirtualnych stycznych do kształtu grupy. Przeprowadzona symulacja podążania grupy robotów za zadaną trajektorią pokazuje, że kształt toru geometrycznego środka grupy opisanego równaniami (30, 31) jest zbliżony do kształtu toru punktu odniesienia, przy zachowaniu zadanego kształtu grupy. Odległości między robotami są bliskie zadanym wartościom, co pokazuje, że ruch robotów ma niewielki wpływ na deformację kształtu grupy. Rysunki (9a, 9b, 10a, 10b) pokazują parametry geometryczne ruchu grupy robotów. Wykresy składowych prędkości punktu odniesienia i geometrycznego środka grupy (rys. 10a, 10b) mają zbliżony kształt. Widać, że po etapie przyspieszenia punktu referencyjnego (rys. 10a) w 8 s prędkość grupy zostaje przekroczona i osiąga wartość około 0,035 m/s w 18 s. Przekroczenie prędkości grupy o 0,015 m/s wynika z przekroczenia przez roboty żądanej odległości od punktu odniesienia. Podobne zjawisko zachodzi podczas hamowania grupy robotów (109,6 s). Grupa zachowuje się jak ciało odkształcalne. Ze względu na dużą prędkość, śro-
Rys. 6. Położenia początkowe i orientacje robotów nr 1–5 Fig. 6. The initial positions of Ai points and the orientations of the robot frames no. 1–5
Tabela 2. Współrzędne początkowe i orientacje robotów Table 2. Initial values of the coordinates of the Ai points and the orientation angles of the robot frames
x01 = –0,614 m
x02 = 0,904 m
x03 = 0,468 m
x04 = 0,86 m
x05 = 0,655 m
y01 = –0,23 m
y02 = 0,115 m
y03 = 0,025 m
y04 = –0,15 m
y05 = 0,24 m
β01 = 2,12 rad
β02 = 1,12 rad
β03 = –2,35 rad
β04 = –1,61 rad
β05 = –1,82 rad
Rys. 7. Tory ruchu robotów Fig. 7. Paths of the robots
112
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Jakub Wiech
Rys. 8. Osiągnięte odległości między robotem nr 1 a punktem odniesienia i sąsiadującym robotami, symulacja Fig. 8. Distances obtained in the simulation between robot no. 1, the reference point and the other neighboring robots in the group
a) b) Rys. 9. Porównanie współrzędnych środka geometrycznego grupy robotów i punktu odniesienia, a) oś x, b) oś y Fig. 9. Comparison of the values of the coordinates of the group’s geometric center and the reference point: (a) x coordinates, (b) y coordinates
a) b) Rys. 10. Porównanie prędkości środka geometrycznego grupy robotów i punktu odniesienia, a) oś x, b) oś y Fig. 10. Comparison of the velocities of the group’s geometric center and the reference point: (a) x coordinates, (b) y coordinates
113
Podążanie za zadaną trajektorią grupy robotów kołowych z użyciem wirtualnych połączeń sprężysto-tłumiących dek geometryczny grupy przekracza punkt zatrzymania, ale w ciągu 5 s powraca w jego okolice (rys. 9a, 9b). Położenie i prędkość geometrycznego środka grupy podczas ruchu grupy po pętli (43–75 s) wskazują, że grupa porusza się po zadanej trajektorii. Różnica odległości między punktem odniesienia a środkiem geometrycznym grupy nie przekracza 3 cm (rys. 9b, 60 s). Podobnie jak w przypadku przyspieszania i zwalniania punktu odniesienia, grupa robotów zachowuje się jak ciało odkształcalne, wartości współrzędnych i prędkość geometrycznego środka grupy oscylują wokół zadanych wartości. Gdy grupa robotów porusza się po linii prostej, wartości współrzędnych i prędkości geometrycznego środka grupy są najbliższe zadanym wartościom. Największe różnice wartości pojawiają się podczas przyspieszania, hamowania i zmiany kierunku ruchu grupy robotów.
z robotami. Motion Capture [2] to technologia pozwalająca na określenie pozycji i śledzenie ruchu znaczników odbijających lub generujących światło podczerwone. Technologia opiera się na systemie wizyjnym składającym się z więcej niż trzech kamery na podczerwień. Przedstawione w artykule badania eksperymentalne przeprowadzono na udostępnionej arenie badawczej przez Federalny Uniwersytet Techniczny w Lozannie dzięki udziałowi w TerriNet (ang. The European Robotics Research Infrastructure Network). Laboratorium (rys. 11a) zostało wyposażona w kamery na podczerwień umożliwiające wyznaczenie położenia znaczników umieszczonych na robocie (rys. 11b) z dokładnością do 0,15 mm przy zachowaniu 350 klatek na sekundę. Eksperyment przeprowadzono dla takich samych wartości parametrów grupy robotów jak w symulacji. Z wykresów odległości między robotami (rys. 12) wynika, że grupa robotów zachowywała kształt zbliżony do zadanego, z największą deformacją podczas jazdy po pętli. Podobnie jak na rys. 13, ostateczny kształt grupy to pięciokąt foremny. Podobnie jak w przypadku symulacji (rys. 8), wykres torów robotów (rys. 13) przedstawia śledzenie toru grupy w kształcie pięciokąta foremnego. W początkowej fazie ruchu grupy roboty poruszają
3.2. Weryfikacja
Do weryfikacji testów wykorzystano system Motion Capture. Laboratorium badawcze (rys. 11a) służy do badań eksperymentalnych i testowania algorytmów sterowania rojem lub grupą robotów kołowych, składa się głównie dwóch systemów: systemu wizyjnego oraz systemu komunikacji bezprzewodowej
a) b) Rys. 11. a) arena badawcza, b) robot z markerami Fig. 11. a) robotic arena, b) robot with markers
Rys. 12. Osiągnięte odległości między robotem nr 1 a punktem odniesienia i sąsiadującym robotami, eksperyment Fig. 12. Distances obtained in the experiment between robot no. 1, the reference point and the other neighboring robots in the group
114
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Jakub Wiech się po linii prostej, co jest widoczne na wykresie toru robotów (rys. 13). Widoczne są również tory przypominające pętle. Po wyjściu z pętli roboty 1, 4 i 5 zaczęły poruszać się po linii prostej, natomiast robot 2 po łuku. Robot 3, ze względu na to, że znajdował się najbliżej końcowej pozycji grupy robotów, poruszał się po najkrótszej krzywej, która pozwalała na utrzymanie zadanej odległości do punktu odniesienia i sąsiednich robotów. Rysunki (14a, 14b, 15a, 15b) pokazują parametry geometryczne ruchu grupy robotów po eksperymencie. W porównaniu z symulacją (rys. 10a, 10b) wykresy składowych prędkości punktu odniesienia i geometrycznego środka grupy (rys. 15a, 15b) mają zbliżony kształt. W fazie przyspieszania punktu odniesienia (rys. 15a) 13 s, hamowania 109,6 s i przechodzenia przez pętlę (43–75 s) odpowiednio zmieniają się prędkości środka geometrycznego. Podobnie jak w przypadku symulacji, grupa robotów zachowuje się jak ciało odkształcalne. Wartości współrzędnych (rys. 14a, 14b) oraz prędkość geometrycznego środka grupy osiągają swoje maksymalne wartości w momencie zmiany prędkości lub kierunku punktu odniesienia. Z biegiem czasu współrzędne i prędkość geometrycznego środka grupy osiągają ustalone wartości, oscylując wokół nich. Podobnie jak w symulacji, wartości współrzędnych i prędkości środka
geometrycznego grupy są najbliższe zadanym wartościom, gdy grupa robotów porusza się po linii prostej. Największe różnice wartości pojawiają się podczas przyspieszania, hamowania i zmiany kierunku ruchu grupy.
4. Dyskusja Wyniki eksperymentu sterowania nadążnego grupy robotów dowodzą, że podczas przyspieszania i hamowania grupy oraz podczas ruchu po pętli odległości między robotami odbiegają od zadanej wartości maksymalnie o ok. 0,05 m. Podobne różnice dotyczą odległości między robotami a punktem odniesienia, gdzie błąd jest mniejszy niż 0,06 m. Dla grupy robotów poruszającej się po linii prostej ze zadaną stałą prędkością błędy w osiągnięciu zadanej odległości między robotami oraz między robotami a punktem odniesienia są o połowę mniejsze. Odległość geometrycznego środka grupy od punktu odniesienia była mniejsza niż 0,03 m. Podczas zmiany wartości lub kierunku prędkości punktu odniesienia kształt grupy ulega deformacji. Deformacja kształtu grupy jest bezpośrednio związana ze wzrostem różnicy odległości między robotami
Rys. 13. Tory ruchu robotów Fig. 13. Paths of the robots
a) b) Rys. 14. Porównanie współrzędnych środka geometrycznego grupy robotów i punktu odniesienia, a) oś x, b) oś y Fig. 14. Comparison of the values of the coordinates of the group’s geometric center and the reference point: (a) x coordinates, (b) y coordinates
115
Podążanie za zadaną trajektorią grupy robotów kołowych z użyciem wirtualnych połączeń sprężysto-tłumiących
a) b) Rys. 15. Porównanie prędkości środka geometrycznego grupy robotów i punktu odniesienia, a) oś x, b) oś y Fig. 15. Comparison of the velocities of the group’s geometric center and the reference point: (a) x coordinates, (b) y coordinates
i robotami a punktem odniesienia. Na wykresach wartości współrzędnych i rzutów prędkości geometrycznego środka grupy można wyróżnić etapy przyspieszania, ruchu ze stałą prędkością i hamowania grupy robotów. Ponadto na podstawie wyników symulacji i eksperymentu można stwierdzić, że grupa zachowuje się jak ciało elastycznie odkształcalne. Każda zmiana prędkości lub kierunku punktu odniesienia była odwzorowywana przez grupę z opóźnieniem przy jednoczesnej deformacji kształtu grupy robotów. Widać to wyraźnie na wykresach porównujących wartości współrzędnych i rzutów prędkości geometrycznego środka grupy i punktu odniesienia. Wykresy te przedstawiają oscylacje o zanikającej amplitudzie charakterystyczne dla drgań tłumionych. Ze względu na nieliniowy charakter drgań w badaniach nie uzyskano formalnego dowodu stabilności sterowania grupy dla ruchu nadążnego. Można zauważyć, że tłumienie oscylacji prędkości robota jest powiązane ze współczynnikami projektowymi cij, cio, cip. Z przeprowadzonych symulacji i eksperymentów wynika, że odpowiedni dobór tych współczynników umożliwia zapewnienie stabilności grupy przy założeniu, że błędy nadążania robotów są ograniczone, a przyspieszenie i prędkość punktu odniesienia są ograniczone i możliwe do osiągnięcia przez roboty. Ponadto musi być spełnione założenie, że proponowane sterowanie prędkością kątową robotów βi zmniejsza wartość kąta ψiW do zera.
stawie wyników eksperymentu można powiedzieć, że zaproponowany algorytm sterowania umożliwia podążanie grupy robotów za ruchomym punktem odniesienia w środowisku bez przeszkód.
Bibliografia 1. Mechali O., Iqbal J., Wang J., Xie X., Xu L., Distributed Leader-Follower Formation Control of Quadrotors Swarm Subjected to Disturbances; 2021 IEEE International Conference on Mechatronics and Automation (ICMA), 1442–1447. DOI: 10.1109/ICMA52036.2021.9512623. 2. Anderson B.D.O., Yu C., Fidan B., Hendrickx J.M., Rigid graph control architectures for autonomous formations. “IEEE Control Systems Magazine”, Vol. 28, No. 6, 2008, 48–63. DOI: 10.1109/MCS.2008.929280. 3. Liu L., Guo R., Ji J., Miao Z., Zhou J., Practical consensus tracking control of multiple nonholonomic wheeled mobile robots in polar coordinates. “International Journal of Robust and Nonlinear Control”, Vol. 30, No. 10, 2020, 3831–3847, DOI: 10.1002/rnc.4967. 4. Han X., Cao X., Lloyd E., Shen C.C., Deploying Directional Sensor Networks with Guaranteed Connectivity and Coverage; 2008 5th Annual IEEE Communications Society Conference on Sensor, Mesh and Ad Hoc Communications and Networks; 153–160. DOI: 10.1109/SAHCN.2008.28. 5. Spears W.M., Spears D.F., Physicomimetics: Physics-based swarm intelligence; Springer Science and Business Media, 2012. 6. Tan G., Zhuang J., Zou J., Wan L., Sun Z., Artificial potential field-based swarm finding of the unmanned surface vehicles in the dynamic ocean environment. “International Journal of Advanced Robotic Systems”, 2020, DOI: 10.1177/1729881420925309. 7. Giergiel M., Hendzel Z., Zylski W., Modelowanie i sterowanie mobilnych robotów kołowych (in Polish); Wydawnictwo Naukowe PWN, 2013. 8. Spong M., Hutchinson S., Vidyasagar M., Robot Modeling and Control, 2nd edition; Wiley, 2020. 9. Żylski W., Motion planning for wheeled mobile robot using potential field method. “Journal of Theoretical and Applied Mechanics”, Vol. 42, No. 3, 2004, 695–705. 10. Field M., Stirling D., Naghdy F., Pan Z., Motion capture in robotics review; 2009 IEEE International Conference on Control and Automation, 2010; 1697–1702. DOI: 10.1109/ICCA.20 319 09.5410185.
5. Wnioski Z badań numerycznych i eksperymentalnych wynika, że grupa robotów porusza się po zadanej trajektorii, zachowując kształt zbliżony do pożądanego. W pracy przedstawiono przykład sterowania nadążnego grupy robotów, w którym jako zadany tor grupy przyjęto tor typu prosta-pętla-prosta. Kształt grupy robotów można zdefiniować, dobierając odpowiednie długości zadanych odległości między najbliższymi robotami oraz między robotami a punktem odniesienia, zgodnie z zasadami geometrii. Przeprowadzono testy numeryczne wraz z badaniami eksperymentalnymi podążania za zadaną trajektorią dla grupy pięciu robotów kołowych. Dla zaproponowanego algorytmu sterowania otrzymano podobne wykresy wartości sygnałów z testów numerycznych i badań weryfikacyjnych. Uzyskane wyniki dowodzą poprawności modelu grupy robotów. Wyniki przeprowadzonej weryfikacji są porównywalne z wynikami symulacji. Można stwierdzić poprawność przyjętego opisu zachowania grupy i na pod-
116
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Jakub Wiech
Trajectory Tracking of a Wheeled Robotic Group Connected with Virtual Spring-Damper Mesh Abstract: The article presents the solution to the problem of trajectory tracking of
a self-organized group of wheeled robots in the environment without obstacles. The group of robots is tracking a trajectory realized as following a reference point by the geometric center of the group, as well as simultaneously, reaching and maintaining a given distance between neighboring robots. The proposed method is based on virtual forces from virtual spring-damper connections between robots, which allows for the trajectory tracking of the previously self-organized group while maintaining its desired shape. The presented method of control is described in detail with the description of i-th robot dynamics and was tested numerically and experimentally. The paper presents the results of numerical tests and experimental research and ends with discussion and conclusions. The paper’s results could be expanded for applications related to robotic group trajectory tracking.
Keywords: robotic group, wheeled robots, trajectory tracking, physicomimetics, robotic group control
dr inż. Jakub Wiech
j.wiech@prz.edu.pl ORCID: 0000-0002-6236-5377 Adiunkt w Katedrze Mechaniki Stosowanej i Robotyki Politechniki Rzeszowskiej. W 2022 roku uzyskał tytuł doktora na Politechnice Rzeszowskiej w dyscyplinie inżynieria mechaniczna. W 2019 roku brał udział w projekcie TerriNet, pracując nad algorytmami sterowania rojami i grupami robotów kołowych. Jego zainteresowania naukowe obejmują obszar robotyki, a w szczególności autonomiczne systemy sterowania robotami mobilnymi. Zainteresowania badawcze obejmują również analizę drgań mechanicznych i uczenie maszynowe.
117
118
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Pomiary Automatyka Robotyka, ISSN 1427-9126, R. 27, Nr 3/2023, 119–122, DOI: 10.14313/PAR_249/119
Ważne zmiany w obowiązywaniu Dyrektywy Maszynowej Agnieszka Wilk-Ilewicz
Politechnika Warszawska, Wydział Administracji i Nauk Społecznych, Plac Politechniki 1, 00-661 Warszawa
Streszczenie: W artykule przedstawiono przegląd ważnych zmian wymagań wprowadzanych za pomocą nowego rozporządzenia Parlamentu Europejskiego i Rady (UE) 2023/1230 z dnia 14 czerwca 2023 r. w sprawie maszyn oraz w sprawie uchylenia dyrektywy 2006/42/WE, które z dniem 20 stycznia 2027 r. zacznie obowiązywać w Europejskim Obszarze Gospodarczym i zastąpi stosowaną dotychczas dyrektywę maszynową 2006/42/WE. Ważniejsze zmiany to: wprowadzenie precyzyjnych definicji i pojęć, np. „maszyna nieukończona”, klarownych wymagań dotyczących zdrowia i bezpieczeństwa oraz procedury oceny zgodności, uwypuklenie roli producenta przy przeprowadzaniu oceny ryzyka dla produktu objętego zakresem stosowania rozporządzenia, wprowadzenie zasady należytej staranności działania dystrybutora, określenie formy instrukcji obsługi, i wreszcie podkreślenie obowiązków Państw Członkowskich dotyczące nadzoru rynku. Słowa kluczowe: Dyrektywa Maszynowa
1. Wprowadzenie Po 15 latach obowiązywania Dyrektywy Maszynowej 2006/42/ WE [2] czeka nas wielka zmiana. Już wkrótce będziemy zobowiązani do stosowania rozporządzenia Parlamentu Europejskiego i Rady (UE) 2023/1230 z dnia 14 czerwca 2023 r. w sprawie maszyn oraz w sprawie uchylenia dyrektywy 2006/42/WE Parlamentu Europejskiego i Rady i dyrektywy Rady 73/361/EWG [3]. Zastąpienie dyrektywy rozporządzeniem ma na celu uniknięcie rozbieżnego wdrażania przepisów, a w konsekwencji unikania niespójnej interpretacji postanowień na poziomie krajowym. Przepisy rozporządzenia ze względu na wagę regulacji w zakresie np. ochrony zdrowia i bezpieczeństwa oraz oceny zgodności muszą być stosowane sposób jednolity przez wszystkie podmioty w całej Unii. Dodatkowym argumentem za zmianą było to, że obecnie obowiązujące przepisy są nieprzystosowane do zmian technologicznych, które dynamicznie zachodzą na rynku. Postanowienia rozporządzenia będą obowiązywać od stycznia 2027 r.
Autor korespondujący: Agnieszka Wilk-Ilewicz, agnieszka.ilewicz@pw.edu.pl Artykuł recenzowany nadesłany 08.12.2022 r., przyjęty do druku 18.07.2023 r. Zezwala się na korzystanie z artykułu na warunkach licencji Creative Commons Uznanie autorstwa 3.0
2. Dyrektywa Maszynowa – rys historyczny Jak wskazano w pkt 1 preambuły do rozporządzenia 2023/1230 Dyrektywę maszynową przyjęto w kontekście ustanawiania rynku wewnętrznego Unii Europejskiej, aby zharmonizować wymagania w zakresie ochrony zdrowia i bezpieczeństwa w odniesieniu do maszyn we wszystkich państwach członkowskich oraz usunąć przeszkody w handlu maszynami między państwami członkowskimi. Dyrektywa Maszynowa miała na celu zwiększenie bezpieczeństwa użytkowników, a także ułatwienie wprowadzenia maszyn na wspólny rynek. Wszyscy uczestnicy tego procesu, czyli producenci, importerzy i dystrybutorzy, muszą ściśle przestrzegać wymogów dyrektywy maszynowej, aby zapewnić ochronę zdrowia i życia użytkowników oraz zgodność z obowiązującymi przepisami. Dyrektywa Maszynowa definiuje maszynę dość szeroko. I tak, jako zespół wyposażony lub przeznaczony do wyposażenia w mechanizm napędowy inny niż bezpośrednio wykorzystujący siłę mięśni ludzkich lub zwierzęcych, składający się ze sprzężonych części lub elementów, z których przynajmniej jedna wykonuje ruch, połączonych w całość mającą konkretne zastosowanie. Jako zespół określony jak powyżej, jedynie z pominięciem elementów przeznaczonych do jego podłączenia w miejscu pracy lub do podłączenia do źródeł energii i napędu. Jako zespół określony jak powyżej, gotowy do zainstalowania i zdolny do funkcjonowania w danym stanie jedynie w przypadku gdy jest zamontowany na środkach transportu lub zainstalowany w jakimś budynku lub na konstrukcji. I wreszcie jako zespoły maszyn określone w łącznie jak powyżej lub maszyny nieukończone, które w celu osiągnięcia określonego
119
Ważne zmiany w obowiązywaniu Dyrektywy Maszynowej
efektu końcowego, zostały zestawione i są sterowane w taki sposób, że działają jako zintegrowana całość, zespół sprzężonych części lub elementów, z których przynajmniej jedna wykonuje ruch, połączonych w całość, przeznaczony do podnoszenia ładunków, a którego jedynym źródłem mocy jest bezpośrednie wykorzystanie siły ludzkich mięśni. Definicja obejmuje niemal wszystkie produkty z ruchomymi częściami, od prostych narzędzi ręcznych po zaawansowane urządzenia przemysłowe. W związku z tym, Dyrektywa Maszynowa znajduje szerokie zastosowanie w wielu gałęziach przemysłu i sektorach gospodarki. Niezależnie jednak skąd pochodzi maszyna, jeśli ma być użytkowana na terenie UE, musi spełniać określone w dyrektywie maszynowej zasadnicze wymagania bezpieczeństwa. Pełna zgodność maszyny z wymaganiami leży w najlepszym interesie użytkownika. Ocena zgodności to analiza wielu aspektów formalnych i praktycznych, weryfikacja dostarczonej dokumentacji maszyny i ocena ryzyka, potwierdzająca poprawność doboru środków bezpieczeństwa, w tym bezpiecznej konstrukcji, technicznych środków ochronnych i środków organizacyjnych. Dyrektywa Maszynowa jako całość sprzyja temu, by odbiorcom było łatwiej zapoznać się z zasadami bezpiecznego użytkowania poszczególnych urządzeń przemysłowych oraz temu, żeby w jak największym zakresie zminimalizować ryzyko związane z ich stosowaniem w praktyce. Dyrektywa nakłada na producentów obowiązek zapewnienia zgodności ich produktów z określonymi normami bezpieczeństwa i zdrowia. Wymaga to przeprowadzenia oceny ryzyka, opracowania i wdrożenia środków mających na celu zminimalizowanie identyfikowanego ryzyka, a także przeprowadzenia procedury oceny zgodności i oznakowania maszyny znakiem CE. Importerzy sprowadzający maszyny z Chin, muszą zapewnić, że maszyny, które wprowadzają na rynek UE, są zgodne z dyrektywą maszynową. Oznacza to, że muszą upewnić się, że producent przeprowadził odpowiednią ocenę ryzyka, że maszyna została prawidłowo oznakowana znakiem CE oraz, że producent przygotował pełną dokumentację techniczną i oświadczenie o zgodności. W przypadku niezgodności, importerzy muszą wycofać maszyny z rynku i poinformować organy kontrolne. Bezpieczny import z Chin zgodnie z dyrektywą maszynową jest kluczowy dla utrzymania wysokich standardów bezpieczeństwa w Unii Europejskiej. W przypadku niezgodności, importerzy muszą wycofać maszyny z rynku i poinformować organy kontrolne. Ostatnie zmiany przepisów dotyczyły odpowiedzialności, zdalnej diagnostyki i konserwacji maszyn. Wszystkie te przepisy miały na celu zwiększenie bezpieczeństwa użytkowników maszyn oraz ułatwienie wprowadzania ich na rynek wewnątrz Unii Europejskiej. Dyrektywa Maszynowa obowiązuje od 1995 r., jednak na przestrzeni lat ulegała zmianom. Obecnie obowiązująca Dyrektywa Maszynowa to akt prawny, który został stworzony w 2006 r. Kolejne zmiany miały miejsce w latach 2009, 2015, 2020 i 2021.
wym porządku prawnym [4]. Wiąże ona bowiem w odniesieniu do rezultatu, który ma być osiągnięty. Obowiązek ten nie ogranicza się do zaistnienia wymaganego stanu prawnego, ale obejmuje także efektywne stosowanie norm dyrektywy. Innymi słowy, dyrektywa wiąże co do rezultatu państwa członkowskie, do których jest adresowana, pozostawia jednak organom krajowym swobodę wyboru formy i środków. Po wejściu w życie dyrektywy państwa członkowskie są zobowiązane do wszczęcia działań, które w określonym terminie zapewnią osiągnięcie rezultatu przewidzianego w dyrektywie. Najczęściej uważa się, ze transpozycja dyrektywy odbywa się przez organ ustawodawczy tj. przenosząc te rozważania na grunt prawa krajowego w formie ustawy. Dopuszczalne jest jednak także wydanie aktów wykonawczych (w Polsce np. rozporządzeń organów władzy wykonawczej), jeżeli są wydawane z upoważnienia ustawowego lub konstytucyjnego [5]. To właśnie taki model wdrożenia Dyrektywy maszynowej przyjęto w Polsce. Rozporządzenie Ministra Gospodarki z dnia 21 października 2008 r. w sprawie zasadniczych wymagań dla maszyn (Dz.U. z 2008 r. nr 199, poz. 1228) wdrażały postanowienia dyrektywy Parlamentu Europejskiego i Rady 2006/42/WE. Rozporządzenie krajowe wdrażające Dyrektywę maszynową należy czytać łącznie z ustawą o systemie oceny zgodności (t.j. Dz.U. z 2021 r. poz. 1344 ze zm.). Tam w artykule 9 znajduje się odpowiednie upoważnienie dla Ministra do wydania rozporządzenia w brzmieniu: „Minister właściwy ze względu na przedmiot oceny zgodności określi, w drodze rozporządzeń, zasadnicze wymagania dla wyrobów podlegających ocenie zgodności oraz procedury oceny zgodności, biorąc pod uwagę rodzaje wyrobów oraz stopień stwarzanych przez nie zagrożeń, a także inne wymagania zawarte w dyrektywach nowego podejścia. I dalej, Minister właściwy ze względu na przedmiot oceny zgodności określi, wydając rozporządzenia, w szczególności metody badań, sposób oznakowania wyrobów oraz wzór znaku”. Przyjęty w Polsce model transpozycji dyrektywy z pewnością nie może być oceniony jako skuteczny. Nie dość, że wskazana powyżej ustawa dokonywała transpozycji prawie 40 dyrektyw (sic!), to rozporządzenie Ministra nie odnosiło się do wszystkich aspektów bezpieczeństwa wskazanych w dyrektywie. W związku z niepełnym wdrożeniem dyrektywy do polskiego porządku prawnego (świadomi, czy też nie – zasad stosowania przepisów prawa UE) inżynierowie każdorazowo zapewniali rezultat dyrektywy czyli zgodność maszyny z przepisami odnosząc się bezpośrednio do postanowień Dyrektywy maszynowej.
4. Rozporządzenie 2023/1230 – od kiedy i jak będzie obowiązywało? Mając na uwadze także polskie, wskazane wyżej, doświadczenia z transpozycją Dyrektywy maszynowej, niedociągnięcia i niezgodności w stosowaniu jej postanowień w odniesieniu do zakresu produktów i do procedur oceny zgodności, w opinii instytucji UE zaangażowanych w proces, należało poprawić i uprościć przepisy określone w tej dyrektywie, a także określić jasne zasady w odniesieniu do ram, w których wskazane produkty mogą być udostępniane na rynku. W preambule wyraźnie wskazano, że ponieważ przepisy określające wymagania dla produktów objętych zakresem stosowania niniejszego rozporządzenia, w szczególności zasadnicze wymagania w zakresie ochrony zdrowia i bezpieczeństwa oraz procedury oceny zgodności, muszą być stosowane w sposób jednolity przez wszystkie podmioty w całej Unii i nie mogą
3. Na jakich zasadach obowiązywała Dyrektywa Maszynowa w Polsce? Dyrektywa Maszynowa jest aktem Unii Europejskiej prawnie wiążącym. Oznacza to, że dyrektywa ta (jak i każda inna) stanowi element prawa Unii Europejskiej oraz ma moc obowiązującą (zmierza do wywołania skutków prawnych wobec osób trzecich) [4]. Dyrektywa jest nazywana specyficznym aktem prawnym Unii, co potwierdza jej szczególny charakter w ponadnarodo-
120
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Agnieszka Wilk-Ilewicz
stwarzać pola dla ich rozbieżnego wdrażania przez państwa członkowskie Dyrektywę maszynową należy zastąpić rozporządzeniem. Rozporządzenie jest aktem o „ogólnym zasięgu”, czyli aktem normatywnym powszechnie obowiązującym o charakterze ogólnym i abstrakcyjnym. Służy ono zapewnieniu jednolitego stosowania we wszystkich państwach członkowskich UE. Rozporządzenie wiąże w całości, co oznacza, że rozporządzenie wiąże w całości, a nie jak dyrektywy, które wiążą w pewnym zakresie (wyłącznie co do celów). Oznacza to także, że państwa członkowskie są zobowiązane do pełnego i jednolitego stosowania rozporządzenia. Innymi słowy, niedopuszczalne jest, aby państwa członkowskie stosowały wybiórczo lub niezupełnie przepisy rozporządzenia [4]. Co istotne, rozporządzenie nie wymaga ani transpozycji do systemu prawnego wewnętrznego państw członkowskich, ani też ogłoszenia według reguł tego prawa. Trybunał Sprawiedliwości UE jednoznacznie orzekł, że bezpośrednie obowiązywanie rozporządzenia oznacza, że jego wejście w życie i stosowanie nie są zależne od jakiekolwiek aktu włączającego go do prawa krajowego [6]. Rada UE przyjęła nowe przepisy 22 maja 2023 r. Weszły one w życie dwudziestego dnia po publikacji. W Polsce i pozostałych państwach UE, przepisy zaczną obowiązywać 42 miesiące (trzy i pół roku) od ich wydania, to jest 20 stycznia 2027 r. Rozporządzenie UE nie wymaga transpozycji rozporządzeniem ministra ds. gospodarki, jak obecnie obowiązująca dyrektywa 2006/42/WE i będzie, jak wynika z charakteru tego aktu prawnego opisanego powyżej, obowiązywać bezpośrednio.
4.1. Co oznacza bezpośrednie obowiązywanie dla inżynierów?
Mając na uwadze, dotychczasowe działania inżynierów w zakresie stosowania przepisów odnoszących się m. in. do bezpieczeństwa maszyny, niewiele się zmieni. Należy wnikliwie czytać przepisy rozporządzenia i precyzyjnie stosować się do zawartych tam uregulowań.
4.2. Co reguluje rozporządzenie?
W rozporządzeniu podkreślono, że sektor maszynowy jest ważną gałęzią przemysłu inżynieryjnego i stanowi jeden z przemysłowych filarów gospodarki Unii. Koszty społeczne dużej liczby wypadków powodowanych bezpośrednio przez użytkowanie maszyn można zmniejszyć przez projektowanie i wytwarzanie maszyn bezpiecznych samych w sobie oraz przez właściwe ich instalowanie i konserwację. Na swoim terytorium państwa członkowskie są odpowiedzialne za ochronę zdrowia i bezpieczeństwa ludzi, w szczególności pracowników i konsumentów oraz, w stosownych przypadkach, zwierząt domowych i mienia, a także, w stosownych przypadkach, za ochronę środowiska, w szczególności w związku z ryzykiem wynikającym z użytkowania zgodnie z przeznaczeniem lub z wszelkiego racjonalnie przewidywalnego niewłaściwego użytkowania maszyn lub produktów powiązanych. Rozporządzenie 2023/1230 zwraca szczególną uwagę na rozwój technologii. Wskazano, że rozwój sektora maszynowego spowodował wzrost wykorzystania środków cyfrowych, a oprogramowanie odgrywa coraz ważniejszą rolę w projektowaniu maszyn. W związku z tym należało dostosować definicję maszyny. W tym kontekście maszyna jedynie bez instalacji oprogramowania przeznaczonego do konkretnego zastosowania przewidzianego przez producenta i która podlega procedurze oceny zgodności maszyn, powinna wchodzić w zakres definicji maszyny, a nie definicji produktów powiązanych lub maszyny nieukończonej. Ponadto definicja elementów bezpieczeństwa
powinna obejmować nie tylko urządzenia fizyczne, ale również urządzenia cyfrowe. Aby uwzględnić rosnące wykorzystanie oprogramowania jako elementu bezpieczeństwa, oprogramowanie spełniające funkcję bezpieczeństwa i wprowadzane do obrotu osobno należy uznawać za element bezpieczeństwa. Co ważne, w rozporządzeniu wskazuję się, że podmioty gospodarcze powinny odpowiadać za zgodność produktów objętych zakresem stosowania niniejszego rozporządzenia z wymaganiami niniejszego rozporządzenia, zgodnie z ich rolą w łańcuchu dostaw, tak aby zapewnić wysoki poziom ochrony interesów publicznych, takich jak ochrona zdrowia i bezpieczeństwa osób, w szczególności konsumentów i użytkowników profesjonalnych oraz, w stosownych przypadkach, zwierząt domowych, mienia, a także, w stosownych przypadkach, środowiska, jak również uczciwa konkurencja na rynku unijnym. Do przeprowadzenia procedury oceny zgodności najbardziej kompetentny jest producent, ponieważ ma on dokładną wiedzę o procesie projektowania i produkcji. Ocena zgodności powinna zatem pozostać wyłącznym obowiązkiem producenta. Producent powinien zatem przeprowadzić oceny ryzyka dla produktu objętego zakresem stosowania niniejszego rozporządzenia. W tym kontekście producent powinien określić, które z zasadniczych wymagań w zakresie ochrony zdrowia i bezpieczeństwa mają zastosowanie do produktu objętego zakresem stosowania niniejszego rozporządzenia i jakie środki należy przyjąć, aby wyeliminować ryzyko potencjalnie stwarzane przez produkt. Ocena ryzyka powinna również dotyczyć przyszłych aktualizacji lub zmian oprogramowania zainstalowanego w maszynie lub produkcie powiązanym, przewidzianych w momencie wprowadzania maszyny lub produktu powiązanego do obrotu lub w momencie oddawania ich do użytku. Ryzyko zidentyfikowane podczas oceny ryzyka powinno obejmować ryzyko, które może pojawić się podczas cyklu życia produktu w związku z zamierzoną zmianą w jego zachowaniu w kierunku działania na różnych poziomach autonomii.
5. Podsumowanie Od 2027 r. czekają nas duże zmiany w stosowaniu przepisów w zakresie bezpieczeństwa maszyn. O ile dla inżynierów zmiana może nie być aż tak bardzo zauważalna, dla prawnika ta zmiana ma znaczenie fundamentalne. Będziemy zobowiązani do stosowania przepisów rozporządzenia bezpośrednio – identycznie we wszystkich państwach członkowskich UE. Część przepisów nie ulegnie zmianie względem przepisów obowiązującej dotychczas dyrektywy. Należy przy tym zauważyć, że dokonano zmian edycyjnych w kolejności artykułów i załączników (np. dotychczasowy załącznik nr IV teraz będzie załącznikiem nr I). Trzeba również zwrócić uwagę na nowości: dodano moduł procedury oceny zgodności (do już obowiązujących modułów A, B+C, H doszedł moduł G), wprowadzono nowe definicje (m.in. „istotna modyfikacja”) i zmienione definicje niektórych pojęć, dopuszczono możliwość dostarczania elektronicznej wersji instrukcji obsługi, zmieniono zasady dotyczące instrukcji – te w wersji papierowej nadal będą udostępniane jak dotychczas, ale wyłącznie na prośbę klientów, wprowadzono wymagania odnoszące się do przepisów cyberbezpieczeństwa i sztucznej inteligencji. Z uwagi na luki i nieścisłości Dyrektywy maszynowej mające znaczenie dla bezpieczeństwa użytkowania urządzeń, należy pozytywnie ocenić zmianę na rozporządzenie 2023/1230 celem dalszej poprawy poziomu bezpieczeństwa, uwzględnienia aspektów bezpieczeństwa oraz nadążania za nowymi osiągnięciami technologicznymi.
121
Ważne zmiany w obowiązywaniu Dyrektywy Maszynowej
Bibliografia
Europejskiego i Rady i dyrektywy Rady 73/361/EWG, Dz. Urz. UE L 165 z dnia 29 czerwca 2023 r.). 4. Traktat o funkcjonowaniu Unii Europejskiej, Komentarz do art. 288 (red. A. Wróbel), LEX Wolters Kluwer business, Warszawa 2012. 5. Prechal S., Directives in EC Law, Oxford 2005. 6. Wyrok Trybunału Sprawiedliwości z dnia 2 lutego 1977 r. w sprawie 50/76 Amsterdam Bulb BV przeciwko Produktschap voor Siergewassen, ECLI identifier: ECLI:EU:C:1977:13.
1. Klimasara W., Nowa Dyrektywa Maszynowa 2006/42/ WE – przegląd zmian, „Pomiary Automatyka Robotyka”, R. 13, Nr 11, 2009, 6-9. 2. Wersja skonsolidowana: https://eur-lex.europa.eu/legal-content/PL/TXT/PDF/?uri=CELEX:02006L0042-20091215&from=PL 3. Rozporządzenie Parlamentu Europejskiego i Rady (UE) 2023/1230 z dnia 14 czerwca 2023 r. w sprawie maszyn oraz w sprawie uchylenia dyrektywy 2006/42/WE Parlamentu
Important Changes in the Application of the Machinery Directive Abstract: After 15 years of validity of the Machinery Directive 2006/42/EC a big change awaits
us. We will soon be obliged to apply Regulation (EU) 2023/1230 of the European Parliament and of the Council of 14 June 2023 on machinery. Replacing the directive with a regulation aims to avoid divergent implementation of the directives’ provisions and, consequently, inconsistent interpretation of the provisions at national level. The provisions of the regulation, due to the importance of regulations in the field of, for example, health and safety protection and conformity assessment, must be applied in a uniform manner by all entities throughout the European Union. An additional argument for the change was that the current regulations are not adapted to the technological changes that are dynamically occurring on the market. The provisions of the regulation will apply from January 2027.
Keywords: Machinery Directive
dr Agnieszka Wilk-Ilewicz agnieszka.ilewicz@pw.edu.pl ORCID: 0000-0002-5930-5728
Doktor nauk prawnych, radca prawny, adiunkt na Wydziale Administracji i Nauk Społecznych Politechniki Warszawskiej, wykładowca w Okręgowej Izbie Radców Prawnych w Warszawie, przez 18 lat ekspert w zakresie prawa Unii Europejskiej Naczelnego Sądu Administracyjnego, obecnie Dyrektor Departamentu Prawno-Organizacyjnego Sieć Badawcza Łukasiewicz – Przemysłowego Instytutu Automatyki i Pomiarów PIAP. Absolwentka Prawa i Europeistyki na Wydziale Prawa i Administracji Uniwersytetu im. Adama Mickiewicza w Poznaniu. Autorka kilkudziesięciu publikacji z zakresu prawa europejskiego (ze szczególnym uwzględnieniem nowych technologii i ochrony środowiska), ochrony praw człowieka oraz prawa administracyjnego – materialnego i procesowego.
122
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
Pomiary Automatyka Robotyka, ISSN 1427-9126, R. 27, Nr 3/2023
Informacje dla Autorów Za artykuł naukowy – zgodnie z Komunikatem Ministra Nauki i Szkolnictwa Wyższego z dnia 29 maja 2013 r. w sprawie kryteriów i trybu oceny czasopism naukowych – należy rozumieć artykuł prezentujący wyniki oryginalnych badań o charakterze empirycznym, teoretycznym, technicznym lub analitycznym zawierający tytuł publikacji, nazwiska i imiona autorów wraz z ich afiliacją i przedstawiający obecny stan wiedzy, metodykę badań, przebieg procesu badawczego, jego wyniki oraz wnioski, z przytoczeniem cytowanej literatury (bibliografię). Do artykułów naukowych zalicza się także opublikowane w czasopismach naukowych opracowania o charakterze monograficznym, polemicznym lub przeglądowym, jak również glosy lub komentarze prawnicze.
Wskazówki dla Autorów przygotowujących artykuły naukowe do publikacji Artykuły naukowe zgłoszone do publikacji w kwartalniku naukowotechnicznym Pomiary Automatyka Robotyka powinny spełniać następujące kryteria formalne: – tytuł artykułu (nieprzekraczający 80 znaków) w języku polskim oraz angielskim, – imię i nazwisko Autora/Autorów, adres e-mail, afiliacja (instytucja publiczna, uczelnia, zakład pracy, adres), – streszczenie artykułu (o objętości 150–200 słów) w języku polskim oraz angielskim, – słowa kluczowe (5–8 haseł) w języku polskim oraz w języku angielskim angielskim, – zasadnicza część artykułu – w języku polskim (lub w j. angielskim), – podpisy pod rysunkami w języku polskim oraz w języku angielskim, – tytuły tabel w języku polski oraz w języku angielskim, – ilustracje/grafika/zdjęcia jako osobne pliki w formacie .eps, .cdr, jpg lub .tiff, w rozdzielczości min. 300 dpi, min. 1000 pikseli szerokości, opisane zgodnie z numeracją grafiki w tekście.
Artykuł powinien mieć objętość równą co najmniej 0,6 arkusza wydawniczego, nie powinien przekraczać objętości 1 arkusza wydawniczego (40 000 znaków ze spacjami lub 3000 cm2 ilustracji, wzorów), co daje ok. 8 stron złożonego tekstu. W przypadku artykułów przekraczających tę objętość sugerowany jest podział na części. Nie drukujemy komunikatów! Do artykułu muszą być dołączone notki biograficzne wszystkich Autorów (w języku artykułu) o objętości 500–750 znaków oraz ich aktualne fotografie. Redakcja zastrzega sobie prawo dokonywania skrótów, korekty językowej i stylistycznej oraz zmian terminologicznych. Przed publikacją autorzy akceptują końcową postać artykułu.
System recenzencki PAR Redakcja przyjmuje wyłącznie artykuły oryginalne, wcześniej niepublikowane w innych czasopismach, które przeszły etap weryfikacji redakcyjnej. Autorzy ponoszą całkowitą odpowiedzialność za treść artykułu. Autorzy materiałów nadesłanych do publikacji są odpowiedzialni za przestrzeganie prawa autorskiego. Zarówno treść pracy, jak i zawarte w niej ilustracje, zdjęcia i tabele muszą stanowić dorobek własny Autora, w przeciwnym razie muszą być opisane zgodnie z zasadami cytowania, z powołaniem się na źródło. Oddaliśmy do dyspozycji Autorów i Recenzentów System Recenzencki, który gwarantuje realizację tzw. podwójnie ślepej recenzji. Przesyłając artykuł do recenzji należy usunąć wszelkie elementy wskazujące na pochodzenie artykułu – dane Autorów, ich afiliację, notki biograficzne. Dopiero po recenzji i poprawkach sugerowanych przez Recenzentów artykuł jest formatowany zgodnie z przyjętymi zasadami. W przypadku zauważonych problemów, prosimy o kontakt z Redakcją.
Kwartalnik naukowotechniczny Pomiary Automatyka Robotyka jest indeksowany w bazach BAZTECH, Google Scholar oraz INDEX COPERNICUS (ICV 2021: 90,03), a także w bazie naukowych i branżowych polskich czasopism elektronicznych ARIANTA. Przyłączając się do realizacji idei Otwartej Nauki, udostępniamy bezpłatnie wszystkie artykuły naukowe publikowane w kwartalniku naukowo-technicznym Pomiary Automatyka Robotyka. Punktacja Ministerstwa Edukacji i Nauki za publikacje naukowe w kwartalniku Pomiary Automatyka Robotyka wynosi obecnie 100 pkt. (wykaz czasopism naukowych i recenzowanych materiałów z konferencji międzynarodowych z dnia 17 lipca 2023 r., poz. 29984). Przypisane dyscypliny naukowe – automatyka, elektronika, elektrotechnika i technologie kosmiczne; informatyka techniczna i telekomunikacja; inżynieria lądowa, geodezja i transport; inżynieria mechaniczna.
123
INFORMACJE DLA AUTORÓW
Oświadczenie dotyczące jawności informacji o podmiotach przyczyniających się do powstania publikacji Redakcja kwartalnika naukowotechnicznego Pomiary Automatyka Robotyka, wdrażając politykę Ministra Nauki i Szkolnictwa Wyższego odnoszącą się do dokumentowania etycznego działania Autorów, wymaga od Autora/Autorów artykułów podpisania przed przyjęciem artykułu do druku druku w kwartalniku oświadczenia zawierającego: 1. informację o udziale merytorycznym każdego wymieniowego Autora w przygotowaniu publikacji – celem jest wykluczenie przypadków tzw. „guest authorship”, tj. dopisywania do listy Autorów publikacji nazwisk osób, których udział w powstaniu publikacji był znikomy albo w ogóle nie miał miejsca. 2. informację o uwzględnieniu w publikacji wszystkich osób, które miały istotny wpływ na jej powstanie – celem jest: – potwierdzenie, że wszystkie osoby mające udział w powstaniu pracy zostały uwzględnione albo jako współautorzy albo jako osoby, którym autor/autorzy dziękują za pomoc przy opracowaniu publikacji, – potwierdzenie, że nie występuje przypadek „ghostwriting”, tzn. nie występuje sytuacja, w której osoba wnosząca znaczny wkład w powstanie artykułu nie została wymieniona jako współautor ani nie wymieniono jej roli w podziękowaniach, natomiast przypisano autorstwo osobie, która nie wniosła istotnego wkładu w opracowanie publikacji;
124
P
O
M
I
A
Redakcja na mocy udzielonej licencji ma prawo do korzystania z utworu, rozporządzania nim i udostępniania dowolną techniką, w tym też elektroniczną oraz ma prawo do rozpowszechniania go dowolnymi kanałami dystrybucyjnymi.
3. informację o źródłach finansowania badań, których wyniki są przedmiotem publikacji – w przypadku finansowania publikacji przez instytucje naukowo-badawcze, stowarzyszenia lub inne podmioty, wymagane jest podanie informacji o źródle środków pieniężnych, tzw. „financial disclosure” – jest to informacja obligatoryjna, nie koliduje ze zwyczajowym zamieszczaniem na końcu publikacji informacji lub podziękowania za finansowanie badań.
Zapraszamy do współpracy Poza artykułami naukowymi publikujemy również materiały informujące o aktualnych wydarzeniach, jak konferencje, obronione doktoraty, habilitacje, uzyskane profesury, a także o realizowanych projektach, konkursach – słowem, o wszystkim, co może interesować i integrować środowisko naukowe. Zapraszamy do recenzowania/ polecania ciekawych i wartościowych książek naukowych.
Umowa o nieodpłatne przeniesienie praw majątkowych do utworów z zobowiązaniem do udzielania licencji CC-BY Z chwilą przyjęcia artykułu do publikacji następuje przeniesienie majątkowych praw autorskich na wydawcę. Umowa jest podpisywana przed przekazaniem artykułu do recenzji. W przypadku negatywnych recenzji i odrzucenia artykułu umowa ulega rozwiązaniu.
Redakcja kwartalnika Pomiary Automatyka Robotyka nauka@par.pl
Zasady cytowania
Podczas cytowania artykułów publikowanych w kwartalniku naukowo-technicznym Pomiary Automatyka Robotyka prosimy o podawanie nazwisk wszystkich autorów, pełną nazwę czasopisma oraz numer DOI, np.:
Mariusz Kastek, Andrzej Ligienza, Tomasz Sosnowski, Jadwiga Holewa-Rataj, Mateusz Rataj, Anna Timofiejczuk, Sebastian Rzydzik, Remote Detection and Quantification of Methane Emissions Based on Hyperspectral Data Analysis, ISSN 1427-9126, R. 27, Nr 3/2023, 5–12, DOI: 10.14313/PAR_249/5.
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
126
P
O
M
I
A
R
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/2023
POLECANE KSIĄŻKI
Bezprzewodowe sieci czujników w Internecie Rzeczy Modele – algorytmy – protokoły Wydana w grudniu 2022 r. przez Wydawnictwo Naukowe PWN książka jest pierwszą w języku polskim monografią poświęconą modelowaniu i projektowaniu bezprzewodowych sieci tworzonych przez sensory. Jest to praca zbiorowa autorstwa pracowników i byłych doktorantów Politechniki Warszawskiej. Stanowi podsumowanie badań prowadzonych na PW przez Zespół Złożonych Systemów kierowany przez prof. Ewę Niewiadomską-Szynkiewicz.
Monografia wpisuje się w bardzo aktualną tematykę, jaką jest projektowanie i zarzadzanie systemami Internetu Rzeczy, czyli systemami teleinformatycznymi, w których jednoznacznie identyfikowane urządzenia zbierają, przetwarzają i wymieniają między sobą dane. Upowszechnienie różnych urządzeń przenośnych z dostępem do Internetu spowodowało, że rozwiązania stosujące bezprzewodowe sieci czujników mają ogromną szansę na szerokie zastosowanie. Towarzyszy temu idea wszechobecnego prze-
Prof. dr hab. inż. Ewa Niewiadomska-Szynkiewicz Profesor nauk technicznych. Pracownik badawczo-dydaktyczny w Instytucie Automatyki i Informatyki Stosowanej (IAIS) na Wydziale Elektroniki i Technik Informacyjnych (WEiTI) Politechniki Warszawskiej (PW), obecnie na stanowisku profesora. Kierownik Zespołu Złożonych Systemów w IAIS. Ekspert i doradca dyrektora Głównego Instytutu Górnictwa (GIG) oraz wiceprzewodnicząca ISAC-GIG. Członek Komitetu Automatyki i Robotyki PAN, wiceprzewodnicząca Rady Naukowej IBS PAN, członek Rady Fundacji Krzewienia Nauk Systemowych. W latach 1999–2001 pracownik Knowledge Support Systems Group plc., UK. W latach 2009–2022 Zastępca Dyrektora – Dyrektor ds. Naukowych NASK i kierownik Centrum Badań i Transferu Technologii. W latach 2010–2016 ekspert Polskiej Komisji Akredytacyjnej. Stypendystka programu TEMPUS, fundacji im. Stefana Batorego, fundacji Lombardia per l’ambiente. Kierownik krajowych i międzynarodowych zespołów badawczych, kierownik i wykonawca ponad 50 projektów naukowo-badawczych finansowanych przez polskie i zagraniczne agendy rządowe oraz prac realizowanych w ramach współpracy jednostek naukowych i przemysłowych. Specjalizuje się w systemach teleinformatycznych, modelowaniu i sterowaniu złożonymi systemami, systemach wspomagania decyzji, symulacji komputerowej i obliczeniach wielkiej skali. Autorka i współautorka monografii naukowych oraz około dwustu publikacji w czasopismach, książkach i materiałach konferencyjnych. Członek komitetów redakcyjnych czasopism oraz komitetów programowych i organizacyjnych konferencji krajowych i międzynarodowych. Wielokrotnie nagradzana za prace naukowe i działalność organizacyjną.
128
P
O
M
I
A
R
twarzania danych, której celem jest włączenie technik komputerowych w środowisko człowieka i uczynienie ich niewidocznymi. Obecnie do sieci Internet podłączone są miliardy urządzeń. Rosną możliwości małych urządzeń pomiarowych, które zaczynają odgrywać coraz istotniejszą rolę w procesie przetwarzania i zbierania danych pomiarowych. Pojawiają się nowe, energooszczędne standardy komunikacji bezprzewodowej. Oczywiste jest już, że wchodzimy w nową fazę rozwoju Internetu, który aktualnie rośnie o wiele szybciej niż w ostatnich dziesięcioleciach. W tę wizję, która de facto staje się rzeczywistością, doskonale wpisują się bezprzewodowe sieci sensorowe. To dzięki sieci czujników możemy mówić o inteligentnych domach (ang. smart houses), inteligentnych miastach (ang. smart cities) czy inteligentnych sieciach przesyłowych (ang. smart metering). Książka wprowadza czytelnika w świat bezprzewodowych sieci czujników. Prezentowana jest ogólna charakterystyka sieci tworzonych przez stacjonarne i mobilne urządzenia pomiarowe komunikujące się drogą radiową. Podjęta jest próba modelowania takich sieci, omawiane są wybrane rozwiązania z zakresu teleinformatyki, w tym protokoły komunikacyjne, algorytmy oszczędnego zarządzania zasobami energetycznymi, techniki lokalizacji i grupowania węzłów. Poruszany jest wątek sprzętu i oprogramowania. Monografia składa się z pięciu części. Część pierwsza to rozdziały wprowadzające w obszar pojęć i problemów z dziedziny samoorganizujących się sieci tworzonych w trybie ad hoc. Omawiane są właściwości tego typu systemów oraz problemy
Ewa Niewiadomska-Szynkiewicz, Michał Marks, Piotr Arabas, Andrzej Sikora, Bezprzewodowe sieci czujników w Internecie Rzeczy. Modele – algorytmy – protokoły, Wydawnictwo Naukowe PWN, 2022, ISBN 978-83-0122-623-7, str. 292
Y
•
A
U
T
O
M
A
T
Y
K
A
•
R
O
B
O
T
Y
K
A
N R 3/ 20 23
POLECANE KSIĄŻKI
związane z tworzeniem i funkcjonowaniem rzeczywistych sieci, które nie wykorzystują stałej infrastruktury komunikacyjnej. Prezentowane są definicje podstawowych modeli sieci ad hoc, tj. bezprzewodowa sieć prywatna (WPAN), sieć sensorowa (WSN), sieć elementów aktywnych (WSAN) oraz mobilna sieć ad hoc (MANET). Omawiana jest architektura sieci sensorowej, ze zwróceniem szczególnej uwagi na własności tworzących ją urządzeń stanowiących węzły sieci. W związku z tym, że autorzy są specjalistami z zakresu modelowania, sterowania i symulacji złożonych systemów, istotna część książki jest poświęcona zagadnieniom modelowania i symulacji sieci ad hoc. Proponowane są autorskie modele sieci i węzła pomiarowego. Szczególna uwaga jest zwrócona na modelowanie propagacji fal radiowych. Przedstawiony jest również przegląd modeli ruchu stosowanych w badaniach i projektowaniu sieci mobilnych. Sekcję kończy krótki opis popularnych środowisk oprogramowania do symulacji. Trzecia część monografii jest poświęcona omówieniu platform sprzętowych do
tworzenia bezprzewodowych sieci sensorowych oraz oprogramowaniu. Ze względu na liczność dostępnego oprogramowania oraz urządzeń prezentacja została ograniczona do wybranych, powszechnie stosowanych, rozwiązań. Kolejne części są poświęcone protokołom komunikacyjnym oraz algorytmom pozycjonowania urządzeń pomiarowych w przestrzeni roboczej. Ze względu na ograniczenia zasobów dostępnych w sieciach sensorowych niezwykle istotna jest energooszczędna transmisja, stąd uwaga koncentruje się na różnych technikach oszczędzania energii. Rozważane są podejścia zakładające grupowanie węzłów, sterowanie ich aktywnością oraz poziomem mocy nadawanego sygnału. Omawiane są protokoły trasowania i energooszczędne realizacje protokołu sterowania dostępem do medium transmisyjnego (MAC). Książkę kończy prezentacja różnych podejść do optymalnego rozkładania urządzeń pomiarowych w przestrzeni roboczej oraz lokalizacji węzłów sieci o nieznanym położeniu. Prezentowane są rozwiązania stosowane w praktyce, proponowane w literaturze
naukowej oraz algorytmy opracowane przez autorów książki. Zamieszczono wiele przykładów umożliwiających zrozumienie prezentowanego materiału oraz zastosowanie go w praktyce. Książka jest adresowana głównie do odbiorców z wykształceniem technicznym, w tym pracowników naukowych, doktorantów, studentów, nauczycieli, inżynierów. Może być również użyteczna dla szerszego grona odbiorców zainteresowanych zdobyciem wiedzy w zakresie bezprzewodowych sieci czujników oraz systemów IoT. Materiał jest przedstawiony w sposób bardzo przystępny, a do jego zrozumienia potrzebna jest jedynie elementarna wiedza z zakresu informatyki, telekomunikacji i automatyki. W zamyśle autorów książka ma być przewodnikiem po podstawowych mechanizmach i metodach stosowanych przy projektowaniu bezprzewodowych sieci sensorowych oraz umożliwić czytelnikowi samodzielne zastosowanie tych technik.
Dr inż. Michał Marks
Dr inż. Piotr Arabas
Dr inż. Andrzej Sikora
Pracownik naukowy państwowego instytutu badawczego Naukowa i Akademicka Sieć Komputerowa (NASK PIB). Obecnie na stanowisku adiunkta. Kierownik Pionu Obliczeń Chmurowych i Inteligentnych Sieci w NASK PIB. Doktorat obronił w 2015 r. w Politechnice Warszawskiej, WEiTI. Autor i współautor monografii naukowej oraz ponad pięćdziesięciu publikacji w czasopismach i materiałach konferencyjnych. Kierownik i wykonawca kilkunastu krajowych i międzynarodowych projektów naukowych, badawczo-rozwojowych oraz wdrożeniowych. Ekspert w zakresie systemów oprogramowania i sprzętu do obliczeń wielkiej skali oraz sieci bezprzewodowych czujników. Twórca laboratoriów HPC i IoT. Badania naukowe obejmują również zagadnienia optymalizacji, sztucznej inteligencji, cyberbezpieczeństwa, obliczeń w klastrach i chmurach oraz komunikacji kwantowej.
Pracownik badawczo-dydaktyczny w Instytucie Automatyki i Informatyki Stosowanej Politechniki Warszawskiej na Wydziale Elektroniki i Technik Informacyjnych Politechniki Warszawskiej oraz pracownik naukowy NASK PIB. W obu miejscach na stanowisku adiunkta. Autor i współautor monografii naukowych oraz ponad sześćdziesięciu publikacji w czasopismach i materiałach konferencyjnych. Wykonawca innowacyjnych produktów w zakresie bezpieczeństwa sieci, wykonawca grantów badawczo-rozwojowych. W swojej pracy zajmuje się inżynierią ruchu w sieciach telekomunikacyjnych, zagadnieniami energooszczędności w sieciach i klastrach obliczeniowych, cyberbezpieczeństwem oraz metodami analizy sieci społecznych w zastosowaniu do sieci technologicznych.
Prof. Cezary Zieliński
Pracownik naukowy NASK PIB. Obecnie na stanowisku adiunkta, Kierownik Działu Bezpieczeństwa Systemów Mobilnych w NASK PIB. Doktorat obronił w 2015 r. w Politechnice Warszawskiej, WEiTI. Autor i współautor monografii naukowej oraz ponad pięćdziesięciu publikacji w czasopismach i materiałach konferencyjnych. Kierownik i wykonawca kilkunastu krajowych i międzynarodowych projektów naukowych oraz badawczo-rozwojowych. Dorobek naukowy w zakresie: aplikacji mobilnych, modelowania i symulacji sieci teleinformatycznych oraz cyberbezpieczeństwa. Projektant i wykonawca złożonych systemów oprogramowania. Autor systemu oprogramowania do zapobiegania wyłudzeniom danych i kradzieżom w bankowości elektronicznej na urządzeniach mobilnych wdrożonego w polskim sektorze bankowym. Laureat nagrody w kategorii ,,Innowacyjny Młody Naukowiec” w ramach konkursu ,,Innowator Mazowsza” w 2016 r.
129
Pomiary Automatyka Robotyka, ISSN 1427-9126, R. 27, Nr 3/2023
Profesor Józef Giergiel Z ogromnym smutkiem żegnamy profesora Józefa Giergiela, męża, ojca, dziadka, przyjaciela, kolegę, ale także wieloletniego pracownika badawczo-dydaktycznego, ważną postać w historii Wydziału inżynierii Mechanicznej i Robotyki Akademii Górniczo-Hutniczej, prorektora, dziekana, kierownika, a dla wielu nauczyciela i promotora.
Pozwólcie Państwo, że jako Dziekan Wydziału inżynierii Mechanicznej i Robotyki powiem kilka słów o tej ważnej części życia profesora. Ważnej dla Niego, ale i dla nas, Jego wychowanków i następców. Józef Giergiel urodził się 3 stycznia 1931 r. w Krakowie. Po ukończeniu Liceum Elektrotechnicznego w Krakowie w 1952 r. rozpoczął studia w AGH na nowoutworzonym Wydziale Mechanizacji Górnictwa i Hutnictwa. Ukończył je w 1956 r. uzyskując tytuł zawodowy magistra inżyniera mechanizacji hutnictwa. Po krótkim okresie pracy w zakładach przemysłowych, gdzie zajmował się projektowaniem maszyn, w 1958 r. został zatrudniony na stanowisku asystenta w Katedrze Mechaniki na Wydziale Maszyn Górniczych i Hutniczych AGH. Kolejne awanse naukowe przychodziły bardzo szybko. W 1965 r. na podstawie pracy Wpływ tłumienia w układach nieliniowych na oscylacyjny charakter drgań w konstrukcjach, promowanej przez profesora Władysława Bogusza, uzyskał stopień doktora. W 1971 r. zdobył stopień doktora habilitowanego na podstawie rozprawy Problemy tarcia konstrukcyjnego w dynamice maszyn i dalej w 1976 r. został profesorem AGH, a w 1986 r. otrzymał tytuł naukowy profesora. Równolegle z pracą naukową prowadził ponadprzeciętną działalność organizacyjną. W latach 1972–1974 pełnił funkcję zastępcy dyrektora Instytutu Podstaw Konstrukcji Maszyn. W latach 1975–1978 był prodziekanem Wydziału Maszyn Górniczych i Hutniczych. Funkcję dziekana tegoż wydziału sprawował przez trzy kadencje w latach 1978–1987. Wreszcie w 1986 r. został prorektorem AGH. Profesor Józef Giergiel był twórcą i wieloletnim kierownikiem Katedry Robotyki i Dynamiki Maszyn (obecnie Katedra Robotyki i Mechatroniki). Działalność organizacyjną nie ograniczał jedynie do murów uczelni, m.in. był radnym miasta
Krakowa i wiceprzewodniczącym Komisji Gospodarki Komunalnej i Łączności. Pan profesor znany był ze swojej szerokiej współpracy z przemysłem jako konsultant naukowy w zakładach hutniczych (Huta Łabędy, Huta Bobrek, Hutnicze Przedsiębiorstwo Remontowe i Huta Dzierżyński). Odbył staże naukowe w Belgii, Wielkiej Brytanii i Francji. Był członkiem Komitetów PAN: Transportu, Budowy i Eksploatacji Maszyn, Mechaniki, członkiem sekcji Komitetu Badań Naukowych oraz Zespołu Naukowo-Dydaktycznego Ministerstwa Edukacji Narodowej, a także Centralnej Komisji Kwalifikacyjnej. Udzielał się w komitetach redakcyjnych czasopism, m.in. Archiwum Transportu oraz Mechanika.
Profesor Józef Giergiel zmarł 4 maja 2023 r. Wydział Inżynierii Mechanicznej i Robotyki stracił wybitnego naukowca, dydaktyka i organizatora nauki. Straciliśmy wzór i niekwestionowany autorytet, a często przyjaciela i przede wszystkim dobrego, otwartego i życzliwego wszystkim człowieka. Szanowny Panie Profesorze, odpoczywaj w spokoju!
prof. Krzysztof Mendrok, dziekan Wydziału Inżynierii Mechanicznej i Robotyki AGH
W czasie swej pracy naukowej opublikował ponad 250 prac naukowo-badawczych, wypromował 16 doktorantów. Był twórcą szkoły naukowej konstrukcyjnego tłumienia drgań układów mechanicznych, szkoły robotyki i mechatroniki oraz szkoły identyfikacji układów mechanicznych. W uznaniu licznych zasług nadano mu tytuł Doktora honoris causa Politechniki Rzeszowskiej (2005 r.) oraz Politechniki Łódzkiej (2006 r.), a także Profesora Honorowego AGH (2009 r.) i Wydziału Samochodów i Maszyn Rolniczych Politechniki Warszawskiej. Za swoją nadzwyczajną aktywność otrzymał liczne odznaczenia i nagrody takie, jak Złoty Krzyż Zasługi, Krzyż Kawalerski Orderu Odrodzenia Polski, Krzyż Oficerski Orderu Odrodzenia Polski, Medal Komisji Edukacji Narodowej, odznakę tytułu honorowego Zasłużony Nauczyciel Polskiej Rzeczypospolitej Ludowej, Złotą Odznakę Za pracę społeczną dla m. Krakowa, Złotą Odznakę Za pracę społeczną dla województwa krakowskiego.
Na kolejnych stronach zamieszczamy przedruk wywiadu z Panem Profesorem. Zapraszamy do lektury!
131