Peterlic jozepovic

Sanja Peterlić, Sanja Jozepović

SANJA PETERLIĆ, SANJA JOZEPOVIĆ SUPERA KVALITETA d.o.o., Zagreb sanja.peterlic@supera-kvaliteta.hr , sanja.jozepovic@supera-kvaliteta.hr

PRIMJENA ANALIZE RIZIKA U KONTROLI KVALITETE ULAZNIH SIROVINA Stručni rad / Professional paper Sažetak U ovom radu prikazan je praktičan primjer provedbe analize rizika za kontrolu kvalitete ulaznih sirovina. Prikazana je korištena metodologija za analizu rizika, rezultati provedene analize, pokrenute aktivnosti, te popravne i preventivne radnje s krajnjim ciljem osiguranja kvalitete proizvoda, boljeg nadzora dobavljača te uštede resursa u kontroli kvalitete. Nakon što je razrađena prikladna metodologija, uspostavljeni kriteriji ocjene s obzirom na kritičnost sirovina i moguće posljedice u smislu kvalitete gotovog proizvoda te definirane skale ocjenjivanja, prikupljeni su podaci o svim sirovinama nabavljenim proteklih 5 godina te su ocijenjene sve kombinacije sirovina i dobavljača. Temeljem ukupnog broja bodova sve kombinacije sirovina i dobavljača su svrstane u tri kategorije: s visokim, srednjim i niskim rizikom. Ovisno o utvrđenoj kategoriji rizika, određen je obujam kontrole kvalitete ulaznih sirovina za svaku kombinaciju sirovina/dobavljač. Povećan je nadzor nad kvalitetom sirovina koje se nabavljaju od dobavljača koji ne ispunjavaju određene zahtjeve te od potencijalnih novih dobavljača jer se kod njih provodi pooštrena ulazna kontrola, dok je istovremeno smanjen obujam ulazne kontrole s normalne na ublaženu kod onih kombinacija sirovina/dobavljač koji ne predstavljaju rizik za kvalitetu gotovog proizvoda.

Ključne riječi: rizici, analiza rizika, metodologija, ulazna kontrola 1. UVOD Analiza rizika provedena je za proces kontrole kvalitete ulaznih sirovina kako bi se s jedne strane pojačao nadzor nad kvalitetom sirovina koje se nabavljaju od dobavljača koji ne ispunjavaju određene zahtjeve, te s druge strane smanjio obujam ulazne kontrole kod onih kombinacija sirovina/dobavljač koji se nabavljaju od pouzdanih dobavljača i ne predstavljaju rizik za kvalitetu gotovog proizvoda. Za sve kombinacije sirovine/dobavljač određen je obujam ulazne kontrole koja može biti normalna, ublažena ili pooštrena. Također, temeljem rezultata analize rizika pokrenute su popravne i preventivne radnje s krajnjim ciljem osiguranja kvalitete gotovih proizvoda, poboljšanja nadzora nad dobavljačima sirovina te uštede resursa u procesu kontrole kvalitete.

2. PRIMJENJENA METODOLOGIJA Analiza rizika provedena je prema metodologiji opisanoj u knjizi Risk Management Basic [1], normi HRN ISO 31000:2012 [2], te vodiču ICH Q9 Quality risk management [3]. Prikaz tipičnog procesa upravljanja rizicima kvalitete prikazan na slici 1.

15. HRVATSKA KONFERENCIJA O KVALITETI 6. znanstveni skup Hrvatskog društva za kvalitetu 07. - 09. svibnja 2015. Primošten, Hrvatska

- 184 -

Sanja Peterlić, Sanja Jozepović

Slika 1 - Prikaz tipičnog procesa upravljanja rizicima kvalitete (ICH Q9 Quality risk Managememnt, Figure 1: Overview of a typical quality risk management process) [3]

Prije same provedbe analize rizika izrađen je popis svih sirovina, specifikacija sirovina sa zahtjevima za kvalitetu te njihovih dobavljača koje su korištene u proizvodnji unatrag pet godina. Za provedbu analize rizika utvrđeno je 10 kriterija za ocjenjivanje [4]. Za svaki od 10 kriterija, razrađena je skala ocjenjivanja/dodjeljivanja bodova. Primijenjene su skale od jedan do pet, pri čemu su precizno određeni uvjeti za dobivanje jednog, dva, tri, četiri ili pet bodova.

Kriteriji za ocjenjivanje kombinacije sirovina/dobavljač prikazani su u Tabeli 1.

Tabela 1: Kriteriji za ocjenjivanje Kriteriji 1.

Korištenje sirovine– uloga sirovine u formulaciji/udio u recepturi

2.

Mikrobiološka kontaminacija

3.

Kontaminacija teškim metalima ili metalnim česticama

4.

Kontaminacija drugim materijalima

5.

Pouzdanost dobavljača

15. HRVATSKA KONFERENCIJA O KVALITETI 6. znanstveni skup Hrvatskog društva za kvalitetu 07. - 09. svibnja 2015. Primošten, Hrvatska

- 185 -

Sanja Peterlić, Sanja Jozepović

6.

Metode ispitivanja i certifikati analize dobavljača

7.

Kvaliteta isporuka–podaci o reklamacijama

8.

Sustav kvalitete dobavljača

9.

Dugoročnost suradnje

10.

Broj serija/isporuka

Za ocjenjivanje po kriterijima bilo je potrebno prikupiti podatke o svim primljenim isporukama sirovina u zadnjih pet godina. Neki od podataka razmatrani prilikom ocjenjivanja po kriterijima bili su: - Uloga sirovine u formulaciji proizvoda (kritična sirovina u formulaciji, pomoćna sirovina i sl.); - Rezultati ispitivanja teških metala ili metalnih čestica; - Rezultati mikrobioloških kontrola; - Mogućnost kontaminacije sirovina obzirom na proizvodnu lokaciju ili porijeklo sirovine [5] ; - Rezultati provedenih ocjena dobavljača; - Provedeni auditi dobavljača; - Postojanje Ugovora o kvaliteti s dobavljačima; - Registracijska dokumentacija i dostavljene potvrde o kontroli proizvodnje; - Dostava certifikata analize uz svaku isporuku; - Razlike u rezultatima analiza sirovina provedenih od strane dobavljača i od strane organizacije pri ulaznoj kontroli; - Broj reklamacija na kvalitetu u zadnjih pet godina [5]; - Uspostavljeni i/ili certificirani sustavi upravljanja; - Vremenski period u kojem se sirovina nabavlja od određenog dobavljača; - Broj isporuka i broj isporučenih odnosno zaprimljenih serija sirovina u zadnjih pet godina.

Nakon ocjenjivanja pojedinačnih kriterija svi bodovi su zbrojeni te se prema ukupnom zbroju procijenio rizik za svaku kombinaciju sirovina/dobavljač. Najveći mogući ukupan broj bodova za jednu kombinaciju sirovina/dobavljač je 50 a najmanji 10. Obzirom na rizičnost sirovina i utjecaj na kvalitetu gotovog proizvoda, sve kombinacije sirovina/ dobavljač razvrstane su u 3 skupine: V-visoki rizik; S–srednji rizik; N–niski rizik; /-nema dovoljno podataka (vidi Tabela 2).Ovisno o utvrđenom riziku, za svaku kombinaciju sirovina/dobavljač određen je obujam ulazne kontrole koja može biti pooštrena, normalna ili ublažena. Za sve kombinacije sirovina /dobavljač koje su procijenjene kategorijom visokog rizika određena je pooštrena ulazna kontrola, za kombinacije ocijenjene srednjim rizikom određena je normalna ulazna kontrola, uz pokrenute popravne i preventivne radnje, dok je za kombinacije ocijenjene niskim rizikom određena ublažena ulazna kontrola. Sve kombinacije sirovina/dobavljača koje nije bilo moguće ocijeniti po svih 10 kriterija jer nije bilo dovoljno podataka za analizu rizika (na primjer zbog kratkog vremena suradnje s dobavljačem) predviđena je ponovna analiza rizika kada se prikupi dovoljan broj podataka, a do tada je predviđena provedba pooštrene ulazne kontrole.

Skala za određivanje obujma ulazne kontrole ovisno o utvrđenom riziku prikazana je u Tabeli 2.

15. HRVATSKA KONFERENCIJA O KVALITETI 6. znanstveni skup Hrvatskog društva za kvalitetu 07. - 09. svibnja 2015. Primošten, Hrvatska

- 186 -

Sanja Peterlić, Sanja Jozepović

Tabela 2: Skala za određivanje obujma ulazne kontrole Rizik / - nema dovoljno podataka

Sirovina/dobavljač Novi dobavljač sirovine, zadnjih 5 godina nije bilo niti jedne isporuke od ovog proizvođača

Obujam ulazne kontrole Pooštrena ulazna kontrola: uzorkuje se svako pakiranje i analizira svaka isporučena serija, analiziraju se svi parametri prema nabavnoj specifikaciji.

Visok rizik (V); 36 - 50 bodova

Kombinacija sirovina /dobavljač koja ima ukupno 36 - 50 bodova

Srednji rizik (S); 26 - 35 bodova

Kombinacija sirovina /dobavljač koja ima ukupno 26 - 35 bodova

Niski rizik (N); 10 - 25 bodova

Kombinacija sirovina /dobavljač koja ima ukupno 10 - 25 bodova

Pooštrena ulazna kontrola: uzorkuje se svako pakiranje i analizira svaka isporučena serija, analiziraju se svi parametri prema nabavnoj specifikaciji.

Normalna ulazna kontrola: uzrokuje se i analizira svaka serija, broj pakiranja iz kojih se uzima uzorak određuje se prema formuli √n+1 (n=ukupan broj pakiranja), analiziraju se samo kritični parametri prema nabavnoj specifikaciji.

Ublažena ulazna kontrola: uzorkuje se svaka 5. serija ili jedna isporučena serija godišnje; uzorak se uzima iz jednog pakiranja, na svakoj seriji provodi se identifikacija materijala prikladnom metodom; analiziraju se samo kritični parametri prema nabavnoj specifikaciji.

3. ANALIZA PODATAKA Tijekom provedbe ove analize rizika razmatrano je 80 kombinacija sirovina/dobavljač.

Sirovine su svrstane u grupe prema ulozi u formulaciji proizvoda zbog lakšeg ocjenjivanja i analize podataka. Ocjenjivanje pojedinačnih kriterija provedeno je u pomoćnim tablicama u kojima su navedeni razmatrani izvorni podaci, a svi rezultati ocjenjivanja sumirani su u glavnoj tabeli. Glavna tabela-analiza podataka provedene analize rizika (u skraćenoj verziji) prikazana je u tabeli 3.

15. HRVATSKA KONFERENCIJA O KVALITETI 6. znanstveni skup Hrvatskog društva za kvalitetu 07. - 09. svibnja 2015. Primošten, Hrvatska

- 187 -

Sanja Peterlić, Sanja Jozepović

Tabela 3: Glavna tabela-analiza podataka provedene analize rizika Sirovina

Dobavljač

K r i t e r i j

K r i t e r i j

K r i t e r i j

K r i t e r i j

K r i t e r i j

K r i t e r i j

K r i t e r i j

K r i t e r i j

K r i t e r i j

1

2

3

4

5

6

7

8

9 1 0

K r i t Ukup e no r bodov i a j

Sirovina 1 Sirovina 1 Sirovina 1 Sirovina 2 Sirovina 3

Dobavljač A Dobavljač B Dobavljač C Dobavljač A Dobavljač C

5 4 5 3 3 5 5 5 5 3

Sirovina 4

Dobavljač E

3 1 1 5 1 2 1 1 3 1

Rizik V-visoki rizik S-srednji rizik N-niski rizik / - nema podataka

43

V

2 3 3 4 2 4 2 3 3 2

28

S

1 2 1 1 1 2 1 1 1 1

12

N

4 3 3 4 3 4 2 3 4 2

32

S

3 1 5 /

5 5 /

4 / /

Nema podat aka

/

19

N

Obujam ulazne kontrole

Pooštrena Normalna Ublažena Normalna Pooštrena Ublažena

Temeljem provedene analize rizika za 80 kombinacija sirovina/dobavljač, nekoliko kombinacija sirovina/dobavljač svrstano je u kategoriju visokog i srednjeg rizika, dok je većina kombinacija sirovina/dobavljač svrstana u kategoriju niskog rizika. Za kombinacije sirovina/dobavljač koji su svrstani u kategoriju niskog rizika izrađen je plan uzorkovanja te određen obujam ublažene ulazne kontrola. Ublažena ulazna kontrola propisuje uzorkovanje svake pete serije ili jedne isporučene serije godišnje, uzorak za analizu se uzima iz jednog pakiranja, na svakoj seriji provodi se identifikacija materijala prikladnom metodom a analiziraju se samo kritični parametri prema nabavnoj specifikaciji [5]. Za dvije kombinacije sirovina/dobavljača utvrđeno je da se radi o srednjem riziku te je odlučeno da se kod tih kombinacija nastavi provoditi normala ulazna kontrola koja propisuje uzorkovanje i analizu svake serije, broj pakiranja iz kojih se uzima uzorak određuje se prema formuli √n+1 (n=ukupan broj pakiranja) a analiziraju se samo kritični parametri prema nabavnoj specifikaciji.

Kod ovih kombinacija sirovina/dobavljač pokrenute su popravne i/ili preventivne radnje po kriterijima po kojima su bili najlošije ocijenjeni. Za tri kombinacije sirovina/dobavljača utvrđeno je da se radi o visokom riziku te je odlučeno da se kod tih kombinacija provodi pooštrena ulazna kontrola koja obuhvaća uzorkovanje svake serije, uzimanje uzoraka iz svakog pakiranja te analizu svih parametara prema nabavnoj specifikaciji. Za te kombinacije sirovina/dobavljač pokrenute su popravne radnje kao što su dostava i analiza dokumentacije dobavljača, usklađivanje metoda ispitivanja dobavljača i kompanije i provedba audita dobavljača. Za četiri kombinacije sirovina/dobavljača utvrđeno je da nema dovoljno podataka za analizu i donošenje konkretnih zaključaka budući da se radi o novim dobavljačima od kojih je su zadnjih pet godina bilo isporučeno manje od tri serije. Za te kombinacije je također predviđena pooštrena ulazna kontrola. Provedba ponovne analize rizika za kombinacije

15. HRVATSKA KONFERENCIJA O KVALITETI 6. znanstveni skup Hrvatskog društva za kvalitetu 07. - 09. svibnja 2015. Primošten, Hrvatska

- 188 -

Sanja Peterlić, Sanja Jozepović

sirovine/dobavljač za koje nije bilo dovoljno podataka predviđena je nakon prikupljana potrebnih podataka.

4. ZAKLJUČAK Rezultati provedene analize rizika potvrdili su pozitivna iskustva s većinom dobavljača od kojih je tijekom posljednjih pet godina nabavljeno puno serija sirovina, provedeni su auditi, usklađena dokumentacija i metode ispitivanja te nije zabilježena niti jedna reklamacija na kvalitetu. Rezultati provedene analize rizika, pregled podataka za sve kombinacije sirovina/dobavljač, ocjenjivanje po svih 10 kriterija na ujednačen, sistematičan način potvrdilo je odluku o uvođenju ublažene ulazne kontrole kojom će se uz postojeću razinu kvalitete dobavljača osigurati značajne uštede resursa te direktno utjecati na troškove ulazne kontrole. Osim određenog obujma ulazne kontrole, za kombinacije sirovina/dobavljač koji su ocijenjeni s visokim ili srednjim rizikom pokrenute su popravne ili preventivne radnje, određene su odgovorne osobe i rokovi za njihovu provedbu. Odlučeno je da će se redovna evaluacija procjene rizika za sve kombinacije sirovina/dobavljač provoditi najmanje jednanput godišnje, a neplanirane procjene rizika potrebno je provesti u slučaju reklamacije dobavljaču uslijed značajnih odstupanja utvrđenih pri ulaznoj kontroli te u slučaju značajnih promjena u proizvodnji ili kontroli kvalitete kod dobavljača.

LITERATURA [1] De Sain C., Vermick Sutton C., Risk Management Basic, Advanstar Communications Inc., 2000.

[2] HRN ISO 31000:2012 [3] ICH guideline Q9 Quality risk management, http://www.ich.org/fileadmin/Public_Web_Site/ICH_Products/Guidelines/Quality/Q9/Step4/Q9_Guideline.pdf, 2005,pristupljeno 05.03.2015.

[4] ICH guideline Q10 Pharmaceutical quality system http://www.ich.org/fileadmin/Public_Web_Site/ICH_Products/Guidelines/Quality/Q10/Step4/Q10_Guideline.pd f, 2008, pristupljeno 05.03.2015.

[5] EU GMP Annex 8, http://ec.europa.eu/health/documents/eudralex/vol-4/index_en.htm, pristupljeno 05.03.2015.

RISK ANALYSIS IN QUALITY CONTROL OF INCOMING RAW MATERIALS Summary This paper presents a practical example of the implementation of risk analysis for quality control of raw materials. It presents the methodology used for the risk analysis, the results of the analysis, initiated activities, and corrective and preventive actions with the ultimate goal of ensuring product quality, better monitoring of suppliers and the saving of resources in quality control. After the development of an appropriate methodology, establishment of evaluation criteria with respect to the criticality of raw materials and the possible consequences in terms of the quality of the finished product, and the definition of grading scales, data were collected on all raw materials procured during the past 5 years and all combinations of raw materials and suppliers were rated. Based on the total number of points, all combinations of raw materials and suppliers were classified into three categories – high, medium and low risk. Depending on the assigned risk category, the volume of quality control of incoming raw materials for each combination of raw material/supplier was determined. Monitoring of quality control of raw materials which are purchased from suppliers who do not meet certain requirements, and from potential new suppliers, has been increased, because there is stricter incoming quality control, while at the same time volume of incoming control has been reduced from normal to reduced control for those combinations of raw material/supplier which do not represent a risk to the quality of the finished product.

Keywords: risks, risk analysis, methodology, incoming control

15. HRVATSKA KONFERENCIJA O KVALITETI 6. znanstveni skup Hrvatskog društva za kvalitetu 07. - 09. svibnja 2015. Primošten, Hrvatska

- 189 -

Siniša Prugovečki, Lidija Sarta, Joseph A. Defeo SINIŠA PRUGOVEČKI, LIDIJA SARTA Metroteka d.o.o., Zagreb sp@metroteka.com JOSEPH A. DEFEO Juran Global, Southington, CT, USA info@juran.com

JURAN’S QUALITY BY DESIGN METHODOLOGY IN LORIS2 METROLOGY WEB APPLICATION DEVELOPMENT Referat sa znanstvenog skupa / Conference paper Summary Metroteka Loris2 is a web application development project based on redefining measuring and monitoring equipment (MAME) management which would benefit both MAME users and independent MAME metrological confirmation service providers (calibration, qualification, adjustment, repair etc.). The core methodology employed for the Metroteka Loris2 project was Juran on Quality by Design (QbD), particularly for selecting product features on the basis of meeting the needs of users. This paper will provide an overview of how Quality by Design methodology can be used to assist in creating innovative software solutions for quality management.

Key words: Juran, Quality by Design, metrology, web application 1. INTRODUCTION Juran`s Quality by Design Model is a universal methodology used for development planning of new products or services. This methodology incorporates two basic steps: 1. Designing product or service by providing features that meet customers’ needs.

2. Providing that capability of operational processes for product or service development is met.

At this point it is important to stress that customers of product or service are not just paying customers or end users, but all those affected by that product or service, including employees within the organization that makes the product or service in question (internal customers).

The goal of Quality by Design methodology implementation is to have the right features of service or product in order to satisfy all customers' needs and expectations and also to design the processes to produce those features in an effective and efficient kind of way.

Quality planning steps of Quality by Design are: 1. Project and goals determination. (The project has to be established as a starting point of the design.)

2. Identifying customers, both internal and external.

3. What are the customers' needs? Determine, categorize and prioritize them.

15. HRVATSKA KONFERENCIJA O KVALITETI 6. znanstveni skup Hrvatskog društva za kvalitetu 07. - 09. svibnja 2015. Primošten, Hrvatska

- 190 -

Siniša Prugovečki, Lidija Sarta, Joseph A. Defeo 4. Designing product or service features to meet those needs. Features have to be listed and prioritized because it is impossible for all features to be accomplished. Some features will not survive to get to operational level.

5. Develop the process for providing those features. We need to have the capable process that can create required features.

6. Establish control of the process in order to validate transfer to operations and evaluate performance.

Figure 1. Quality by Design steps

All those steps have their sub steps which are covered by methods and tools (e.g. affinity diagrams, benchmarking, flow diagrams, criticality analysis etc.) used to fulfill them through structured and systematic approach. Having this on mind, quality should be rather planned than tested. This means that if there are discrepancies in product quality and features and operational processes, it was planned that way. In other words QbD`s main goal is to avoid those discrepancies and failures later on.

Taking all this into account and using QbD methodology as an approach, Metroteka started to develop a customer friendly and feature desirable product. This paper is based particularly on product features selection designed to satisfy customer needs (quality planning steps 2-4).

2. LORIS2 METROLOGY WEB APPLICATION DEVELOPMENT Loris2 is an online software in development for measuring and monitoring equipment (MAME) management, intended to benefit both MAME users and independent MAME service providers (calibration labs, qualification providers, repair services etc.). As was already mentioned, Loris2 web application is being developed using QbD methodology for quality to be planned and for product problems to be avoided. Steps that were taken for developing Loris2 are as follows.

2.1. Project and project`s goal determination Currently, MAME management is “stuck in the 20th century” and is a hustle for both users and service providers. MAME users face the following issues: 1. “Paperwork management” for quality audits is a hustle because of the need to keep extensive paper documentation on equipment that is difficult to access.

15. HRVATSKA KONFERENCIJA O KVALITETI 6. znanstveni skup Hrvatskog društva za kvalitetu 07. - 09. svibnja 2015. Primošten, Hrvatska

- 191 -

Siniša Prugovečki, Lidija Sarta, Joseph A. Defeo 2. IT solutions supporting MAME management are “poor for purpose”, as are either: a. Specific to the each equipment manufacturer – can only cover part of the equipment and typically are focused only on instrument usage and not on external services. b. Part of a larger system (e.g. SAP) and too complicated to use (not customized for MAME management), too expensive to buy and maintain. c. Provided by the equipment end user and in that case - usually low quality, designed ad hoc.

3. Calibration and other external equipment service information is typically not used in daily work, but is sitting on the shelf between audits. This is a big missed opportunity to improve quality. A key obstacle to using the information is that it is currently provided in a very inconvenient format (paper certificate or pdf, with each calibration provider format different).

It is clear that MAME end users would benefit from standards (ISO 9001, GMP/GLP/GDP…) compliant digital storage of certificates and reports (plus internal usage history) if it was designed in a much more user friendly way than paper records or current database solutions.

Such a design should also facilitate scheduling of activities related to MAME maintenance, enhance prevention of out-of-tolerance events and improve safety in an organization through simple data visualizations. Also it should enable actual use of calibration results to improve measurement quality in day to day operations through simple interface.

For calibration laboratories and other MAME service providers external to the equipment end user, Loris2 should present superior customer service platform and a better way to communicate with customers.

2.2. Identifying customers Second step in QbD is to identify all external and internal customers. In order to identify all external customers, Metroteka's experience in providing metrology and measurement service had to be employed.

Table 1. External and Internal Customers External Customers Internal Customers Metroteka (sales) MAME end users: Laboratories Quality department Maintenance department IT Software developers MAME service providers: Providers (e.g. external calibration labs) Provider's sales Software customer support Other: Auditors (e.g. accreditation bodies, FDA, etc.)

15. HRVATSKA KONFERENCIJA O KVALITETI 6. znanstveni skup Hrvatskog društva za kvalitetu 07. - 09. svibnja 2015. Primošten, Hrvatska

- 192 -

Siniša Prugovečki, Lidija Sarta, Joseph A. Defeo All users that will use Loris2, directly or indirectly, are listed in Table 1. We can now understand that all further steps in Loris2 development should be determined according to this list and that this very important step will provide that design is going in the right direction.

2.3. Identifying customers needs Having all internal and external customers in mind, we proceeded to identify the needs and requirements for each of them, and after that they were categorized and prioritized. It is essential to stress that customer`s needs and requirements should be considered from their point of view. In order to do that it is very important to try and think like them.

In this paper only the external customers needs will be analyzed in more detail, but these external customers will be divided in three groups according to Table 1 - MAME end users, MAME service providers, and auditors. (Service providers are not internal customers because we are talking about the development of software which they will use as external customers, very similar to the end users. Only from their point of view in providing their services they are internal customers, but that is not the case in designing software for their use.)

Regarding real internal customers, in Table 1 they are listed as Metroteka (sales), software developers and software customer support. In further analysis only Metroteka (sales) will be mentioned to leave more emphasis on external customers' needs. Some future paper might deal with internal customers in detail, especially after some experience with the product (which is now in development phase) on the market.

For categorization and prioritization of the customers' needs we used three levels of need importance based on interviews with potential product customers. In the scoring column "xxx" was counted as 5 points, "xx" was counted as 3 points and "x" as 1 point. It is important not to take the total scores literally, but they were very useful in separating more important and less important customers' needs.

15. HRVATSKA KONFERENCIJA O KVALITETI 6. znanstveni skup Hrvatskog društva za kvalitetu 07. - 09. svibnja 2015. Primošten, Hrvatska

- 193 -

Siniša Prugovečki, Lidija Sarta, Joseph A. Defeo Table 2. Identification of Customers Needs NEED

EU - LAB

EU QUALITY

EU MAINTEN.

EU - IT

PR - LAB

PR SALES

AUDITORS

METROTEKA

score

GENERAL

Reducing paperwork and saving time Easy administration of hierarchy

xx xx

xxx xxx

xx x

xxx

xx -

xx x

xx xxx

-

20 20

Single history record for each instrument

xxx

xx

xx

-

xxx

xx

x

-

20

Compliance with ISO/GMP/etc. standards

x

xxx

x

xxx

x

xxx

xxx

-

19

User friendly and simple interface

xxx

xxx

xx

-

xx

x

-

-

17

All records easy and quick to find

xxx

xx

xx

-

x

x

xx

-

16

Digital substitute for approval of records

-

xxx

x

x

xxx

x

xx

-

16

All MAME records in one place

xx

xxx

x

-

x

x

x

-

12

Paper records

x

x

x

xx

x

x

xx

-

11

ACTIVITIES* MANAGEMENT

Storage of external activity* reports

xxx

xxx

xxx

-

xx

x

x

-

20

Scheduling external activities*

xxx

xxx

xxx

-

xx

x

-

-

19

Maintaining external activity* intervals

xxx

xxx

xxx

-

-

x

-

-

16

Storage of internal activity* reports

xx

xx

xx

-

-

x

x

-

11

Scheduling internal activities*

xx

xx

xx

-

-

x

-

-

10

Maintaining internal activity* intervals

xx

xx

xx

-

-

x

-

-

10

Reminding end users on due activities

-

-

-

-

-

xxx

-

-

5

15. HRVATSKA KONFERENCIJA O KVALITETI 6. znanstveni skup Hrvatskog društva za kvalitetu 07. - 09. svibnja 2015. Primošten, Hrvatska

- 194 -

Siniša Prugovečki, Lidija Sarta, Joseph A. Defeo

NEED/IMPROVEMENT

EU - LAB

EU QUALITY

EU MAINTEN.

EU - IT

PR - LAB

PR SALES

AUDITORS

METROTEKA

score

COMMUNICATION

Better communication end user - provider

xx

xx

xx

-

xx

x

-

-

13

Better communication with other departments

xx

xx

x

x

-

x

-

-

9

Sending/recieving external activities* orders

x

x

x

-

x

xx

-

-

7

Sending/receiving external activities* offers

x

x

x

-

-

xx

-

-

6

QUALITY AND SAFETY IMPROVEMENTS

Speed up report delivery provider - end user

xxx

xx

xxx

-

xxx

xxx

x

-

24

Avoid (mis)use of non-conformity equipment Reduce out-of-cal/out-of-order events => trends

xxx

xxx

xxx

-

-

x

-

-

16

xx

xxx

xxx

-

-

x

-

-

14

Keep important notes on all equipment

xxx

x

x

-

xx

xx

-

-

13

Improve measurement accuracy

xxx

-

-

-

-

xx

-

-

8

IT IMPROVEMENTS Easy installation on all computers/tablets/phones

xx

xx

xx

xxx

xx

xx

-

xxx

25

Good (and fast) customer support

xx

xx

xx

xxx

xx

xx

-

xxx

25

No hassle software updates

xx

xx

xx

xxx

xx

x

-

-

18

INTERNAL CUSTOMER - METROTEKA

Easy software delivery

x

x

x

x

x

x

-

xxx

11

Diversification of business

-

-

-

-

-

-

-

xxx

5

15. HRVATSKA KONFERENCIJA O KVALITETI 6. znanstveni skup Hrvatskog društva za kvalitetu 07. - 09. svibnja 2015. Primošten, Hrvatska

- 195 -

Siniša Prugovečki, Lidija Sarta, Joseph A. Defeo EU-LAB = end user laboratories; EU-QUALITY = end user quality department; EU-MAINTEN. = end user maintenance department; EU IT = end user IT department; PR-LAB = activity service providers; PR-SALES = activity service providers' sales; AUDITORS = accreditation bodies, other agencies like FDA etc.; METROTEKA = software provider * activities correspond to all periodical activities like: calibration, qualification, temperature mapping, regular maintenance etc.

15. HRVATSKA KONFERENCIJA O KVALITETI 6. znanstveni skup Hrvatskog društva za kvalitetu 07. - 09. svibnja 2015. Primošten, Hrvatska

- 196 -

Siniša Prugovečki, Lidija Sarta, Joseph A. Defeo 2.4. Designing features for Loris2 web application After categorization and prioritization of customers' needs we designed the features. All needs were covered by suitable high level features. At this point it was important to consult Metroteka's calibration service customers in their scope of expertise in correspondence with each feature. In this paper we will not go into details about each feature, but the most important features that were included in the development plan are: GENERAL PRODUCT FEATURES Equipment list (EL) - informative sortable equipment list with basic information Search engine (SE) - simple, but powerful one-line search with additional criteria Custom equipment tagging (CET) - customizable equipment tagging to match different and individual quality management systems for each organization History view (HV) - chronological overview of all activities for given equipment Digital signatures (DS) - ability to sign and approve documents without using paper Settings (S) - simple settings page with emphasis on administration of end user hierarchy ACTIVITY MANAGEMENT FEATURES Activity scheduling (AS) - scheduling of periodical external and internal equipment activities Activity reminders and alarms (ARAA) - reminders and alarms for activities Activity personalisation (AP) - dedication of each activity to different owner within end user QUALITY IMPROVEMENT FEATURES Error correction calculator (ECC) - simple tool for using calibration data to improve accuracy Trending graphs (TG) - graphical representation of long term equipment drift Out-of-cal/out-of-order alarms (OOA) - realtime alarm from service provider to end user Close to out-of-cal alarms (CTOA) - customizable realtime alarm for "near misses" Non-conformity tags (NCT) - digital tagging of non-conformity equipment PDF HANDLING FEATURES Document download (DD) - download of internal and external activity reports Document upload (DU) - upload of internal and external activity reports COMMUNICATION FEATURES Notes (N) - permanent note taking and reading on equipment (digital logbook) Communication box (CB) - box for communication between end user and provider IT FEATURES Web application independent of platform (WAIOP) - basic feature of the product Outsourced visual design (OVD) - development feature to assure that features are easy-to-use Dedicated 24/7 customer support (DCS) - post-development feature to assure customer satisfaction Automatic error reports (AER) - post-development feature to enable quick bug detection Automatic updates (AU) - post-development feature to enable quick bug resolution, continuous improvement of features, and new features We put all those features in the table to match what needs they cover which is shown in Table 3.

15. HRVATSKA KONFERENCIJA O KVALITETI 6. znanstveni skup Hrvatskog društva za kvalitetu 07. - 09. svibnja 2015. Primošten, Hrvatska

- 197 -

Siniša Prugovečki, Lidija Sarta, Joseph A. Defeo Table 3. Customer needs and product features NEED

EU LAB

EU QUALITY

EU MAINT.

EU - IT

PR LAB**

PR SALES

AUDITORS

METROTEKA

score

FEATURES

GENERAL IMPROVEMENTS

20

SE, CET, HV, AS, AP, OOA, CTOA

-

20

S

x

-

20

xxx

xxx

-

19

HV, N AS, TG, OOA, CTOA, NCT

xx

x

-

-

17

CET, HV, N, OVD

-

x

x

xx

-

16

EL, SE, CET, N

x

x

xxx

x

xx

-

16

DS

x

-

x

x

x

-

12

EL

xx

x

x

xx

-

11

DD, DU

Reducing paperwork and saving time

xx

xxx

xx

-

xx

xx

xx

-

Easy administration of hierarchy

xx

xxx

x

xxx

-

x

xxx

Single history record for each instrument

xxx

xx

xx

-

xxx

xx

Compliance with ISO/GMP/etc. standards

x

xxx

x

xxx

x

User friendly and simple interface

xxx

xxx

xx

-

All records easy and quick to find

xxx

xx

xx

Digital substitute for approval of records

-

xxx

All MAME records in one place

xx

xxx

Paper records

x

x

x

ACTIVITY* MANAGEMENT IMPROVEMENTS

Storage of external activity* reports

xxx

xxx

xxx

-

xx

x

x

-

20

HV, DD, DU, N

Scheduling external activities*

xxx

xxx

xxx

-

xx

x

-

-

19

AS, AP

Maintaining external activity* intervals

xxx

xxx

xxx

-

-

x

-

-

16

AS, ARAA, AP

Storage of internal activity* reports

xx

xx

xx

-

-

x

x

-

11

HV, DD, DU, N

Scheduling internal activities*

xx

xx

xx

-

-

x

-

-

10

AS, AP

Maintaining internal activity* intervals

xx

xx

xx

-

-

x

-

-

10

AS, ARAA, AP

Reminding end users on due activities

-

-

-

-

-

xxx

-

-

5

AS, ARAA

15. HRVATSKA KONFERENCIJA O KVALITETI 6. znanstveni skup Hrvatskog društva za kvalitetu 07. - 09. svibnja 2015. Primošten, Hrvatska

- 198 -