iSeriesNEWS-fr

Éditions IT-Media www.itpro.fr

Vol.5 - Numéro 2 - Février 2006

©

Le mensuel des professionnels AS/400 & iSeries

CODE ABONNÉ : 742589

4

>>

Comparaison des diverses techniques de tri

Dossier

La performance des applications

de sous-fichiers

14 >> Comprendre les plans d’accès et les chemins de données ouverts

26 >> Améliorer et ajuster la performance de l’IFS, 2e partie

34 >> Les API Cryptographic Services

41 >> Bulletin d'abonnement

Sécurité Les API Cryptographic Services

43 >> Boîte à outils

Boîte à Outils

Pour assurer la continuité de votre Informatique, mieux vaut une solution simple et rapide

Kawan Communication

©

La solution de Back up et de haute Disponibilité pour iSeries 400

w

w

w

.

q

u

i

c

k

-

s

o

f

t

w

a

r

e

-

l

i

n

e

.

c

o

m

©

EDITO

IT-Media iSeries News est une publication des éditions IT-Media 21, avenue Saint Fiacre - 78100 St Germain en Laye IT-Media est une SARL de presse de 10 000 euros RCS Versailles - SIRET 441 810 199 00022 - APE 221C Tél. : 33 1 39 04 25 00 - Fax. : 33 1 39 04 25 05 Site officiel : www.itpro.fr Directeur de la Publication Sabine Terrey

PERFORMANCE DES APPLICATIONS …

Directeur des opérations Renaud Rosset - rrosset@itpro.fr Tél. 01 39 04 24 80 - Fax . 01 39 04 25 05 Responsable Financière Anne-Véronique Baudin Tél. 01 39 04 24 82 – Fax . 01 39 04 25 05 Responsable de la rédaction Sabine Terrey - sterrey@itpro.fr Tél. 01 39 04 24 85 - Fax . 01 39 04 25 06 Comité de Rédaction de ce numéro Scott Klement, Dan Cruikshank, Richard Theis, Beth Hagemeister Direction artistique Pauline Napoly - pnapoly@itpro.fr Service des abonnements Tél. 01 49 60 10 40 - Fax . 01 49 60 10 55 abonnement@itpro.fr Directeur commercial Christophe Rosset - crosset@itpro.fr Tél. 01 39 04 24 95 - Fax . 01 39 04 25 05 Responsables commerciales Myriam Ifrah – mifrah@itpro.fr Tél. 01 39 04 24 94 – Fax . 01 39 04 25 05 Anne-Marie Gérard – amgerard@itpro.fr Tél. 01 39 04 24 91 – Fax . 01 39 04 25 05 Responsable Internet Thanusian Rasanayagam – trasan@itpro.fr Tél. 01 39 04 24 90 – Fax . 01 39 04 25 05 Représentant USA GLOBAL AD-NET Tél. : 603.924.1040 - Fax . 603.924.1041 Publié en collaboration avec Penton Media Inc. LOVELAND Co 805 39 221 E 29 th STREET

Cher Abonné, Cher lecteur, Cher professionnel des environnements iSeries, Passons en revue différentes méthodes de tri de sous-fichiers … un dossier très instructif qui analyse les avantages et les inconvénients de chaque technique utilisée afin d’en retirer encore plus de performances !

Savourons la suite de notre série consacrée à la modernisation d’une base de données et à la transformation des programmes applicatifs en examinant ici la phase dédiée à l’isolation de la base de données.

Poursuivons sur le « chemin » de l’amélioration du fonctionnement de l’IFS sur le plan global et sur celui des applications et découvrons de nouveaux conseils et astuces visant à régler et à peaufiner la performance des fichiers stream.

Conception & Réalisation Kawan Communication - www.kawan.biz

Protéger la confidentialité des données et assurer leur intégrité grâce à un ensemble d’outils. Un petit tour d’horizon des mesures cryptographiques aptes à sécuriser les données sensibles !

Imprimé en France par IDSL SA 87400 St Léonard de Noblat

Nous vous souhaitons une riche et fructueuse lecture.

Diffusé en France par ACTION MAIL SERVICES 92000 Nanterre

Bien cordialement

Dépôt légal : Septembre 2004 N° ISSN : 1632-7616 iSeries News est une publication indépendante non affiliée à IBM Corporation. IBM Corporation n'est en aucun cas responsable de la ligne éditoriale et du contenu de la publication.

AS/400, iSeries sont des marques déposées de IBM Corporation. iSeries News est une marque déposée de Penton Media Inc et utilisée par IT-Media, sous licence exclusive d’exploitation.

Toute reproduction des articles est conditionnée à l'autorisation de l'Éditeur.

IT-Media - 21, avenue Saint Fiacre - 78100 St Germain en Laye

Site officiel : www.itpro.fr

iSeries News SERVICE DES ABONNEMENTS 26 Blvd Paul Vaillant Couturier 94851 Ivry cedex Tél. 33 1 49 60 10 40 Fax 33 1 49 60 10 55 abonnement@itpro.fr - www.itpro.fr

Sabine Terrey Directrice de la Rédaction sterrey@itpro.fr

Depuis plus de 10 ans, iSeries NEWS fédère et accompagne la communauté des responsables informatiques en charge des environnements moyens systèmes IBM. Toute la richesse des publications IT-Media réside dans la combinaison unique de contenus à la fois technologiques et stratégiques, iSeries NEWS en est le plus ancien représentant, il est publié aux côtés de 3 autres publications thématiques, Exchange Magazine, SQL Server Magazine et Windows IT Pro Magazine. Pour plus d’informations sur nos titres www.itpro.fr

www.itpro.fr

3

DOSSIER

Quel est le meilleur moyen de trier un sous-fichier ?

>> par Scott Klement

COMPARAISON OMPARAISON DES DES DIVERSES DIVERSES TECHNIQUES TECHNIQUES DE DE TRI TRI DE DE SOUS SOUS-FICHIERS FICHIERS

4

Le mensuel des professionnels AS/400 & iSeries Février 2006

de ses champs, et le résultat est chargé dans le sous-fichier.

Au fil des ans j’ai reçu de nombreux conseils sur « la Ce dernier est ainsi trié. Quand l’utilisateur veut le trier sur meilleure » manière de trier un sous-fichier. Certaines des un champ différent, il déplace le curseur sur un autre champ méthodes préconisées étaient simples, d’autres très de l’écran et appuie sur F8. Le programme regarde où complexes, mais toutes m’étaient présentées comme « la l’utilisateur a placé le curseur puis ordonne au programme plus efficace ». Vous conviendrez avec moi que toutes ne de service de retrier la matrice sur le nouveau champ. Après peuvent pas être les plus efficaces. Dans cet article, je passe quoi il recharge le sous-fichier à partir de la matrice et affiche en revue plusieurs méthodes de tri d’un sous-fichier, le résultat j’analyse leurs avantages et inconvénients et teste chacune Comme certaines méthodes de tri fonctionnent mieux d’elles pour illustrer les différences de performances. sur différents types de données, je m’efforce d’avoir des Les documents traitant de performances doivent champs alphanumériques à la fois longs et courts dans mon toujours être interprétés avec circonspection. En effet, les sous-fichier, ainsi que des types de données numérique et performances résultent de nombreux facteurs qu’il est date. J’ai testé tous ces champs. difficile de prendre en compte globalement. Si vous attachez Certaines méthodes de tri donnent de meilleurs résultats une grande importance à la performance, le mieux est sur de grands ensembles de données et d’autres sur des d’essayer chaque méthode de tri par vous-mêmes avant d’en ensembles plus petits. Certaines sont plus rapides quand les choisir une. Bien que je me sois efforcé de fournir des résultats aussi exacts que possible, votre matériel et vos données sont certainement différents des miens et il est donc probable que vos résultats ne seront pas exactement les ES DOCUMENTS TRAITANT DE PERFORMANCES mêmes. Pour que vous compreniez bien DOIVENT TOUJOURS ÊTRE INTERPRÉTÉS AVEC comment j’ai obtenus les nombres présentés CIRCONSPECTION dans cet article, je vais commencer par décrire l’environnement utilisé.

>> L

L’environnement données sont déjà triées en tout ou partie, tandis que La figure 1 montre le code source DDS d’un fichier nommé d’autres méthodes y sont indifférentes. C’est pourquoi j’ai CUSTFILE. Mon but était de charger les données de ce fichier testé chaque méthode de tri sur un sous-fichier de 100, 1000 dans un sous-fichier visible par l’utilisateur. Je voulais que et 9 999 enregistrements. Pour chaque taille testée, j’ai aussi celui-ci puisse placer son curseur sur n’importe quel champ retrié le sous-fichier une fois ordonné, pour voir quel effet du sous-fichier et appuyer sur F8 pour trier le sous-fichier éventuel cela avait sur la performance. d’après ce champ. Vous pouvez voir que le DDS pour Comme je ne voulais pas que d’autres facteurs puissent CUSTFILE ne spécifie pas de champ clé. Il y a une bonne fausser mes tests, je les ai effectués en heures creuses, quand raison à cela : si le fichier était indexé par clé, cette clé rien d’autre ne s’exécutait sur l’iSeries. J’ai exécuté chaque pourrait affecter la performance du tri. J’ai aussi écrit un test 100 fois et j’ai calculé la moyenne des résultats pour programme appelé RANDOMIZE, qui met les données du représenter plus exactement la durée de chacun.

CUSTFILE dans un ordre aléatoire (le programme est inclus J’ai mené des tests sur des données prétriées et non dans le code téléchargeable de cet article, disponible sur triées sur six champs différents par six méthodes de tri www.itpro.fr club abonnés). Ce faisant, aucun des champs ne différentes (SORTA, QSORT, QLGSORT, file d’attente de devrait être dans un ordre particulier au moment du tri. données indexées, index utilisateur, et SQL imbriqué) et J’introduis les routines qui chargent les données client et trois tailles de sous-fichiers différentes. J’ai effectué chaque je les trie dans un programme de service séparé. Ainsi, si je test 100 fois : soit plus de 20 000 tests pour préparer cet souhaite plus tard remplacer mon programme sur écran vert article ! (passif) par un programme GUI, je n’aurai pas besoin de réécrire la logique de chargement et de tri du fichier. Cette méthode me permet également d’écrire un proA R CUSTFILEF A CUSTNO 8A gramme séparé pour tester la A NAME 25A A CITY 15A performance de chaque routine de tri.

A STATE 2A A ZIPCODE 9S 0 Le programme de service charge A LASTBOUGHT L les données de CUSTFILE dans une matrice. La figure 2 montre cette Figure 1 : DDS pour le fichier CUSTFILE matrice, qui est ensuite triée sur l’un

www.itpro.fr

5

DOSSIER

longueur de 69 octets, je ne peux avoir que 949 éléments dans une matrice ainsi déclarée. Si je veux tester ds likeds(CUST_T) des matrices de 1000 ou 10 000 dim(9999) éléments, cette méthode ne conviendra pas !

Figure 2 : Définition de la matrice à trier Une structure de données non nommée permettrait de plus grandes matrices, mais elle ne fonctionnera pas non plus dans ce cas parce que D Ascend ds qualified A D AllFields dim(949) j’utilise un pointeur pour recouvrir la D CustNo 8A overlay(AllFields:1) D Name 25A overlay(AllFields:*NEXT) matrice de structure de données, et D City 15A overlay(AllFields:*NEXT) des structures de données non D State 2A overlay(AllFields:*NEXT) D ZipCode 9S 0 overlay(AllFields:*NEXT) nommées ne peuvent pas être basées D Date D overlay(AllFields:*NEXT) sur un pointeur. . .

Heureusement, il existe un plan select; B B : je peux créer une matrice « plate » when field = FIELD_CUSTNO; sorta %subarr(Ascend.CustNo:1:Elems); (c’est-à-dire, une matrice ne when field = FIELD_NAME; sorta %subarr(Ascend.Name:1:Elems); contenant aucun champ) et placer le when field = FIELD_CITY; champ Sort By au début. Comme je sorta %subarr(Ascend.City:1:Elems); when field = FIELD_STATE; n’ai plus besoin de faire tenir le sorta %subarr(Ascend.State:1:Elems); when field = FIELD_ZIP; résultat dans une structure de sorta %subarr(Ascend.ZipCode:1:Elems); données, je peux fournir une plus when field = FIELD_DATE; sorta %subarr(Ascend.Date:1:Elems); grande matrice à l’opcode SORTA. endsl; Mais il me faudra copier les données dans la matrice à chaque fois (parce Figure 3 : Structure de données avec OVERLAY pour SORTA que les données clé peuvent être différentes à chaque tri), donc cette méthode de tri de mon sous-fichier ne fonctionnera pas aussi bien.

Parlons de SORTA SORTA présente deux gros avantages : elle est intégrée Je ne peux pas écrire un article sur le tri sans tester SORTA, en RPG et est simple d’emploi. Son point faible est son l’opcode de tri intégré de RPG. Avant la V5R3, il était difficile manque de souplesse. Elle est meilleure qu’en RPG III ou d’utiliser SORTA parce que, entre autres, il triait toujours même qu’en V5R2, mais c’est encore l’une des méthodes les toute la matrice au lieu de ne trier que les éléments non plus rigides qui soient. On ne peut pas l’utiliser sur une vierges. Cela a été corrigé en V5R3 par l’introduction de la matrice de structure de données. Elle est difficile à utiliser fonction intégrée (BIF, built-in function) %SUBARR. Comme sur un espace utilisateur ou sur de la mémoire allouée à j’utilise la V5R3 sur mon système, j’ai utilisé %SUBARR dans partir du tas. Il est difficile d’effectuer un tri insensible à la mes tests pour que les résultats soient les plus rapides casse (majuscules/minuscules). Cela dit, mes résultats de possibles.

SORTA a pour autre inconvénient de ne pas agir sur une matrice de structure de données.

Donc, pour trier une structure de données multichamp, il faut créer une matrice à >> BIEN QU’ELLE FASSE TECHNIQUEMENT PARTIE DE l’intérieur d’une structure de données puis C ILE, QSORT EST UNE API QUE L’ON PEUT APPELER À utiliser OVERLAY pour recouvrir chaque PARTIR DU RPG OU À PARTIR DE TOUT LANGAGE ILE champ. Le renvoi A de la figure 3 montre une ACCEPTANT DES PROCÉDURES DE RAPPEL structure de données ainsi définie. On peut voir en B de cette même figure que cela facilite le tri sur un champ particulier dans la matrice. test, sur lesquels je reviendrai plus en détail dans la suite de Malheureusement, cette technique pose un gros cet article, montrent toute son efficacité pour trier une petite problème : une structure de données nommée ne peut pas matrice. dépasser 65 535 octets. Comme mes données ont une D CUST_T D . .

D CustList D

6

E DS

Le mensuel des professionnels AS/400 & iSeries Février 2006

EXTNAME(CUSTFILE) based(Template)

Le tri rapide est-il si rapide ?

Bien qu’elle fasse techniquement partie de C ILE, QSORT est une API que l’on peut appeler à partir du RPG ou à partir de tout langage ILE acceptant des procédures de rappel.

QSORT s’appuie sur l’algorithme de tri QuickSort, l’un des plus rapides à l’heure actuelle. QSORT se veut aussi le plus souple possible.

Pour qu’une routine de tri sache où placer chaque élément d’une matrice, il lui faut comparer les éléments entre eux. Effectuée en boucle, cette comparaison détermine l’ordre final obtenu en fin de tri. Par conséquent, il faut laisser le programmeur contrôler les modalités de comparaison des éléments entre eux, pour lui offrir le maximum de souplesse.

Voyons comment QSORT obtient sa souplesse. Vous écrivez votre propre sous-procédure qui compare deux éléments de la matrice, et QSORT appelle la sous-procédure avant d’effectuer une comparaison. De sorte que vous pouvez faire pratiquement ce que vous voulez ! En effet, comme vous écrivez la routine de comparaison, QSORT n’a pas à comprendre le format des données qu’elle trie. Vous pouvez trier sur une matrice ordinaire ou sur une matrice de structure de données, ou encore sur une structure de données à occurrences multiples (MODS, multiple-occurrence data structure) avec facilité. Et aussi effectuer des calculs spécialisés. Par exemple, vous pourriez mettre en capitales les mots avant de les comparer, afin que le tri soit insensible à la casse. C’est parfaitement possible puisque vous êtes le seul à écrire le code de comparaison. Pour plus d’exemples de la souplesse de Q S O R T, v o i r « T h e Q S O R T Function » (www.itpro.fr Club abonnés), dans lequel j’ai démontré l’utilisation de QSORT. Pour cet exemple, j’ai gardé les

routines de comparaison courtes et nettes afin que leurs résultats soient comparables à ceux que vous obtiendriez par les autres méthodes.

La figure 4 montre comment l’API

QSORT est appelée. Le prototype (en A) accepte des paramètres pour l’espace en mémoire servant au démarrage, le nombre d’éléments de la matrice, la taille de chaque élément,

www.itpro.fr

7

DOSSIER

A

D qsort D base D num D width D compare D CompProc /free

PR * 10U 0 10U 0 * s

*

B

select; when field = FIELD_CUSTNO; CompProc = %paddr(CompCustno); when field = FIELD_NAME; CompProc = %paddr(CompName); when field = FIELD_CITY; CompProc = %paddr(CompCity); when field = FIELD_STATE; CompProc = %paddr(CompState); when field = FIELD_ZIP; CompProc = %paddr(CompZipCode); when field = FIELD_DATE; CompProc = %paddr(CompDate); endsl;

C

qsort( %addr(Array) : Elems : %size(CUST_T) : CompProc );

ExtProc(’qsort’) value value value procptr value procptr

Figure 4 : API QSORT

P CompCustno D CompCustno

B PI

A

D E1 D E2 /free

B

select; when E1.Custno < E2.CustNo; return -1; when E1.CustNo > E2.CustNo; return 1; other; return 0; endsl; /end-free P E

10I 0 likeds(CUST_T) likeds(CUST_T)

Pour modifier cette routine afin que le tri ait lieu dans l’ordre décroissant au lieu de croissant, j’inverserais les instructions RETURN afin que la condition plus petit que renvoie 1 et que la condition plus grand que renvoie -1.

Contrairement à SORTA, QSORT peut être utilisé sur de grandes matrices, sur de la mémoire allouée dynamiquement, et aussi sur des espaces utilisateur. Il peut trier une matrice MODS ou de structure de données ainsi que des matrices simples. Comme vous contrôlez la routine de comparaison, vous pouvez lui confier des tris insensibles à la casse et aussi l’utiliser pour des tris où la position de la clé varie. Elle est puissante et rapide. Cependant, elle présente un inconvénient. QSORT n’est pas un « tri stable ». Entendez par là que, même si QSORT met les champs clés dans le bon ordre lorsqu’il y a deux enregistrements dans lesquels les clés ont la même valeur, rien ne permet de prévoir lequel sera le premier et lequel sera le second (à moins, bien sûr, d’ajouter un autre champ de comparaison dans votre sous-procédure).

L’API QLGSORT J’ai découvert l’existence de l’API QLGSORT en 1996, en lisant l’article Figure 5 : Exemple de routine de comparaison pour QSORT « Order Your Data with the Sort APIs ».

A l’époque, cette API m’intéressait au plus haut point parce que je ne connaissais aucune autre manière de trier une MODS, et que et l’adresse de la procédure chargée de la comparaison. je me résignais souvent à écrire mes propres routines de tri.

J’utilise une routine différente pour chaque champ Cette API est un peu plus compliquée à utiliser que intervenant dans le tri, donc un groupe SELECT (en B) est SORTA ou QSORT. Il me semble que IBM a essayé d’en faire utilisé pour préciser la routine de comparaison retenue. trop avec une API : est-il vraiment nécessaire que cette API Ensuite, j’appelle QSORT et lui ordonne d’utiliser cette puisse trier à la fois de la mémoire et des fichiers ? Pourquoi routine de comparaison (en C). ne pas avoir des API séparées pour cela ?

La figure 5 montre l’une de ces routines de comparaison Par ailleurs, comme le nombre de clés et leurs longueurs pour illustrer leur fonctionnement. On le voit, QSORT affectent le format des paramètres de l’API, il n’est pas facile transmet à la routine de comparaison les deux éléments d’avoir des paramètres parfaits. Quand on a pris l’habitude qu’elle veut comparer (en A). La routine les compare et de l’API, ce n’est pas si mal. Mais, comme QSORT est plus renvoie 0 quand les clés ont les mêmes valeurs, 1 quand le facile à utiliser, plus rapide et plus souple pour trier des premier élément devrait être placé plus loin dans la liste que matrices, on ne voit pas bien pourquoi vous choisiriez le second élément, et -1 quand le premier élément devrait QLGSORT. être placé avant le second élément (en B).

8

Le mensuel des professionnels AS/400 & iSeries Février 2006

Cela dit, j’ai trouvé un avantage à l’utilisation de QLGSORT : elle accepte les langages internationaux, au lieu de trier sur des valeurs hexadécimales brutes. C’est vrai, on pourrait réaliser cela également avec QSORT, parce que vous pouvez écrire le code de comparaison à votre guise, mais avec QLGSORT, IBM vous a déjà mâché le travail.

S’il vous intéresse de voir comment j’ai appelé l’API QLGSORT, vous pouvez télécharger le code source de cet article. Comme QSORT, QLGSORT fournit une méthode pour trier les matrices de structures de données, les MODS, la mémoire allouée dynamiquement, et les espaces utilisateur.

Mes tests ont été performants, mais pas autant qu’avec QSORT. Si vous avez besoin du support de langue nationale qu’elle offre, ou s’il vous faut une routine de tri qui soit accessible à partir de langages OPM (Original Program Model), QLGSORT pourrait bien vous convenir. Sinon, il vaut mieux utiliser QSORT.

Files d’attente de données indexées Pendant des années j’ai participé à des forums en ligne et à des listes de publipostage, dans lesquels les utilisateurs échangent des tuyaux sur la manière de résoudre des problèmes de gestion courants sur l’iSeries.

Chaque fois que le sujet du tri d’un sous-fichier est évoqué, l’une des premières suggestions est d’utiliser une file d’attente de données indexées. Encouragé par toutes ces recommandations en sa faveur, je pensais que ce serait une bonne méthode de tri.

J’ai été déçu ! Non seulement la file d’attente de données indexées a été peu performante dans mes tests, mais elle a aussi été l’une des méthodes les plus compliquées. En effet, elle fait intervenir la commande CL CRTDTAQ (Create Data Queue) pour créer une nouvelle file d’attente de données

ayant la valeur de clé correcte. Comme la clé dans mon exemple change selon la colonne choisie, il s’en suit qu’il faut construire la chaîne de commande à la volée. Après avoir créé la file d’attente de données, il faut utiliser l’API QSNDDTAQ pour charger chaque entrée dans la file puis utiliser l’API QRCVDTAQ pour lire chaque entrée en retour. Comme ces API sont des appels de programme dynamiques, il est extrêmement inefficace de les répéter des milliers de fois.

Les files d’attente de données font merveille pour permettre les communications entre deux jobs ou plus, et elles ont sûrement toute leur place sur l’iSeries. Mais elles ne conviennent pas bien pour trier un sous-fichier. Elles sont moins souples

que les fonctions de tri, plus difficiles à utiliser et plus lentes. Envisagez plutôt QSORT, SORTA ou QLGSORT.

Les index utilisateur Les index utilisateur sont une méthode de tri semblable à la méthode par file d’attente de données indexées. Un index utilisateur est un objet qui peut stocker de grandes quantités de données, indexées avec une clé, pour permettre rapidement l’extraction aléatoire à partir de l’index utilisateur.

Pendant des années, j’ai cherché une bonne raison d’essayer les index utilisateur, aussi quand j’ai entamé le projet consistant à tester différentes méthodes de tri, c’était l’occasion rêvée. Malheureusement, j’ai été tout aussi déçu qu’avec la méthode

PUB 1/3 carre 116X135 CONDOR a placer par montibus

www.itpro.fr

9

DOSSIER

D x D SqlStatement

A

B

C

C C c c c c c c c c c c c c c c C/exec sql C+ C/end-exec C/exec sql C+ C/end-exec C/exec sql C+ C/end-exec C/exec sql C+ C/end-exec C c c c c C/exec sql C+ C/end-exec c C/exec sql C+ C/end-exec

s

10I 0 100A varying

s eval select when eval when eval when eval when eval when eval when eval endsl

SqlStatement = ’SELECT * FROM CUSTFILE’ + ’ ORDER BY ’ field = FIELD_CUSTNO SqlStatement = SqlStatement+’CUSTNO’ field = FIELD_NAME SqlStatement = SqlStatement+’NAME’ field = FIELD_CITY SqlStatement = SqlStatement+’CITY’ field = FIELD_STATE SqlStatement = SqlStatement+’STATE’ field = FIELD_ZIP SqlStatement = SqlStatement+’ZIPCODE’ field = FIELD_DATE SqlStatement =SqlStatement+’LASTBOUGHT’

PREPARE STMT FROM :SqlStatement

DECLARE C1 CURSOR FOR STMT

OPEN C1

FETCH NEXT FROM C1 INTO :SqlRec dow eval if eval endif

SQLCOD = 0 x = x + 1 x < elems Array(X) = SqlRec

FETCH NEXT FROM C1 INTO :SqlRec enddo CLOSE C1

Figure 6 : Charger dans l’ordre trié en utilisant SQL imbriqué

Figure 7 : Résultats du benchmark pour un sous-fichier de 100 enregistrements, en secondes Méthode

SORTA

NoCli

Nom

Ville

Etat

C.P.

Date dernier achat

0,0213 0,0215 0,0244 0,0210 0,0229 0,0789

avec source de données aléatoire

SORTA

0,0004 0,0006 0,0006 0,0006 0,0011 0,0301

avec source de données prétriée

10

SORTA aléatoire

0,0385 0,0382 0,0380 0,0379 0,0407 0,0422

SORTA prétrié

0,0168 0,0167 0,0167 0,0168 0,0170 0,0211

QSORT aléatoire

0,0222 0,0230 0,0218 0,0210 0,0234 0,1017

QSORT prétrié

0,0005 0,0005 0,0005 0,0009 0,0008 0,0198

QLGSORT

0,0763 0,0640 0,0592 0,0604 0,0626 0,0629

File de données indexées

0,1518 0,1244 0,1201 0,1185 0,1238 0,1234

Index utilisateur

1,6050 1,5621 1,5694 1,4914 1,5623 1,5466

SQL imbriqué

0,0636 0,0619 0,0645 0,0615 0,0631 0,0614

Le mensuel des professionnels AS/400 & iSeries Février 2006

des files d’attente de données.

Je l’ai dit, les index utilisateur font merveille pour extraire rapidement un enregistrement particulier dans une longue liste de données. Mais ils ne conviennent pas pour trier un bloc de données de taille modeste, comme un sous-fichier.

Ils m’ont semblé difficiles à utiliser, parce que l’on ne peut pas indiquer la position de départ de la clé. Celle-ci doit démarrer au début de l’entrée de l’index ! Par conséquent, il m’a fallu réarranger les champs dans la structure de données (comme je l’avais fait avec SORTA pour plus de 949 éléments, et exactement comme je l’ai fait avec les API de la file d’attente de données, il m’a fallu créer l’objet à chaque fois, y écrire les éléments un à un, puis les relire à nouveau.

Les index utilisateur ont donné de piètres résultats. En vérité, ils étaient nettement plus lents que les autres méthodes essayées. A l’évidence, ils ne sont pas le bon outil en la circonstance, et vous feriez mieux de rechercher autre chose pour trier vos sous-fichiers.

SQL imbriqué La méthode SQL imbriqué ne trie pas en réalité la matrice. Elle recharge plutôt celle-ci à partir de la base de données, dans l’ordre souhaité. Comme c’est un moyen courant pour obtenir des données de sous-fichiers dans l’ordre voulu, j’ai jugé intéressant de l’inclure dans ma comparaison.

La figure 6 montre combien il est facile de construire une instruction SQL à la volée et de l’exécuter dans un programme

DOSSIER

Figure 8 : Résultats du benchmark pour un sous-fichier de 1000 enregistrements, en secondes Méthode

SORTA

NoCli

Nom

Ville

Etat

C.P.

Date dernier achat

n/a

n/a

n/a

n/a

n/a

n/a

n/a

n/a

n/a

n/a

n/a

n/a

avec source de données aléatoire

SORTA avec source de données prétriée

SORTA aléatoire

0,0910 0,0856 0,0836 0,0820 0,0810 0,1264

SORTA prétrié

0,0312 0,0326 0,0322 0,0310 0,0470 0,0756

QSORT aléatoire

0,0525 0,0583 0,0517 0,0430 0,0782 1,1585

QSORT prétrié

0,0115 0,0123 0,0123 0,0122 0,0192 0,4863

QLGSORT

0,0949 0,1055 0,1014 0,0884 0,0901 0,0896

File de données indexées Index utilisateur SQL imbriqué

0,4134 0,4157 0,4149 0,4114 0,4188 0,4641 15,3970 14,8294 14,7630 14,1828 14,8142 14,3446 0,5078 0,4306 0,4258 0,4249 0,4322 0,4236

Figure 9 : Résultats du benchmark pour un sous-fichier de 10 000 enregistrements, en secondes Méthode

SORTA

NoCli

Nom

Ville

Etat

C.P.

Date dernier achat

n/a

n/a

n/a

n/a

n/a

n/a

n/a

n/a

n/a

n/a

n/a

n/a

avec source de données aléatoire

SORTA

vous devez sortir du format libre avant de pouvoir coder l’instruction SQL, puis redémarrer le for mat libre, le coding se complique quelque peu. Dans cet exemple, j’ai résolu ce problème en codant toute la sous-procédure en format fixe.

Cependant c’est un inconvénient indiscutable de l’utilisation du SQL imbriqué.

Cela mis à part, le SQL imbriqué a bien fonctionné dans mes tests. Il a été facile à coder et s’est bien comporté, particulièrement lorsqu’on sait qu’il a dû revenir au disque pour lire les données !

Si vous devez charger les données à partir du disque quand vous les triez, songez à utiliser le SQL imbriqué dans vos programmes. Si les données sont déjà en mémoire, QSORT et SORTA sont préférables.

Interpréter les résultats SORTA prétrié 0,2040 0,2102 0,2158 0,2074 0,2386 0,6414 Les figures 7, 8 et 9 montrent les QSORT aléatoire 0,4628 0,4802 0,3992 0,2312 0,7724 12,8852 résultats obtenus par chaque QSORT prétrié 0,2064 0,2106 0,1864 0,1378 0,3430 6,6148 méthode de tri avec 100, 1000 et QLGSORT 0,4370 0,4702 0,4356 0,4112 0,4366 0,4404 9 999 enregistrements respecFile de données indexées 3,8984 3,2664 3,2364 3,3048 3,2746 3,8322 tivement.

152,3958 151,0031 153,7741 150,9319 154,0104 152,1176 Index utilisateur J’ai effectué ces tests pluSQL imbriqué 2,4644 3,8680 3,7382 3,7482 3,8840 3,7558 sieurs fois et les résultats ont varié légèrement chaque fois : jusqu’à 8 millisecondes d’écart.

Chaque test, sauf les « prétriés », a produit une copie fraîche RPG. En premier lieu, l’instruction SQL est construite dans de la matrice. Ainsi, ils ont tous démarré au même endroit une chaîne, et la clause spécifie la clé de tri (A en figure 6).

Après quoi vous pouvez préparer cette instruction et ouvrir un curseur (en B). Enfin, vous pouvez atteindre les enregistrements provenant du fichier dans la matrice afin de A MÉTHODE IMBRIQUÉ NE TRIE PAS EN pouvoir les charger dans le sous-fichier (en C).

RÉALITÉ LA MATRICE Cette méthode ne fonctionnerait pas bien avec un sous-fichier que les utilisateurs peuvent modifier. Si les utilisateurs peuvent entrer les données dans le sous-fichier, toutes les données doivent être resauvegardées sur disque avant de les trier avec quand le tri a commencé. Cependant, la création de la copie SQL, au détriment de la performance. a ajouté environ 20 millisecondes qui ne font pas partie des De plus, IBM doit encore faire le nécessaire pour que le résultats des tests « prétriés ». Tenez-en compte en SQL imbriqué fonctionne en RPG en format libre. Comme comparant les résultats. avec source de données prétriée

SORTA aléatoire

0,8088 0,8160 0,8200 0,7844 0,8902 1,2412

>> L

12

Le mensuel des professionnels AS/400 & iSeries Février 2006

SQL

De plus, vous utiliserez ces techniques de tri avec des données différentes des miennes, ce qui affectera aussi les résultats. Il en découle qu’aucun de ces chiffres ne devrait être pris comme une durée exacte, et vous devez négliger les petites différences entre eux. Ainsi, quand QSORT renvoie 0,0222 seconde et SORTA renvoie 0,0230 seconde, vous pouvez estimer sans risque que c’est la même vitesse.

En revanche, ces chiffres montrent les différences relatives de vitesse entre les techniques.

Considérez la différence entre le tri de 10 000 enregistrements avec une file d’attente de données, qui a pris 3,5 secondes, et la même action avec QSORT en 0,5 seconde environ. On change d’ordre de grandeur !

Outre la performance abyssale des méthodes par index utilisateur et par file d’attente de données, j’ai été vraiment étonné par la différence de vitesse entre le tri sur un champ date et le tri sur un champ numérique ou un champ caractère. Comme la technique QSORT a utilisé le support date du RPG pour comparer les champs date et le support numérique du RPG pour comparer les codes postaux, il y a une nette différence (en diminution) des vitesses de tri de ces champs. Les autres méthodes ont utilisé les valeurs hexadécimales des champs pour trier ces derniers et, par conséquent, leurs vitesses de tri étaient presque les mêmes que pour tout autre champ.

Au bout du compte, QSORT a été la vraie star. Pensez à l’essayer dans votre prochain projet comportant le tri d’un sousfichier. ■

ADVENCED BUSINESS LINK

nouveau fichier À PLACER PAR montibus

www.itpro.fr

13

DOSSIER

COMPRENDRE LES PLANS D’ACCÈS ET LES CHEMINS DE DONNÉES OUVERTS SQL traite efficacement les problèmes de performance courants en matière d’application >> par Dan Cruikshank

Dans l’article « Comparaison des performances entre fichiers définis par DDS et fichiers définis par SQL » (iSeries News juillet 2005, www.itpro.fr Club abonnés), j’expliquais les différences architecturales entre les objets base de données créés par SQL DDL et DDS. J’indiquais aussi comment reconditionner les bases de données DDS existantes pour que les programmes HLL existants puissent bénéficier des améliorations SQL. Cette stratégie constitue la phase 1 de ma méthodologie de réingénierie de base de données et de transformation des programmes applicatifs.

Ici, je commence à examiner la phase 2 : l’isolation de la base de données. En fait, la phase 1 était la première étape vers cette OUR DÉMONTRER LES DIFFÉRENCES DANS LA isolation. En essence, tous les objets et membres source PF (Physical File) DDS ont MISE EN ŒUVRE DES PROGRAMMES ET été convertis en objets et membres source J AI RECOURS À DEUX PROGRAMMES LF (Logical File) DDS. Le code source LF DDS existant a été modifié pour partager les chemins d’accès index 64 K SQL et, si nécessaire, partager le format du fichier physique original transformé (figure 1).

Les environnements de la phase 2 sont caractérisés par la séparation de la fonction d’I/O base de données d’une part, des processus de gestion et de présentation de l’application d’autre part. Cela a porté plusieurs noms (développement d’application n-tier, Model-View-Controller, par exemple).

Pour obtenir les meilleurs résultats avec SQL, je vous conseille de commencer avec une base de données créée par SQL (phase 1) et d’effectuer tous les accès base de données via des instructions DML (Data Manipulation Language) SQL imbriquées dans les modules d’I/O HLL (phase 2).

J’évoque d’autres changements architecturaux notables concernant la manière dont un programme HLL RLA (Record Level Access) et un programme HLL contenant du SQL imbriqué statique, sont activés puis exécutés. En

>> P ’

14

Le mensuel des professionnels AS/400 & iSeries Février 2006

RLA SQL, RPG

DOSSIER

Isolation phase 1

première fois, évitant ainsi de rendre une visite coûteuse à votre serviteur. Parfois, ces visites ne sont pas très agréables.

Contexte ABC Corporation affiche une croissance régulière et de bons résultats. D’où la nécessité de recruter, à l’intérieur et à l’extérieur de l’IT. Mais ABC était dans l’incapacité d’attirer des talents à cause de l’aspect désuet des applications à écran vert existantes et du manque de diplômés formés au RPG. ABC s’est donc tourné vers un projet de modernisation des applications. Pour l’essentiel, cela consistait à remplacer les écrans verts (passifs) frontaux par des interfaces de navigation sur le Web et à séparer les méthodes d’accès d’I/O RPG en modules d’I/O distincts.

Le projet initial a réussi et compte tenu du bon accueil fait par la communauté utilisatrice, ABC a décidé de poursuivre en convertissant toutes les applications. Les développeurs d’applications ont été autorisés à choisir leur méthode d’accès lors de la création des modules d’I/O. Résultat : les programmeurs de l’ancienne école ont choisi les méthodes d’accès RLA RPG, et les nouvelles recrues ont choisi SQL. Les temps de réponse interactifs étaient tolérables : inférieurs à la seconde quelle que soit la méthode d’accès ; en revanche, le processus batch nocturne commençait à souffrir. Au fur et à mesure que la charge de travail a augmenté, le créneau de réalisation du batch nocturne n’a cessé de rétrécir. A tel point que le travail batch a commencé à empiéter sur la productivité de jour, à la grande inquiétude de la direction.

La première enquête menée avec l’outil iDoctor Job Watcher a révélé que beaucoup de temps était consacré aux modules d’I/O SQL par rapport aux modules d’I/O RPG. Cela a causé une division entre les groupes de programmation.

Avant que n’éclate une guerre civile, le CIO (Chief Information Officer) d’ABC a demandé de l’aide à IBM. Peu de temps après, votre serviteur est entré en scène.

La première étape de l’enquête de performance a

Figure 1 : Isolation de base de données phase 1

Figure 2 : Principaux temps écoulés pendant l’exécution du test

particulier, je compare la vérification du format d’enregistrement RLA et la validation du plan d’accès SQL et je parle de la faculté de réutilisation d’ODP (Open Data Path).

Je suis la structure de la série Performance D UN OBJET PROGRAMME N Mystery écrite avec James Stewart. Pour commencer, je présente une situation client IMBRIQUÉ MONTRERA L OBJET QUI CONTIENT réelle, en comparant les résultats avant et après.

BASE DE DONNÉES RÉFÉRENCÉ DANS Ensuite, j’entre dans le détail de la solution à L INSTRUCTION apporter au problème client. Je clos le débat avec quelques considérations et recommandations. consisté à créer un environnement de test où les jobs batch Dès lors que les développeurs d’applications pourraient être analysés plus en détail. J’ai utilisé le comprennent le mécanisme de base de l’initiation, de collecteur de données PEX (Performance Explorer) pendant l’exécution et de la terminaison des programmes, ils le test pour identifier les programmes les plus coûteux dans pourront écrire un code meilleur et plus efficace dès la

>> U DSPPGMREF ’ SQL ’

16

Le mensuel des professionnels AS/400 & iSeries Février 2006

SQL

’

les jobs et les principaux problèmes liés à la performance applicative.

Le graphique de la figure 2 récapitule les principaux modules système i5/OS représentant le temps écoulé le plus long pendant l’exécution du test. Le coût élevé des modules associés à SQL (optimisation et exécution) a validé les constatations du iDoctor Job Watcher : en substance, une majorité du temps était consacrée aux fonctions SQL. L’étape suivante a consisté à identifier le ou les programmes qui exécutaient la plupart des fonctions SQL. Il s’est avéré qu’au cours de cette étape du processus nocturne, il n’y avait qu’un programme avec SQL imbriqué. Un examen de celui-ci a révélé qu’on utilisait une option de précompilation médiocre. L’option a été changée, le programme a été recompilé et j’ai effectué un autre test.

Le graphique de la figure 3 montre les résultats de temps d’exécution cumulés avant et après des sessions de tests effectués pendant la visite sur le site. La forte réduction du temps d’exécution a été le résultat de la simple recompilation du programme SQL RPG avec les options de compilation appropriées. Au point que les programmes RPG utilisant RLA sont maintenant en tête de liste des temps d’exécution.

Avant de vous dire quelle était la bonne option de compilation, il est important d’énoncer quelques concepts de base qui s’appliquent à la fois aux programmes RLA et aux programmes contenant le programme SQL imbriqué statique. Ces concepts comportent l’utilisation de plans d’accès et d’ODP. Si les concepts sont les mêmes, leur mise en œuvre est très différente.

Figure 3 : Résultats de temps d’exécution cumulés avant et après

PUB 1/3 carre 116X135 ORDIROPE NOUVEAU ÉLÉMENT À VENIR

Le plan d’accès Pour démontrer les différences dans la mise en œuvre des programmes RLA et SQL, j’ai recours à deux programmes RPG. Quoique extrêmement simples, ces programmes sont semblables aux

www.itpro.fr

17

DOSSIER

A************************************************** A* Entity: EMPLOYEE A* Purpose: "Surrogate Logical file for format sharing. This was A* the original physical file prior to conversion.

A************************************************** A R EMPLOYEER PFILE(EMP_TABLE) A* A EMPNO 6 A FIRSTNME 12 A MIDINIT 1 A LASTNAME 15 A WORKDEPT 3 A PHONENO 4 A HIREDATE 8S 0 A JOB 8 A EDLEVEL 4S 0 A SEX 1A A BIRTHDATE 8P 0 A SALARY 9P 2 A BONUS 9P 2 A COMM 9P 2 A* A K EMPNO

Figure 4 : DDS du fichier logique indexé EMPLOYEE

FEMPLOYEE

IF

DEmployee_Nbr DEmp_Last_Name C C C

*entry

E

K DISK S S

Use this keyed logical file LIKE(EMPNO) LIKE(LASTNAME)

Plist Parm Parm

Employee_Nbr Emp_Last_Name

/FREE Chain Employee_Nbr EMPLOYEE; Random keyed read occurs here IF %FOUND; // Record found code follows here\ ELSE; // Record not found code follows here ENDIF; *INLR = *ON; Return;

• Quelle est l’exigence ? Réponse : Extraire le nom patronymique de l’employé de la table Employee.

• Où cela se fera-t-il ? Réponse : Principalement dans des environnements interactifs.

• Avec quelle fréquence ? Réponse : Aussi souvent que nécessaire.

Muni des réponses à ces questions, l’analyste programmeur a proposé le plan suivant pour mettre en œuvre le nouveau module d’I/O : 1. Trouver un fichier logique DDS existant indexé sur le numéro d’employé dont le format contient le nom patronymique de l’employé.

2. Si un fichier logique indexé n’existe pas, en créer un nouveau.

3. Coder et compiler.

4. Tester le programme (procéder à de multiples exécutions).

La figure 4 montre le DDS du fichier logique indexé EMPLOYEE que l’analyste programmeur a choisi d’utiliser pour ce module d’I/O. A noter que le fichier logique indexé est un fichier de substitution converti Figure 5 : Fragment de code pour le programme source dans le cadre de la méthodologie de conversion DDS en DDL expliquée dans mon article de juillet 2005. C’est pour moi DDS LF modules d’I/O développés par ABC Corporation dans le phase 1. cadre de sa modernisation d’applications.

La figure 5 est un fragment de code du programme source codé pour accéder au fichier logique indexé et Le plan RLA. Avant de créer le module d’I/O, l’analyste renvoyer le nom patronymique de l’employé. Pendant la programmeur devait collecter des informations sur compilation du programme, le Record Format Level l’utilisation fonctionnelle de ce module d’I/O. Cela s’est fait Identifier du fichier logique indexé EMPLOYEE est enregistré via une session questions/réponses où l’on trouvait des comme partie intégrante de l’objet programme. Pendant qestions de ce genre : l’activation du programme, l’ID format dans le programme est comparée à l’ID format de l’objet base de données. S’ils sont différents, le programme échouera avec une erreur « level check » (vérification de niveau). Il doit alors être recompilé, ou (espérons que non) un override doit être émis pour ignorer les erreurs de vérification de niveau.

Vous pouvez visualiser le Format Level Identifier dans le programme en utilisant la commande DSPPGMREF (Display Program References). La figure 6 montre un exemple de cette action via la fenêtre iSeries Navigator Run SQL Script.

(La commande DSPPGMREF est incluse dans la liste des exemples. Cliquez simplement sur la flèche basse, faites Figure 6 : Fenêtre iSeries Navigator Run SQL Script

18

Le mensuel des professionnels AS/400 & iSeries Février 2006

défiler les exemples jusqu’à trouver DSPPGMREF, mettez-le en évidence puis insérez-le dans la fenêtre de script.)

Comme le DDS LF en est à la phase 1, vous pouvez modifier la table de base associée EMP_TABLE, soit en ajoutant de nouvelles colonnes, soit en modifiant les colonnes existantes, sans que l’ID du format d’enregistrement EMPLOYEE ne change. Cela signifie que tous les programmes utilisant ce fichier DDS LF n’ont pas besoin d’être recompilés.

Ils s’exécuteront sans aucune erreur de vérification de niveau.

L’analyste programmeur a testé le programme en l’appelant trois fois avec des numéros d’employés différents. Le programme s’est bien exécuté et chaque exécution a duré environ 1,8 millisecondes (selon la configuration du système iSeries de développement). Cela a paru très acceptable et le programme a été mis en production.

Le plan SQL. A l’autre bout de l’immeuble, une autre équipe de programmeurs était en train de développer de nouvelles applications et elle aussi devait extraire le nom de l’employé de la table EMPLOYEE. Cependant ce groupe développait des modules d’I/O destinés à être utilisés comme des procédures stockées externes (c’est-à-dire un programme HLL qui est appelé via une instruction SQL CALL et qui renvoie des données sous la forme de jeux de résultats ou de paramètres).

Le programmeur de base de données SQL a aussi créé un plan d’action, semblable à celui créé par l’analyste programmeur RLA avec quelques exceptions. Le plan ressemblait à ceci : 1. Coder et compiler le programme HLL. 2. Examiner le plan d’accès SQL. 3. Créer un index si conseillé par DB2.

4. Tester le programme (multiples

www.itpro.fr

19

DOSSIER

programme s’exécutera. Autrement dit, il n’y a pas d’erreur de vérification DEmployee_Nbr S LIKE(EMPNO) de niveau.

DEmp_Last_Name S LIKE(LASTNAME) Un DSPPGMREF d’un objet C *entry Plist C Parm Employee_Nbr programme qui contient SQL C/EXEC SQL imbriqué montrera l’objet base de C+ SELECT LASTNAME INTO :EMP_LAST_NAME C+ FROM EMP_TABLE données référencé dans l’instruction C+ WHERE EMPNO = :Employee_Nbr C/END-EXEC SQL. Toutefois, il n’y a pas d’ID format associée, comme le montre la figure 8. /FREE IF SQLCOD = 100 ; Quand un programme contenant // Record found code follows here ELSE; S Q L imbriqué statique (par // Record not found code follows here ENDIF; opposition à SQL imbriqué dynami*INLR = *ON; Return; que) est compilé, un plan incomplet est généré et stocké avec l’objet programme. Le plan ne sera complèFigure 7 : Fragment de programme RPG utilisant SQL imbriqué tement optimisé qu’à la prochaine exécution du programme. Il y a une raison à cela : l’environnement dans lequel un programme est compilé n’est pas forcément le même que celui dans lequel il sera exécuté (par exemple, interactif dans un cas et batch dans l’autre).

Vous pouvez utiliser la fonction SQL iSeries Navigator Explain ou la commande i5/OS PRTSQLINF (Print SQL Information) pour afficher le plan d’accès SQL généré pour un programme contenant des instructions SQL imbriquées.

La figure 9 montre le plan d’accès SQL généré pour le programme SQL RPG immédiatement après la compilation.

Le panneau Explain contient les paramètres du Figure 8 : DSPPGMREF de programme RPG contenant compilateur utilisé pendant la phase de précompilation du SQL imbriqué programme RPG. Plusieurs de ces paramètres affectent directement la performance et devraient être inclus dans l’examen du coding. Ce sont ALWCPYDTA, CLOSQLCSR et ALWBLK. Je reviendrai plus en détail sur l’option CLOSQLCSR dans un moment.

Chaque instruction SQL présente dans le programme est exécutions, en examinant le plan d’accès après chaque ensuite présentée avec son plan d’accès associé. Dans la exécution). figure 9, il n’existe pas de plan pour l’instruction SQL. Le plan Observons que dans le plan ci-dessus, le programmeur de base de données SQL ne se soucie plus de trouver un index existant (fichier IL NE PARTAGE PAS LES OMME logique indexé). Cela incombe à l’optimiseur DB2. Toutefois, le programmeur de base de N Y A AUCUN INTÉRÊT À PRÉ OUVRIR LES FICHIERS données DB2 a besoin d’examiner les choix AVEC LA COMMANDE effectués par l’optimiseur et de réagir aux éventuelles suggestions de DB2 (étapes 2 et 3).

La figure 7 est un fragment de code d’un ne sera généré qu’à la première exécution du programme programme RPG utilisant SQL imbriqué. Les programmes RPG. Le tableau de la figure 10 compare les plans après la compilés en utilisant SQL imbriqué ne contiennent pas d’ID première exécution du programme RPG. de format d’enregistrement. Pendant l’exécution, le plan Le côté droit du tableau contient maintenant associé à l’instruction SQL imbriqué est validé par rapport à l’information de plan optimisée pour l’instruction SQL imbrila base de données. Si le plan est encore valide (même dans quée dans le programme RPG. L’information sur le plan est le cas où la base de données aurait été altérée), le DEMPLOYEER

E DS

EXTNAME(EMPLOYEE)

>> C ’

20

Le mensuel des professionnels AS/400 & iSeries Février 2006

ODP,

SQL

OPNDBF

stockée sous la forme de messages de texte qui expliquent l’environnement dans lequel le programme a été exécuté (par exemple, DB2 SMP est actif, le fichier QAQQINI est utilisé) et les méthodes d’accès aux données utilisées pour produire le jeu de résultats.

Explain optimisé nous montre que DB2 a examiné tous les index appropriés pour le fichier physique EMP_TABLE (message SQL4006), a choisi un index avec un nom système de EMP_T00001 (message SQL4008) et utilisera cet index pour effectuer le positionnement des lignes clés (aussi appelé sonde d’index) pour accéder à la base de données.

Le programmeur de base de données a testé le programme SQL RPG en l‘exécutant trois fois et il a constaté que la troisième exécution était plus rapide que les deux premières. Le programmeur SQL a appelé son copain RPG et l’a invité à comparer les résultats de leurs tests respectifs.

On voit la comparaison dans le graphique de la figure 11. En essence, le programme RPG RLA s’est régulièrement exécuté en moins de 2 ms. La première exécution du programme RPG SQL a duré près de dix fois plus que le RPG RLA. En revanche, la troisième exécution du programme RPG SQL a été inférieure à la moitié du temps du programme RPG RLA (0,8 ms contre 1,8 ms). Les deux programmes utilisaient l’indicateur Last Record (*INLR). Que se passe-t-il ? La réponse est fournie par l’ODP réutilisable.

dépense se produit quand l’ODP est créé, pas quand il est mis à jour.

Contrairement à une idée reçue, il y a un overhead d’exécution chaque fois qu’un programme est appelé. En

effet, chaque programme doit être activé et le stockage doit être alloué, les méthodes d’accès existantes doivent être validées par rapport à la base de données (cela est fait pour RLA

ISLAND

IPLS a placer par montibus (fichier sur cdrom iseries fev°

Le chemin de données ouvert (ODP, open data path) L’ODP est un objet temporaire qui contient des informations ponctuelles sur le fichier auquel on accède, pour le compte de votre requête HLL ou SQL. Cette information change quand l’ODP est utilisé. Chaque job (ou session) a son propre jeu d’ODP. La plus forte

www.itpro.fr

21

DOSSIER

Figure 9 : Plan d’accès SQL généré

Figure 10 : Comparaison des plans

présence de l’indicateur *INLR garantit que le fichier sera fermé. En outre, le programmeur n’a pas à se soucier du repositionnement des curseurs ou de la réinitialisation des variables du programme.

Le comportement normal de SQL (qu’il soit statique imbriqué, dynamique imbriqué, dynamique ou dynamique étendu) est de tenter de réutiliser un ODP existant après la seconde exécution de la même instruction SQL dans le même job. Dès lors qu’un ODP devient réutilisable, le plan associé à l’instruction SQL n’est plus validé dans le cadre de l’exécution du programme. Cette situation est souhaitable dans la plupart des environnements de traitement transactionnel à fort volume.

La figure 12 montre un fragment de journal de job relevé pendant le test du programme RPG SQL fonctionnant en mode débogage. Le message informatif SQL7912 est envoyé quand un « full open » se produit - c’est-àdire, quand un ODP est créé à partir de zéro. Le message informatif SQL7913 est envoyé quand l’ODP est supprimé (appelé aussi « hard close »). Le message informatif SQL7914 est envoyé quand l’ODP n’est pas supprimé. La prochaine exécution du programme se traduira par la réutilisation de l’ODP (message SQL7911).

On peut empêcher ce comportement. C’est d’ailleurs ce qui s’est produit chez ABC Corporation. Le programmeur de base de données SQL a compilé le module d’I/O SQL avec le paramètre de précompilateur CLOSQLCSR (Close SQL Cursor) réglé sur *ENDMOD. Par conséquent, l’ODP a été supprimé quand le programme appelant a repris la main. Le programmeur s’inquiétait du fait que l’ODP ne soit pas recréé quand une liste de bibliothèques était modifiée ou qu’une commande

et SQL) et, finalement, l’ODP doit être créé. Un programme est non réentrant (par exemple, *INLR est activé (on) avant de revenir d’un programme RPG), il est désactivé quand il revient vers le programme appelant. La désactivation du programme se traduit par la suppression de tout ODP pour ce programme et par la libération du stockage interne. Au prochain appel du programme, ce processus se répètera. Ce mode d’utilisation des ressources système est très inefficace et peut se traduire par des temps d’exécution plus longs et par une diminution du débit global du système. >> VOILÀ PLUS DE 20 ANS QUE L’EFFET SUR LA Dans les exemples de code précédents, PERFORMANCE SYSTÈME DES OUVERTURES FULL ET vous avez peut-être remarqué que le *INLR est DES FERMETURES HARD CONSTITUE L’UNE DES activé avant de revenir de ce programme.

PIERRES D’ACHOPPEMENT EN MATIÈRE DE L’ é q u i p e d e p r o g r a m m a t i o n d e A B C PERFORMANCE APPLICATIVE Corporation a décidé en toute connaissance de cause d’utiliser *INLR malgré la mise en garde à propos de l’overhead de performance. En effet, OVRDBF était émise et que l’ODP était déjà attaché à un ces programmeurs ont constaté que s’ils exécutent une fichier et à un membre (même problème que celui auquel les commande OVRDBF (Override Database File) pour passer programmeurs RLA avaient été confrontés). d’un membre de bibliothèque ou de base de données à un SQL reconnaît ces types de changements environnemenautre, ils doivent s’assurer de la fermeture du fichier. Sinon, taux après être passé en mode réutilisation d’ODP. Le l’ODP reste connecté au fichier ou membre précédent. La

22

Le mensuel des professionnels AS/400 & iSeries Février 2006

fragment de journal de job de la figure 13 montre que l’ODP est supprimé à la prochaine exécution après émission d’une commande CHGCURLIB i5/OS. Dans ce cas, le programme a été en activité et avant la nième exécution, la liste de bibliothèques a été changée. DB2 reconnaît cela et supprime l’ODP existant (message SQL7918). Le texte de second niveau du message décrit la raison de la suppression (code 5).

Dans ce cas, DB2 a trouvé de multiples instances de EMP_TABLE dans plusieurs bibliothèques (schémas), ce qui a forcé la suppression de l’ODP. Cette application à la demande de la suppression de l’ODP est beaucoup moins coûteuse que la suppression de l’ODP après chaque utilisation dans chaque job utilisant ce programme – particulièrement si la liste de bibliothèques ne change jamais ou si un OVRDBF n’est jamais émis.

Une fois que l’équipe de programmation a compris ces différences entre SQL et RLA, elle a simplement recompilé le programme RPG SQL, en prenant la valeur par défaut

Figure 11 : Comparaison des coûts de programmes

www.itpro.fr

23

DOSSIER

SQL et si tous deux sont appelés dans le même job, chaque programme aura un ODP séparé. Cette forme de doublon d’ODP peut être résolue en isolant les instructions SQL dans les modules d’I/O appelés, ou partagés, par les deux programmes.

Comme SQL ne partage pas les ODP, il n’y a aucun intérêt à pré-ouvrir les fichiers avec la commande OPNDBF (Open Database File).

On peut modifier le comportement normal de SQL pour qu’il réutilise les ODP non pas après la seconde exécution mais Figure 12 : Fragment de journal de jobs pris pendant après la première, en créant une zone de le test données nommée QSQPSCLS1 dans une bibliothèque de votre choix. DB2 recherche cette zone de données dans la liste des bibliothèques d’un job au début de chaque job. Si DB2 trouve la zone de données, tous les ODP qui sont candidats à la réutilisation ne seront pas supprimés après la première exécution. Le contenu, le type et la longueur de la zone de données n’ont pas d’importance. La première transaction traitée paiera tout le prix, et les transactions suivantes bénéficieront de l’utilisation de l’ODP existant.

Le remplacement des membres provoque la revalidation du plan d’accès et, parfois, la suppression et la recréation des ODP. On n’améliorera pas la performance en Figure 13 : Fragment de journal de jobs montrant ODP créant un sous-ensemble physique de supprimé données sur la plate-forme iSeries/i5 via le support de membres. En fait, on ne peut pas créer un index SQL ou visualiser par-dessus un membre autre que le premier membre d’un fichier *ENDACTGRP recommandée pour l’option CLOSQLCSR. Il physique. Le moment est donc venu de songer à reconcevoir en est résulté un énorme accroissement des performances les bases de données avec membres multiples pour en faire se traduisant par une réduction des temps d’exécution une table base de données unique. batch.

Le fait de changer les listes de bibliothèques se traduit par la revalidation du plan d’accès et, parfois, la suppression Considérations et la recréation des ODP pour des instructions SQL non Bien que la réutilisation des ODP puisse nécessiter de la qualifiées fonctionnant sous le nommage système (bibliomémoire supplémentaire, leur non-réutilisation provoque thèque/ fichier) par rapport au nommage SQL (schema. un nombre élevé de défauts non-base de données. Face à ce table). Revoyez les exigences de gestion pour utiliser ce type problème, beaucoup de clients ont augmenté la mémoire ; de technique pour isoler les bases de données. Beaucoup pourtant, les défauts restent aussi nombreux. Dès lors que d’entreprises ont des systèmes de développement séparés l’on a modifié les applications, la quantité de mémoire pour la compilation et le test, ce qui dispense de changer les existante est généralement suffisante. listes de bibliothèques. Si vous devez séparer des données Contrairement à RLA, il n’y a pas de partage des ODP pour des raisons de sécurité (c’est-à-dire, données Société A entre les instructions SQL. Si le programme A et le versus données Société B), considérez le support IASP programme B contiennent tous deux la même instruction

24

Le mensuel des professionnels AS/400 & iSeries Février 2006

(Independent ASP). Avec cette fonction, de multiples bases de données peuvent coexister sur un système iSeries/i5 unique avec des noms de schémas (bibliothèque) identiques.

En séparant l’I/O dans des modules indépendants et en déployant ceux-ci sur toutes les bases de données, on peut réduire l’effet de la validation du plan d’accès – particulièrement si l’on utilise la qualification (spécifiant le schéma et table). Aujourd’hui, chaque instruction SQL qualifiée qui est optimisée par le nouveau moteur SQE peut stocker jusqu’à trois plans dans le cache de plans SQE.

Réduire le coût élevé des ouvertures et fermetures de fichiers Voilà plus de 20 ans que l’effet sur la performance système des ouvertures full et des fermetures hard constitue l’une des pierres d’achoppement en matière de performance applicative.

Les deux autres points faibles étant l’accès indexé aléatoire excessif et les techniques de blocage inefficaces.

Bien souvent, il est plus cher (en coût de programmation) de réparer un programme peu performant que de simplement mettre à niveau le système.

SQL, dès sa mise en service, règle les problèmes de per for mance applicative les plus courants. Dans mon article de juillet 2005, j’expliquais que les chemins d’accès créés par SQL les plus efficaces peuvent être partagés par les fichiers logiques indexés DDS, réduisant ainsi les coûts d’accès indexés. Ici, j’ai montré comment SQL tente automatiquement de réutiliser les ODP, réduisant ainsi le coût élevé des opérations d’ouverture et de fermeture de fichiers.

Récapitulons :

la première exécution : 17 ms contre 1,8 ms dans un programme non SQL • Le coût de réutiliser un ODP : moins

100 % à cause d’une activité d’ouverture et de fermeture de fichiers excessive, ou de ne pas être

>> SQL, DÈS SA MISE EN SERVICE, RÈGLE LES PROBLÈMES DE PERFORMANCE APPLICATIVE LES PLUS COURANTS

de 1 ms contre 1,8 ms dans un programme RLA non réentrant • L’intérêt de ne pas devoir payer IBM pour de la CPU à la demande chaque fois que la charge de travail frôle les

obligé de venir les dimanches recompiler tous vos programmes à cause de changements d’ID de format : cela n’a pas de prix ! ■

Un fil d’informations continu avec les lettres électroniques !

Toute la spécificité des éditions IT-Media réside dans la combinaison unique de dossiers à la fois technologiques et stratégiques, signés par des spécialistes mondialement reconnus.

Pour maximiser vos compétences et celles de vos équipes

@

Entourez-vous d'experts !

• Le coût d’optimiser un plan d’accès à

www.itpro.fr

25

DOSSIER

AMÉLIORER ET AJUSTER LA PERFORMANCE DE L’IFS, 2E PARTIE Ces conseils sur les fichiers stream pourraient bien être exactement ce qu’il faut pour doper l’IFS

>> par Richard Theis

>> ON SAIT QUE L’IFS DE FICHIERS UNIQUES

26

L’IFS est un système de fichiers solide, évolutif, fiable et hautement disponible. Peut-il aussi être très performant ? Si vous pensez que non, lisez ce qui suit car vous pourriez bien trouver quelques conseils qui modifieront votre opinion. Et même si vous répondez oui, il se pourrait bien que quelques-uns des conseils, pas tellement connus, de cet article contribuent à affiner la performance de l’IFS. Cet article est le second d’une série de COMPREND SYSTÈMES deux contenant des conseils et des astuces visant à améliorer et à régler finement les performances de l’IFS. Cet article donne des conseils visant la performance des fichiers stream, tandis que le précédent (« Améliorer et ajuster la performance de l’IFS, 1ère partie », novembre 2005, ou www.itpro.fr Club abonnés) s’intéressait aux performances générales et aux répertoires. D’une manière générale, les conseils des deux articles vont du général au spécifique et devraient améliorer le fonctionnement de l’IFS tant sur le plan global que sur celui des applications. Cependant, pour tenir compte de certaines réserves en matière de performances, veuillez lire l’avertissement à la fin de cet article.

On sait que l’IFS comprend 10 systèmes de fichiers uniques. Mais, en matière de performance générale de l’IFS, les systèmes de fichiers racine (/), QOpenSys et définis par l’utilisateur (UDFS, user-defined file systems) sont généralement impliqués. Par conséquent, dans cet article et dans le précédent, les conseils et le terme « systèmes de fichiers » s’appliquent à ces trois systèmes.

Les objets fichier stream contiennent la plupart des données du système de fichiers. Les conseils visant à améliorer les performances des répertoires, dans

Le mensuel des professionnels AS/400 & iSeries Février 2006

10

la 1ère partie de cet article, devraient vous aider à obtenir beaucoup plus rapidement les données de vos fichiers stream. Les conseils suivants optimiseront l’utilisation de vos données de fichiers stream.

Utiliser le mapping de la mémoire Si la performance de la lecture et de l’écriture des données de fichiers stream est insuffisante, le mappage de la mémoire peut constituer la solution.

Le mapping de la mémoire des fichiers stream est une technique unique qui établit une corrélation entre l’espace d’adresse d’un processus (c’est-à-dire, la mémoire) et un fichier stream. Ce mapping améliore la performance en permettant aux lectures et aux écritures des données des fichiers stream, de s’effectuer directement vers l’espace d’adresse du processus, réduisant sensiblement le mouvement de données d’I/O. La performance des lectures et écritures en mode Memory Mapping peut être jusqu’à quatre fois supérieure à celles effectuées sans mapping de la mémoire. L’exemple de code de la figure 1 montre comment mettre à jour la lecture et l’écriture d’un fichier stream normal pour utiliser le mapping de la mémoire.

Cependant, avant de vous plonger dans le mapping de la mémoire, il faut savoir que ce procédé est réservé aux fichiers stream *TYPE2 non journalisés dans la racine (/), QopenSys, et aux systèmes de fichiers définis par l’utilisateur. Vous trouverez d’autres considérations à ce sujet dans les API de mapping de la mémoire des fichiers stream suivants : mmap (Memory map a file), mprotect (Change access protection for memory mapping), msync (Synchronize modified data with mapped file) et munmap (Remove memory mapping). Visitez le V5R3 iSeries Information Center (public.boulder.ibm.com/infocenter/ iseries/v5r3/index.jsp) pour plus d’informations (dans la barre de navigation, cliquez sur Programming|

1.

APIs|APIs by category|UNIX-Type|Integrated File System APIs).

Lire et écrire des données sur une limite de page Une page est le nombre d’octets qui se trouvent dans un bloc de stockage d’unité disque, une limite de page est la séparation entre les pages. En utilisant judicieusement la taille des pages de vos applications, vous pourrez organiser, lire et écrire vos données de fichiers stream, pour le meilleur résultat possible. Vous pouvez obtenir la taille de page courante via le champ f_bsize renvoyé sur l’API statvfs (Get file system information). En général, la meilleure méthode est de lire d’écriture une page (ou un multiple d’une page) de données à la

2.

fois. En outre, pour réduire l’I/O disque et les défauts de pages, évitez de franchir des limites de pages pendant les opérations de lecture et d’écriture. Ainsi, la lecture de deux octets s’effectue mieux en moyenne si les deux octets appartiennent à la même page de données. Ce conseil de performance vise surtout les applications qui effectuent des lectures et écritures de fichiers stream non séquentielles, et les cas où la mémoire principale n’est pas abondante.

Utiliser l’option Main Storage Main Storage (mémoire) est un attribut de fichier stream unique que l’on peut ajuster pour chaque fichier stream individuel. Elle détermine

3.

PUB 1/3 carre 116X135 axel repasse MONTIBUS

janvier p27

www.itpro.fr

27

DOSSIER

//-----------------------------------------------------------------------------// Code Disclaimer // // IBM grants you a nonexclusive copyright license to use these // code examples ("Sample Code") from which you can generate similar // functions tailored to your own specific needs. // // All Sample Code is provided by IBM for illustrative purposes only. // The Sample Code has not been thoroughly tested under all conditions. // IBM, therefore, cannot guarantee or imply reliability, serviceability, // or function of the Sample Code. // // All Sample Code contained herein is provided to you "AS IS" without any // warranties of any kind. The implied warranties of non-infringement, // merchantability, and fitness for a particular purpose are expressly // disclaimed. //-----------------------------------------------------------------------------// To compile this part, use the CRTCPPMOD (Create C++ Module) command with // the teraspace option (TERASPACE(*YES)). // Includes #include <Qp0lstdi.h> #include <errno.h> #include <fcntl.h> #include <stdio.h> #include <stdlib.h> #include <sys/mman.h> #include <sys/stat.h> #include <sys/types.h> #include <unistd.h> // Local functions int ProcessNormalFile(int fd, char* buffer, int bufferSize); int ProcessMappedFile(int fd, char* buffer, int bufferSize); int main( int argc, char* argv[] ) { int int int char*

rc; writeFd; mapFd; writeBuffer;

// Create the file for normal reading and writing. writeFd = open("write.txt", O_CREAT|O_RDWR, S_IRUSR|S_IWUSR|S_IXUSR); if( writeFd < 0 ) { perror("open() error"); return(-1); } // Create the file for memory-mapped reading and writing. mapFd = open("mmap.txt", O_CREAT|O_RDWR, S_IRUSR|S_IWUSR|S_IXUSR); if( mapFd < 0 ) { close(writeFd); perror("open() error"); return(-1); } // Create the write buffer. writeBuffer = (char*)malloc(1024); if( NULL == writeBuffer ) { close(writeFd); close(mapFd); perror("malloc() error"); return(ENOMEM); } // Set the write buffer. memset(writeBuffer,’A’,1024); // Read and write the normal file. rc = ProcessNormalFile(writeFd,writeBuffer,1024); if( rc < 0 ) { perror("WriteFile() error"); } // Read and write the memory-mapped file. rc = ProcessMappedFile(mapFd,writeBuffer,1024); if( rc < 0 ) { perror("MapAndWriteFile() error"); } // Free the write buffer. free(writeBuffer); // Close the files. rc = close(writeFd); if( rc != 0 ) { perror("close() error"); } rc = close(mapFd); if( rc != 0 ) { perror("close() error"); } // Unlink the files. rc = unlink("write.txt"); if( rc != 0 ) { perror("unlink() error"); } rc = unlink("mmap.txt"); if( rc != 0 ) { perror("unlink() error"); }

Figure 1

28

Le mensuel des professionnels AS/400 & iSeries Février 2006

comment le système utilise la mémoire quand on accède aux données du fichier stream. Plus précisément, cette option indique au système comment il devrait amener en mémoire les données du fichier stream sur disque.

L’option Main Storage accomplit cela en ajustant la taille de transfert de bloc (c’est-à-dire, le nombre d’octets transférés en mémoire en cas de défaut de page) et les attributs de l’opération de défaut de page pour un fichier stream individuel. En choisissant l’option Main Storage optimale pour accéder aux données des fichiers stream, on réduit le nombre de défauts de page et les opérations d’I/O disque et l’on améliore également le temps de réponse et la performance du fichier stream.

Cependant, avant d’ajuster l’option Main Storage d’un fichier stream, il faut prendre en compte la quantité de mémoire dont disposent les applications et les programmes accédant au fichier stream. Voyons les raisons pour cela.

L’option Main Storage peut avoir trois valeurs (*NORMAL, *MINIMIZE et *DYNAMIC) et, pour la changer, on utilise la commande CHGATR (Change Attribute), l’API Qp01SetAttr (Set attributes), et la fenêtre iSeries Navigator stream file properties. La figure 2 montre la vue iSeries Navigator de l’option Main Storage d’un fichier stream.

L’option *NORMAL utilise autant de mémoire principale que nécessaire et est donc idéale pour un environnement riche en mémoire avec peu de contention mémoire. En utilisant plus généreusement la mémoire, le système peut réduire le nombre d’opérations d’I/O disque en « cachant » davantage de données de fichier

stream en mémoire. De ce fait, les applications et les programmes qui accèdent aux données du fichier stream trouveront plus probablement leurs données de fichier stream cachées en mémoire.

L’option *MINIMIZE utilise le moins de mémoire principale possible et est par conséquent idéale pour un environnement limité en mémoire. Il existe alors davantage de contention mémoire et donc il est important d’en optimiser l’utilisation. Dans ce cas, le système essaie d’amener et de garder les données de fichier stream en mémoire uniquement si une application ou un programme est susceptible de les utiliser. Cette option permet à certaines applications et programmes de réduire leurs besoins en mémoire de 50 % ou plus, selon l’environnement. Cette option réduit aussi nettement le nombre d’opérations d’I/O disque.

L’option *DYNAMIC, comme son nom l’indique, détermine dynamiquement l’utilisation optimale de la mémoire principale. Ainsi, dans un environnement riche en mémoire, cette option utilise la mémoire à peu près de la même manière que l’option *NORMAL. Dans un environnement limité en mémoire, elle l’utilise à peu près comme l’option *MINIMIZE. Pour déterminer le type d’environnement mémoire, l’option *DYNAMIC utilise l’information de réglage du système.

Pour plus de détails sur l’option Main Storage, y compris les restrictions et le meilleur usage, consultez « V5R2 Stream File Performance Enhancements for iSeries » (www-1.ibm.com/ servers/eserver/iseries/perfmgmt/pdf/i fsperf.pdf.

Réduire le nombre de conversions de données La conversion de données de fichier stream est facultative. Elle se produit (selon ce qui est spécifié quand un

4.

fichier stream est ouvert) pendant des opérations de lecture et d’écriture, pour convertir les données du CCSID (Coded Character Set Identifier) du

fichier stream en CCSID du job, ou réciproquement. Côté positif, la conversion permet aux applications de partager plus facilement les données

LOTUS NOTES

VS VS

EXCHANGE SERVER……

AVRIL 2005

ENJEUX ET ET PERSPECTIVES PERSPECTIVES ENJEUX

« EXPLOREZ MAINTENANT LE FUTUR DE VOS ENVIRONNEMENTS COLLABORATIFS »…

CE HORS SÉRIE

EST DISPONIBLE GRATUITEMENT SUR WWW. ITPRO. FR / MEX

Ce Hors Série exclusif offre une synthèse de choix pour les directions informatiques et fonctionnelles souhaitant évaluer concrètement les enjeux de la migration de leur environnement collaboratif…

www.itpro.fr/mex CE HORS SÉRIE EST PUBLIÉ EN PARTENARIAT AVEC

Lotus Notes est une marque déposée de IBM Corporation, Exchange Server est une marque déposée de Microsoft Corporation. Toutes les autres marques appartiennent à leurs propriétaires respectifs.

www.itpro.fr

29

DOSSIER

Avertissement J’ai obtenu les données de performances citées dans cet article, dans un environnement contrôlé avec des benchmarks et des outils de performances spécifiques. Je présente l’information sur les performances, ainsi que des recommandations générales, pour que vous compreniez mieux les performances IFS. Les résultats obtenus dans d’autres environnements pourraient varier sensiblement et ne prévoient pas l’environnement d’un client spécifique.

L’information contenue dans cet article n’a été soumise à aucun test officiel d’IBM et est distribuée en l’état.

L’utilisation de cette information et la mise en œuvre de l’une quelconque de ces techniques est de la responsabilité du client et dépend de sa capacité à les évaluer et à les intégrer dans son environnement d’exploitation. Bien qu’IBM puisse avoir examiné l’exactitude de chaque élément dans une situation spécifique, il n’est pas garanti que des résultats identiques ou similaires seront obtenus ailleurs. Les clients qui tentent d’adapter ces techniques à leurs propres environnements le font à leur propre risque.

- R.T

return(0); } // End: main() int

ProcessNormalFile(int fd, char* buffer, int bufferSize) {

char readBuffer[10]; // Write to the file. if( -1 == write(fd,buffer,bufferSize) ) { return(-1); } // Seek to the start of the file. if( -1 == lseek(fd,0,SEEK_SET) ) { return(-1); } // Read and print the first 10 bytes in the file. if( -1 == read(fd,readBuffer,10) ) { return(-1); } printf("\nNormal data: %.10s",readBuffer); return(0); } // End: ProcessNormalFile() int

ProcessMappedFile(int fd, char* buffer, int bufferSize) {

// Extend the file. if( 0 != ftruncate(fd,bufferSize) ) { return(-1); } // Memory map the file. void* address = mmap(NULL, bufferSize, PROT_READ|PROT_WRITE, MAP_SHARED, fd, 0); if( MAP_FAILED == address ) { return(-1); } // Write to the file. memcpy(address,buffer,bufferSize); // Read and print the first 10 bytes in the file. printf("\nMapped data: %.10s",address); // Unmap the file. return(munmap(address,bufferSize)); } // End: ProcessMappedFile()

Figure 1

30

Le mensuel des professionnels AS/400 & iSeries Février 2006

de fichiers stream sur de nombreux CCSID ou langages différents. Côté négatif, la conversion engendre de l’overhead.

Ainsi, un test de performance simple indique que la lecture des données de fichier stream sans conversion de données peut être jusqu’à trois fois plus rapide que la lecture des mêmes données avec conversion. Le test de performance a lu 256 méga-octets de données en morceaux de un méga-octet à partir d’un fichier stream dont les données étaient stockées dans CCSID 1208.

Pour les lectures de conversion de données, les données ont été renvoyées dans CCSID 37.

On l’aura compris, en ne convertissant des données que quand c’est nécessaire, on peut améliorer la performance de lecture et d’écriture des fichiers stream. Ainsi, l’API fopen() (open file C runtime) par défaut suppose que la conversion de données est nécessaire. Par conséquent, il y a overhead même sans conversion de données. Pour éviter le comportement par défaut, utilisez l’indicateur binary (-b) pour obtenir à la fois la fonctionnalité souhaitée et la performance optimale. Il ne faut pas confondre l’API fopen() avec l’API open() (Open file) qui, par défaut, ne suppose pas que la conversion de données est nécessaire.

Pour tirer le meilleur profit de vos environnements IT… Nos experts vous accompagnent au quotidien

Toute la richesse des éditions IT Media réside dans la combinaison unique de contenus à la fois technologiques et stratégiques.

EXCHANGE M A G A Z I N E

iSeries NEWS

Retrouvez plus de 450 dossiers dédiés aux environnements Windows Server sur : www.itpro.fr

DOSSIER

Figure 2 : Option Main Storage d’un fichier stream, vue sous l’angle de iSeries Navigator

d’un buffer contenant les données à écrire. Par conséquent, le système peut optimiser la performance et vous éviter ainsi l’overhead entraîné par la création et la mise à zéro d’un buffer de données pour l’écriture. En outre, une entrée du journal utilisateur de l’API fclear est beaucoup plus petite que l’entrée de journal utilisateur de l’API write équivalente. Le résultat net est que les API fclear offrent le moyen le plus efficace d’effacer les données d’un fichier stream. Utilisez ces nouvelles API V5R3 de manière appropriée, et vous pourrez améliorer la performance d’écriture des fichiers stream : jusqu’à 15 %. Pour plus d’informations sur ces API, visitez le Information Center (cliquez sur Programming|APIs|APIs by category|UNIXType|Integrated File System APIs).

A noter que l’on peut utiliser les API ftruncate – ftruncate() (Truncate file) et ftruncate64() (Truncate file (large file enabled)) – pour étendre un fichier avec des zéros binaires. On peut utiliser les API fclear pour faire la même chose. Cependant, les API ftruncate ont été optimiées pour tronquer et étendre les fichiers et, de ce fait, font mieux ou aussi bien que les API fclear.

Optimiser le scanning

6.

Vous pouvez désormais utiliser le nouveau support de scanning V5R3 pour scruter les fichiers stream. Il s’agit surtout de fournir le scanning antivirus « à l’accès » via une application non-IBM. Si vous utilisez le support de scanning, songez à optimiser cette activité parce que le scanning alourdit les opérations d’ouverture et de fermeture des fichiers stream.

Pour savoir si votre système est en mesure d’effectuer le scanning, exécutez la commande WRKREGINF (Work with Registration Information)

Figure 3 : La commande WRKREGINF FORMAT(SC*) affiche les points de sortie open et close de l’IFS

WRKREGINF FORMAT(SC*)

Pour plus d’informations sur la conversion de données, visitez le Information Center (cliquez sur Files and file systems|Integrated file system|Programming Support|Data conversion).

pour afficher les points de sortie open et close de l’IFS (figure 3). Choisissez l’option 8 pour savoir si des

>> L’OPTION *DYNAMIC, COMME SON NOM ’ , ’

Utiliser les API fclear() et L INDIQUE DÉTERMINE DYNAMIQUEMENT fclear64() Les API fclear – fclear() (Clear a file) et L UTILISATION OPTIMALE DE LA MÉMOIRE fclear64() (Clear a file (large file enabled)) – PRINCIPALE permettent d’écrire des zéros binaires dans un fichier stream. On peut aussi faire cela avec les API write : write() (Write to Descriptor), writev() (Write to Descriptor Using Multiple Buffers), pwrite() programmes de sortie sont enregistrés. Si aucun ne l’est, (Write to Descriptor with Offset), pwrite64() (Write to aucun scanning ne se produit. Si un ou plusieurs le sont, le Descriptor with Offset (large file enabled)). Cependant, scanning se produit selon les règles qui s’appliquent aux contrairement aux API write, les API fclear n’ont pas besoin points de sortie IFS : Integrated File System Scan on Open

5.

32

Le mensuel des professionnels AS/400 & iSeries Février 2006

Exit Program (QIBM_QP0L_SCAN_OPEN) et Integrated File System Scan on Close E x i t P r o g r a m (QIBM_QP0L_SCAN_ CLOSE).

La réduction du nombre de scans a une influence bénéfique sur la performance.

Mais il faut être prudent dans cette réduction. Par exemple, si les scans ont pour objet la traque des virus, leur réduction peut affaiblir la sécurité du système. Inversement, si la performance est plus importante que vos besoins de scanning (c’est-à-dire, la sécurité), il existe un moyen de réduire le scanning au niveau du fichier stream individuel : en mettant l’attribut de scanning d’objet de fichier stream sur no scan, ou ne scanner que quand l’objet a changé (figure 4). Si vous utilisez l’option scan-only-when-changed, vous devez aussi vous assurer que l’option Figure 4 : Vue de l’attribut de scanning d’objet pour un fichier stream Use ‘only when objects have whanged’ sous l’angle de iSeries Navigator attribute to control scan (*USEOCOATR) est activée sur la valeur système QSCANFSCTL) (scan file systems control).

Au niveau système, vous pouvez réduire le scanning en activant l’option Scan accesses through file servers only (*FSVRONLY) sur la valeur système QSCANFSCTL (figure 5).

Cette option garantit que le scanning ne se produit que pour les accès au fichier stream effectués par l’intermédiaire d’un serveur de fichiers.

En plus, ou au lieu, de réduire le nombre de scans, vous pouvez en effectuer davantage pendant les heures creuses pour les réduire d’autant pendant les heures d’activité normale. Par exemple, pendant les heures creuses, le système peut télécharger de nouvelles définitions de virus puis procéder à une recherche de Figure 5 : Vue des valeurs système de scanning sous l’angle de iSeries virus généralisée ; on est ainsi certain que Navigator tous les fichiers stream concernés sont scannés en tenant compte des toutes dernières définitions de virus. Donc, article. Selon votre cas, certains conseils seront plus pendant les heures d’activité normale suivantes, il y aura bénéfiques que d’autres. C’est pourquoi vous devez analyser moins de scans de virus « à l’accès ». Pour plus de détails sur vos problèmes de performances et étudier comment vos le support de scanning du système de fichiers, voir le applications traitent les données IFS, afin de déterminer les Information Center (cliquez sur Files and file systems|Intemeilleurs conseils pour votre cas. Ne négligez pas les grated file system|Concepts| Scanning support). conseils se traduisant par une petite amélioration : en matière de performances aussi, les petits ruisseaux font les Mettez donc à l’épreuve les conseils d’amélioration et de grandes rivières. ■ réglage des performances de l’IFS, des deux parties de cet

www.itpro.fr

33

LES API CRYPTOGRAPHIC SERVICES Le coding de ces API n’est pas si compliqué quand on comprend leurs structures de base >> par Beth Hagemeister

L’exposition d’informations personnelles sur des millions de personnes a fait les gros titres au cours de ces dernières semaines. Les sociétés responsables de ces ratés risquent de fortes amendes et aussi des poursuites en vertu des obligations contractuelles et des lois sur le secret. Dans beaucoup de ces cas, si des mesures cryptographiques avaient été prises pour protéger les données, l’incident se serait limité à un petit accroc.

Les API Cryptographic Services de l’iSeries procurent aux programmeurs d’applications iSeries un outil cryptographique puissant qui leur permet de protéger la confidentialité des données, d’en assurer l’intégrité et d’authentifier les parties communicantes. Les API Cryptographic Services font partie du système d’exploitation de base et effectuent des fonctions cryptographiques dans le i5/OS Licensed Internal Code (LIC) ou, facultativement, sur un 2058 Cryptographic Accelerator. (Pour plus d’informations sur les fonctions cryptographiques que l’on trouve sur les API, du passé jusqu’aux Cryptographic Services courants, voir « Une brève histoire ES RYPTOGRAPHIC ERVICES DE de la fonction cryptographique de l’iSeries »).

L I ERIES PROCURENT AUX PROGRAMMEURS Pour vous aider à démarrer avec les API D APPLICATIONS I ERIES UN OUTIL Cryptographic Services, cet article donne une CRYPTOGRAPHIQUE PUISSANT vue d’ensemble fonctionnelle, explique les paramètres Encrypt Data, présente un exemple de programme de cryptage C simple, explique l’utilisation des contextes d’algorithmes pour étendre les opérations sur des appels multiples et les contextes de clés pour améliorer la performance et protéger les clés, et examine les API de gestion de clés pour faciliter la gestion de clés cryptographiques.

(Pour acquérir une compréhension de base de la fonction et de la terminologie cryptographique, lisez l’article « Cryptography concepts » présent dans l’encadré Pour en savoir plus.)

>> L API C ’S S ’

S

Figure 1 : Algorithmes et longueurs de clés supportés par les API V5R3 Cryptographic Services

34

Algorithme

Longueur de clé ou modulo (en bits)

DES Triple DES AES RC2 RC4-compatible MD5 Hash and HMAC SHA-1 Hash et HMAC SHA-256 Hash SHA-384 Hash SHA-512 Hash Diffie-Hellman FIPS 186-1 génération de nombres pseudo-aléatoires

56 56, 112, 168 128, 192, 256 8-1024 8-2048 HMAC – un minimum de 128 HMAC – un minimum de 160 N/A N/A N/A 512-1024 N/A

Le mensuel des professionnels AS/400 & iSeries Février 2006

Vue d’ensemble fonctionnelle La documentation des API Cryptographic Services V5R3 dans l’IBM iSeries Information Center (publib.boulder. ibm. com/infocenter/iseries/v5r3/ic2924/info/ apis/catcrypt.htm) montre cinq catégories d’API : • Les API de cryptage et de décryptage incluent des opérations de cryptage, de décryptage et de traduction et sont utilisées pour la confidentialité des données.

• Les API d’authentification permettent d’assurer l’intégrité des données et d’authentifier l’envoyeur.

Elles incluent des opérations hash, Hash Message Authentication Code (HMAC), Message Authentication Code (MAC) et de signature.

• Les API de génération de clés génèrent des clés symétriques et asymétriques. Elles incluent aussi des API pour

void Qc3EncryptData ( char * volatile int * volatile char * volatile char * volatile char * volatile char * volatile char * volatile char * volatile char * volatile char * volatile int * volatile int * volatile void * volatile

, , , , , , , , , , , , );

/* /* /* /* /* /* /* /* /* /* /* /* /*

Clear data Length of clear data Clear data format name Algorithm description Algorithm desc format name Key description Key desc format name Crypto Service Provider Crypto Device Name Encrypted data Len of encrypted data area Len of enc data returned Error Code

*/ */ */ */ */ */ */ */ */ */ */ */ */

effectuer l’échange de clés DiffieHellman. (A noter que la V5R2 ne supporte pas cette catégorie d’API.) • Les API de numéro pseudo-aléatoire génèrent des valeurs pseudo-aléatoires cryptographiquement sûres.

• Les API de contexte cryptographique Figure 2 : Prototype de fonctions C de l’API Encrypt Data stockent temporairement l’information de clés et d’algorithmes pendant les opérations cryptographiques. (A noter que la V5R2 ne Figure 3A : Paramètres qui décrivent les données supporte pas cette catégorie d’API.) d’entrée Le tableau de la figure 1 affiche les algorithmes et les longueurs de clés que les API V5R3 Cryptographic Services supportent. L’i5/OS contient tous ces algorithmes et le 2058 Cryptographic Accelerator inclut un sous-ensemble (pour la liste des algorithmes disponibles sur le 2058, voir l’article « OS/400 and 2058 Cryptographic Function Comparison » figurant dans l’encadré Pour en savoir plus).

Paramètres des API A première vue, les API Cryptographic Services semblent complexes. Elles se prêtent à des opérations simples, comme le cryptage d’un bloc de données unique avec une clé en clair, mais aussi à des opérations plus élaborées, comme crypter des données dans des blocs multiples sur des appels multiples avec une clé cryptée sur un élément matériel donné. En réalité, les API ne sont pas aussi compliquées qu’il y paraît.

Examinons l’API Encrypt Data. La figure 2 montre le prototype de fonction C de cette API. On peut diviser les paramètres de ce prototype en six groupes.

Les paramètres qui décrivent les données d’entrée. La figure 3A nous montre ces trois paramètres. On spécifie les données à crypter dans le paramètre 1 (clear data) de l’une des deux manières suivantes : • Un bloc de données unique est la méthode la plus simple pour spécifier les données d’entrée.

• Une matrice de pointeurs et de longueurs de données est utilisée pour crypter les données qui ne sont pas dans le stockage contigu.

Le paramètre 3 (clear data format name) indique quel format est utilisé dans le paramètre clear data. DATA0100 indique que c’est un bloc unique de données et DATA0200 indique que c’est une matrice (voir la documentation de l’API Cryptographic Services pour la structure de la matrice DATA0200, ainsi que pour les autres structures dont il est question dans cet article). Le paramètre 2 (length of clear data) indique la longueur des données dans le paramètre clear data. Pour le format DATA0100, c’est la longueur de clear data. Pour le format DATA0200, c’est le nombre d’entrées dans la matrice.

1 - Clear data 2 - Length of clear data 3 - Clear data format name

Input Input Input

Char(*) Binary(4) Char(8)

Figure 3B : Paramètres qui décrivent l’algorithme cryptographique 4 - Algorithm description 5 - Algorithm description format name

Input Input

Char(*) Char(8)

Figure 3C : Paramètres qui décrivent la clé cryptographique 6 - Key description 7 - Key description format name

Input Input

Char(*) Char(8)

Figure 3D : Paramètres qui identifient le fournisseur de service cryptographique 8 - Cryptographic service provider Input 9 - Cryptographic device name Input

Char(1) Char(10)

Figure 3E : Paramètres pour les données de sortie 10 11 12

Encrypted data Length of area provided for encrypted data Length of encrypted data returned

Output

Char(*)

Input Output

Binary(4) Binary(4)

Les paramètres qui décrivent l’algorithme cryptographique. Les deux paramètres de la figure 3B apparaissent sur beaucoup des API Cryptographic Services.

Comme les noms l’indiquent, elles décrivent l’algorithme cryptographique. On peut diviser les algorithmes cryptographiques supportés en quatre classes : • Algorithmes de chiffrement par blocs (DES, TDES, AES, RC2) • Algorithmes de chiffrement par flux (compatibles RC4) • Algorithmes PKA (RSA) • Algorithmes hash (MD5, SHA-1, SHA-256, SHA-384, SHA512)

www.itpro.fr

35

/*********************************************************************/ /* */ /* SRVPGM NAME: AESEncrypt */ /* */ /* DESCRIPTION: Perform AES encryption using */ /* - CBC mode */ /* - 32-byte key */ /* - 16-byte block */ /* - Pad with 0x00 */ /* */ /* LANGUAGE: ILEC */ /* */ /* PARAMETERS: */ /* ----------------------------------------------------------*/ /* PARM | USE | TYPE | DESCRIPTION */ /* ----------------------------------------------------------*/ /* 1 | Input | char * | Data to encrypt */ /* ----------------------------------------------------------*/ /* 2 | Input | int | Length of data to encrypt */ /* ----------------------------------------------------------*/ /* 3 | Input | char * | Key */ /* ----------------------------------------------------------*/ /* 4 | Input | char * | Initialization vector */ /* ----------------------------------------------------------*/ /* 5 | Output | char * | Place to put encrypted data */ /* ----------------------------------------------------------*/ /* 6 | Input | int * | Size allocated for encrypted data */ /* | Output | | Actual length of encrypted data */ /* ----------------------------------------------------------*/ /* */ /* Use the following commands to compile this program: */ /* CRTCMOD MODULE(my_lib/AESENCRYPT) SRCFILE(my_lib/my_src) */ /* CRTSRVPGM SRVPGM(my_lib/AESENCRYPT) MODULE(my_lib/AESENCRYPT) + */ /* BNDSRVPGM(QC3DTAEN) EXPORT(*ALL) */ /* */ /*********************************************************************/ /*-------------------------------------------------------------------*/ /* Include files /*-------------------------------------------------------------------*/ #include <string.h> #include <qusec.h> #include <qc3dtaen.h>

*/

/* C string utilities. /* Error code structure /* qc3dtaen API header

*/ */ */

int AESEncrypt(char * inputData, int inputLen, char * keyValue, char * iv, char * cipherData, int * cipherLen) { /*-------------------------------------------------------------------*/ /* Local variables /*-------------------------------------------------------------------*/ Qc3_Format_ALGD0200_T

blockAlgD;

struct { Qc3_Format_KEYD0200_T keyD; char keyS[256]; } key;

*/

/* Algorithm description

*/

/* Key description /* Key string

*/ */

char

csp;

/* Crypto service provider*/

int

rtnLen;

/* Return length

struct Qus_EC

errCode;

*/

/* Error code parameter

*/

/*-------------------------------------------------------------------*/ /* Start of executable code /*-------------------------------------------------------------------*/

A

/* Set up the algorithm description memset(&blockAlgD, 0, sizeof(blockAlgD)); blockAlgD.Block_Cipher_Alg = Qc3_AES; blockAlgD.Block_Length = 16; blockAlgD.Mode = Qc3_CBC; blockAlgD.Pad_Option = Qc3_Pad_Char; memcpy(blockAlgD.Init_Vector, iv, 16);

B

/* Set up the key description key.keyD.Key_Type = Qc3_AES; key.keyD.Key_Format = Qc3_Bin_String; key.keyD.Key_String_Len = 32; memcpy(key.keyS, keyValue, 32);

*/

*/ /* Init to null */ /* Algorithm is AES */ /* Block len is 16 bytes */ /* Mode is CBC */ /* Pad with 0x00 */ /* Copy in init vector */ */ /* Key type is AES /* Key format is binary /* Key len is 32 bytes /* Copy in key value

*/ */ */ */

C

/* Set the cryptographic service provider csp = Qc3_Any_CSP;

D

/* Set up the error code parameter memset(&errCode, 0, sizeof(errCode)); errCode.Bytes_Provided = 0;

E

/* Encrypt the data Qc3EncryptData(inputData, &inputLen, Qc3_Data, (char*)&blockAlgD, Qc3_Alg_Block_Cipher, (char*)&key, Qc3_Key_Parms, &csp, NULL, cipherData, cipherLen, &rtnLen, &errCode); *cipherLen = rtnLen; /* Return encrypted len

/* Use any CSP

*/ */ */

/* Request exceptions

*/ */

*/

return 0; }

/* end AESEncrypt

Figure 4 : Programme de service AESEncrypt

36

Le mensuel des professionnels AS/400 & iSeries Février 2006

(A noter que bien que les API supportent des algorithmes supplémentaires, le paramètre algorithm description n’est pas utilisé pour les décrire.)

Chacune des classes d’algorithmes ci-dessus nécessite son propre ensemble d’arguments et chacune a au moins un argument – type d’algorithme (par exemple, AES). Certaines, comme les blocs de chiffrement, ont plusieurs arguments supplémentaires (par exemple, longueur de bloc, mode, option pad).

Une structure est définie pour chacune de ces classes d’algorithmes, pour spécifier les arguments de l’algorithme. Le paramètre 4 (algorithm description) pointe vers l’une de ces structures ; le paramètre 5 (algorithm description format name) identifie la structure qui est utilisée. Les noms de formats sont : • ALGD0200 pour les arguments de chiffrement par blocs • ALGD0300 pour les arguments de chiffrement par flux • ALGD0400 pour les arguments PKA • ALGD0500 pour les arguments hash

*/

Bien entendu, sur l’API Encrypt Data, la structure ALGD0500 ne serait pas valide parce qu’on ne peut pas crypter avec un algorithme hash. En outre, ALGD0100 est une structure de description d’algorithme spéciale qui fait référence à un contexte d’algorithme. On utilise un contexte d’algorithme pour étendre des opérations cryptographiques sur des appels multiples. Nous reviendrons plus en détail sur les contextes des algorithmes.

Les paramètres qui décrivent la clé cryptographique. La figure 3C montre ces deux paramètres. De la même manière que l’algorithme, la clé est décrite via une structure d’arguments. Le paramètre 6 (key description) pointe vers la structure et le paramètre 7 (key description format name) identifie la structure utilisée:

spécifique, vous pouvez spécifier son nom dans le paramètre 9 (cryptogravoid Qc3CreateAlgorithmContext ( char * volatile , /* Algorithm description */ phic device name). Si le 2058 char * volatile , /* Algorithm desc format name */ char * volatile , /* Algorithm context token */ Cryptographic Accelerator ne supporvoid * volatile ); /* Error code */ te pas l’algorithme spécifié, une Figure 5 : Prototype de fonctions C de l’API Create Algorithm Context erreur est renvoyée.

Le moyen le plus simple de sélectionner un CSP consiste à spécifier une valeur de 0, qui ordonne au système de choisir un Figure 6 : Paramètres que l’API Create Algorithm Context accepte CSP approprié. Le 2058 Cryptographic Accelerator est utilisé s’il y en a un de disponible et s’il supporte l’algorithme 1 Algorithm description Input Char(*) 2 Algorithm description spécifié. Sinon, le cryptage est effectué dans le LIC. (A noter format name Input Char(8) que certaines fonctions seront toujours effectuées dans le 3 Algorithm context token Output Char(8) LIC. Pour une liste de ces fonctions, voir « OS/400 et 2058 4 Error code I/O Char(* Cryptographic Function Comparison » figurant dans l’encadré Pour en savoir plus.)

Les paramètres pour les void Qc3CalculateHMAC ( données de sortie. La figure 3E char * volatile , /* Input data */ int * volatile , /* Length of input data */ montre les trois paramètres dans char * volatile , /* Input data format name */ char * volatile , /* Algorithm description */ cette catégorie. Le paramètre 10 char * volatile , /* Algorithm desc format name */ char * volatile , /* Key description */ (encrypted data) et le paramètre 12 char * volatile , /* Key desc format name */ char * volatile , /* Crypto Service Provider */ (length of encrypted data returned) – char * volatile , /* Crypto Device Name */ char * volatile , /* HMAC */ qui tous deux sont des paramètres de void * volatile ); /* Error Code */ sortie – sont l’endroit où de telles Figure 7 : Calculer le prototype de fonction C de l’API HMAC données sont renvoyées. Le paramètre 11 (length of area provided for encrypted data) – un paramètre d’entrée – est l’endroit où vous spécifiez ce genre Figure 8 : Structure de ALGD0100 d’information. Selon l’algorithme, les données cryptées peuvent être plus grandes que les données en clair. Ainsi, la Algorithm context token Char(8) Final operation flag Char(1) longueur des données cryptées par RSA est toujours égale à la taille de la clé. Ou, si vous spécifiez le remplissage d’un chiffrement par blocs, le dernier bloc des données en clair • La structure KEYD0200 spécifie le type de clé (TDES, RSA, sera rempli jusqu’à une taille de bloc complet avant le par exemple), le format de clé (binaire ou codée BER), la cryptage. Si la longueur de la zone fournie pour les données longueur de clé et la valeur de clé. cryptées est trop petite, une erreur est renvoyée sans aucune • La structure KEYD0100 fait référence à un contexte de clé donnée cryptée. qui est utilisé quand la clé est cryptée ou qui sera utilisé sur Le paramètre pour le code d’erreur. Enfin, le des opérations multiples. (Nous reviendrons sur les paramètre 13 (error code) dans la figure 3F renvoie une contextes de clés.) information d’erreur. Le paramètre error code est une Les paramètres qui identifient le fournisseur de structure de longueur variable qui est commune à toute les service cryptographique (CSP, cryptographic service API système. (Vous trouverez de la documentation sur le provider). On voit ces deux paramètres dans la figure 3D. paramètre error code à publib.boulder.ibm.com/infocenter/ Le i5/OS supporte plusieurs CSP (le matériel ou le logiciel qui iseries/v5r3/ ic2924/info/apis/error.htm#hdrerrcod.) met en œuvre un ensemble d’algorithmes cryptograDe nombreuses API Cryptographic Services utilisent des phiques), tels que le 2058 Cryptographic Accelerator, le paramètres et des structures identiques ou similaires à ceux 4758 Cryptographic Coprocessor, le i5/OS LIC, et Java que je viens de décrire.

Cryptography Extensions. Les API Cryptographic Services supportent deux CSP : le LIC et le 2058 Cryptographic Accelerator.

Un exemple de cryptage simple Le paramètre 8 (cryptographic service provider) indique La figure 4 montre un exemple de programme C qui utilise le CSP utilisé pour effectuer le décryptage. Une valeur de 1 l’API Encrypt Data (Qc3EncryptData) pour mettre en œuvre exécutera l’algorithme de cryptage dans le LIC et une valeur un programme de service de cryptage AES. Le fichier d’ende 2 l’exécutera sur le premier 2058 Cryptographic tête C pour Qc3EncryptData est qc3dtaen.h. Il contient le Accelerator disponible. Si vous désirez une unité 2058 prototype de fonction de la figure 2. On voit que tous les

38

Le mensuel des professionnels AS/400 & iSeries Février 2006

Pour en savoir plus « 2058 Cryptographic Accelerator for iSeries » publib.boulder.ibm.com/infocenter/iseries/v5r3/ic2924/info/r zajc/rzajcaccel2058.htm Applied Cryptography Wiley Publishing, 1996, ISBN : 0-471-11709-9 Quoi qu’un peu ancien, ce livre reste l’un des guides les plus complets sur la mise en œuvre et l’utilisation de la cryptographie. « Cryptographic Coprocessors for iSeries » publib.boulder.ibm.com/infocenter/iseries/v5r3/ic2924/info/r zajc/rzajcco4758.htm « Cryptographic concepts » publib.boulder.ibm.com/infocenter/iseries/v5r3/ic2924/info/r zajc/rzajcconcepts.htm Cet article permet de comprendre les bases de la fonction cryptographique et de la terminologie. Il donne une

paramètres sont passés en tant que pointeurs. Ainsi, par exemple, quand l’API documente un paramètre comme Binary4, c’est en réalité un pointeur vers un int qui est spécifié sur l’appel. Le fichier d’en-tête qc3dtaen.h amène un autre include, qc3cci.h, qui contient les structures et les constantes nécessaires pour utiliser les API Cryptographic Services.

Examinons brièvement les paramètres sur l’appel vers Qc3EncryptData (figure 4 en E).

• Le paramètre clear data et le paramètre length of clear data sont passés dans le programme de service. Le clear data format name est défini d’après la constante Qc3_Data (en E). Cette constante est définie dans include qc3cci.h comme DATA0100.

• Le paramètre algorithm description contient la structure ALGD0200. En A, le programme établit cette structure pour l’algorithme AES avec le mode CBC, une longueur de bloc de 16 octets, pas de remplissage, et le vecteur d’initialisation qui a été passé dans le programme. Le paramètre algorithm description format name est défini d’après la constante Qc3_Alg_Block_Cipher (en E). Cette constante est définie dans include qc3cci.h comme ALGD0200.

• Le paramètre key description contient la structure KEYD0200. Comme on le voit en B, il est établi pour une clé AES de 32 octets avec la valeur de clé qui a été passée dans le programme. Le paramètre key description format name est défini d’après la constante Qc3_Key_Parms (en E). Cette constante est définie dans include qc3cci.h comme KEYD0200.

• Le paramètre cryptographic service provider est défini d’après la constante Qc3_Any_CSP (en C). Cette constante est définie dans include qc3cci.h avec une valeur de 0. Un

description générale des ensembles d’API cryptographiques pris en charge par le serveur i5. « OS/400 and 2058 Cryptographic Fucntion Comparison » publib.boulder.ibm.com/infocenter/iseries/v5r3/ic2924/info/ apis/qc3Compare.htm Practical Cryptography Wiley Publishing, 1996, ISBN : 0-471-22357-3 Cet ouvrage donne des informations pratiques sur le choix et l’utilisation de la fonction cryptographique. « Scenario : Key Management and File Encryption Using the Cryptographic Services APIs » publib.boulder.ibm.com/infocenter/iseries/v5r3/ic2924/info/ apis/qc3Scenario.htm Cet article donne un exemple de scénario pour la mise en œuvre de la gestion des clés et certains exemples de programmes C et RPG qui effectuent le cryptage des fichiers.

pointeur NULL est passé pour le paramètre cryptographic device name (en E).

• Le paramètre encrypted data et le paramètre length of area provided for the encrypted data sont passés dans le programme de service. La longueur du paramètre encrypted data returned est une variable locale.

• Le champ Bytes_Provided du paramètre error code est mis à 0 (en D), ce qui obligera les erreurs à apparaître comme des exceptions.

Contextes d’algorithmes et de clés Les contextes d’algorithmes et de clés sont des référentiels temporaires qui reçoivent des informations d’algorithmes et de clés. On les crée avec les API Create Algorithm Context et Create Key Context. Chacune de ces API renvoie un jeton de huit octets, que vous pourrez ensuite spécifier sur d’autres API cryptographiques. On utilise les API Destroy Algorithm Context et Destroy Key Context pour détruire les contextes d’algorithmes et de clés. Sinon, ils seront détruits à la fin du job.

Contextes d’algorithmes. Les contextes d’algorithmes stockent le type d’algorithme (TDES, AES, par exemple) et les arguments associés (taille des blocs, caractère de remplissage, par exemple). Ils stockent aussi l’état d’une opération cryptographique. Un contexte d’algorithme permet d’étendre une opération cryptographique sur des appels multiples. Par exemple, vous voulez créer un HMAC pour tout un fichier, mais sans vouloir lire la totalité du fichier avant d’appeler l’API Calculate HMAC. Vous devez commencer par créer un contexte d’algorithme. La figure 5 montre le prototype de fonction C de l’API Create Algorithm Context.

L’API accepte quatre paramètres (figure 6). Comme dans

www.itpro.fr

39

Une brève histoire de la fonction cryptographique de l’iSeries La fonction cryptographique existe sur les systèmes prédécesseurs de l’iSeries depuis le modèle S/38 release 7. Le Cryptographic Support LP (57xx-CRI) a été conçu pour être l’équivalent fonctionnel des Cryptographic Facilities sur l’IBM 4700 Finance Controller. Des API et des commandes CL faciles à utiliser fournissaient les fonctions de cryptage et décryptage DES (Data Encryption Standard) et MAC (Message Authentication Code). Elles fournissaient aussi un traitement PIN simple et la gestion des clés. L’algorithme DES proprement dit est invoqué via l’instruction CIPHER MI et effectué dans le Vertical Microcode du système.

En raison des restrictions d’exportation appliquées par le gouvernement des Etats-Unis à la fonction cryptographique, l’AS/400 a bloqué l’exécution de l’instruction CIPHER MI sauf pour les opérations de cryptage DES seulement avec des longueurs de données de 64 octets ou moins. Le gouvernement a considéré cela comme une fonction d’authentification et ne tombant pas sous le coup des mêmes restrictions d’exportation. Par conséquent, les applications pouvaient coder directement sur l’instruction CIPHER MI si on n’avait besoin que d’un cryptage DES simple.

Au fil des ans, les standards de l’industrie ont changé considérablement. Pour répondre à des demandes de sécurité plus élevée, l’AS/400 a ajouté la prise en charge du cryptage matériel – premièrement avec l’IBM 2620 Cryptographic Coprocessor (qui n’est plus supporté), puis avec l’IBM 4758 Cryptographic Coprocessor, et plus récemment avec l’IBM 4764 Cryptographic Coprocessor, dont tous supportent un ensemble d’API plus riches et plus sûres que 57xx-CRI. En outre, pour satisfaire aux exigences des autres produits et composants système AS/400, de nouveaux algorithmes cryptographiques ont été ajoutés au LIC (Licensed Internal Code), et on a ajouté la prise en charge de l’IBM 2058 Cryptographic Accelerator.

Pour simplifier l’exportation des produits utilisant la cryptographie, l’AS/400 a créé un ensemble de produits Cryptographic Access Provider : 57xx-AC1, 57xx-AC2 et 57xx-

le cas de l’API Encrypt Data, vous spécifiez une structure contenant les arguments d’algorithme dans le paramètre algorithm description. Pour une opération HMAC, la structure devrait contenir les arguments ALGD0500 pour un algorithme hash. En réalité, il n’y a qu’un argument – le type d’algorithme hash (SHA-1, par exemple).

Les paramètres de l’API Calculate HMAC ressemblent à ceux de l’API Encrypt Data. La figure 7 montre le prototype de fonction C. Dans notre exemple, le paramètre algorithm description format name devrait spécifier ALGD0100, signifiant que le paramètre algorithm description est une structure qui fait référence à un contexte d’algorithme. La figure 8 montre à quoi ressemble la structure ALGD0100. Il faut donner à l’algorithme context token la valeur renvoyée sur l’API Create Algorithm Context. A chaque invocation de

40

Le mensuel des professionnels AS/400 & iSeries Février 2006

AC3. Chacun d’eux offrait un niveau différent de possibilités cryptographiques sur le système. Les produitsd 57xx-ACx portaient la classification export cryptographique à la place des produits utilisant la fonction cryptographique AS/400.

Cela a permis le déblocage de plusieurs autres algorithmes CIPHER. En V5R2, une nouvelle infrastructure a été mise en œuvre dans le LIC, qui fournissait une interface commune pour les composantes LIC vers les divers fournisseurs de services cryptographiques (c’est-à-dire, les divers éléments de matériel et de logiciel qui appliquent les algorithmes cryptographiques). En V5R3, les API Cryptographic Services ont été mises en œuvre par-dessus cette infrastructure. Ces API permettent aux applications d’accéder aux services cryptographiques dans le LIC ou sur le 2058 Cryptographic Accelerator. La V5R2 offre un sous-ensemble de ces API via PTF. Les API Cryptographic Services n’utilisent pas l’instruction CIPHER MI. Les nouvelles applications doivent coder d’après les API Cryptographic Services et pas d’après l’instruction CIPHER MI, parce que CIPHER risque de ne pas s’approprier les améliorations telles que de meilleures performances ou de nouveaux algorithmes. Les nouvelles applications ne devraient pas non plus coder d’après 57xxCR1. Le support de 57xx-CR1 sera abandonné dans une future release.

Tandis que les exigences de la fonction cryptographique dans l’industrie foisonnaient, le gouvernement relâchait les restrictions d’exportation sur la fonction cryptographique.

En raison de ces changements, les produits Cryptographic Access Provider 57xx-AC1 et 57xx-AC2 sont devenus obsolètes et ont été abandonnés. Dans la release qui suivra la V5R3, le produit 57xx-AC3 sera abandonné et i5/OS sera livré avec des fonctionnalités cryptographiques complètes.

Cependant, pour valider les API Cryptographic Services sur un système V5R2 ou V5R3, il faut installer 57xx-AC3.

- B.H.

l’API Calculate HMAC avant la dernière invocation, mettez le final operation flag à 0 pour garder l’opération dans un état continu. Le contexte d’algorithme gardera un HMAC actif et mettra en mémoire-tampon toute donnée ne correspondant pas à une taille de bloc complète. Sur le dernier Calculate HMAC, mettre le final operation flag à 1 ; cette valeur ordonne à l’API de terminer l’opération et de renvoyer la valeur HMAC. Vous pouvez utiliser un contexte d’algorithme sur différentes opérations mais seulement après avoir terminé chaque opération. Dans notre exemple, une fois que le flag final a été activé (on) et que la valeur HMAC a été renvoyée, vous pouvez réutiliser le contexte d’algorithme sur une nouvelle opération, comme l’API Calculate Hash ou un autre Calculate HMAC. Contextes de clés. Un contexte de clés contient les

ÉDITIONS IT-MEDIA / SERVICE ABONNEMENTS : 26 Boulevard Paul Vaillant Couturier - 94851 Ivry sur Seine Cedex

Tel. : 01 49 60 10 40 - Fax : 01 49 60 10 55 - Site : www.itpro.fr - Mail : abonnement@itpro.fr

4 MAGAZINES D’INFORMATIQUE PROFESSIONNELLE AU SERVICE DE VOS COMPÉTENCES ET CELLES DE VOS ÉQUIPES

N° ISSN 1632-7624 100 % dédié aux professionnels des environnements Windows Server !

N° ISSN 1767-6436 L'expert des messageries d'entreprise

11 numéros par an : 90 e

5 numéros par an : 90 e

Pour accompagner les équipes pilotant l e s i n f r a s t r u c t u r e s d u 1 er m e d i a d e communication professionnel voici Exchange Mag azine, une publication à vocation technologique et stratégique dédiée aux responsables des messageries d’entreprise, dossiers, études, un concentré d’expertise unique sur le marché Français.

1ère publication technologique mondiale dédiée aux professionnels des environnements Windows Server, Windows IT Pro est publié dans plus de 30 langues, véritable support de formation, 100% technologique pour accompagner vos compétences et répondre à vos préoccupations quotidiennes en termes d ’administration, de sécurité, d ’interopérabilité.

Entourez-vous d’experts, bénéficiez de l’expérience des meilleurs experts mondiaux, comme Mark Minasi, Mickael Otey, Paul Thurrot, Mark Smith.

iSeries NEWS

©

N° ISSN 1632 - 7616 1994 – 2004

N° ISSN 1760 - 1665 La bible des architectes bases de données

La référence absolue des environnements AS/400 & iSeries !

5 numéros par an : 90 e

11 numéros par an : 90 e

En réponse à la montée en puissance de SQL Server en entreprise, et notamment sur Plate-forme Windows, voici SQL Server Magazine, l’édition Française de SQL Server Magazine US. Unique publication presse mondiale dédiée aux responsables en charge des environnements SQL Server de Microsoft. Entourez-vous d’un expert pour administrer, exploiter, sécuriser vos environnements de bases de données, et tirer le meilleur profit de SQL Server en entreprise.

iSeries NEWS fête son 10 ème Anniversaire au service de la communauté AS/400 et iSeries. Support inég alé, compétence mondialement reconnue, iSeries NEWS est la 1ère source éditoriale d’information technologique dédiée à cette plate-forme. Rédigé par les plus grands éditorialistes et des consultants reconnus mondialement, iSeries NEWS est depuis plus de 10 ans en France « LA » source éditoriale incontournable de la communauté des professionnels des moyens systèmes IBM.

Des publications thématiques à forte vocation technologique, un angle éditorial unique en France !

Pratiques, didactiques, proches de vos préoccupations quotidiennes.

@ CLUB ABONNÉS

Un fil d’informations continu avec les lettres électroniques ! Nos journalistes vous livrent chaque semaine une synthèse thématique de l’actualité et une veille technologique spéciale produits et services.

Le Club Abonnés : des services en plus et réservés à nos abonnés ! Complément indissociable des magazines, le Club Abonnés disponible sur www.itpro.fr vous donne accès à l’intégralité des archives des Magazines, soit près de 1000 dossiers Années (2002 – 2003 – 2004) et les scripts, codes et autres exécutables qui complètent chaque mois les dossiers publiés dans les magazines.

Bulletin à renvoyer à notre service abonnement FRANCE

ETRANGER

90 e TTC* 90 e TTC* 90 e TTC* 90 e TTC*

115 e HT** 115 e HT** 115 e HT** 115 e HT**

POUR ❏ JE CHOISIS 2 MAGAZINES AU LIEU DE

135e TTC

185e HT

180 e TTC

230 e HT

❏

202,5e TTC 277,5e HT

COCHEZ LE OU LES MAGAZINES DE VOTRE CHOIX

1

❏ WINDOWS IT PRO MAGAZINE 1 an soit 11 N°+ Club Abonnés 1 an soit 5 N°+ Club Abonnés ❏ EXCHANGE MAGAZINE ❏ SQL SERVER MAGAZINE 1 an soit 5 N°+ Club Abonnés 1 an soit 11 N°+ Club Abonnés ❏ iSERIES NEWS

Offres spéciales

– 25%

JE CHOISIS 3 MAGAZINES POUR AU LIEU DE

POUR ❏ JE CHOISIS 4 MAGAZINES AU LIEU DE

Mode de règlement 2 ❏ A RÉCEPTION DE FACTURE : ❏ RÉSERVÉ AUX SOCIÉTÉS EN FRANCE BELGIQUE - LUXEMBOURG - SUISSE

➜

INDIQUEZ VOTRE N° RÉFÉRENCES BANCAIRES :

PAR CHÈQUE JOINT

** TAUX DE TVA DU PAYS DESTINATAIRE/SURTAXE POSTALE INCLUSE SOIT 27 e PAR TITRE

Société Nom du contact Adresse de livraison

Ville

Code postal Fax :

270 e TTC

345 e HT

Tél. :

270e TTC

370e HT

Adresse de facturation (si différente de l'adresse de livraison)

360 e TTC

460 e HT

3

❏ VIREMENT BANCAIRE

Pays

MIEUX VOUS CONNAÎTRE C’EST MIEUX VOUS SERVIR, MERCI DE BIEN COMPLÉTER CE PETIT FORMULAIRE

FAX TÉL. VOTRE PARC INFORMATIQUE EST COMPOSÉ DE :

E-MAIL

❏ SERVEUR WINDOWS NT/2000/2003 ❏ SERVEUR AS/400 – ISERIES ❏ SERVEUR UNIX/SERVER LINUX ❏ SGBD DB2 ❏ ORACLE ❏ SQL SERVER

IVA :

CODE GUICHET NUMÉRO DE COMPTE CODE BANQUE 30488 00052 00025231642 IBAN INTERNATIONAL BANK ACCOUNT NUMBER FR 76 3048 8000 5200 0252 3164 236

*FRANCE : TVA 19,6 %

CLÉ RIB 36 BIC BANK IDENTIFICATION CODE BPARFRPP

Signature (obligatoire)

4

RENVOYEZ VOTRE BULLETIN À NOTRE SERVICE ABONNEMENT TRÈS RAPIDEMENT ÉDITIONS IT-MEDIA / SERVICE ABONNEMENTS 26 Boulevard Paul Vaillant Couturier 94851 Ivry sur Seine Cedex - France Tel. : (33)1 49 60 10 40 - Fax : (33)1 49 60 10 55 Site : www.itpro.fr - Mail : abonnement@itpro.fr

informations sur les clés, comme le type de clé (MD5-HMAC, AES, RSA, par exemple), le format de clé (binaire ou codé BER) et la longueur de clé. Les contextes de clés servent à plusieurs choses : • Ils améliorent la performance de certains algorithmes tels que AES (Advanced Encryption Algorithm) et RC2. Certains algorithmes nécessitent un traitement de clé initial avant d’effectuer l’opération cryptographique. Quand on utilise un contexte de clés, le traitement de clés initial ne doit être effectué qu’une fois.

• Ils permettent à l’application d’effacer la valeur clear key du stockage de programmes pour aider à protéger la clé.

• Ils permettent à l’application d’utiliser une valeur de clé cryptée avec les API. Vous devriez réduire l’exposition des valeurs clear key dans le programme applicatif, autant qu’il est possible. Les valeurs de clés cryptées peuvent être utilisées sur une API si un contexte de clés est créé. Quand vous créez un contexte de clés pour une valeur de clé cryptée, vous devez fournir les contextes de clés et d’algorithmes pour la KEK (key-encrypting key).

Désormais, la préoccupation est la protection de la KEK. (Pour une explication plus approfondie de la gestion des clés, voir l’article « Scenario: Key Management and File Encryption Using the Cryptographic Services APIs » figurant dans l’encadré Pour en savoir plus.)

Gestion de clés Dans une application cryptographique, l’une des plus grandes difficultés est le traitement des clés cryptographiques. Comment faut-il les générer, les distribuer et les stocker ? Plusieurs API viennent aider le développeur d’applications.

Génération des clés. Deux API effectuent la génération de clés cryptographiques. L’API Generate Symmetric Key génère une valeur de clé aléatoire à utiliser avec DES, Triple DES (TDES), AES, RC2 ou des algorithmes cryptographiques compatibles RC4. L’API Generate PKA Key Pair génère une paire de clés RCA aléatoire. Vous indiquez le type de clé, sa taille et si elle doit être renvoyée en clair ou sous forme cryptée. Dans ce dernier cas, vous devez fournir les contextes de clés et d’algorithmes pour la KEK. Distribution des clés. En principe, on utilise les algorithmes de clés symétriques pour effectuer le cryptage des données. Les clés symétriques sont distribuées en utilisant des algorithmes de clés asymétriques. Les API Cryptographic Services supportent deux algorithmes de clés asymétriques à utiliser dans la distribution des clés : • RSA : Une clé publique RSA crypte une clé symétrique qui est ensuite distribuée. La clé privée correspondante est utilisée pour la décrypter.

42

Le mensuel des professionnels AS/400 & iSeries Février 2006

• Diffie-Hellman (D-H) : Les parties communicantes génèrent et échangent des paramètres D-H, qui sont ensuite utilisés pour générer les paires de clés. Les clés publiques sont échangées et chaque partie peut ensuite calculer la clé symétrique indépendamment.

Il existe une abondante littérature en matière de protocoles d’échange de clés et des nombreux pièges en la matière (pour approfondir ce sujet, voir les articles indiqués dans l’encadré Pour en savoir plus).

Stockage des clés. Considérez avec soin les autorités attribuées aux objets contenant des clés. Même si la clé est cryptée, les utilisateurs qui ont accès à la KEK pourront percer les données. Cryptez les clés stockées sur le support amovible et ne stockez pas la KEK en clair avec les clés cryptées.

En principe, les KEK sont également stockées sous forme cryptée. Utilisez une clé maîtresse, qui est la seule à ne pas être cryptée, pour crypter les KEK. Idéalement, il ne faut pas stocker la clé maîtresse sur le système. (Pour un exemple de création et d’utilisation d’une clé maîtresse et des KEK, voir « Scenario: Key Management and File Encryption Using the Cryptographic Services APIs » dans l’encadré Pour en savoir plus.)

A noter que le 2058 Cryptographic Accelerator traite les clés en clair et ne fournit pas de moyens de stockage de clés.

Si votre application exige de stocker en sécurité et de traiter les clés sur un matériel résistant à la falsification, vous pouvez utiliser l’ensemble d’API CCA (Common Cryptographic Architecture), qui effectue des opérations cryptographiques sur les Cryptographic Croprocessors 4764 et 4768 (pour en savoir plus, voir « Cryptographic Coprocessors for iSeries » dans l’encadré Pour en savoir plus). Une aide supplémentaire pour la gestion des clés est prévue pour les API Cryptographic Services dans une future release.

Un ensemble d’outils pour protéger des données sensibles Les mesures cryptographiques de protection de données sensibles ont toujours été utilisées avec prudence. Mais avec la récente législation sur la confidentialité et les nouvelles stipulations des contrats, elle sont souvent obligatoires. Les API Cryptographic Services du système d’exploitation de l’iSeries offrent au programmeur un ensemble d’outils apte à protéger les données sensibles des applications.

Aujourd’hui, la cryptographie englobe de nombreux algorithmes et opérations complexes. Toute nouvelle interface cryptographique polyvalente semblera complexe à première vue. Mais une fois que l’on comprend les structures de base des API Cryptographic Services de l’iSeries, le coding de ces API semble moins impressionnant. ■

BOÎTE À OUTILS

FACTEURS DE PERFORMANCE DE ODBC J’utilise Microsoft Excel et ODBC pour consulter plus de 100 000 fichiers d’enregistrements sur l’iSeries et je souhaiterais être plus performant.

Puis-je agir sur certains paramètres ODBC pour obtenir une plus grande vitesse ?

R : En effet, le driver ODBC possède plusieurs paramètres susceptibles d’améliorer la performance des requêtes. Pour améliorer la performance lors de l’extraction de gros ensembles de résultats au moyen de ODBC, ouvrez le ODBC Data Source Administrator et cliquez sur l’onglet Performance.

En premier lieu, assurez-vous que Enable Data Compression (par défaut) est sélectionné. Sa non-sélection pourrait dégrader la performance des E DRIVER POSSÈDE PLUSIEURS requêtes.

PARAMÈTRES SUSCEPTIBLES D AMÉLIORER LA Ensuite, sur l’onglet Performance, cliquez sur Advanced pour afficher la PERFORMANCE DES REQUÊTES boîte de dialogue Advanced Performance Options, et sélectionnez la valeur pour Record Blocking Size. La valeur par défaut est de 32 K, un bon compromis pour des applications de lecture et de mise à jour. Cependant, si vous extrayez de grandes quantités de données, il convient d’accroître sensiblement la taille de blocage d’enregistrement (512 K, 1024 K, par exemple).

Enfin, si vous exécutez des requêtes dont les valeurs restent contantes entre les exécutions, vous améliorerez les choses en ouvrant l’onglet Packages et en vous assurant que Enable Extended Dynamic (Package) Support est sélectionné. ■ Michael Otey

>> L

ODBC

’

www.itpro.fr

43

Killer Club Tech

Les conseils et astuces suivants sont tirés de la newsletter Club Tech Programming Tips.

Envoyer du courriel au moyen du RPG Votre patron vous demande avec insistance un programme de gestion du courriel. Avant de foncer en partant de zéro, songez plutôt à démarrer avec l’un des programmes modèles opérationnels offerts gratuitement. Ils sont nombreux et en voici la liste en ordre alphabétique : Aaron Bartell (RPGMail Utility) Il s’agit d’un programme de service RPG qui s’interface avec les API JavaMail de Sun. mowyourlawn.com Genesis V (Email Utility) Cet utilitaire inclut le code source CMD, CL et RPG, ainsi que les instructions d’installation. genesisv.com/freesource/email.shtml IBM (Esay400 iSeries MIME & MAIL Utility) Cet utilitaire permet de créer et d’envoyer du courriel MIME (Multipurpose Internet Mail Extensions). Il comporte un carnet d’adresses et une liste de distribution permettant d’envoyer des messages par courriel. Le téléchargement fournit tout le code source et le site offre un tutoriel et des liens pour plus d’informations. www-922-ibm.com/mmail/start iSeries Network Tip « Sending Event Notification Messages” La fonction courriel de l’iSeries propose un moyen simple pour envoyer des messages de notification d’événements quand on est connecté à Internet. www.itpro.fr Club abonnés, mois concerné iSeries Network Utility MAILTOSUBJ L’utilitaire MAILTOSUBJ démarre le client courriel par défaut sur un PC Windows NT/2000/XP, puis crée un nouveau courriel et renseigne automatiquement les champs To et Subject. www.itpro.fr Club abonnés, mois concerné

44

Le mensuel des professionnels AS/400 & iSeries Février 2006

iSeries NEWS Utility SNDEMAIL Cet utilitaire a été publié dans l’article iSeries NEWS « RPG Utility Puts QtmmSendMail API to Work », lequel peut être consulté et téléchargé. www.itpro.fr Club abonnés, mois concerné Uzaemon (Send SMTP Mail SNDM) SNDM permet d’envoyer un message de courriel à partir d’une ligne de commande ou d’un programme CL iSeries. La totalité du code source et des instructions d’installation est incluse. homepageI.nifty.com/uzaemon/#download - Chuck Lundgren Manipuler des messages Si vous avez écrit un nombre respectable de programmes, il est fort probable que vos utilisateurs ont souvent rencontré un message système : pour fournir des informations d’état, signaler des messages ou solliciter une entrée en réponse à un message.

Dans de tels cas (entre autres), la commande OvrMsgF (Override with Message File) s’avèrera particulièrement utile. Par exemple, pour afficher un message qui sera plus explicite que le message système, aux yeux des utilisateurs.

Voyons un exemple simple.

Supposons que le produit XYZ puisse être ou n’être pas installé et que le produit réside dans la bibliothèque XYZLib. Les programmes pourraient par conséquent vérifier l’existence de la bibliothèque XYZLib pour déterminer si le produit XYZ est installé. Examinons le programme de la figure 1. Si le produit XYZ n’est pas installé, le programme présente le message CPF9801 (depuis le fichier de messages QCPFMsg) à l’utilisateur, sous la forme suivante : Object XYZLib in library QSYS not found.

Si un utilisateur choisit d’afficher le texte de second niveau, les choses ne s’éclairent pas pour autant ! Vous pouvez facilement présenter un message plus parlant à l’utilisateur, en créant un fichier de messages défini par l’utilisateur dans lequel vous placerez le message significatif et en utilisant le fichier de messages défini par l’utilisateur en lieu et place du fichier de messages ordinaire.

A titre d’exemple, supposons que vous avez créez le fichier de messages UserMsg dans lequel vous avez placé votre version conviviale des messages. Pour le scénario ci-dessus, vous pourriez utiliser la commande de la figure 2 pour créer un message qui remplacera CPF9801 de QCPFMsg. Ensuite, ajoutez l’instruction Override de la figure 3 comme première instruction exécutable du programme (figure 1), afin que le système émette le message dans le fichier de messages UserMsg, et pas la version fournie par IBM dans QCPFMsg. Si le système envoie un message pour un ID message en provenance de QCPFMsg et si ce ID message existe dans UserMsg, le système envoie alors le message tel qu’il existe dans UserMsg. Si l’ID message n’est pas dans UserMsg, le système utilise la version QCPFMsg. N’oubliez pas de supprimer l’override quand tout est fini, en exécutant ceci : DltOvr File( YourLib/UserMsg )

Pour modifier les valeurs de réponses valides pour un message système, vous pouvez placer un double du message dans un fichier de messages créé par l’utilisateur, changer les réponses valides puis remplacer QCPFMsg par le fichier de messages créé par l’utilisateur.

En fait, vous pouvez modifier n’importe lequel des attributs du message. Il est probable que la commande OvrMsgF vous sera utile dans de nombreuses circonstances.

Equipe technique iSeries NEWS

/* /* /*

=============================================================== = Sample program showing meaningful message ===============================================================

*/ = */

*/

Pgm Dcl Dcl Dcl Dcl /* /* /*

&MsgID &MsgDta &MsgF &MsgFLib

*Char *Char *Char *Char

( ( ( (

7 256 10 10

) ) ) )

=============================================================== = Global error monitor ===============================================================

*/ =

*/

*/

MonMsg ( CPF0000 MCH0000 ) Exec( GoTo Error /* /* /*

+

=============================================================== */ = Determine if product is installed by checking for library = */ =============================================================== */ ChkObj

/* /* /*

Obj( QSys/XYZLib ) ObjType( *Lib )

=============================================================== = Product is installed so continue ===============================================================

+

*/ =

*/

*/

. . .

Return /* /* /*

=============================================================== = Error handler ===============================================================

*/ =

*/

*/

Error: RcvMsg

MsgType( *Excp ) MsgDta( &MsgDta ) MsgID( &MsgID ) MsgF( &MsgF )

+ + +

+ MsgFLib( &MsgFLib ) ( CPF0000 MCH0000 )

MonMsg SndPgmMsg

MonMsg

MsgID( &MsgID ) MsgF( &MsgFLib/&MsgF ) MsgDta( &MsgDta ) MsgType( *Diag ) ( CPF0000 MCH0000 )

+ + +

EndPgm

Figure 1 : Exemple de programme montrant le message significatif

AddMsgD

MsgID( CPF9801 ) MsgF( YourLib/UserMsg ) Msg( ’Product XYZ is not installed.’ ) SecLvl( ’To use this feature, please install product XYZ.’ )

Figure 2 : Créer un message de remplacement pour CPF9801

OvrMsgF

MsgF( QCPFMsg ) ToMsgF( YourLib/UserMsg )

+

Figure 3 : Instruction Override

www.itpro.fr

45

FAQ : iSeries Access Family Q : Quels produits ou fonctions de iSeries Access utilisent les licences iSeries Access Family (5722XWI) ?

R : Avec iSeries V5R1 et versions ultérieures, iSeries Access Family (5722-XW1) est ajouté au Keyed Stamped Media, lequel propose aux clients une période d’évaluation de 70 jours pour les fonctions qui requièrent la licence iSeries Access Family. Au-delà des 70 jours, les clients doivent commander les licences utilisateur ou une licence processeur pour le produit, afin de recevoir la clé de licence logicielle. Quand vous achetez la licence processeur pour iSeries Access Family, vous pouvez avoir un nombre quelconque d’utilisateurs simultanément sur un système donné, dans le groupe de machines logicielles dont vous avez la licence.

Quand vous acquerrez la licence iSeries Access Family sous la structure tarifaire utilisateur, vous serez parfois amenés à gérer l’usage des licences 5722-XW1. Vous devrez avoir acheté des fonctions utilisateur égales au nombre d’utilisateurs simultanés sur un serveur. Voici la liste des produits et fonctions iSeries Access Family qui utilisent les licences 5722-XW1. iSeries Access for Windows. L’utilisation des licences 5722-XW1 pour iSeries Access for Windows n’a pas changé depuis la première disponibilité du produit. iSeries Access for Windows est fourni avec le logiciel OS/400 sur le media serveur et PC. Vous pouvez installer le programme sous licence 5722-XE1 sur le serveur et installer le code sur le PC de plusieurs manières : vous pouvez le télécharger sur le PC à partir du serveur en utilisant iSeries NetServer, ou l’installer directement sur le PC au moyen du CD-ROM PC. Toutes les composantes du produit peuvent être installées sur le PC, et ce, que vous ayez ou non acheté 5722-XW1, mais certaines fonctions exigent l’acquisition de licences 5722-XW1.

Par utilisateur d’iSeries Access for Windows, on entend : chaque station de travail accédant simultanément à un système (partition physique ou logique) au moyen d’un écran 5250, une session d’émulation d’imprimante et/ou le transfert de données. Une licence 5722-XW1 est comptée pour chaque PC se connectant au serveur par l’une quelconque de ces composantes. Plusieurs utilisateurs et sessions sur le même PC ne comptent que comme une licence utilisateur. iSeries Access for Web. Ce produit n’est disponible qu’en V5R1 et versions ultérieures d’iSeries Access Family.

46

Le mensuel des professionnels AS/400 & iSeries Février 2006

Par utilisateur, on entend chaque session navigateur accédant simultanément à un système (physique ou partition logique) en utilisant iSeries Access for Web. Toutes les fonctions du produit requièrent des licences 5722-XW1. iSeries Access for Web fonctionnant sous WebSphere Application Server (WAS) ou ASF Tomcat, est licencié d’après le nombre de sessions HTTP simultanément actives sur l’iSeries. Le comportement des sessions dépend de la mise en œuvre des navigateurs utilisés. Ainsi, chaque nouvelle instance d’Internet Explorer résulte en une nouvelle session, et donc une nouvelle licence unique est utilisée pour chaque instance d’Internet Explorer. Chaque nouvelle instance de Netscape Navigator (ou n’importe quel autre navigateur de type Mozilla) utilise la même session. Par conséquent, une licence seulement est utilisée. iSeries Access for Web invite à la connexion (login) au début de chaque nouvelle session et il est donc raisonnable de supposer que chaque fois qu’une invite de login apparaît, une nouvelle licence est demandée. iSeries Access for Web utilise les licences 5722-XW1 de manière plus dynamique qu’iSeries Access for Windows.

Avec le produit Windows, la licence est gardée sur le serveur tant qu’iSeries Access détecte la présence d’une connexion. iSeries Access for Web fait expirer les licences toutes les cinq minutes. Donc, une session inactive pendant plus de cinq minutes verra sa licence libérée. Toute activité (c’est-à-dire l’extraction d’une nouvelle page Web) après l’expiration de la licence, se traduira par l’utilisation d’une nouvelle licence. iSeries Access for Linux. Ce produit est généralement disponible sur le Web (ibm.com/eserver/access/linux). A l’heure actuelle, il contient deux composantes : un driver ODBC et des émulations d’affichage 5250. Par utilisateur, on entend chaque client ou ID utilisateur unique accédant simultanément à un système (partition physique ou logique) en utilisant la fonction d’émulation 5250 d’iSeries Access for Linux.

WebSphere Host Publisher. Ce produit faisait partie de l’iSeries Access Family et a été arrêté en août 2004. Pour les applications qui auraient été développées avec lui, on entend par utilisateur 5722-XW1 chaque session accédant simultanément à un serveur iSeries au moyen d’une application développée avec WebSphere Host Publisher. Si l’utilisateur exécute de multiples sessions d’applications Host Publisher sur un iSeries, une station de travail peut utiliser plusieurs fonctions utilisateur. par Linda Hirsch