intelligenza artificiale

stesso può non riuscire a prevedere con sicurezza il comportamento dell’algoritmo. Il problema, in questo caso, è che non vi è collegamento diretto tra regola applicata nel caso specifico e pensiero dello sviluppatore: quest’ultimo dona all’algoritmo delle “categorie concettuali”, ma è l’algoritmo che “allenandosi” individua delle relazioni tra i dati forniti in modo da estrapolarne delle regole. Per restare al tema delle offerte anomale, si immagini una legge che imponga alle stazioni appaltanti di individuare la soglia di anomalia non limitandosi alle offerte in gara, come accade ora, ma avvalendosi di un database contenente tutte le offerte per gare bandite sull’intero territorio nazionale, o persino europeo, al fine di valutare il grado di scostamento della singola offerta rispetto all’offerta “ordinaria”, per singoli elementi omogenei. Lo sviluppatore dovrà scegliere una tecnica di machine learning (per esempio, apprendimento non supervisionato) e fornire come dati di allenamento (“training dataset”) il database contenente tutte le offerte, così che l’algoritmo possa imparare a riconoscere quale è la normalità (“assenza di anomalie nell’offerta”). Sarà poi l’algoritmo così allenato a segnalare, all’interno della singola gara, le offerte anomale. Qualora un concorrente escluso volesse conoscere le ragioni dell’esclusione, potrebbe scoprire che il procedimento utilizzato è di fatto imperscrutabile5

Tutto infatti potrebbe dipendere da determinati criteri elaborati dall’algoritmo, non da un umano, che possono essere di una complessità tale da rendere sostanzialmente impossibile comprendere il perché della specifica decisione: utilizzando un’espressione coniata da Frank Pasquale6, spesso gli algoritmi di machine learning sono come black boxes, imperscrutabili dall’esterno. È evidente, pertanto, l’enorme differenza che connota gli algoritmi di ultima generazione.

5 Per esempio, il procedimento potrebbe assomigliare a qualcosa del genere (considerando una gara ove ogni offerta si compone di tre elementi, ciascuno con un prezzo):

A = lista contenente tutte le offerte anomale (inizialmente vuota)

B = lista contenente tutte le offerte non anomale (inizialmente vuota) per ogni offerta ricevuta, indicando con P1, P2 e P3 i prezzi in milioni di euro dei tre elementi di cui si compone, verifica quanto segue: se : l’offerta è aggiunta alla lista A altrimenti: l’offerta è aggiunta alla lista B infine, restituisci all’operatore le offerte presenti nelle due liste Nell’esempio mostrato la disequazione , il cuore dell’algoritmo, divide lo spazio delle possibili offerte in due parti, segnalando come anomale le offerte troppo basse e assegnando un diverso peso a ciascun elemento dell’offerta. Geometricamente, (ricordando che i prezzi non possono essere negativi) le offerte anomale saranno quelle all’interno del pentaedro individuato dai piani P1=0, P2=0, P3=0, 2P1 + P2 + P3 - 4 = 0, P1 + 2P2 + P3 - 5=0. Se in questo caso l’interpretazione geometrica aiuta, il discorso si fa più complesso quando i parametri sono più di tre (come, nella pratica, generalmente accade).

6 F. Pasquale, The Black Box Society: The Secret Algorithms That Control Money and Information, 2015.

In questi casi, probabilmente, il diritto “a ricevere informazioni significative sulla logica utilizzata” si sostanzierebbe nel diritto a conoscere la tecnica utilizzata e i dati alla base dell’allenamento, ma con un’effettività della tutela decisamente minore: fermo restando che già nella scelta della tecnica o dei dati possono essere individuati contrasti con norme di legge, riconoscibili più o meno agevolmente, il sindacato dovrà probabilmente arrestarsi su questa soglia, posta l’incomprensibilità della regola del caso particolare. Il secondo principio enunciato dall’art. 3 è il principio di non esclusività, a mente del quale deve sempre “esiste[re] nel processo decisionale un contributo umano capace di controllare, validare ovvero smentire la decisione automatizzata”. A tal proposito, si parla anche di c.d. human-in-theloop (HITL), “(decisore) umano all’interno del processo”, di cui si individuano tradizionalmente due varianti: ex ante ed ex post HITL. Mentre nel primo caso un umano deve affiancare il sistema automatico sin dall’inizio, anteriormente al momento in cui la decisione viene presa, nel secondo caso l’intervento umano è solo posteriore alla decisione e, in particolare, può essere solo eventuale attivandosi in caso di istanza da parte del destinatario della decisione. La differenza, come si può intuire, è notevole: sia da un punto di vista di risorse (il rispetto del principio nella sua forma ex ante è molto più dispendioso), sia (soprattutto) dal punto di vista del peso dei sistemi automatici: nel caso di controllo ex post solo eventuale, la procedura è fisiologicamente portata avanti in assenza di alcun controllo umano, e ciò comporta un protagonismo