Algoritmi per l'ottimizzazione convessa

Page 1

Università degli Studi dell’Aquila Facoltà di Ingegneria

ALGORITMI PER L’OTTIMIZZAZIONE CONVESSA Prof.ssa Elena De Santis

Luca Finocchio Vittoriano Muttillo


Introduzione • I problemi di ottimizzazione convessa studiano il problema di minimizzare funzioni convesse su insiemi convessi. • Essi sono stati studiati per circa un secolo e diversi sviluppi recenti hanno portato nuovo interesse per l'argomento: • Il primo è il riconoscimento che i metodi a punto interno, sviluppati nel 1980 per risolvere problemi di programmazione lineare, possono essere utilizzati per risolvere problemi di ottimizzazione convessa pura • Il secondo sviluppo è la scoperta che i problemi di ottimizzazione convessa (al di là dei problemi di minimi quadrati e di programmazione lineari) sono più frequenti nella pratica di quello che si pensava.


Introduzione (2) • Dal 1990 molte applicazioni dell’ottimizzazione convessa sono state scoperte in settori quali: 1. 2. 3. 4. 5. 6.

sistemi automatici di controllo sistemi di stima e di elaborazione dei segnali sistemi di comunicazione e di reti progettazione di circuiti elettronici analisi e modellazione dei dati sistemi statistici e della finanza

• Grandi sono i vantaggi per il riconoscimento o la formulazione di un problema come un problema di ottimizzazione convessa. Il vantaggio fondamentale è che il problema può essere risolto, in modo affidabile ed efficiente, utilizzando metodi interni o un altro speciale metodo per l'ottimizzazione.


Introduzione (3) • Questi metodi di soluzione sono abbastanza affidabili per essere incorporati in una progettazione assistita da computer o da strumenti di analisi, in un sistema reattivo in tempo reale oppure in un sistema di controllo automatico. • Ci sono anche vantaggi teorici e concettuali nel formulare un problema come un problema di ottimizzazione convessa come, ad esempio, il problema duale associato che spesso ha una interessante interpretazione in termini di problema originale, e talvolta è fonte di un metodo efficiente o distribuito per risolverlo. • Prima di mostrare alcuni metodi di soluzione per problemi di ottimizzazione convessa daremo alcuni richiami di teoria.


Insiemi convessi • Un insieme C è convesso se il segmento che congiunge due punti qualsiasi di C è contenuto in C, cioè: ∀ đ?‘Ľ1, đ?‘Ľ2 ∈ đ??ś e ogni đ?œƒ âˆś 0 ≤ đ?œƒ ≤ 1, si ha che : đ?œƒđ?‘Ľ1 + (1 − đ?œƒ)x2 ∈ đ??ś • Chiameremo un punto nella forma (đ?œƒ1đ?‘Ľ1 + ¡ ¡ ¡ + đ?œƒđ?‘˜đ?‘Ľđ?‘˜ ), dove (đ?œƒ1 + ¡ ¡ ¡ + đ?œƒđ?‘˜ = 1, đ?œƒđ?‘– ≼ 0, đ?‘– = 1, . . . , đ?‘˜) come combinazione convessa dei punti (đ?‘Ľ1, . . . , đ?‘Ľđ?‘˜) • Un insieme, quindi, e convesso se e solo se contiene ogni combinazione convessa dei suoi punti


Insiemi convessi (2) • Consideriamo un insieme S definito da vincoli di uguaglianza e disuguaglianza: • Nel caso in cui đ?‘”đ?‘– per đ?‘– = 1, . . , đ?‘š e â„Žđ?‘— per đ?‘— = 1 , . . , đ?‘? siano funzioni lineari, S è un poliedro e quindi un insieme convesso. Se invece qualche đ?‘”đ?‘– đ?‘œ â„Žđ?‘— è non lineare possiamo utilizzare il seguente teorema che fornisce una condizione solo sufficiente per la convessitĂ di S. • TEOREMA Sia: Se per ogni i le funzioni đ?‘”đ?‘– (đ?‘Ľ) sono convesse in đ?‘…đ?‘›, e per ogni đ?‘— le funzioni â„Žđ?‘— sono funzioni del tipo đ?‘Žđ?‘—đ?‘‡ đ?‘Ľ − đ?‘?đ?‘—, allora l'insieme S è convesso.


Convex hull • Particolare importanza è data dal cosiddetto convex hull • Si definisce convex hull di un insieme C, e lo chiameremo conv C, l’insieme di tutte le combinazioni convesse dei punti di C: • Come suggerisce il nome, il convex hull è sempre convesso. Esso è il più piccolo insieme convesso che contiene C: se C ⊆ B insieme convesso, allora conv C ⊆ B

Insieme non convesso in quanto il segmento che unisce i due punti, mostrato in figura, non è contenuto nel’insieme.

Convex hull dell’insieme mostrato nella figura di sinistra


Funzioni convesse • Una funzione đ?‘“: đ?‘…đ?‘› −> đ?‘… è convessa se đ?’…đ?’?đ?’Ž đ?‘“ è un insieme convesso e se, ∀ đ?‘Ľ, đ?‘Ś ∈ đ?’…đ?’?đ?’Ž đ?‘“, 0 ≤ đ?œƒ ≤ 1, si ha che: đ?‘“ (đ?œƒđ?‘Ľ +

Esempio di grafico di una funzione convessa


Condizioni del primo ordine (1) • Supponiamo đ?‘“ differenziabile (cioè il gradiente đ?›ťđ?‘“ esiste in ogni punto di đ?’…đ?’?đ?’Ž đ?‘“ insieme aperto). Allora đ?‘“ è convessa se e solo se đ?’…đ?’?đ?’Ž đ?‘“ è convesso e la disequazione: đ?‘“ đ?‘Ś ≼ đ?‘“ đ?‘Ľ + đ?›ťđ?‘“ đ?‘Ľ đ?‘‡(đ?‘Ś − đ?‘Ľ)

vale ∀ đ?‘Ľ, đ?‘Ś ∈ đ?’…đ?’?đ?’Ž đ?‘“.

Grafico che visualizza le condizione del primo ordine per la convessitĂ di una funzione


Condizioni del primo ordine (2) • OSS: La funzione: đ?‘“ đ?‘Ľ + đ?›ťđ?‘“ đ?‘Ľ đ?‘‡(đ?‘Ś − đ?‘Ľ) è l’approssimazione di Taylor del primo ordine di f nell’intorno di x

• La disuguaglianza: đ?‘“ đ?‘Ś ≼ đ?‘“ đ?‘Ľ + đ?›ťđ?‘“(đ?‘Ľ)đ?‘‡(đ?‘Ś − đ?‘Ľ) ci mostra che, se đ?›ťđ?‘“(đ?‘Ľ) = 0, allora ∀ đ?‘Ś ∈ đ?’…đ?’?đ?’Ž đ?‘“ risulta che đ?‘“(đ?‘Ś) ≼ đ?‘“(đ?‘Ľ), cioè đ?‘Ľ è un punto di minimo globale della funzione đ?‘“.


Condizioni del secondo ordine • Assumiamo, adesso f differenziabile due volte, cioè la sua matrice Hessiana đ?›ť2đ?‘“ esiste in ogni punto di đ?’…đ?’?đ?’Ž đ?‘“ insieme aperto. Allora đ?‘“ è convessa se e solo se đ?’…đ?’?đ?’Ž đ?‘“ è convesso e la matrice Hessiana è semidefinita positiva, cioè: đ?›ť2đ?‘“(đ?‘Ľ) ≼ 0 ∀ đ?‘Ľ ∈ đ?’…đ?’?đ?’Ž đ?‘“ • Analogamente đ?‘“ è concava se e solo se đ?‘‘đ?‘œđ?‘š đ?‘“ è convesso e risulta che:

đ?›ť2đ?‘“ đ?‘Ľ ≤ 0 ∀ đ?‘Ľ ∈ đ?’…đ?’?đ?’Ž đ?‘“


Problemi di ottimizzazione • Dal punto di vista delle proprietà di convessità possiamo distinguere:  Problemi di programmazione convessa: sono i problemi di minimo in cui la funzione obiettivo è convessa e l'insieme ammissibile è un insieme convesso (o anche i problemi di massimo in cui la funzione obiettivo è concava e l'insieme ammissibile è convesso)  Problemi di programmazione concava: sono i problemi di minimo in cui la funzione obiettivo è concava e l'insieme ammissibile è un insieme convesso (o anche i problemi di massimo in cui la funzione obiettivo è convessa e l'insieme ammissibile è convesso)  Problemi generali, in cui non sono soddisfatte tali condizioni.


Problemi di ottimizzazione (2) • Un problema di ottimizzazione ha la seguente forma:

dove:  đ?‘Ľ = (đ?‘Ľ1, ‌ , đ?‘Ľđ?‘›) è la variabile di ottimizzazione del problema  đ?‘“0 âˆś đ?‘…đ?‘› −> đ?‘… è la funzione obiettivo  đ?‘“đ?‘– âˆś đ?‘…đ?‘› −> đ?‘… , đ?‘– = 1, . . , đ?‘š sono le funzioni di vincolo  đ?‘?1 , . . , đ?‘?đ?‘š sono i limiti dei vincoli

• Un vettore đ?‘Ľ* è detto ottimo, oppure soluzione del problema di ottimizzazione, se: ∀ đ?‘§ âˆś đ?‘“ 1(đ?‘§) ≤ đ?‘?1 , . . , đ?‘“ đ?‘š(đ?‘§) ≤ đ?‘?đ?‘š risulta che đ?‘“ 0(đ?‘§) ≼ đ?‘“ 0(đ?‘Ľ*)


Problemi di ottimizzazione convessa (1) • Un problema di ottimizzazione convessa è nella forma:

dove le funzioni đ?‘“0 , . . , đ?‘“đ?‘š âˆś đ?‘…đ?‘› −> đ?‘… sono funzioni convesse, cioè soddisfano l’equazione: đ?‘“ đ?œƒđ?‘Ľ + 1 − đ?œƒ đ?‘Ś ≤ đ?œƒđ?‘“ đ?‘Ľ + 1 − đ?œƒ đ?‘“(đ?‘Ś) ∀ đ?‘Ľ, đ?‘Ś ∈ đ?‘… đ?‘› đ?‘’ đ?‘œđ?‘”đ?‘›đ?‘– đ?œƒ ∈ đ?‘…, đ?‘?đ?‘œđ?‘› 0 ≤ đ?œƒ ≤ 1. • Il problema dei minimi quadrati e il problema di programmazione lineare sono due casi particolari del problema generale di ottimizzazione convessa


Problemi di ottimizzazione convessa (2) • Per riconoscere se un problema è convesso o concavo utilizziamo il seguente teorema: • TEOREMA Sia dato il problema:

• Si assuma che i vincoli di disuguaglianza siano dati da funzioni gi(x) convesse in đ?‘…đ?‘›, e che i vincoli di uguaglianza siano dati da funzioni del tipo đ?‘Žđ?‘—đ?‘‡đ?‘Ľ – đ?‘? đ?‘— , allora:  Se la funzione obiettivo đ?‘“(đ?‘Ľ) è una funzione convessa in đ?‘…đ?‘›, il problema è convesso.  Se la funzione obiettivo đ?‘“(đ?‘Ľ) è una funzione concava in đ?‘…đ?‘›, il problema è concavo.


Problemi di ottimizzazione convessa (3) • I problemi di ottimizzazione convessi sono di particolare importanza per due motivi: • Il primo è che la grande maggioranza dei problemi di ottimizzazione che si incontrano nella pratica sono convessi. • Il secondo è che la convessitĂ induce alcune proprietĂ che semplificano l'analisi e la soluzione di un problema convesso.

• Una delle proprietĂ piĂš significative è la seguente: TEOREMA (Assenza di ottimi locali): Sia đ?‘† ⊆ đ?‘…đ?‘› un insieme convesso e f una funzione convessa su đ?‘†. Allora il problema:

o non ha soluzione, o ha solo soluzioni globali


Problemi di minimizzazione convessa (4) • Una serie di problemi di ottimizzazione convessa sono i seguenti:       

Minimi quadrati Programmazione Lineare Minimizzazione quadratica convessa con vincoli lineari Ottimizzazione conica Programmazione geometrica Programmazione conica del secondo ordine Programmazione semi-definita


Metodi risolutivi di problemi di programmazione convessa • Ottimizzazione non vincolata 1. 2.

Metodo del gradiente Metodo di Newton

• Minimizzazione con condizioni di uguaglianza 1. 2.

Metodo di Newton Eliminazione delle condizioni di uguaglianza

• Minimizzazione con condizioni di disuguaglianza 1.

Metodo Interior-point


Ottimizzazione non vincolata PROBLEMA: minimizzare đ?‘“(đ?‘Ľ) dove • đ?‘“ âˆś đ?‘…đ?‘› → đ?‘… è convessa e differenziabile almeno 2 volte Essendo đ?‘“ differenziabile e convessa, condizione necessaria e sufficente affinchè un punto đ?‘Ľ ⋆ sia ottimo è che đ?›ťđ?‘“(đ?‘Ľ ⋆) = 0. Pertanto, la soluzione del problema di minimizzazione non vincolata è la stessa di đ?›ťđ?‘“(đ?‘Ľ ⋆) = 0 che è un insieme di n equazioni nelle n variabili đ?‘Ľ 1,...,đ?‘Ľ n Di solito, però, il problema viene risolto da un algoritmo iterativo


ConvessitĂ stretta • Da adesso in poi assumeremo che la funzione obbiettivo sia strettamente convessa su S. Questo implica che deve esistere un đ?‘š > 0 tale che: đ?›ť2đ?‘“ đ?‘Ľ ≼ đ?‘šđ??ź đ?‘?đ?‘’đ?‘&#x; đ?‘œđ?‘”đ?‘›đ?‘– đ?‘Ľ ∈ đ?‘†. • La convessitĂ stretta implica moltre conseguenza interessanti . Ad esempio per đ?‘Ľ, đ?‘Ś ∈ đ?‘† abbiamo che 1 đ?‘“(đ?‘Ś) = đ?‘“(đ?‘Ľ) + đ?›ťđ?‘“(đ?‘Ľ)đ?‘‡(đ?‘Ś − đ?‘Ľ) + (đ?‘Ś − đ?‘Ľ)đ?‘‡đ?›ť2đ?‘“(đ?‘§)(đ?‘Ś − đ?‘Ľ) 2 per qualche đ?‘§ sul segmento [đ?‘Ľ, đ?‘Ś]. • Dall’ipotesi di convessitĂ in senso stretto l’ultimo termine della parte destra đ?‘š dell’equazione è al massimo 2 đ?‘Ś − đ?‘Ľ 2 ottendendo la disuguaglianza đ?‘“(đ?‘Ś) ≼ đ?‘“(đ?‘Ľ) + đ?›ťđ?‘“(đ?‘Ľ)đ?‘‡(đ?‘Ś − đ?‘Ľ) +

per ogni x e y in S.

đ?‘š 2

| đ?‘Ś − đ?‘Ľ |2

• Quando m= 0, ritroviamo la disuguaglianza base che caraterizza la convessitĂ ; per m > 0 otteniamo un migliore lower bound di đ?‘“(đ?‘Ś) che segue solo dalla convessitĂ


Scelta del punto iniziale • I metodi che descriveremo richiedono un punto di partenza adatto đ?‘Ľ (0). Questo punto deve ovviamente appartenere al đ?’…đ?’?đ?’Ž đ?‘“ , e inoltre l’insieme dei sottolivelli đ?‘† = {đ?‘Ľ ∈ đ?’…đ?’?đ?’Ž đ?‘“| đ?‘“(đ?‘Ľ) ≤ đ?‘“(đ?‘Ľ(0))} deve essere chiuso. • Questa condizione è soddisfatta per tutte le đ?‘Ľ (0) ∈ đ?’…đ?’?đ?’Ž đ?‘“ se la funzione đ?‘“ è chiusa, cioè se tutti i sottolivelli sono chiusi

• Funzioni continue con đ?’…đ?’?đ?’Ž đ?‘“ = đ?‘…đ?‘› sono chiuse , quindi se đ?’…đ?’?đ?’Ž đ?‘“ = đ?‘…đ?‘› , la condizione iniziale dell’insieme dei sottolivelli è soddisfatta per ogni đ?‘Ľ (0)


Metodi di discesa Questo algoritmo lavora producendo una sequenza minimizzante đ?‘Ľ (k), đ?‘˜ = 1,..., dove: • • • •

đ?‘Ľ (k+1) = đ?‘Ľ (k) + đ?‘Ą(k) ∆đ?‘Ľ (k) đ?‘Ą(k) ≼ 0 è chiamato “step length“ ∆đ?‘Ľ è un vettore in đ?‘…n chiamato “search direction“ metodo di discesa implica che đ?‘“(đ?‘Ľ (k+1)) < đ?‘“(đ?‘Ľ (k)), tranne quando đ?‘Ľ (k) è ottimo

Per le condizioni del primo ordine sulla convessitĂ , đ?›ťđ?‘“(đ?‘Ľ (k))T (y−x(k)) ≼ 0 implica đ?‘“ (đ?‘Ś) ≼ đ?‘“(đ?‘Ľ (k)), quindi la “search directionâ€? nei metodi di discesa deve verificare đ?›ťđ?‘“(đ?‘Ľ (k))T ∆đ?‘Ľ (k) < 0


Metodi di discesa L’algoritmo procede tramite i seguenti passi: Given a starting point x ∈ dom f repeat 1. Determine a descent direction ∆x 2. Line search : Choose a step size t >0 3. Update x:= x+t∆x until stopping criterion is satisfied


Line search Excat line search • t è scelto in modo da minimizzare f lungo la direzione {đ?‘Ľ + đ?‘Ąâˆ†đ?‘Ľ | đ?‘Ą ≼ 0} • t = argmins≼0 đ?‘“(đ?‘Ľ + đ?‘ ∆đ?‘Ľ) • Potrebbe risultare computazionalmente difficile

Backtracking line search • t è scelto per minimizzare in modo approssimato f lungo la direzione {đ?‘Ľ + đ?‘Ąâˆ†đ?‘Ľ | đ?‘Ą ≼ 0}, o anche solo per ridurre f “abbastanzaâ€? • Îąâˆˆ(0,0.5),β∈(0,1) t:= 1 while f(x+t∆x)> f(x) +Îąt∇f(x)T∆x, t:= βt


Backtracking line search


Algoritmo del gradiente Una scelta naturale per la “search directionâ€? è il gradiente negativo ∆đ?‘Ľ = −đ?›ťđ?‘“(đ?‘Ľ). Il risultante algoritmo è chiamato algoritmo del gradiente o metodo del gradiente di discesa:


Metodo di Newton Per ogni đ?‘Ľ ∈ đ?’…đ?’?đ?’Ž đ?‘“, il vettore ∆đ?‘Ľđ?‘›đ?‘Ą = −đ?›ť2đ?‘“(đ?‘Ľ)−1 đ?›ťđ?‘“(đ?‘Ľ) è chiamato passo Newton (per đ?‘“, in đ?‘Ľ)

Essendo đ?›ť 2đ?‘“(đ?‘Ľ) definito positivo, vale che đ?›ťđ?‘“(đ?‘Ľ)T ∆đ?‘Ľđ?‘›đ?‘Ą = −đ?›ťđ?‘“(đ?‘Ľ)T đ?›ť 2đ?‘“(đ?‘Ľ)−1 đ?›ťđ?‘“(đ?‘Ľ) < 0 tranne che per đ?›ťđ?‘“(đ?‘Ľ) = 0, quindi il passo di Newton è una direzione di discesa (tranne se đ?‘Ľ è ottimo)


Metodo di Newton La quantitĂ đ?œ†(đ?‘Ľ) = (đ?›ťđ?‘“(đ?‘Ľ)T ∇2f(x)−1 ∇f(x))1/2 è chiamata decremento di Newton per x.

Questa gioca un ruolo importante nell’analisi del metodo di Newton ed utile anche come criterio di stop, infatti đ?œ†2 2 è una stima di f(x)−f(x⋆)basata però sull’approsimazione del secondo ordine di f in x.


Metodo di Newton L’algotimo che ne viene fuori è il seguente


Minimizzazione con condizione di uguaglianza PROBLEMA : minimizzare đ?‘“(đ?‘Ľ) sotto la condizione che đ??´đ?‘Ľ = đ?‘?, dove: • đ?‘“: đ?‘…đ?‘› → đ?‘… è convessa e differenziabile almeno 2 volte • đ??´ ∈ đ?‘…đ?‘?Ă—n con il rango di đ??´ = đ?‘? < đ?‘›

Ricordiamo che il punto đ?‘Ľ ⋆ ∈ đ?’…đ?’?đ?’Ž đ?‘“ è ottimo se e solo se esiste una certa đ?œˆ ⋆ ∈ đ?‘…đ?‘? tale che đ??´đ?‘Ľâ‹†= đ?‘?, đ?›ťđ?‘“(đ?‘Ľâ‹†) + đ??´đ?‘‡ đ?œˆâ‹†= 0

Risolvere un problema di minimizzazione con condizione di uguaglianza è equivalente, pertanto, a trovare la soluzione delle equazioni sopracitata, che è un insieme di n+p equazioni nelle n+p variabili đ?‘Ľ ⋆, đ?œˆ ⋆


Minimizzazione quadratica con condizione di uguaglianza PROBLEMA : minimizzare đ?‘“(đ?‘Ľ) =

1 2

đ?‘Ľ T đ?‘ƒ đ?‘Ľ + đ?‘žđ?‘‡ đ?‘Ľ + đ?‘&#x;

sotto le condizioni đ??´đ?‘Ľ = đ?‘?, dove đ?‘ƒ ∈ đ?‘† đ?‘› and đ??´ ∈ đ?‘…pĂ—n In questo caso le condizioni ottimali sono le seguenti đ??´đ?‘Ľâ‹† = đ?‘?, đ?‘ƒđ?‘Ľâ‹† + đ?‘ž + đ??´T đ?œˆâ‹† = 0

che possiamo scrivere come

Questo insieme di n+p equazioni lineari in n+p variabili đ?‘Ľ ⋆, đ?œˆ ⋆ è chiamato il sistema KKT per il problema di minimizzazione quadratica con condizione di uguaglianza . La matrice dei coefficienti è chiamata matrice KKT.


Metodo di Newton Per derivare il passo di Newton ∆đ?‘Ľđ?‘›đ?‘Ą per il problema di minimizzazione con condizione di uguaglianza , dobbiamo sostituire la funzione obbiettivo con la sua approssimazione di Taylor del secondo ordine in x: • minimizzare đ?‘“ (đ?‘Ľ + đ?‘Ł) = đ?‘“(đ?‘Ľ) + đ?›ťđ?‘“(đ?‘Ľ)T đ?‘Ł +

1 2

đ?‘ŁT∇2đ?‘“ đ?‘Ľ đ?‘Ł

• sotto la condizione đ??´(đ?‘Ľ + đ?‘Ł) = đ?‘?, con đ?‘Ł variabile Il passo di Newton ∆đ?‘Ľđ?‘›đ?‘Ą è caratterizzato da

dove đ?‘¤ è la variabile ottima duale associata per il problema quadratico


Metodo di Newton Definiamo ora il decremento di Newton per il problema minimizzazione quadratica con condizione di uguaglianza đ?œ†(đ?‘Ľ) = (∆đ?‘ĽTnt đ?›ť 2đ?‘“(đ?‘Ľ) ∆đ?‘Ľđ?‘›đ?‘Ą)1/2

L’algoritmo a questo punto diventa il seguente:


Eliminazione dell’equazione di uguaglianza Un approccio generale per risolvere il problema di minimizzazione con condizione di uguaglianza è eliminare i vincoli e quindi risolvere il risultante problema non vincolato Per prima cosa troviamo una matrice đ??š ∈ đ?‘…nĂ—(n−p) e un vettore đ?‘Ľ ∈ Rn che parametrizzino l’insieme: {đ?‘Ľ | đ??´đ?‘Ľ = đ?‘?} = {đ??šđ?‘§ + đ?‘Ľ | đ?‘§ ∈ đ?‘… n−p} Qui đ?‘Ľ può essere scelto come soluzione particolare di đ??´đ?‘Ľ = đ?‘?, e đ??š ∈ đ?‘…nĂ—(n−p) una matrice il cui rango è contenuto nel nullo di đ??´. Possiamo quindi formulare il seguente problema non vincolato: minimizzare đ?‘“ (đ?‘§) = đ?‘“(đ??šđ?‘§ + đ?‘Ľ ) Dalla soluzione đ?‘§â‹†, possiamo trovare la soluzione del problema con vincoli di uguaglianza come đ?‘Ľ ⋆ = đ??šđ?‘§â‹†+ đ?‘Ľ


Problemi di minimizzazione con vincoli di disuguaglianza PROBLEMA: dove: • đ?‘“0, ‌ , đ?‘“đ?‘š: đ?‘…đ?‘› → đ?‘… sono convesse e almeno due volte differenziabili • đ??´ ∈ đ?‘…pĂ—n con il rango di đ??´ = đ?‘? < đ?‘› ⋆

Inoltre esiste una đ?‘Ą duale ottima đ?œ†â‹†âˆˆ đ?‘…đ?‘š, đ?œˆ ∈ đ?‘…đ?‘?, che insieme con đ?‘Ľ ⋆ soddisfano le condizioni KKT


Metodi Interior-point I metodi interior-point risolvono il problema precedente applicando il metodo di Newton ad una sequenza di problemi con vincoli di uguaglinza, o ad una sequenza di versioni modificate delle condizioni KKT.

In questa disamina ci concentreremo su un algoritmo in particolare, il “barrier method”. Il nostro obiettivo sarà, quindi, quello di formulare il problema con vincoli di disuguaglianza come problemi con vincoli di uguaglianza a cui può essere applicato il metodo di Newton


Metodi Interior-point Il primo passo è quello di riscrivere il problema mettendo le funzioni di disuguaglianza implicitamente dentro la funzione obiettivo:

dove đ??ź −: đ?‘… → đ?‘… è la funzione indicatore per i reali non positivi


Logarithmic barrier L’idea che sta alla base del “barrier methodâ€? è di approssimare la funzione indicatore I- attraverso la funzione

dove đ?‘Ą > 0 è un parametro che controlla l’accuratezza dell’approssimazione. Come I−, la funzione đ??ź − è convessa e non decrescente, e (per convenzione) assumiamo il valore ∞ per đ?‘˘ > 0. Diversamente da I−, invece, đ??ź − è differenzibile è chiuso: tende ad ∞ quando đ?‘˘ tende a 0. All’aumentare di đ?‘Ą, l’appprossimazione diventa piĂš accurata.


Logarithmic barrier Sostituendo đ??ź − a I− otteniamo che:

1 − log(−đ?‘˘) đ?‘Ą

La nuova funzione obiettivo è convessa, poichè convessa e crescente in đ?‘˘, e differenziabile. Chiamiamo

è

e con đ?’…đ?’?đ?’Ž đ?œ‘ = đ?‘Ľ ∈ đ?‘…đ?‘› đ?‘“đ?‘– đ?‘Ľ < 0, đ?‘– = 1, ‌ , đ?‘š} chiamiamo la “logarithmic barrierâ€? per il problema. Questo dominio è un insieme di punti che soddisfa le condizioni di disuguaglianza


Central path Il central path associato con il problema è definito come l’insieme di punti đ?‘Ľâ‹†(đ?‘Ą), đ?‘Ą > 0, che chiameremo punti centrali . I punti del central path sono caraterrizzati dalle seguenti condizioni necessarie e sufficenti: • đ?‘Ľ ⋆(đ?‘Ą) deve soddisfare le seguenti condizioni đ??´đ?‘Ľâ‹† đ?‘Ą = đ?‘?, đ?‘“đ?‘–(đ?‘Ľâ‹†(đ?‘Ą)) < 0, đ?‘– = 1, ‌ , đ?‘š • esiste un đ?‘Ł ∈ đ?‘…đ?‘? tale che 0 = đ?‘Ąđ?›ťđ?‘“0(đ?‘Ľâ‹†(đ?‘Ą)) + đ?›ťđ?œ‘(đ?‘Ľâ‹†(đ?‘Ą)) + đ??´đ?‘‡ đ?‘Ł đ?‘š

= ���0

(�⋆(�))

+ đ?‘–=1

1 ⋆(đ?‘Ą)) + đ??´đ?‘‡ đ?‘Ł đ?›ťđ?‘“ (đ?‘Ľ đ?‘– −đ?‘“đ?‘– (đ?‘Ľâ‹†(đ?‘Ą))


Barrier method


Conclusioni


FONTI BIBLIOGRAFICHE • S. Boyd, L. Vandenberghe, “Convex Optimation” , Cambridge University Press, 2004 • http://en.wikipedia.org/wiki/Convex_optimization

• H. Hindi, “A Tutorial on Convex Optimization II: Duality and Interior Point Methods”, Palo Alto Research Center (PARC), Palo Alto, California • H. Hindi, “A tutorial on convex optimization”, American Control Conference, Boston, 2004.


Turn static files into dynamic content formats.

Create a flipbook
Issuu converts static files into: digital portfolios, online yearbooks, online catalogs, digital photo albums and more. Sign up and create your flipbook.