Il Colore visto dai sensori CCD e CMOS

LA DETERMINAZIONE DEL COLORE CON L’IMPIEGO TELECAMERE •5° conferenza nazionale gruppo del colore Centro Regionale Per la Progettazione e il Restauro 7/9 Ottobre 2009 PALERMO

1.

Introduzione : Come funzionano le telecamere a colori

Relatore: dr. G. Vinci

09/10/2009

Argomenti trattati • • • • • • •

Un pizzico di fisica quantica L’idea e il principio del CCD Struttura di un CCD Da B/N a Colori Metodi di Interpolazione del colore Iperspectral Imaging RGB Vs. Spectral Imaging

Un pò di fisica quantica • La teoria di Maxwell ( teoria ondulatoria della luce ) • La legge dei quanti di (Max )Planck : E =h*f E=h*c/l E = energia di un quanto h = costante di Planck f = frequenza c = velocità della luce l = lunghezza d’onda

Interazioni radiazione-materia Esistono diversi meccanismi di interazione della radiazione/luce-materia, che a seconda delle energie dei fotoni incidenti, possono essere schematizzate come segue : • 1eV-100keV ( UV- IR ) Effetto fotoelettrico • 100keV-1 MeV Effetto Compton • 1,022 MeV in poi Produzione di coppia

Effetto fotoelettrico • Emissione di cariche elettriche, di solito negative, quando una superficie in genere metallica viene colpita da una radiazione elettromagnetica come ad es: luce Ultravioletta o Visibile

eee-

• Nella fisica non esistono i colori. Le radiazioni di energia della luce sono incolori.

• L'idea di un chip di CCD è semplice: ce lo possiamo immaginare come un chip di memoria senza "coperchio". I fotoni, colpendo le cellule della memoria creano degli elettroni (effetto fotoelettrico).

• La quantità di fotoni è proporzionale alla quantità di elettroni. La lunghezza d'onda invece, non viene "comunicata' agli elettroni e quindi i chip CCD sono daltonici.

• Qui di seguito mostriamo come funzionano le telecamere a colori nonostante il daltonismo dei chip CCD.

Struttura di un sensore • Pixel (Picture Element): elemento di una struttura che è la cella di assorbimento • Fotodiodo • CTR (Charge Transfer Region)

-

CCD o CMOS funzionamento a)Le cellule del sensore vengono raggiunte dalla luce e a causa dell’effetto fotoelettrico generano cariche negative nei pixel. b)Dopo un tempo di esposizione vengono estratte ed elaborate, dall’elettronica della telecamera c)Quindi avremo a disposizione una imagine digitale

Caratteristiche di un Sensore • • • • • • •

Risoluzione ( numero dei pixel ) S/N o Dynamic Range Sensibilità Quantum Efficiency(QE) Fill Factor(FF) Fixed Pattern Noise Corrente di fondo (Dark Current (e/s))

Dal B/N al Colore Grosso modo possiamo quindi affermare che un chip CCD converte i fotoni in elettroni e che in questo processo la quantità di elettroni generti eè proporzionale alla quantità di fotoni ricevuti.

I fotoni però hanno una caratteristica peculiare, la lunghezza d’onda.

Questa informazione purtroppo non viene trasmessa agli elettroni.

Quindi i Chip CCD sono daltonici

Telecamere a 3 CCD •I tre canali vengono filtrati con filtri R-G-B •Le immagini sono di ottima qualità •La soluzione non è consumer perchè costa.

•Dal punto di vista dela determinazione del colore è solo praticabile nello spazio RGB

SPAZI COLORE •RGB = spazio colore additivo formato da RedGreen-Blu •CMYK = spazio colori sottrattivo formato da Cyano-Magenta-YellowNero

•La differenza sta nel fatto che i primari additivi sommano la luce che emettono, mentre i sottrattivi assorbono la luce che li illumina, riflettendone solo una parte.

Per questo i monitor devono usare i tre colori additivi (tricromia RGB), mentre le stampanti quelli sottrattivi, anzi per avere un nero puro devono aggiungerlo direttamente ai tre (quadricromia CMYK).

CCD o CMOS singoli • In alternativa ai 3CCD la soluzione più largamente impiegata è il filtro BAYER

Filtro Bayer • Come si evince dal disegno il numero dei filtri verdi è doppio rispetto ai filtri rossi e blu. Ossia passano più informazioni inerenti il colore verde che il rosso e il blu. Più precisamente il verde passa quanto il rosso e il blu messi assieme (25% blu, 25% rossi, 50% verdi).

INTERPOLAZIONE SPAZIALE DEL COLORE • Con il filtro BAYER, ogni pixel fornisce il valore di rosso, di verde o di blu, a seconda di come e filtrato • Come ottenere i valori mancanti ?

INTERPOLAZIONE SPAZIALE DEL COLORE

L’interpolazione spaziale del colore, viene effettuata dall’elettronica della telecamera.

Prendiamo ad esempio il pixel rosso in basso a sinistra segnato dalla freccia.

Poiché è un filtro rosso, lascia passare solo questa radiazione, ma manca il verde e il blu.

L’algoritmo impiegato, otterra il valore mancante, tramite l’analisi dei pixel adiacenti.

Ne nostro caso troverà pixel verdi con molta carica e pixel blu senza carica.

Quindi stimerà il pixel rosso come giallo.

INTERPOLAZIONE SPAZIALE DEL COLORE • L’interpolazione del colore ha i seguenti svantaggi : • Il valore del colore per ogni cluster di pixel è stimato • Un valore stimato rende impossibile la misurazione corretta del colore.

• Per ciò che attiene la qualità delle immagini i metodi di interpolazione producono un effetto passa basso che dà immagini sfocate rispetto a quelle prodotte con camere 3CCD • Inoltre richiedono una notevole elaborazione dei dati, appesantendo il bus del computer

INTERPOLAZIONE SPAZIALE DEL COLORE

•Copia dei pixel vicini ( nearest nighbor replication Il valore mancante viene preso dai pixel confinanti.

Questo è un modello utilizzato nei flussi diimmagini senza pretese.

INTERPOLAZIONE SPAZIALE DEL COLORE

• Interpolazione bilineare ( impiego del valore medio dei pixel vicini )

•RGB 255,0,0

•RGB 255,128,64

Iperspectral Imaging •- What is spectral imaging ?

•- Imaging spectrograph •- How it works ?

•- Image reconstruction •- Acquisition •- Data processing •- When is spectral color imaging of benefit ?

•- Spectral camera and RGB camera comparison •- Conclusion

Sensori a Colori • Uso di CFA(Colour Filter Array) Es:Filtro di bayer • Interpolazione cromatica • La risoluzione è in media la metà di quella in B/N

Iperspectral Imaging

Spa tia

Ti m e

Each pixel is associated with simultaneous high resolution spectral information produced by an imaging spectrograph

Spectrum for one pixel

Spectral axis

â—?

R

l ax is

400

Wavelength

700

IMAGING SPECTROGRAPH FIRST ADD-ON IMAGING SPECTROGRAPH FOR IMPLEMENTING SPECTRAL IMAGING TO INDUSTRIAL AND SCIENTIFIC VISION SYSTEM

HOW IT WORKS ?

The spectrograph plugs between objective lens and camera, converting an area monochrome camera to a spectral line imaging system

HOW IT SINGLE LINE ACQUISITION WORKS ?

HOW IT WORKSSAMPLE ?

2-DIMENTIONAL ACQUISITION A spectral image of the a surface can be obtained through the aquisition of contiguous lines of a traslating sample, by a so called “Spectral Scanner”

HOW IT WORKS ?

FIELD OF VIEW Depending on the optics coupled to the Spectrograph, the system can also be applied to samples of very small sizes or very big size.

Spectral Scanner For colorimetric analysis, quality control and restorations

Pan&Tilt Scanner External use, to acquire panoramas or closer object of a big size

Vertical Scanner Used on restoration to scan paintings or wall until 5 meters high Micro Scanner for biology, forensic

ACQUISITION PAINTS ACQUISITION

ACQUISITION MARBLE ACQUISITION DURING MANUFACTURING

ELABORATION COLOUR COORDINATE CALCULATION The mean CIE L*a*b* and xyz colorimetric parameters can be obtained by selecting the desired area of the sample, allowing the comparison between different sample

ELABORATION SINGLE WAVELENGTH ANALYSIS

The presence and the spatial distribution of impurities or particular compounds can be detected by viewing an image of the intensity for a selected wavelength

570 nm

IMAGE RECONSTRUCTION SPECTRAL SCANNER SOFTWARE REFLECTANCE PLOT

IMAGE RECONSTRUCTION

MUNSELL CHART

L*a*b* VALUES

3D MUNSELL CHART

COLOR CERTIFICATION - COLOR COORDINATE CALCULATION IS ACCORDING TO STANDARD CIE (Commision Internationale de l’Enclairage) CIE 1931 MUNSELL

INFRARED ANALISYS ON PLASTICS 1750 nm

位

900 nm PET

PVC

PEHD

WHEN IS SPECTRAL COLOR IMAGING OF BENEFIT ?

APPLICATIONS REQUIRES ●

●

●

Fast color measurement and inspectionwith good spatial resolution- to and below the color resolution of human eyeby standard color coordinates (like L*a*b*) Detection of or classification based on small color shade differences Fast inspection of color displays and light sources with good spectral and spatial or angular resolution

SPECTRAL CAMERA AND RGB CAMERA COMPARISON RGB CAMERA

SPECTRAL CAMERA 







Full spectral information with 2-10 nm resolution Accurate calculation of color coordinates and color difference 8 bits system: - 1-5 DEab absolute color accuracy without calibration by color samples - 0.5-2 DEab relative accuracy in color comparison - corresponds to typical human eye 10/12 bits systems: - performance of experienced human inspector achieved

•

Three fixed spectral bands of 80 nm wide (Red, Green, Blue)

•

Approximate color information

•

8 bits system: - 3-14 ∆ Eab absolute color accuracy with calibration by color samples - 2-6 ∆Eab relative accuracy in color comparison

SPECTRAL CAMERA AND RGB CAMERA COMPARISON ●

● ● ●

●

SPECTRAL CAMERA

RGB CAMERA

● Full compensation of light source color temperature drift by a white reference surface programmable wavelength selection ● Speed up to 2000 lines/s More precise information -more data processing,higher amount of light required Can basically be added to any area camera based gray scale system

Due to broad spectral bands, always sensitive to light source color temperature drift High speed up to thousends of lines/s

Ho Concluso!

Grazie Per l’Attenzione