www.muhendisce.net
İÇİNDEKİLER ÖZET......................................................................................................................................................................... 2 1
APES: SEÇİCİ OLARAK ALGILAYAN, DİKKATE DAYALI ROBOT ...................................................... 3 1.1 1.2 1.3
2
FİKRİN BULUŞ’A DÖNÜŞTÜRÜLMESİ ....................................................................................................... 5 2.1 2.2
3
LİTERATÜR ................................................................................................................................................... 4 FİKRİ MÜLKİYET HAKLARI ........................................................................................................................... 4 ORİJİNAL KATKILAR VE YARARLARI ............................................................................................................ 4
HEDEF KULLANICI BEKLENTİLERİ ................................................................................................................. 5 BULUŞUN ÖZGÜN YÖNLERİ VE MUKAYASELİ KARŞILAŞTIRMA ...................................................................... 6
BULUŞUN UYGULANMASI ........................................................................................................................... 7 3.1 BULUŞUN ÜRÜN DÖNÜŞME ÇALIŞMA ORGANİZASYONU ................................................................................ 7 3.2 BULUŞ ÜRÜN DÖNÜŞMESİNDE KULLANILAN YÖNTEM VE TEKNİKLER ............................................................ 9 3.2.1 APES’in Kafa Mekanizması .................................................................................................................. 9 3.2.2 Motor Kontrol Kartı ............................................................................................................................11 3.2.3 Görme Sistemi: Seçici Algılama ...........................................................................................................13 3.2.4 İlgiye Dayalı Gerçek Zamanlı Robot-Video Kodlama ve İletimi ............................................................18 UZAMSAL VE ZAMANSAL VİDEO SÜZGEÇLEMESİ: ....................................................................................................19 3.2.5 Internet Erişimli APES ........................................................................................................................20 DURAKSIZ VİDEO İŞLEME: .......................................................................................................................................21 3.3 BAŞARIMLAR...............................................................................................................................................23 3.4 DESTEKLER .................................................................................................................................................24
4
BULUŞUN TİCARİ BAŞARISI .......................................................................................................................25 4.1 4.2 4.3
5
BULUŞ VE YENİ PAZARLAR ..........................................................................................................................25 BULUŞA YÖNELİK PAZAR DAYANAK GEREKÇELERİ....................................................................................26 TANITIM ......................................................................................................................................................26
KAYNAKÇA ....................................................................................................................................................26
www.muhendisce.net
Özet APES Boğaziçi Üniversitesi Elektrik Elektronik Mühendisliği‟nde bulunan Akıllı Sistemler Laboratuvarı‟nda tasarımlanmış ve gerçekleştirilmiş bir robottur. APES‟i hemcinslerinden farklı kılan ve onun bu konuda dünyada özgün olmasını sağlayan özelliği, görsel sisteminin biyolojik olarak esinlenmiş ve dolayısı ile tüm tasarımının bu özelliği destekleyecek şekilde yapılmış olmasıdır. Bu özellik, biyolojik sistemlerin “görme” işlevini, yoğun hesaplamalardan kaynaklanan gecikmelere uğramadan gerçekleştirebilmesine fırsat veren seçici algılama ve dikkate dayalı görebilmeleridir. APES, benzer robotlardan farklı olarak, aynı anda aşağıdaki biyolojik benzerlikteki özelliklere sahiptir. 1. Odaklama Alanı – Çevresel Alan Ayırımı: Geleneksel kameraların aksine retinadaki algılayıcı hücreler Gauss dağılımına gore yerleşim bulmaktadır. Merkezdeki yüksek yoğunluktaki odak alanında, karmaşık işlemler yapılmakta, merkezden uzaktaki çevresel alanda ise çok sık yapılan, ancak basit işlemler yapılmaktadır. 2. İlgi: Kafa ve göz hareketlerinin ilgiye dayalı yönlendirilmesi ile uzamsal-zamansal ilintili görsel veri toplanması gerçekleştirilir 3. Temsil Modları: Yapılan çalışmalarda elde edilen bulgular, algılama ve dikkatin bakılan veya incelenen ortamı temsil edecek modlara bağlı olduğunu ortaya koymaktadır 4. Seri İşlem: İnsan görme sistemi yoğun olarak parallel çalışmasına rağmen çoğu görsel işlemler seri işlemeyi de zorunlu kılmaktadır 5. Hafıza: İnsan görme sistemin kısa ve uzun dönem hafızanın efektif kullanılmasıyla görsel bilginin biriktirilmesini ve uzun yıllar boyunca izlenen ortamların modellerinin tutulmasını sağlar. İnsan görme sistemine benzer dikkat mekanizmalarının robot görme sistemlerinde uygulanması ise son zamanlarda hız kazanmıştır. Ancak dünya‟da benzeri sistemlere bakıldığında, daha çok ilk üç madde üzerinde yoğunlaştıkları görülmektedir. İlk yapılan çalışmalar daha çok göz hareketlerini taklit eden elektromekanik sistemlerin tasarımı üzerinde olmuştur. Daha sonra araştırmacılar “bakılacak yerin belirlenmesi” ve “nasıl bakılacağı” problemlerine yönelmiş ve göz hareketleri ve ilgiye dayalı görsel arama modelleri geliştirmişlerdir. Gerçek zamanlı çalışan ve görme problemleri üzerine yoğunlaşan uygulamalar yukarıda belirtilen maddelerin hepsini göz önünde bulundurmalıdır. Biz, uzun bir süreden beri bu konuda araştırma yapmakta ve çeşitli buluşlar gerçekleştirmekteyiz. APES bu araştırma ve buluşları bünyesinde toplayarak, bu konuda ilk olabilme özelliğine sahip bir robottur.
www.muhendisce.net
1
APES: Seçici Olarak Algılayan, Dikkate Dayalı Robot
APES dikkate dayalı olarak etrafı görebilmesi özelliği ile 100% özgün bir robottur. Robotun tasarımı ve üretimi, tüm mekanik, elektromekanik ve görsel işleme kısımlar dahil olmak üzere, proje ekibi tarafından çeşitli aşamalar içinde yapılmıştır. APES‟in benzer robotlardan en büyük farkı görsel sisteminin, bulunduğu ortamı seçici olarak algılamasıdır. İnsan gözünde bulunan mekanizmalara benzer olarak APES‟te de bir fovea-çevresel alan farklılığı vardır. APES bulunduğu ortamda sadece dikkatini çeken kısımları görür ve ortamı tanıması sadece bu tip hareketler sonucu (saccades) oluşan görsel veriye dayalıdır. Bunun sonucu olarak, APES benzer robotlara mukayeseli olarak hayli ekonomik bir donanım ile, yine benzer robotların görsel yetilerine yakın veya daha iyi bir başarım gösterebilmektedir.
Şekil 1: APES Robotu
APES‟in üç yenilikçi özelliği bulunmaktadır: Seçici Algılama ve Tanıma: APES etrafını odakla-odak noktasına bak döngüsü içinde inceler. Odak noktasını incelemeyi, biyolojik olarak esinlenmiş süzgeçleri kullanarak yapar. Böylece oluşan odaklama dizileri, görülen nesnelerin tanınmasına yönelik öğrenme ve daha sonra öğrendiklerini kullanma yetileri ile işleme tabi tutar. Bu özelliği de çalışmamızın yenilikçi özelliklerinden birini oluşturmaktadır. APES yeni odaklama noktalarına gittikçe, gelen bilgiyi gerçek-zamanlı olarak toplar ve kendi hafızasındaki uzamsal-zamansal modeller kullanılarak sürekli olarak gördüğü nesneler hakkındaki kararlarını günceller. Seçici Algılama ve Video İletimi: APES bulunduğu ortamı incelerken, gördüklerini aynı zamanda iletebilme yetisine sahiptir. Ancak bilindiği üzere, video iletimi aşırı derecede bir ağ kapasitesi gerektirir. APES‟in ikinci yenilikçi özelliği, seçici algılama yetisini video iletiminde de kullanmasıdır. Çalışmamızın yeniliği bir video ardışımındaki çerçevelerde tanımlanan ilgi merkezlerinin pekiştirilmesi, bulunan ilgi merkezlerinin dışında kalan bölgelerin ise hem uzamsal hem de zamansal düzlemde süzgeçlenmesi, ve işlenmiş olan çerçeveyi düşük bit hızlarında kodlamaktır. Benzer sistemlerden farklı olarak, APES odaklama ve çevresel alanlarını diğerlerinden farklı seviyelerde kodlayıp H.263 kodlayıcısı belirtimlerine uyan bir bit akımı oluşturur. Bu sayede kodlanan videonun İnternet üzerinden duraksız erişimi sağlanır. APES Uzaktan Erişim: APES‟in İnternet üzerinden erişimi ve kontrolüne olanak sağlayan bir sistem. Bu sistemde entegrasyon çalışması ile donanımsal ve yazılımsal bir bütünlük sağlanmış ve uzaktan robotun hareketlerinin kontrolü ve kamera görüntülerinin karşı tarafa aktarılması sağlanmıştır. Bu iki yönlü iletişim çerçevesi içinde değişik algılayıcılardan gelen bilgilerin İnternet üzerinden kullanıcılarının
www.muhendisce.net
erişimine sunabilmesi gerekmektedir. Aynı zamanda, dışarıdaki kullanıcıların da gönderecekleri komutlar aracılığı ile sistemle etkileşimlerine imkan tanınmalıdır. İnternet‟in her yere girmesi ile, robotlar dahil her türlü makine ve cihazların web üzerinden erişimi önemli bir konu haline gelmeye başlamıştır. 1.1
Literatür
Çalışmalarımız boyunca, hem robot tasarımı, hem görsel sistem tasarımı ile ayrıntılı olarak literatür ve endüstriyel uygulamalar araştırmaları yapılmış olup, bunlar projemiz çerçevesinde çıkan yayınlarda ilgili kısımlarında anlatılmış ve Kaynakça bölümlerinde verilmiştir. Ayrıca, bu raporun Kaynakça kısmında ilgili çalışmalara ait referanslar bulunmaktadır. Özellikle görsel sistem tasarımında, biyolojik sistemlerin görme sistemlerinden esinlenilmiştir ve bu yönde uluslararası yapılmış çalışmalar ilgili yayınlardan takip edilerek bu çalışmalar sonucunda elde edilmiş deney ve sonuçlar baz alınarak insan biyolojik sisteminin çalışma prensiplerini taklit eden modeller robotumuz üzerinde uygulamaya geçirilmiştir. Yapılan çalışmalar sonucu elde edilen sonuçlar uluslararası konferans ve yayınlarda sunulmuştur.
1.2
Fikri Mülkiyet Hakları
APES, hem elektronik, hem de görsel işleme bakımından birçok yenilikleri içeren bir robottur. APES‟in tüm know-how‟ı Akıllı Sistemler Laboratuvarı‟na aittir. APES çerçevesinde yaptığımız çalışmalar, 2 SCI indeksli dergi makalesi olarak yayınlanmış, diğer bir üçüncüsü çok yeni olarak şartlı kabul almıştır. Yine bu çalışmalardan çerçevesinde yazılan 5 adet tebliğ, uluslararası robotbilim konferanslarında sunulmuşlardır. Bu çalışmalarımız, yine çesitli ulusal konferanslarda sunulmuş ve en son olarak SIU‟2003 konferansında en başarılı makale ve Alper Atalay ödüllerini almıştır. APES‟in bazı tasarımları, Elektrik-Elektronik Mühendisliği ve Makine Mühendisliği Bölüm‟lerinde bitirme projeleri çerçevesinde yaptırılmıştırlar. Ayrıca yine APES için geliştirilmiş bir sürücü kart tasarımı, sağladığı esneklik ile birçok motor kontrol projelerinde kullanılabilmasi dolayısı ile Akıllı Sistemler Laboratuvarının bir ürünü olarak sunulmaktadır. Tüm fikri mülkiyet hakları proje çalışanlarına ve laboratuvarımıza aittir. Gerekli finansal ve hukuki destek bulunduğu takdirde, robotumuz için patent başvurusunun yapılması istenilmektedir. 1.3
Orijinal Katkılar ve Yararları
APES‟in yenilikçi hususları şu şekilde özetlenebilinir: 1. Biyolojik olarak esinlenmiş, bulunulan ortamın seçici olarak algılanması ve dikkate dayalı bakma, tanıma ve ortamı algılama. APES özellikle hareketli robotların aktif görme sistemlerinde ortaya çıkan ve bugune kadar ayrı ayrı ele alınan seçici ilgi, görsel bellek ve nesne/ortam tanıma problemlerinin çözümü icin tek bir entegre sistem önermektedir. Ayrica ilgi dizinlerine dayalı tanıma probleminin destek fonksiyonları kullanılarak çözülmesi, uzaysal bellek icin önerilen kabarcık (bubble) modeli ve zaman, filtre ve model uzaylarında tümleşim modelleri ilk olarak bu APES‟te önerilmiş ve uygulanmışlardır. 2. APES‟in gördüklerini gerçek-zamanlı olarak iletebilmesi: APES video iletiminde de seçici ilgi prensipleri uygulamaktadır. Dizindeki çerçevelerin ilgi ve çevresel alanlarına dayalı olarak uzamsal ve zamansal imge işlemleri kullanmaktadır. Böylece robotun ilgi alanı içindeki kısım istatiksel ve görsel olarak daha kaliteli bir şekilde iletimi sağlanmıştır. İlgiye dayalı video işleme projesi ile bant genişliğinin verimli bir şekilde kullanılması sağlanmıştır. Dolayısı ile, APES gördüklerini yerel ağ üzerinden son derece başarılı iletebilmektedir. Bu yöntemin özelliği video kodlama algoritmasından bağımsız olarak bir önişleme yöntemi olması ve dolayısı ile her türlü kodlama sistemi ile uyumlu
www.muhendisce.net
olmasıdır. Alınan video görüntüleri uzamsal ve zamansal düzlemde ön-işlemeyi sağlayan bir yönteme yol 3. Buna elverişli kafa mekaniği ve elektroniği APES bu yenilikçi hususları uygulayarak tasarımlanmış, gerçekleştirilmiş ve daha sonra da geliştirilmiştir. Halen de geliştirme projeler devam etmektedir. Bu çalışmalar aşağıdaki ürünlere yol aşmıştır: 1. 2. 3. 4. 5.
Eğme ve dönme mekanizması (Pan-tilt mechanism) – (Mekanik parça tasarım ve üretimi) DC Motor sürücü kartı ve kontrol yazılımı– (Elektronik kart tasarımı, üretimi ve kontrol yazılımı) Dikkate dayalı oluşturulan imge dizinlerinin aktarımı (Algoritma ve yazılım) Biyolojik olarak esinlenmiş filtreler ve uygulamaları (Algorithma ve yazılım) Dikkate dayalı seçici algılama ve ortam tanıma (Algoritma ve yazılım)
APES‟in, benzer endüstriyel, araştırma amaçlı veya hazır robotlar ile mukayese edildiğinde, çok daha ekonomik olarak, benzer görsel başarım gösterebildiğini gözlenlemekteyiz. Teknoloji açısından bakıldığında da robotların yoğun kullanılabileceği ortamlarda (örneğin müze ortamları, kurtarma robotu uygulamaları vs) düşük maliyetli ama yüksek performanslı sistemlere ihtiyaç duyulmaktadır. Mevcut robot sistemlerinin gerçek zamanlı olarak içinde bulunduğu ortamı incelemesi ve ortam ile ilgili yorum yapıp kendisine atanmış olan işleri yerine getirmesi konularını baz alan akademik yayınlara bakıldığında bir çok çalışmanın yapıldığı ve bir çok modelin oluşturulup uygulamaya alındığı görülebilir. Klasik sistemlerin içinde bulunulan ortamı algılarken sentetik modelleri kullandıklarını, bunun sonucunda da ihtiyaç duyulan işlem gücü dolayısıyla da donanım maliyetinin artmakta olduğunu söyleyebiliriz . İnsan görme sistemi ise çok kısa sürelerde içinde bulunduğu ortamla ilgili işlemleri gerçekleştirmektedir, APES‟in insan görme sistemini taklit etmesindeki yegane unsur da bu sistemin işlem gücünü bir şekilde robotik ortamlara taşınmasını sağlayabilmektir. Buna ek olarak, internet üzerinden yapılan video ve medya sunumları dikkate alındığında buradaki en büyük ihtiyaçlardan birisinin ise düşük hızlarda kaliteli görüntü iletimi olduğunu görmemiz mümkündür ki bu gereklilik doğrudan düşük maliyetli görüntülü iletişim sistemlerinin geliştirilmesini sağlayacaktır, APES robotu üzerinde geliştirilen internet üzerinden düşük hızlarda dahi tatmin edici performans sergileyebilen ilgiye dayalı video sunucu sistemi bu anlamda ihtiyaçlara cevap verebilecek niteliktedir. Bu sistemin geliştirilmesi sürecinde ilgiye dayalı algılama prensipleri kullanılarak yeni görüntü işleme algoritmaları geliştirilmiştir. Yine internet ortamını düşündüğümüzde uzaktan aldığımız veriler doğrultusunda robotumuzun yine uzaktan kontrol ettirilebilmesine ihtiyaç duyulmuş bunun sonucunda da mekanik aksamlarında geliştirilen projeler ve uygulamalar yardımıyla robotumuzun uzaktan kontrolü de gerçekleştirilmiştir. Sonuç olarak APES‟in üretilmesinde geliştirilen teknolojinin bu anlamda ihtiyaçları karşıladığını düşünmekteyiz
2
2.1
Fikrin Buluş’a Dönüştürülmesi Hedef Kullanıcı Beklentileri
Gezgin robotların kullanım alanları, bu konularla ilgili ilk araştırmaların başladığı dönemden bu yana gittikçe genişlemiş, artık sadece endüstride otomatik olarak yönlendirilen araçlar olarak (Automatic Guided Vehicle – AGV) kullanılmaktan çok, sosyal hizmet alanlarında (müzelerde otomatik rehberlik, kötürümlere
www.muhendisce.net
yürürken yardımcı olmak, bürolarda ofisler arası eşya taşıma vb.), insanlara zarar verebilecek (yüksek asit, sıcaklık ve basınçtaki) ortamlarda insanların yerine ortamda araştırmalar yapma (nükleer tesislerin denetimi, kanalizasyon borularının temizlenmesi, okyanus diplerinin incelenmesi vb.), kendi kendini sürme yeteneğine sahip araçlar (arabalarda sürücünün dikkati yorgunluktan dolayı dağıldığında sürücü yönetimini eline alan akıllı sürücü sistemleri), askeri amaçlı otonom aygıtlar (otomatik mayın temizleyiciler, otonom savaş makinaları vb.), otonom tavırların incelenmesi için araştırmalar gibi diğer birçok alanlarda kullanılmaya başlanmıştır. Artan kullanım alanları, gezgin robotların tasarımıyla ilgili önemli teknolojik gelişmeleri beraberinde getirmekte ve daha yenilerini de gerektirmektedir. Otonom yapıya sahip olması beklenen herhangi bir gezgin robotun sahip olması gereken özellikler ; Bulunduğu ortamı tasarlandığı amaç doğrultusunda algılayabilmesi, Kendi kendine karar verebilmesi, Bildiklerini insanlarla paylaşabilip, gerektiğinde kontrol edilebilmesi. Eğer otonom olması planlanan bir gezgin robotun en önemli sisteminin karar verme mekanizması olduğu düşünülürse, bulunduğu ortamın algılanmasında görme sistemine çok önemli bir işlev düşmektedir. Görme sistemi robotun öğrenmesine açık, gerçek-zamanlı olmalı, aynı zamanda donanımsal olarak ekonomik olmalıdır. Robotun mekanik tasarımının iyileştirilmesi için hem mekanik bileşenlerinin çok iyi üretilmesi, seçilmesi ve yerleştirilmesi (az sürtünme, az boşluk vb.) hem de robotu hareket ettirecek motorların yüksek tork/ağırlık ve yüksek tork/güç özelliklerine sahip olmaları gerekmektedir. Bunun yanında en önemli nokta robotu kontrol edecek elektronik aksamın mümkün olduğunca minimize edilmiş olmasıdır ki bu sayede gereksiz elektronik kartlar kullanmadan basit mikro-kontrollörler yoluyla fazladan güç çekecek birçok gereksiz devreden kurtulunabilmektedir. Buna ek olarak, görsel bilginin işlenmesi ve karar mekanizmasının çalışması için gerekli işlemsel güç, elektronik donanımına uygun olmalı ve robotun gerçek-zamanlı iş yapmasına izin vermelidir. Son olarak ta, bütün bunları gerçekleştirirken, robotun gördüklerini paylaşması ve gerektiğinde insan müdahalesine izin vermesi gerekmektedir. Bizler bu proje çerçevesinde, tüm bu gereksinimlere yanıt verebilecek bir robot tasarımı yapmayı amaçlamış bulunmaktayız.
2.2
Buluşun Özgün Yönleri ve Mukayaseli Karşılaştırma
Literatürde ve uygulamada birçok başarılı görüntü işleme sisteminin bulunduğunu rahatlıkla söyleyebiliriz. Video iletimi ve uzaktan kontrol alanları da incelendiğinde ihtiyaç duyulan alanlarda oldukça başarılı çalışmaların var olduğunu da bilmekteyiz. Bununla birlikte bütün bu sistemlerin senaryo bazlı yani belirli bir amaç ortaya konularak kullanılması durumunda başarılı olduklarını görebiliriz. Bu bağlamda bakıldığında bağlayıcı kabullenmeler olmadan olumsuz ortam şartlarında çalışabilecek ve yüksek gerçek zamanlı performans sunduğu kadar maliyet ve üretim açısından da bakıldığında verimli sistemlere ihtiyaç duyulduğunu düşünmekteyiz. Bu anlamda APES robotu üzerinde geliştirdiğimiz algoritmalar, uygulamalar , mekanik ve elektronik aksamlar sorunlara köklü çözümler getirmeyi hedeflemektedir. Bunu hedeflerken de kullanılan yöntem, mevcut sorunların çözümüne farklı açılardan ve platformlardan bakarak insan biyolojisinin yeteneklerini baz almak olmuştur. Seçici algılama alanında karmaşık odaklama dizilerinin gerçek zamanlı olarak nesne tanıma amaçlı kullabilecekleri üç yeni yöntem önerilmektedir. Bu yöntemlerin ortak noktaları süzgeç, zaman ve model bazında birleşim yaparak, kümülatif bir şekilde karar oluşturabilmeleridir. Ayrıldıkları husus ise üç boyutlu tümleşimin yapıldığı sıranın farklı olmalarıdır. Bu yöntemlerden ikisi tek nesne içeren ortamlarda ve birden fazla nesnenin olduğu ve kararların buna göre değişmesi gereken ortamlarda iyi bir başarım ortaya koyabilmektedirler. Üçüncü metot ise tek nesne içeren ortamlarda yüksek balarım ortaya koyabilmektedir. Video kodlama açısından bakıldığında gerçek zamanlı ve düşük bant genişliğinde çalışabilen video kodlamak için devinim dengelemeli (MC) ve ayrık kosinüs değişimi (DCT) tabanlı sistemler en uygun
www.muhendisce.net
çözüm olarak sunulmaktadır [13]. Devinim dengelemeli teknikle zamansal, ayrık kosinüs değişimi ile de uzamsal artıklıklar optimum seviyeye çekilmeye çalışılır. Gerçek zamanda uygulanabilirlik açısından H.263 ve H.263+ kodlayıcıları [14], başarılı bir şekilde bu iki tekniği kullanır. Video kodlayıcısının bit hızını ve aksaklıklara dayanıklılığını belirleyen bir faktör de blok-içi veya bloklar arası kodlama kararıdır [15]. Dolayısı ile anlık imge boyutlarında küçülme veya ardışık imgeler arasındaki herhangi bir benzerlik, bit hızını veya aksaklıklara dayanıklılığı arttırırlar. İnsan gözünün çalışma prensipleri görme bilimcileri tarafından incelenmektedir . İnsan, görüş alanındaki her şeyi aynı kalitede işlemez. Öncelikle gözler, ilgiyi çeken bölgeye odaklanıp orayı mükemmel bir biçimde işler. İlgi alanı dışındaki bölgeler ise daha kaba bir şekilde beyine iletilir. İlgi merkezinin değişmesiyle genel görüntüdeki eksiklikler giderek azalır. İlginin tipi de zaman içinde değişebilir. Belirli bir renk, köşeler, veya bir insan yüzü ilginin merkezi olabilir. Literatürde gerek insanın görsel duyu sistemi üzerine, gerekse de video kodlama üzerinde ayrı-ayrı birçok bilimsel çalışma bulunmaktadır. Ama birbirine çok bağlı olan bu iki konu aynı anda çok fazla incelenmemiştir[16,17]. APES üzerinde yaptığımız çalışmalarda bu iki konuya aynı anda çözüm bulmaya çalıştık. Geliştirdiğimiz yöntemin APES robotundan gelen video yayınının yerel ağ üzerinden iletimindeki son derece başarılı olduğu gözlenilmiştir. Bu yöntemin özelliği video kodlama algoritmasından bağımsız olarak bir önişleme yöntemi olması ve dolayısı ile her türlü kodlama sistemi ile uyumlu olmasıdır. Yöntemimiz çeşitli deneyler ile klasik kodlama yöntemleriyle de karşılaştırmalı sınanmıştır. Uzaktan robotları kontrol edebilmek, uygulama paylaşımı sayesinde bir çok kişinin aynı anda robotun çıktılarına ulaşabilmesi, bu konudaki çalışmalar için ulaşılmaya çalışılan hedefler olmuşlardır. Web erişimli robot uygulamalarına ilk örnekler, bir masa üzerindeki tahta parçalarını hareket edebilen ASEA Irb-6 [46], sanal bahçede işler yapabilen “Telegarden” ortamı [45], müze erişimi sağlamak amaçlı tasarımlanmış [44] robotlarıdır. Ilk uygulamaların çoğunda, HTML-CGI kullanılmış ve imge aktarımı JPEG olarak kodlanarak “off-line” bir şekilde gerçekleştirilmiştir.. Daha sonra yapılan çalışmalar da, genelde CGI bazlı olarak gerçekleştirilmiştir. Internet‟teki değişken bantgenişliği ve gecikme sorunlarına daha gerçekçi çözümler bulmak üzere sunucu-istemci yapısı ile Java bazlı bir sistem önerilmiştir [41,47]. Ancak imge aktarımı yine “off-line” olarak gerçekleştirilmiştir. APES üzerinde yaptığımuız çalışmalar sonucunda bulunduğu ortamı seçici ilgiye dayalı olarak algılayan APES robotuna İnternet üzerinden erişimi ve denetimi sağlayacak bir sistem geliştirilmiştir. Java ile yazılmış olan istemci ve sunucu parçalardan oluşan haberleşme sistemi sayesinde hem İnternet üzerinden daha kolay veri aktarımı yapılması sağlanmıştır, hem de sistem kullanıcı bilgisayarından bağımsız hale getirilmiştir. Sunucu ile kullanıcı arasındaki çift yönlü iletişim bulunmaktadır. Sunucu, kullanıcıdan aldığı komutlar doğrultusunda yapılması gereken işleri, “Temel APES yazılım birimi” ne aktarmaktadır. Böylece kullanıcı, APES‟e verdiği komutlar uygulanırken ayni zamanda APES‟in kameralarından o anki görüntüleri de seyredebilmektedir. Ayrıca başka kullanıcılar da aynı şekilde sistem çalışırken anlık görüntüleri kendi bilgisayarlarından seyredebilmektedir.
3 3.1
Buluşun Uygulanması Buluşun Ürün Dönüşme Çalışma Organizasyonu
Proje Boğaziçi Üniversitesi Elektrik-Elektronik Mühendisliği Bölümü bünyesinde faaliyetlerini devam ettiren Akıllı Sistemler Laboratuvarı‟nda yapılmıştır. Projenin başlangıcı 1996 yılında Prof. Işıl Bozma‟nın danışmanlığında, Çağatay Soyer‟in Master tezi çerçevesinde olmuştur. Daha sonra yapılan veya yapılmakta olan doktora ve Master tezleri çerçevesinde APES‟e birçok yeni ve dünyada ilk uygulaması olan özellikler eklenilmiştir.
www.muhendisce.net
Proje ekibi ve çalıştıkları kısımlar aşağıda alfabetik olarak sıralanmıştır. İsim Yard. Doç. Dr.Emre Aksan Umut Alp Hasan Ayaz Prof. Dr. Işıl Bozma Gökhan Çakıroğlu Çağatay Dikici
Prof. Dr. Yorgo Istefanopulos Alper Meriç Murat Karadeniz Salman Sakar Dr. Çağatay Soyer
Bölüm Mak.Müh. Biyomedikal Müh. MS Öğrencisi Elek.Elektro.Müh. (mezun) Elek.Elektro.Müh. Elek.Elektro.Müh. Doktora Öğrencisi Elek.Elektro.Müh. MS Öğrencisi
Çalışılan kısımlar APES – Mekanik kafa tasarımı ve gerçeklemesi APES Uzaktan erişim
Elek.Elektro.Müh. Elek.Elektro.Müh., 3. sınıf öğrencisi Elek.Elektro.Müh. MS Öğrencisi Elek.Elektro.Müh., 2. sınıf öğrencisi Biyomedikal Müh.
APES – 1.Jenerasyon görsel algılama ve tasarım. Motor sürücü kartları tasarım ve gerçeklemesi
(mezun)
Candemir Tarım Murat Tümer
Mak. Müh. (mezun) Elek.Elektro.Müh., 4. sınıf öğrencisi
APES Uzaktan erişim Tüm aşamalar, proje yürütücüsü Seçici algılama ve dikkate dayalı ortam tanıma Gerçek-zamanlı robot video iletimi.
Motor sürücü kartları tasarım ve gerçeklemesi, uzaktan erişim Motor sürücü kartları tasarım ve gerçeklemesi APES – 1. Jenerasyon, mekanik, elektromekanik, görsel algılama tasarım ve gerçekleme, 2 kameralı kafa tasarım, gerçekleme ve görsel algılama. APES – Mekanik kafa tasarımı ve gerçeklemesi Motor sürücü kartları tasarım ve gerçeklemesi
Projenin zaman içinde aşamaları şu şekilde olmuştur: Yıl Aşama 1995-2000 APES – 1. Jenerasyon (Mekanik, elektronik, görsel algılama) 2000-2001 APES – İki kameralı görsel algılama 2001- Devam etmekte APES – Tümleşik tanıma 2002 – Devam etmekte APES – İmge dizini iletimi Şubat – Haziran 2003 APES – Mekanik kafa tasarımı 2003
APES – kontrol
Uzaktan
erişim
2003 – 2004
APES – Elektromekanik elektronik tasarım
Çalışanlar Işıl Bozma, Çağatay Soyer, Yorgo İstefanopulos Işıl Bozma, Çağatay Soyer, Yorgo İstefanopulos Gökhan Çakıroğlu, Işıl Bozma Çağatay Dikici, Işıl Bozma Candemir Tarım, Emre Aksan, Işıl Bozma ve Çağatay Dikici, Hasan Ayaz, Umut Alp, Murat Karadeniz, Işıl Bozma ve Murat Karadeniz, Cengiz Pehlevan, Murat Tümer, Alper Meriç, Sal
Her aşama, bir bitirme projesi, Master veya doktora tezi çerçevesinde gerçekleştiğinden, geliştirme sürecine başlamadan önce bir geliştirme planı (proje planı) hazırlan hazırlandıysa, bu planda, ana kilometre taşlarının ve faaliyetleri yürütecek personelin belirtilip belirtilmediği, planın geliştirme sırasında nasıl güncellendiği açıklanacaktır.
www.muhendisce.net
Projenin çalışanları ve organizasyon aşağıdaki gibi gerçekleşmiştir. Prof. Işıl Bozma Yönetici ve araştırmacı
Mekanik Tasarım
Dr. Çağatay Soyer
Murat Karadeniz
Yd.Doç. Emre Aksan
Cengiz Pehlevan
Candemir Tarım
Görsel Sistem Tasarımı
Elektromekanik Tasarım
Murat Tümer
Seçici Algılama
İmge İletimi ve Uzaktan Erişim
Alper Meriç Selman Sakar Dr. Çağatay Soyer Gökhan Çakıroğlu Cengiz Pehlevan Prof.Dr. Yorgo İstefanopulos
Çağatay Dikici Hasan Ayaz Umut Alp Murat Karadeniz
Şekil 2: Projenin aşamaları ve çalışanlar.
3.2
Buluş Ürün Dönüşmesinde Kullanılan Yöntem ve Teknikler
3.2.1 APES’in Kafa Mekanizması APES‟in iki adet gözü (2 adet Hitachi VK-C77ES marka kamera) vardır. Bu kameraların optik eksenlerinin oldukça hassas bir biçimde konumlandırılabilmesi gerekmektedir. APES‟in kafa mekanizması bu ihtiyacı gidermek için tasarlanmıştır. Bu bölümde tasarım ve üretim aşamaları özet olarak anlatılmaktadır. Ayrıntılı bilgi [54]‟de verilmektedir.
www.muhendisce.net
Şekil 3: Tasarım kafa.
Şekil 4: APES’in eğme-dönme özellikli kafası.
Tasarım APES‟in kafa mekanizmasının tasarımı Şekil 3‟te görülmektedir. Gerçekleşen kafa ise Şekil 4‟de görüldüğü üzeredir. Bu tasarım yapılırken aşağıdaki kriterler gözetilmiştir:
Kameralar aynı düzlemde olmalı ve optik eksenleri paralel olmalıdır. Kameraların dönme ve eğme hareketleri maksimum düzeyde olmalıdır. Dönme ve eğme eksenleri bir noktada kesişmeli, bu nokta kameraların optik eksenlerinin ortasına denk gelmeli ve aynı nokta, motorlara binen yükü azaltmak için kameraların ağırlık merkezine mümkün olduğunca yakın olmalıdır. 180º‟lik dönme hareketi maksimum 1 saniye, eğme hareketi ise 1.5 saniyede yapılabilmelidir. Tüm sistem olabildiğince küçük ve hafif tasarlanmalıdır.
Tasarım aşamasında sistem modellemeleri yapılmış, MATLAB Simulink ortamında simule edilerek verilen hız spesifikasyonlarına uygunluğu test edilmiştir. Tüm parçaların detaylı teknik çizimleri hazırlanmış ve üretim için kullanılmıştır.
Şekil 5: APES’in kafasının eğme ve dönme motorları.
Mekanizmada Şekil 5‟te gösterilen iki adet dc motor kullanılmıştır. Eğme ekseninde Maxon A-max d19 serisi, 2.5W gücünde, 24V nominal gerilime ve 7.79mNm torka sahip yandaki motor kullanılmıştır. Motora
www.muhendisce.net
eklenen Maxon GS 24 sistemi 32:1‟lik bir redüksiyon oranı sağlamaktadır. Ayrıca yine motora bağlı olarak bulunan dijital, 2 kanallı bir manyetik enkoder de bulunmaktadır. Dönme ekseninde ise daha güçlü bir motor olan Maxon A-max32 serisi bir doğru akım motoru kullanılmıştır. 15W gücündeki bu motor, 18V nominal gerilime ve 119 mNm torka sahiptir. Bu motorda 66:1‟lik bir redüksiyon mevcuttur. Ayrıca motora bağlı olan bir enkoder ünitesi de mevcuttur.
Üst plaka
Mil yatağı
Alt plaka
Yan Destek
Destek elemanları
Küçük dişli
Büyük dişli
Merkez elemanı
Eğme motoru muhafazası
Şekil 6: APES Kafa mekanizma parçaları.
Üretim Tasarlanan sistemin üretilmesinde çelik ve alüminyum alaşımları kullanılmıştır. Şekil 6‟da bu amaçla tasarımı yapılıp, sonra üretilen parçalardan örnekler verilmektedir. Kameraların sabitlenmesi amacıyla tasarlanan plakalar çelik 1248 CK 75 kullanılarak üretilmiştir. Üst plaka 68 gram, alt plaka 41 gramdır. Hazırlanan plakalar yapışkan bir kağıtla kaplanmış ve paslanmaya karşı koruma sağlanmıştır. Kameraların yan destekleri ve kayış dişlileri alüminyum alaşım AA 5xxx T-4 kullanılarak üretilmiştir.Kamera yan destekleri 25.5 gram, küçük kayış dişlisi 18 gram, büyük dişli 45.5 gram ağırlığındadır. Eğme hareketi için kullanılan mil yatakları PHS 6 kodlu standart elemanlardır. Ağırlıkları 25‟er gramdır. Bu parçaları desteklemede kullanılan destek elemanları ise daha once belirtilen alüminyum alaşımla üretilmiştir. Aşağıda sistemin diğer elemanları gösterilmiştir. Kafanın tabanını olulturan parça poliamitten üretilmiş, eğme motorun muhafazası ve merkez elemanı için daha önce belirtilen aluminyum alaşım kullanılmıştır. Dengeleme ağırlıkları pirinçten yapılmıştır. Eğme motoru muhafazası 51 gram, merkez elemanı 157 gram ve dengeleme ağırlıkları 38 gramdır. Mekanizmanın maliyeti mühendislik maliyetleri hariç 168$‟dır. Üretimden sonra mekanizma test edilmiş, istenilen özellikleri sağladığı görülmüştür. 3.2.2 Motor Kontrol Kartı Motor kontrol kartı APES‟in kafa mekanizmasını oluşturan iki adet DC servo motoru sürmek amacıyla tasarlanmış ve kartın tasarımı sırasında APES üzerinde yapılacak araştırmaların gereksinimleri göz önünde tutulmuştur. Kart üzerinde Atmel AVR serisi bir adet mikrokontrolör ve bu mikrokontrolörün bilgisayar ve motorlarla iletişimini sağlayan alt devreler bulunmaktadır. Bilgisayar üzerinde koşan kontrol yazılım çıktılarının mikrokontrolör ve alt devreler aracılığıyla motorlara ulaşması, motorlardan alınan geribeslemenin
www.muhendisce.net
de yine mikrokontrolör aracılığıyla bilgisayara verilmesi sağlanmıştır. Motor kontrol işlevinin dışında, araştırmalarda gereken diğer özellikler de kart üzerinde gerçekleştirilmiş, örnek olarak Hitachi marka kameraların yakınsama ve odaklanma özelliklerini mikrokontrolör aracılığıyla kontrol edilebilmesi sağlanmıştır. Yine kameraların beslenmesi ve kameralardan gelen video görüntülerinin taşınması bu kart sayesinde mümkün olmaktadır. Motor konrol kartı tasarımının en önemli özelliği APES üzerinde yapılacak değişikliklere çok kolay adapte edilebilecek olmasıdır. Şu an kullanılmayan ama ileride gerekli olabilecek genel amaçlı kaynaklar kart üzerinde mevcuttur. Yazılımda yapılacak ufak değişikliklerle aynı donanımla farklı sistemlerin kontrolü yapılabileceği gibi, APES üzerindeki diğer özelliklerin kontrolü de zamanla bu kart üzerine yüklenilebilir. Örneğin, ileride APES‟in hareket sisteminin de bu kartla kontrol edilmesi düşünülmektedir. Aşağıda motor kontrol kartına ait teknik özellikler bulunmaktadır.
Boyutlar: 110mm x 95mm
İki adet, hız ve yön kontrollü (PWM), tam olarak yalıtılmış H-köprüsü ile bağımsız olarak iki farklı motor sürebilme özelliği
H köprüleri kartın geri kalanından tam olarak yalıtılmıştır ve PC‟ye optokuplör aracılığıyla bağlanmıştır. Her H-köprüsünün ayrı güç girişi bulunur ve böylece değişik voltajlarda çalışan motorlar kullanılabilir.
Atmel AVR serisi 8 kilobayt flash bellek 512 bayt RAM‟a sahip olan 40 pinli RISC mikrokontrolcü.
Paralel port ve EPP protokolü kullanılarak PC ile mikrokontrolör arası hızlı iletişim (600kbit/s)
PC tarafından mikrokontrolcünün RAM‟ine ve I/O adres belleklerine yazma ve okuma işlemleri yapılabilmektedir. Bu sayede mikrokontrolörün tüm gömülü özellikleri yeniden programlamaya gerek kalmadan kontrol edilebilmektedir. İletişimi sağlayan yazılım MS Visual C++ ortamında yazılmış ControlCard sınıfından oluşur.
Mikrokontrolcü ve Hitachi marka kameralar arasında seri iletişim ile kameraların yakınsama ve odaklanma özellikleri kontrol edilebilmektedir.
Dik fazlı enkoder geribeslemesin yön bilgisi ile kaydedebilme özelliği
MS Visual C++ ortamında yazılmış PID kontrol yazılımı (ApesHead sınıfı) PC tarafında koşmakta, işleyişi için gerekli olan enkoder geribesleme bilgilerini mikrokontrolörden ControlCard sınıfını kullanarak almakta, çıktı olarak PWM bilgisini H-köprülerine uygulanmak üzere mikrokontrolcüye yine aynı sınıfı kullanarak vermektedir.
Programlama ve hata ayıklama pinleri
Şekil 7‟de üretilen kartın baskılı devre kart tasarımı görülmektedir.
www.muhendisce.net
Şekil 7: Baskılı devre kartı görünümü
3.2.3 Görme Sistemi: Seçici Algılama Gallant ve meslektaşlarının Macaque maymunları üzerinde yaptıkları, beyinde bulunan belirli bölgelerdeki sinir hücrelerinin değişik tipteki uyarıcılara karşı tepkilerini ölçtükleri deneylerde elde ettikleri sonuçlar, erken görme mekanizmalarında kartezyen ve kartezyen olmayan (dairesel, kutupsal, hiperbolik) uyarıcıların önemli bir rol oynadığına işaret etmektedir [1,2]. Biz de bu sonuçlardan yola çıkarak bu uyarıcıların süzgeçler şeklinde robot görme sistemlerinde algılama ve tanımlama aşamalarında kullanılabileceklerini öngördük [3]. Bu uyarıcıları örnek alarak, laboratuvarımızda geliştirmiş olduğumuz APES robotunun [4] görme sisteminde dahil olmak üzere frekans ve yönelime bağlı olan kartezyen ve kartezyen olmayan süzgeçler kümesi oluşturduk. Buradaki amacımız ise bu süzgeçleri robotun içinde bulunduğu ortamı incelerken elde ettiği odaklama dizilerini temsil edebilecek şekilde kullanmaktı. Yaptığımız deneylerde elde ettiğimiz ilk bulgular bu süzgeçler grubunun odaklama dizilerine uygulanmasıyla elde edilen çok boyutlu gözlem dizilerinin cisim, ortam algılamasında ve tanımlanmasında kullanılabilirliğini ortaya koymaktadır. Nörofizyolojik bulgular dikkatin hedef belirleme için şart olduğunu göstermektedir.[7]. Bilgisayarla görü üzerinde yapılan çalışmalarda dikkat ve dikkat öncesi aşamalardan oluşan bir döngüden ibaret modeller üzerinde geliştirmeler de yapılmıştır [5,6]. Bilme düzeylerinin farklılaşması sonucu göz hareketlerinin de farklılaşmasından yola çıkarak bilmeye yönelik modellerin tarama yollarını yönlendirdiği [10] da belirtilmiştir. Sheinberg ve Logothetis ise yaptıkları çalışmada algılama bilgisinin, tanımlamayı kolaylaştırmak amacıyla odaklamalar üzerinden biriktirildiğine ilişkin kanıtlar bulmuşlardır [9]. Tagare ve meslektaşları tarafından bir imgenin içerisine gömülü hedef nesnenin bulunmasına yönelik, en büyük olabilirliğe dayalı dikkat stratejileri geliştirilmiştir [11]. Dikkat ve arama üzerinde yapılan biyoloji temelli diğer çalışmalarda dikkatin görüntü alanı üzerindeki basit ve karmaşık niteliklere yöneltildiği belirtilmiştir [12] son bulgular ise dikkat mekanizmalarının kartezyen bir dikkat stratejisinin ötesine gittiğidir. Çarpıcı özellikleri baz alan, 'kazanan hepsini alır' prensibine dayalı bir arama mekanizması ise [8] içerisinde sunulmuştur. Yapılan çalışmaları baz alarak, biyolojik temelleri olan süzgeç gruplarının odaklama noktaları
www.muhendisce.net
üzerinde uygulanmalarıyla elde edilen odaklama vektörlerinin ve bunların zaman içerisinde biriktirilmesi ile elde edilen odaklama dizilerinin seçici algılamada ortam içerisinde bulunan hedef nesnelerin tanınmasına problemini irdeledik Çalışmamızda temel öğe odaklama noktalarına, frekans ve yönelime bağlı biyolojik temelli süzgeç grubunun uygulanması ile elde edilen odaklama gözlem vektörleridir. Odaklama gözlem vektörlerinin biriktirilmesi ile odaklama dizileri elde edilir. Nesne veya ortam modelleri de, bu gözlem dizilerindeki her bir süzgece ait olan olan durum geçiş frekans matrisleri ile oluşturulur. Elde edilen modeller sistem içinde saklanmakta ve sistem gerçek zamanlı olarak çalıştırıldığında elde edilen ardışık odaklama vektörleri arasındaki geçişlerin modeller tarafından ne kadar desteklendiği kontrol edilerek tanımlama süreci gerçekleştirilmektir. Gelen veriler, süzgeçsel, zamansal ve modelsel boyutlarda birleştirebilinir. Buna dayalı olarak üzere üç yöntem geliştirmiştir, bunlar FT-M Metodu, TF-M Metodu ve TM-F Metodu. Geliştirdiğimiz metotlar biriktirilen odaklama gözlem vektörlerini (odaklama dizilerini) eksenleri süzgeç, zaman ve model olan üç boyutlu bir uzayda ele alıp, bu eksenler üzerinde biriktirme, birleştirme ve karşılaştırma işlemlerini gerçekleştirip tanımlama sonucunu sunmaktadır. Metotlarımız arasındaki temel fark ise biriktirme, birleştirme ve karşılaştırma işlemlerini farklı sıralarda gerçekleştiriyor olmalarıdır.
1
2
3
4
5
6
7
8
9
10
Odaklama dizilerini oluştururken genel bir yöntem izleyebiliriz. I tf I tf ( x, y) ‟i odaklanan bölge olarak tanımlayalım. Herhangi bir anda odaklanılan noktaya bağlı olarak kullanılacak fonksiyonu bize bir sonraki odaklanılacak noktayı versin: I tf 1 I tf . Bu fonksiyon uygulamaya, beklentiye ve ihtiyaca göre farklılık gösterebilir ve değişebilir, ancak farklı fonksiyonlarda ortak nokta olarak fonksiyonun basit özellikleri aramasını ve hızlı bir şekilde odaklamayı gerçekleştirebilmesi için düşük işlem gücüne ihtiyaç duymasını arayabiliriz. fonksiyonunun sürekli uygulanmasıyla odaklama dizisini elde ederiz: I f I 1f , I 2f ,...,I Tf . Elimizde M adet frekansa, yönelime ve yapıya (kartezyen veya kartezyen olmayan) göre değişen süzgeçlerden oluşan bir F1 , F2 ,...,FM kümesi olduğunu varsayarsalım. Burada Fi Fi ( x, y)cw (c: yönelim, w:frekans). Dolayısı ile her bir odaklama için M tane çıktı imgesi alabiliriz. H t ( x, y) i 1F... M ( x, y) * I tf ( x, y)
i 1... M
Her bir çıktı imgesini, bir işlevi ile bir boyutlu gerçel uzaya eşlemleyelim:
H t ot
i 1...M
i 1...M
www.muhendisce.net
Dolayısı ile herhangi bir odaklama noktası için bir adet M boyutlu temsili gözlem vektörü elde etmiş oluruz:
O o , o ,...,o t
t 1
t 2
t M
Elimizdeki tüm odaklama noktaları için aynı uygulamayı tekrarladığımızda ise odaklama dizisi için aşağıdaki gözlem dizisini elde ederiz :
O 1 o11 2 2 O o1 . . . . O T o T 1
o 12 o 22 . . o 2T
. . . . .
. o 1M . o M2 . . . . . o MT
Uygulamada kullanmak üzere öğrenme aşamasında belirli bir örnek gruptan elde edilen odaklama gözlem dizisini Q adet seviyede nicemleyerek her bir süzgeç için geçiş matrisleri oluşturabiliriz. Böylelikle eğitilen nesneyi veya ortamı M adet QxQ matris ile ifade ederek modelini oluşturabiliriz. Sistem çalıştığı sırada, herhangi bir anda elde edilen odaklama vektörü ile bir sonraki odaklanan nokta için elde edilen odaklama vektörü arasındaki geçişini O O kullanarak eğitim gruplarından elde ettiğimiz geçiş matrisleri tarafından bu geçişin ne ölçüde desteklendiğini çıkartarak, sistem tarafından incelenen bölgeyi ilgili eğitim grubuna atar ve tanımlamayı gerçekleştirebiliriz. t
t 1
s t lm değerini t anında l. modelin m. süzgecinin geçiş matrisinin ürettiği anlık dayanak olarak kabul edelim. Tanım olarak incelendiğinde s t lm , değerleri uzayda zaman (T) , model (L) ve süzgeç (M) olmak üzere üç eksen üzerinde yer almaktadır. Tanımlama işlemi s t lm değerlerinin bu eksenler üzerinde biriktirilmesi, birleştirilmesi ve karşılaştırılmaları ile gerçekleşecektir. M ve L eksenleri sınırlı olduğundan bu eksenler üzerinde s t lm değerleri birleştirilebilir veya karşılaştırılabilir. T ekseni üzerinde ise herhangi bir sınır bulunmadığından dolayı değerler bu eksen üzerinde ise sadece biriktirilecektir. Bu üç işlemin yapılış sıraları değiştirilerek tanımlama işleminde kullanmak üzere iki farklı metot geliştirebiliriz.
FT-M Metodu
s t lm m=1...M değerleri M ekseni üzerinde birleştirilir: M
s t l 0.5 m , m 1
1 , slm 0.5 2 , slm 0.5
m
Deneylerimizde 1 1,0139 ve 2 0.9027 değerlerini kullanmış bulunmaktayız. T ekseni üzerinde anlık dayanakların biriktirilmesi ise:
0 Stl t 1 t (1 S l ) s l
t0 t0
ile gerçekleştirilir. S t l değerleri yapılan odaklamaların sonucunda elde edilmiş biriktirilmiş dayanaktır. S t l değerlerini her t anında düzgeleyerek bir olasılık ölçütüne dönüştürebiliriz:
www.muhendisce.net
Stl
Stl Stl l
Herhangi bir anda sistemin önerdiği modelin belirlenmesi, yani karşılaştırma veya karar verme işlemini ise elde edilen düzgeleştirilmiş bu değerler üzerinden yapabiliriz. l * arg max S t l l
TF-M Metodu Bu yöntemde biriktirme işlemi ilk olarak zaman ekseni üzerinde yapılır. Herhangi bir anda l. modelin m. süzgecinin dayanak durum değeri t lm olsun. Bu değer, bu modele ait süzgecin anlık dayanak değeri s t lm ‟nin belirli bir eşik değeri ile kıyasına göre değişecektir.
t lm
t 1 lm 1 s t lm s t lm t 1 t lm 1 s lm 0 s t lm
0.5, t 1 lm 0.5, t 1 lm 0.5, t 1 lm 0.5, t 1 lm
0 0
Deneylerimizde 6 ve 0.5 olarak kullanılmıştır. Bu dayanak durumları daha sonra süzgeç, M, ekseni üzerinde birleştirilerek her model için toplam dayanak değeri elde edilir. t l
1 M
M
t lm
m 1
Tanımlama işlemi ise elde edilen toplam dayanaklar üzerinden en büyük desteği sağlayan modelin seçilmesi ile sağlanır. l * arg max t l l
Seçici algılama sonucu oluşturulan karmaşık odaklama dizilerinin gerçek zamanlı olarak nesne tanıma amaçlı kullabilecekleri üç yeni yöntem önerilmektedir. Bu yöntemlerin ortak noktaları süzgeç, zaman ve model bazında birleşim yaparak, kümülatif bir şekilde karar oluşturabilmeleridir. Ayrıldıkları husus ise üç boyutlu tümleşimin yapıldığı sıranın farklı olmalarıdır. Her ilk yöntem tek nesne içeren ortamlarda yüksek performans göstermektde buna ek olarak ilk iki yöntem birden fazla nesnenin olduğu ve kararların buna göre değişmesi gereken ortamlarda dahi iyi bir başarım ortaya koyabilmektedirler.
TF-M Metodu TM-F metodu, TF-M metodunda olduğu gibi dayanak durum değerlerinin elde edilmesi ve değiştirilmesi prensibine dayanmaktadır. TF-M metodundan farkı ise herhangi bir modelin dayanak durum değerlerinin değişiminin diğer modellerin dayanak durum değerlerine bağlı olmasıdır. Diğer bir fark ise birleştirme işleminin süzgeç, M, değil model, L, ekseni üzerinden gerçekleştirilmesidir. l. modelin m. süzgecinin dayanak durumunu hesaplamak istediğimizde diğer modellerden elde edilen ortalama biriktirilmiş dayanak değerini hesaplamamız gerekmektedir: t lm
1 t lk L k ,k l
t lm değeri, diğer modellere ortalama olarak ne kadar destek verildiğinin bir ölçüsüdür. Örneğin t lm geçmiş odaklamalardan elde edilen bilginin diğer modelleri yeterince desteklemediğini göstermektedir.
, 2
www.muhendisce.net
t lm bilgisinin de kullanılmasıyla, herhangi bir modelin süzgecinin anlık dayanak durumunu aşağıdaki yöntemle hesaplayabiliriz:
lm t
t 1 lm t 1lm 1 t 1lm 1 0 t 1lm
s t lm , t 1lm s t lm , t 1lm s t lm , t 1lm s t lm , t 1lm s t lm , t 1lm s t lm , t 1lm
2 2 2 2 2 2
t 1 lm t 1lm t 1lm 0 t 1lm 0
Seçici algılamada belirttiğimiz üç metodun deneylerini gerçek ortamdan üç adet nesne, resim-askılık ve mantar tahta, için elde edilmiş odaklama dizileri üzerinde denemiş bulunmaktayız. Deneylerimizde, her bir nesne için, her biri 35 adet odaklama dizisi içeren 10 adet deney gerçekleştirdik. Bu deneylerin 5 tanesini (175 odaklama dizisi) eğitim verisi, geri kalan 5 tanesini ise sınama verisi olarak kullandık. Şekillerde daire, baklava ve kare işaretleri sırayla resim, askılık ve mantar tahta nesnelerinden elde edilmiş odaklamarı göstermektedir. İlk aşamada her bir nesnenin eğitim verilerini kullanarak bu nesnenin modelini oluşturduk. Bundan sonra her bir nesneye ait sınama grubundan rasgele ardışık 4 tane odaklama dizisi almak kaydıyla toplam 100 odaklama dizisi içeren üç set rasgele odaklama dizisi verisi oluşturduk. Karışık verileri oluştururken amacımız, sistemimize rasgele gelen farklı nesnelere ait bu odaklama dizilerinin uygulanan metotlarla gerçek zamanlı çalışarak doğru nesneyi tespit etmekte kullanılabileceğini göstermekti. Deneyin sonucunda FT-M ve TF-M metotlarının ortalama %14 -%20 arasında yanlış tespit oranı olduğunu ve yanlış tespit edilen odaklama dizilerinin nesneler arasındaki geçişlerde meydana geldiğini, görmüş bulunmaktayız. Bu iki metot incelenen nesnenin değişmesi durumunda hızlı tepkiler vermektedir. TM-F metodunda ise diğer iki metottaki hızlı tepkiler görülmemektedir. Odaklamaların ilk başladığı anda TM-F metodu tepki vermeye başlamasına rağmen daha sonraki odaklamalarda ise bu tepkiyi göstermemekte ve nesne değişikliklerini algılayamamaktadır.
www.muhendisce.net
İlgiye Dayalı Video İletimi Veri Akış Çizeneği
İmge yakalanması
İlgi odağı saptayıcısı (insan yüzü)
Kısa Dönem Hafıza
Video önişleme modülü (zamansal & uzamsal) robot kafa kontrolleri Video sıkıştırma ve duraksız iletim modülü
internet
kullanıcı arayüzü
Duraksız iletim sunucusu
Şekil 8: İlgiye dayalı robot-video kodlama sistem bileşenleri.
3.2.4 İlgiye Dayalı Gerçek Zamanlı Robot-Video Kodlama ve İletimi Klasik video kodlaması ve iletiminde, çerçeve yakalanmasından sonra, nasıl bir veri içerdiğine bakılmaksızın blok-blok aynı kalitede sıkıştırılır. Fakat eğer yakalanan çerçeveyle ilgili elimizde fazladan bir bilgi varsa (belli bölgelerin daha önemli olduğu gibi) o çerçevenin tüm kısmını gözü kapalı bir şekilde kodlamak artıklık artışına neden olur. APES Video İşleme ve İletimi modülünde, APES Robotun kamerası ile algıladığı imge dizininin gözün görme mekanizmasında önemli bir rol oynayan odaklama prensibine dayalı olarak işlenip, İnternet üzerinden gerçek zamanlı olarak gönderilmesini sağlayan bir sistem tasarım ve uygulaması sunulmaktadır. Bu bölümde, bu çalışmalar kısaca tanıtılacaktır. Ayrıntılı bilgi [24,28]‟de verilmektedir. İnsan gözünün çalışma prensiplerine göre, görüş alanındaki her şey aynı kalitede işlenmez. Öncelikle gözler, ilgiyi çeken bölgeye odaklanıp orayı mükemmel bir biçimde işler. İlgi alanı dışındaki bölgeler ise daha kaba bir şekilde beyine iletilir. İlgi merkezinin değişmesiyle genel görüntüdeki eksiklikler giderek azalır. İlginin tipi de zaman içinde değişebilir. Belirli bir renk, köşeler, veya bir insan yüzü ilginin merkezi olabilir. Literatürde gerek insanın görsel duyu sistemi üzerine, gerekse de video kodlama üzerinde ayrı-ayrı birçok bilimsel çalışma bulunmaktadır. Ama birbirine çok bağlı olan bu iki konu aynı anda çok fazla incelenmemiştir. Bu çalışmanın temelinde yatan, bir robotun görsel sisteminin ilgi öğesini tanımlayıp bu bilgiler yardımıyla gerçek zamanlı video kodlamasını İnternet üzerinden yayınlamak ve bu sayede
www.muhendisce.net
kullanıcıya robotun gerçek zamanlı kontrolünü sağlamak için gerekli yapıyı oluşturmaktır. Çalışmamızın yeniliği bir video ardışımındaki çerçevelerde tanımlanan ilgi merkezlerinin pekiştirilmesi, bulunan ilgi merkezlerinin dışında kalan bölgelerin ise hem uzamsal hem de zamansal düzlemde süzgeçlenmesi, ve işlenmiş olan çerçeveyi düşük bit hızlarında kodlamaktır.
Şekil 9: APES video iletimi örneklei: Orijinal, uzamsal ve uzamsal-zamansal işleme
Uzamsal Ve Zamansal Video Süzgeçlemesi: Uzamsal süzgeçlemenin asıl amacı, video kodlayıcısının devinim dengelemesi yaparken, odak alanının dışındaki bölgeleri, bir önceki çerçeveden kestirimde bulunup daha az bit kullanarak kodlamasını sağlamaktır. Bu gerçeği göz önüne alarak bizim için daha az önemli olarak belirlediğimiz bölgeleri uzamsal bir süzgeçten geçirerek, piksellerin komşu piksellerle ilintisini arttırmaya çalıştık. Bu bağlamda Gaussyumuşatıcısı ve bulandırma süzgeçlerden faydalandık. Video kodlaması sırasında yapılacak sıkıştırma oranını arttırmak için kullanılabilecek ikinci yöntem de zamansal olarak ardışık imgelerde artık bilgi yaratmaktır. Bu süzgeçlemenin asıl amacı, video kodlayıcısının devinim dengelemesi yaparken, odak alanının dışındaki bölgeleri, bir önceki çerçeveden kestirimde bulunup daha az bit kullanarak kodlamasını sağlamaktır. Önerilen yöntemler, APES robotundan alınan 384x288 boyutunda bir çerçeve dizisi üzerinde denenmiştir. İlk olarak orijinal çerçeve dizisi hiçbir işlem uygulanmadan kodlanmıştır. Daha sonra bu dizi, yüzün bulunduğu 130x 165 boyutundaki ilgi alanının haricinde sadece uzamsal işleme tabi tutularak iletilmiştir.
www.muhendisce.net
Son olarak da uzamsal düzlemde süzgeçlenen dizi iki çerçevede bir yenilenerek hem uzamsal hem zamansal düzlemde işlenmiştir. Zamansal süzgeçleme yaparken α-karışımı geçiş genişliğini 5 piksel olarak aldık. Bu işlemler 25Kbit/sn ve 35Kbit/sn hızlarında kodlanmıştır. Farklı kalitelerde kodlanmış video görüntülerinin ilgi odağı kısmındaki başarımları deneylerle incelenmiştir. “Mean Square Error” ve “Structure Similarity Measure”‟larına göre orijinal kodlanmış video, uzamsal kodlanmış video ve hem uzamsal hem zamansal olarak kodlanmış video başarımları sunulmuştur. Uzamsal ve zamansal video ön işleme modülü APES robotunun görsel yazılımında aktif olarak kullanılmaktadır. Gerçek zamanlı alınan video çerçeveleri, ilgi odağı bulunduktan sonra bu önişeme modülü ile işlenerek daha sonra RealVideo kodlamasıyla kodlanıp internet üzerinden akıcı halde görülebilen bir ürüne dönüşmüştür. Ticari olarak da bu uzamsal-zamansal video işleme modülü, O2 Oksijen Teknoloji Geliştirme ve Bilişim Sistemleri San. Ve Tic. A.Ş. Multimedia Gurubu “Mobile Video Streaming” projesinde, düşük bant genişliğinde video iletimi ve kodlanmasında aktif olarak kullanılmaktadır. Dünya‟da benzer çalışmalarda daha önce sadece uzamsal düzlemde H.263 ve MPEG-2 gibi belirli video kodlama tekniklerinde uygulanmıştır. Ama hem uzamsal hem de zamansal düzlemde yaptığımız bu çalışma video kodlama algoritmalarından bağımsız olarak da çalışabildiği için kategorisinde bir ilk teşkil etmektedir. 3.2.5 Internet Erişimli APES Kullanım alanları gittikçe yaygınlaşan robotlar, insanlar için tehlikeli ortamlarda kritik işler veya uzaktan fiziksel erişim gibi görevler üstlenebilmektedirler. İnternet üzerinden kontrol edilen robotlar, son yıllarda oldukça ilgi çekmeye başlamıştır. APES robotunun İnternet üzerinden uzaktan erişimi sağlayan bir sistem entegrasyonu geliştirmeyi amaçlamaktayız. Robotun farklı kullanım alanlarında, tek başına hareket etmesini gerektiren durumlarda, uzaktan çift yönlü kontrolü sağlayan sistemimiz devreye girecektir. APES, hem dışarıya bilgi göndermekte, hem de dışarıdan bilgi alabilmektedir. Günden güne yaygınlaşan İnternet ağları ile, APES‟in uzaktan erişimi artık kaçınılmaz olmaya başlamaktadır. Burada APES‟in kontrolünü ve çift yönlü veri aktarımını sağlayabilmek gerekmektedir. Literatürdeki sistemler incelendiğinde, özellikle imge aktarımının genelde off-line bir şekilde yapıldığı görülmektedir. Bu çalışmada ise, imge aktarımını, gerçekzamanlı olarak gerçekleştirilmektedir. Dolayısı ile tüm sistemin tasarımı buna göre yapılmıştır. Buna ek olarak, robot ile kullanıcı arasındak etkileşimi en güvenilir şekilde sağlayabilmek amacı ile Java bazlı sunucu-istemci yapısı bazlı tasarlanmıştır. Kullanıcı tarafının tek bir bağlantı açık olacak şekilde tasarlanmasına karşın, sunucu yazılımı gelen her bağlantı isteğini alıp yeni bir kullanım (thread) aracılığı ile elinde tutmakta ve istenen bilgi iletişimini çoklu-kullanım olarak yürütmektedir.
Şekil 10: APES Uzaktan Erişim Sistem Bileşenleri.
www.muhendisce.net
Söz konusu sistemin yazılım kısmının üretilmesinde, mümkün olduğu derecede İnternet bağlantılı programcılıkta en yaygın kullanılan programlama dili olan JAVA kullanılması uygun görülmüştür. Java‟nın platform bağımsız, nesne tabanlı ve modüler bir dil olması önemli bir avantaj getirmektedir. Böylece ileride doğabilecek donanımsal ve yazılımsal değişikliklerden en az derecede etkilenilmesi sağlanacaktır. APES‟in uzaktan erişimini sağlayan sistem, üzere dört ana kısımdan oluşmaktadır. APES üzerinde çalışacak bu sunucu yazılımı belirtilen bir „port‟ (varsayılan:4444) üzerinden gelecek bağlantı isteklerini Kullanıcı adı ve şifre bilgilerine göre kabul veya reddeder. Kabul edilen bağlantılar her seferinde yeni bir „soket‟ nesnesi yaratılarak oturum açılmış olur. Bu şekilde ayni „port‟ kullanılarak birden çok Kullanıcıya aynı anda bağlantı imkanı sağlanmış olmaktadır. Kullanıcılar yetki kapasitelerine göre farklı emir verme ve bilgi alma imkanlarına sahip oturumlar acarlar. JAVA ile yazılmış sunucu yazılımı Internet üzerinden gelen komutları önceden tanımlanmış programlanabilir komut setlerine uygun olarak yorumlar ve gerekli işlemleri yapacak olan diğer yazılım kısımlarıyla haberleşir. Yapılan işlerin sonuçlarını da (kameradan alınan anlık görüntüler veya motorlardan gelen konum bilgisi, vs) kullanıcıya iletilmek üzere İnternet‟e aktarır. İstemci İletişimi sağlayan duy (socket) bazlı kısmı kullanıcı ile sunucu arasında çift yönlü haberleşme için sadece tek bir bağlantı kullanmaktadır. Bu bağlantı üzerinden boyutu, değiştirilebilir sekizli sayısı uzunlukta olan, paketler aracılığıyla haberleşme sağlanmaktadır. Paketin içeriği kullanıcı adı, şifre, konum ve yönelim bilgisi gibi ASCII metin olabileceği gibi; alınmış imgenin sekizlilerinin belirli bir kısmı da olabilir. Paketin sunucu tarafında da kullanıcı tarafında da ortak anlaşılan bir algoritmayla oluşturulup, gerekli bilgilerin paket başlığı ile gönderilmesi, haberleşmenin her iki şekilde de sorunsuz yürümesini sağlamaktadır. Kullanıcı tarafının tek bir bağlantı açık olacak şekilde tasarlanmasına karşın, sunucu yazılımı gelen her bağlantı isteğini alıp yeni bir kullanım (thread) aracılığı ile elinde tutmakta ve istenen bilgi iletişimini çoklu-kullanım olarak yürütmektedir. Kullanıcı Arabirimi Internet bağlantısı olan herhangi bir bilgisayar üzerinde çalıştırılmak üzere JAVA ile yazılmış bir programdır. Temel olarak grafik Kullanıcı ara birimi olan (JAVA Swing kütüphanesi ile ) bir Java uygulamasıdır. Kullanıcının oluşturduğu komutları APES üzerindeki sunucu‟ya aktarmakla yükümlüdür. Kullanıcı ilk olarak kendisine verilmiş olan kullanıcı adi ve şifreyi girmek suretiyle bir oturum acar. Program bu noktada girilen değerleri sunucu tarafına iletir ve kontrol yapıldıktan sonra sonuç olumlu ise önceden belirtilen bir „port‟ dan TCP/IP protokolü ile bir bağlantı kurar. Bağlantı kurulduktan sonra kullanıcının yetki seviyesine göre yapabileceği işlemleri belirten bir grafik ara birimi görüntülenir. Kullanıcının ilgili alanları kullanarak girdiği değerler sunucuya ulaştırılırken, sunucudan gelen cevaplar da bu arabirimde kullanıcıya gösterilir. Gelen cevap APES hakkında belirlenmiş bir özelliğin değerini belirten bir veri (konum bilgisi, kamera açısı, vs) olabileceği gibi yakalanmış imge de olabilir. Bu çift yönlü ve hem ASCII hem ikili transfer aynı TCP/IP bağlantısı üzerinden yapılmakta ve kullanıcı bu transferin sonucuna göre bilgilendirilmektedir.
Duraksız Video İşleme: İnternet üzerinden gerçek zamanlı video iletimi için Internet Protokolü (IP) üzeri User Datagram Protokolü (UDP) üzerinden çalışan Real-time Transport Protokolü (RTP) , oturum kurulumu ve kontrolü için de Real Time Session Protokol (RTSP) kullanılmaktadır. RTSP ve H.263 kodlamasını destekleyen herhangi bir istemci, video sunucusuna adresini kullanarak istediği an APES‟in o andaki görsel sistemini izleyebilir. Böylece aynı anda birden fazla kullanıcının bağlanıp kodlanmış video akımını alması sağlanır. Sadece yetki verilen bir kullanıcıya da bir JAVA uygulaması ile robotun kontrolünü sağlayabileceği bir ara yüz sağlanır. APES üzerinde çalışan bu yazılım JAVA sunucusundan gelen komut ve bilgilere göre imge yakalama, imge isleme, motor ve hareket kontrolü gibi birincil işlemleri gerçekleştiren Visual C++ tabanlı bir uygulamadır.
www.muhendisce.net
İmge işleme işlemler için Matrox MIL 7. kütüphanesinden yararlanmakta, motor kontrolleri için ise paralel porttan sürülen yardımcı bir ek sistem kullanılmaktadır. Kamera kontrolleri ise RS-232 seri portundan yapılmaktadır. Aşağıda insan yüzünün ilgi olarak tanımlandığındaki web arayüzünün çıktısını gorebilirsiniz:
Şekil 11:APES uzaktan kontrol kullanıcı ara yüzü
Duraksız Video İletimi APES‟in üzerindeki kameralardan yakalanan video çerçevelerinin İnternet üzerinden duraksız video iletimini beş ana kısımda toplayabiliriz. Bunlar i.) Ham çerçeve yakalayıcısı, ii.) Ön işleme modülü, iii.) Dodlayıcı, iv.) Duraksız video sunucusu, ve v.) Kod-çözücüdür. Bunların ilk üçü APES üzerinde çalışmak zorundadır. Duraksız video sunucusu ise APES üzerinde veya işlemci gücü yüksek herhangi bir vekil bilgisayarda çalışabilir. Son olarak kullanıcı bilgisayar üzerinde de duraksız video oturumunu başlatacak bir modül ve kodlanmış video akımını çözecek kod-çözücüye ihtiyacı vardır. Ham çerçeve yakalayıcısı, APES üzerindeki kameralardan Matrox Meteor-II PCI arabirimini kullanarak RGB veya YUV formatında, istenilen çözünürlük ve çerçeve hızında gerçek zamanlı ham çerçeve yakalanmasını sağlar. Bu çalışmada yoğunlaşmış (packed) RGB formatında, 384x288 ebatlarında ve 20 çerçeve/sn hızı ile imge dizinlerini oluşmaktadır. İkinci modül ise çerçeve ön işleme birimidir. Seçici ilgi alanına göre ön işleme yapılan bu birimde amaç düşük bant genişliğinde bile verimli bir şekilde gerçek zamanlı video iletimi yapabilmektir. Çalışmamızda kullanılan ön-işleme modülüne ait ayrıntılı bilgiler [40]‟de verilmektedir. Ham çerçeveleri herhangi bir işleme tabi tutmaksızın iletilirse, 3x384x288x20x8 = 50,625 megabit/sn‟lik bir bant genişliği gerekmektedir. Ancak böyle bir durumda APES‟in gerçek-zamanlı imge aktarımına imkan tanımayacaktır. Gerekli olan bant genişliği düşürmek amacı ile H.263 tabanlı Real kodlayıcısını kullanılmaktadır.. Bu kodlayıcı farklı bant genişliğine sahip kullanıcıların farklı kalitelerde bağlanabilmesi imkan tanımaktadır.. Böylece oturum anındaki herhangi bir bant-genişliği probleminde bile video sunucusu otomatik olarak daha düşük kalitede kodlanmış video katarına dönebilir. Kodlanmış video, belirlenmiş bir duraksız video sunucusunda kullanıcılara iletilmeye hazır bir şekilde durmaktadır. RTSP protokolü yardımı ile herhangi bir kullanıcı, video sunucusuyla oturum üzerinde anlaşıp sunucudan kullanıcıya doğru IP üzeri UDP üzeri RTP ile duraksız video akımı başlatır. RTSP protokolünün video akımını durdurma, yeniden başlatma ve oturumu kapatma gibi fonksiyonları da mevcuttur.
www.muhendisce.net
Bu çalışmamız sonucunda bulunduğu ortamı seçici ilgiye dayalı olarak algılayan APES robotuna İnternet üzerinden erişimi ve denetimi sağlayacak bir sistem geliştirilmiştir. Java ile yazılmış olan istemci ve sunucu parçalardan oluşan haberleşme sistemi sayesinde hem İnternet üzerinden daha kolay veri aktarımı yapılması sağlanmıştır, hem de sistem kullanıcı bilgisayarından bağımsız hale getirilmiştir. Sunucu ile kullanıcı arasındaki çift yönlü iletişim bulunmaktadır. Sunucu, kullanıcıdan aldığı komutlar doğrultusunda yapılması gereken işleri, “Temel APES yazılım birimi” ne aktarmaktadır. Böylece kullanıcı, APES‟e verdiği komutlar uygulanırken ayni zamanda APES‟in kameralarından o anki görüntüleri de seyredebilmektedir. Ayrıca başka kullanıcılar da aynı şekilde sistem çalışırken anlık görüntüleri kendi bilgisayarlarından seyredebilmektedir. 3.3
Başarımlar
APES‟in başarımları, doğruluğu yapılan tez çalışmaları, uluslararası ve ulusal yayınlar ile belgelenmiş olup, aşağıda bunların listesi verilmektedir: Doktora tezleri:
Ç. Soyer. “A Model of Active and Attentive Vision”, (Prof. Dr. Yorgo İstefanopulos ek danışman olarak). Ph.D. Tezi, 2002.
Master tezleri:
G. Çakıroğlu. “Complex Attentional Sequences in Selective Perception”, M.S. Tezi, 2003.
Çağatay Soyer. “Biologically Motivated Vision”, M.S. Thesis, 1995 (Prof. Dr. Yorgo İstefanopulos as co-advisor).
Dergi Makaleleri 1. Soyer, Ç., H.I. Bozma, Y. Istefanopulos. „Attentional Sequence Based Recognition: Markovian and Evidential Reasoning‟, IEEE Transactions on Systems, Man and Cybernetics - Part B: Cybernetics, V 33, No 6, pp: 937-950, December 2003. 2. Bozma, H.I., G. Çakıroğlu, Ç. Soyer. “Biologically Inspired Cartesian and Non-Cartesian Filters for Attentional Sequences”, Pattern Recognition Letters (SCI), Vol. 24/9-10, pp 1261 – 1274 , June 2003 . Sunulmuş Dergi Makaleleri 1. Soyer, Ç., H.I. Bozma. “APES – Biologically Motivated Attentive Robot”, Autonomous Robots(SCI) Eylül 2002‟de sunulmuş ve şartlı kabul olmuştur. Uluslararası Konferans Tebliğleri 1. Çakıroğlu, G. and H.I. Bozma. “Dynamic Integration for Scene Recognition Using Complex Attentional Sequences”. Intelligent Autonomous Systems 8, pp:21-28, 10-13 March 2004, Netherlands. 2. Soyer, Ç., H.I. Bozma and Y. Istefanopulos, “APES – Actively Perceiving Robot”, Proceedings of IEEE/RSJ International Conference on Robots and Systems, Switzerland, pp:116-121, October 2002. 3. Soyer, Ç., H.I. Bozma and Y. Istefanopulos, “A New Memory Model for Selective Perception Systems”, Proceedings of IEEE/RSJ International Conference on Robots and Systems, pp:23042309, Japan October 2000.
www.muhendisce.net
4. Soyer, Ç., H.I. Bozma. “Further Experiments in Classification of Attentional Sequences: Combining Instantaneous and Temporal Evidence”, Proceedings of 8th International Conference on Advanced Robotics, pp: 991-998, July 7-9 1997. 5. Soyer, Ç., H.I. Bozma and Y. İstefanopulos. “A Mobile Robot with a Biologically Motivated Vision System “, Proceedings of IEEE/RSJ International Conference on Intelligent Robots and System, Osaka, Japan 1996 Sunulmuş Uluslararası Konferans Tebliğleri Dikici, Ç., R. Civanlar, I. Bozma, “Fovea based Coding for Video Streaming”, International Conference on Image Analysis and Recognition (ICIAR 2004), Porto 2004 . Ulusal Konferans Tebliğleri 1. Çakıroğlu, G. , H.I. Bozma. “Seçici Algılamada Karmaşık Odaklama Dizilerinin Kullanımı”, 11. Sinyal İşleme ve İletişim Uygulamaları Kurultayı, ss:180-183, Haziran 2003. (Bu tebliğ bu konferans çerçevesinde en başarılı ve orijinal tebliğlere verilen En iyi Makale ve Alper Atalay ödüllerini almıştır.) 2. Dikici, Ç., H.I. Bozma, R. Civanlar, U.A. Alp, H. Ayaz, M. Karadeniz. “Ilgiye Dayali Gerçek Zamanlı Robot-Video Kodlama ve İletimi”, 11. Sinyal İşleme ve İletişim Uygulamaları Kurultayı, ss:75-78, Haziran 2003. 3. Alp, U., H. Ayaz, M. Karadeniz, Ç. Dikici, H.I. Bozma. “İnternet Üzerinden Uzaktan Robot Erişimi”, 11. Sinyal İşleme ve İletişim Uygulamaları Kurultayı, ss: 540-543, Haziran 2003. 4. Soyer, Ç., H.I. Bozma. “İlgi Dizinlerinin Destek Fonksiyonlarıyla Modellenmesi ve Sınıflandırılması”, Biyomedikal Mühendisliği Ulusal Toplantısı Bildiriler Kitabı , pp: 26-30, Istanbul 1998. Bitirme Projeleri Candemir Tarım,ME 492 Bitirme Projesi. “APES Kafa Eğme ve Döndürme Mekanizması”, (Danışman: Yard.Doç. Dr. Emre Aksan, Prof. Dr. Işıl Bozma)
3.4
Destekler
Bu projenin kuramsal araştırmaları, yöntemsel geliştirmeleri ve donanımsal gerçeklenmesi, aşağıda sunulan Boğaziçi Üniversitesi ve DPT destekli projeler çerçevesinde yapılan araştırma projeleri ile doğrudan veya dolaylı olarak desteklenmiştir. Proje başlığı: “Dikkatli Otonom Sistemler ”, 2002. Destekleyen kuruluş: Boğaziçi Universitesi Bilimsel Araştırma Projeleri, Destek miktarı: 23,000$ Proje başlığı: “Seçici Algılama için Hafıza Modelleri ”, 2001-2002. Destekleyen kuruluş: Boğaziçi Universitesi Araştırma Fonu; Destek miktarı: 6560$. Proje başlığı: “Yapay Potensiyel İşlevleri ile Hızlı Tanıma”, 1999-2000. Destekleyen kuruluş: Boğaziçi Universitesi Araştırma Fonu; Destek miktarı: 4,333$. Proje başlığı: “Seçici Algılama Bazlı Görsel Servolama”, BÜ AF 96A0236; 1996-1997. Destekleyen kuruluş: Boğaziçi Universitesi Araştırma Fonu, Destek miktarı: 240,000,000 T.L.(3000$)
www.muhendisce.net
Proje başlığı: “A visual servomechanism based on selective attention”, BÜ AF 95A0228; 1995-1996. Destekleyen kuruluş: Boğaziçi Universitesi Araştırma Fonu;170,000,000 T.L. (3400$) Proje başlığı: “Akıllı Sistemler Araştırma ve Geliştirme ”, 1994-1997. Destekleyen kuruluş: DPT; 5,000,000,000 T.L. (100,000$) Proje Başlığı: “Model-Tabanlı Nesne Tanıma”, 93HA0230; 1993-1994. Destekleyen kuruluş: Boğaziçi Universitesi Araştırma Fonu; 125,000,000 T.L. (11,364$) Ayrıca, 3S Elektronik ve Otomasyon Şirketi elektronik ve mekanik sarf malzemeleri gibi harcamalarımıza destek vermiştir.
4
BULUŞUN TİCARİ BAŞARISI
Burada amaç, buluşun yarattığı ticari başarıyı değerlendirmektir. 4.1
Buluş ve Yeni Pazarlar
APES özgün görme sistemi ile fabrika otomasyonu, servis robotları (örneğin müze robotları) ve askeri uygulamalar için iyi bir potensiyel oluşturduğuna inanmaktayız. Dünya‟da bu konularda, gittikçe gelişen bir robot endüstrisi olduğu gözlenmektedir. Genel beklenti, önümüzdeki 50 yıl içinde kişisel robotların kişisel bilgisayarların yerini alacağı şeklindedir. Ayrıca üzerindeki video iletim teknolojisi uzaktan izleme ve erişim uygulamaları (güvenlik, Internet üzerinden erişim) için son derece uygundur. Ancak, APES‟teki çalışmalar AR-GE‟nin daha çok AR tarafına odaklanmışlardır ve yapılan geliştirmeler bu teknolojilerin uygulanabilirliğinin fizibiletisini göstermek amacı ile yapılmıştır. Bu teknolojilerin, yukarıda tanımlanan sektörlerde bizzat pazarlanan ürünler haline getirilmesi ancak ticari bir kuruluş bünyesinde yapılabileceğinden ve projenin Akıllı Sistemler Laboratuvarı çerçevesinde yapıldığından, henüz şimdilik bu tür bir pazar oluşturmak etkinliği yapılmamıştır. Bizim açımızdan APES‟in çok yararlı hususları olmuştur: 1. Yurtdışındaki firmalardan, benzer robot platformlarını (görsel algılama sistemleri hariç) satın almak mümkündür. Ancak maliyet olarak, bu tür sistemlerin maliyeti APES‟in maliyetimize göre hayli fazladır. 2. Alınan sistemlerin iç işleyişi ve esnekliği genelde kullanıcının erişimine ve değiştirmesine izin vermemektedir. Bu da yeni yöntem ve algoritmaların denenmesinde önemli kısıtlayıcı bir faktör olarak karşımıza çıkmaktadır. Halbuki APES‟in her yönü ile kendi tasarımımız olması nedeni ile, her türlü erişim ve değişime açık bir mimarisi vardır. 3. APES‟in tasarımı ve gerçekleştirilmesi birçok yan tasarım ve gerçekleştirme gerektirmiş ve dolayısı ile bu alanlarda Türkiye‟ye bazı teknoloji uygulamalarının gerçekleşmesine neden olmuştur. APES‟in kafasını oluşturan eğme-dönme mekanizması ve motor sürücü kartı bunun iki örneğidir. i. Eğme-dönme mekanizmaları: Türkiye‟de sektörde satılan eğme-dönme mekanizmalarının çoğu ithal olup, pahalı maliyetlerle kullanıcıya sunulmaktadır. Bu tür mekanizmalar özellikle güvenlik uygulamaları için hayli yoğun talebi olan ürünlerdir. Halbuki biz, Makine Mühendisliği ile ortak olarak yürütülen bir proje ile bu tür bir mekanizma prototipi tasarımlayıp, bir özel firma desteği ile son derece ucuz maliyetlerle üretebildik. ii. Motor sürücü kartı:
www.muhendisce.net
4.2
Buluşa Yönelik Pazar Dayanak Gerekçeleri
APES robotu tasarım açısından bakıldığında toplumun geneline hitap edebilecek her türlü çalışmada rol alabilecek şekilde tasarlanmıştır ve belirli bir alan hedef alınmamıştır. Örneğin kurtarma robotu olarak düşünüldüğünde, doğal afet, kaza gibi durumlarda ihtiyaç duyulan arama kurtarma yeteneklerine özgü özellikler de eklenerek bu alanda kullanılabilecek bir ürüne dönüştürülebilir. Diğer bir taraftan müze, hava alanı gibi insanlara hizmet edilebilecek her noktada yardımcı robotlara ihtiyaç bulunabilmektedir. Bu açıdan bakıldığında da APES robotunun bu alanlarda eğitilip geliştirilmesi ile faydalı olabileceğini ve maliyet – performans açısından verimli olabileceğini düşünüyoruz. 4.3
Tanıtım
APES‟in yenilikçi hususları sunulan makale ve konferans tebliğleri ile bilimsel ve akademik olarak tanıtılmıştır. Ancak endüstriyel pazarda tanıtılması için bir çalışma yapılmamıştır. Üniversitemizde üniversite-sanayi işbirliğinin arttırılmasına yönelik çok yoğun çalışmalar olmasına rağmen, maalesef bizim Akıllı Sistemler Laboratuvarı çerçevesinde yapmış olduğumuz AR-GE çalışmalarını tanıtma faaliyetlerimiz çok kısıtlı kalmıştır. TESID‟in düzenlemiş olduğu Elektronikte Buluşçuluk Ödülü yarışmasına katılarak, bu yarışmanın bu projemizin tanıtımında önemli bir rol oynayabileceğini umut etmekteyiz.
5
Kaynakça
1. Gallant, J.L. and D.C.Van Essen and H.C. Nothdurft “Two-Dimensional and Three Dimensional Texture Processing in Visual Cortex of the Macaque Monkey”, In Early Vision and Beyond, Editors : T.V. Papathomas, C.Chubb, A. Gorea and E. Kowler, pp: 89 – 98, MIT Press, 1995 2. Gallant, J. L., C.E. Connor, S. Rakshit, J.W. Lewis, and D.C. Van Essen, “Neural Responses to Polar, Hyperbolic, and Cartesian Gratings in Area V4 of the Macaque Monkey”, Journal of Neurophysiology, Vol. 76, No.4, pp:2718-2739, 1996. 3. Bozma, H.I. , G. Çakıroğlu, Ç. Soyer. „Biologically Inspired Cartesian and Non-Cartesian Filters for Attentional Sequences„, Pattern Recognition Letters , Vol 24/9-10, pp 1261 – 1274 , June 2003 . 4. Soyer, Ç. , H.I. Bozma and Y. Istefanopulos, „APES – Actively Perceiving Robot‟, Proc. IEEE/RSJ Int. Conf. on Robots and Syst., Switzerland, pp:116-121, Oct 2002. 5. Ballard, H.D., Brown, C.M., : Principles of Animate Vision. CVIP : Image Understanding, 56(1),July 1992. 6. Ballard, D.H. Animate Vision. Artificial Intelligence, 48: 57-86, 1991. 7. Motter, B.C. and E.J. Belky. “The Zone of Focal Attention During Active Visual Search”. Vision Research, Vol. 38, No.7, and pp: 1007-1002, 1998. 8. Koch, C. and L. Itti. “ A Saliency-Based Search Mechanism for Overt and Covert Shifts of Visual Attention”, Vision Research, 2000. 9. Sheingberg, D.L., Logothetis, N.K., Noticing Familiar Objects in Real World Scenes: The Role of Temporal Cortical Neurons in Natural Vision. The Journal of Neuroscience, 21(4): 1340-1350, February 15, 2001. 10. Stark, L. and S.R. Ellis. “Scanpaths Revisited: Cognitive Models Direct Active Looking”, In Eye Movements: Cognition and Visual Perception. Editors: Fisher, Monty and Senders. pp: 193-226, Erlbaum, NJ, 1981. 11. Tagare, H., K. Toyama, J. Wang. “A maximum likelihood strategy for directing attention during visual search”, IEEE Trans. on PAMI, V 23, No: 5, pp: 490-500, May 2001.
www.muhendisce.net
12. Treisman, A., and G. Gelade. A Feature Integration Theory of Attention. Cog. Psychol. 12, pp: 97-136, 1980. 13. ITU-T Recommendation H.263 “Video coding for low bit rate communication.” Mar.1996 14. ITU-T Recommendation H.263 Version 2(H263+) “Video coding for low bit rate communication.” Jan.1998. 15. G. Cote, F. Kossentini, “Optimal intra coding of blocks for robust video communication over the Internet” Signal Processing:Image Communication 15 (1,2) September 1999 16. K. Wiebe, A.Basu, “Improving image and video transmission quality over ATM with foveal priorization and priority dithering” Pattern Recognition Letters 22, 2001 17. D. Comaniciu, F. Berton, V. Ramesh, “Adaptive Resolution System for Distiributed Surveillance”, Real Time Imaging 8, 2002. 18. R. Frederick, H. Schulzrinne, S. Casner, V. Jacobson, “RTP:transport protocol for real-time applications, RFC 1889” January 1996, http://www.faqs.org/rfcs/rfc1889.html 19. .Ballard, D.H. Animate Vision. Artificial Intelligence, 48: 57-86, 1991. 20. Ballard, D.H. and C.M.Brown. Principles of Animate Vision. CVIP: Image Understanding, 56(1), July 1992 21. Koch, C. and L. Itti. “ A Saliency-Based Search Mechanism for Overt and Covert Shifts of Visual Attention”, Vision Research, 2000. 22. Akins, K. editor, Perception, pages 290-316. Oxford University Press, 1996. 23. Kowler, E. editor. Eye Movements and Their Role in Visual and Cognitive Processes, Elsevier, 1990. 24. Kowler, E. Eye movements. In S.M.Kosslyn, D.N. Osherson, editors, Visual Cognition, pages 215-266. MIT Press, 1995. 25. Soyer,Ç., H.I.Bozma, Y.Istefanopulos, “A mobile robot with a biologically motivated active vision system”, Proceedings of IEEE RSC International Conf. On Intelligent Robots and Systems, pp: 680-687, 1996. 26. Soyer, Ç., H.I.Bozma, Y.Istefanopulos, “A New Memory Model for Selective Perception Systems”. Proceedings of IEEE RSC International Conf. On Intelligent Robots and System. IROS, , 2000. 27. Soyer, Ç., H.I. Bozma, Y. Istefanopulos. „Attentional Sequence Based Recognition: Markovian and Evidential Reasoning‟, IEEE Transactions on Systems, Man and Cybernetics - Part B: Cybernetics, V 33, No 6, pp: 937-950, December 2003. 28. Alp, U.A., H. Ayaz, M. Karadeniz, Ç. Dikici, I. Bozma.”Internet Üzerinden Uzaktan Robot Erişimi”, SIU 2003, Istanbul, 2003. 29. T.H. Reeves, J.A. Robinson, “Rate Control of Foveated MPEG Video” , CCECE 97 30. Akins, K. editor, Perception, pages 290-3 Oxford University Press, 1996. 31. Kowler, E. editor. Eye Movements and Their Role in Visual and Cognitive Processes, Elsevier,1990. 32. Kowler, E. Eye movements. In S.M.Kosslyn, D.N. Osherson, editors, Visual Cognition, pages 2 5-266. MIT Press, 1995. 33. Ballard, D.H. Animate Vision. Artificial Intelligence, 48: 57-86, 1991 . 34. Ballard, D.H. and C.M.Brown. Principles of Animate Vision. CVIP: Image Understanding,,56(1 ), July 1992 35. Koch, C. and L. Itti. “ A Saliency-Based Search Mechanism for Overt and Covert Shifts of Visual Attention”, Vision Research, 2000. 36. Soyer,Ç., H.I.Bozma, Y.Istefanopulos, “A mobile robot with a biologically motivated active vision system”, Proceedings of IEEE RSC International Conf. On Intelligent Robots and Systems, pp: 680-687, 1996. 37. K. Wiebe, A.Basu, “Improving image and video transmission quality over ATM with foveal priorization and priority dithering” Pattern Recognition Letters 22, 2001 38. D. Comaniciu, F. Berton, V. Ramesh, “Adaptive Resolution System for Distiributed Surveillance”, Real Time Imaging 8, 2002. 39. R. Andrew McCallum. Learning with Incomplete Selective Perception (1993) 40. Ç. Dikici, I. Bozma, R. Civanlar, U.A. Alp, H. Ayaz, M. Karadeniz,.” İlgiye Dayalı Gerçek Zamanlı Robot-Video Kodlama Ve İletimi”, SIU 2003, Istanbul, 2003.
www.muhendisce.net
41. A. Malinowski, T. Konetski, B. Davis, D. Schertz, “Web-Controlled Robotic Manipulator using Java and Client-Server Architecture”,IEEE 1999 42. T. M. Chen, Ren C. Lou “Remote Supervisory control of an Autonomous Mobile Robot via World Wide Web” ISIE 97 Portugal 43. D. Schulz, W. Burgard, D. Fox, S. Thrun, A. B. Cremers, “Web Interfaces for Mobile Robots in Public Places”, IEEE Robotics & Automation Magazine, March 2000 44. Paulos, E. , J. Canny. Delivering Real Reality to the World Wide Web, Proceedings of the 1996 IEEE Int. Conf. On Robotics and Automation, pp: 1694-1699, 1995. 45. Goldberg, K., M. Mascha, S. Genther, N. Rothenberg, C: Sutter, J. Wiegley.Desktop teleoperation in the WWW, pp: 654-659, 1995. 46. Taylor, K., B. Dalton. Internet robots: A new robotics niche. IEEE Robotics and Automation Magazine, pp: 27-34, March 2000. 47. Park, K, J. Bae, D. Ahn. Interacting Mobile Robots for Tele-Operation System Using the World Wide Web, Proceedings of ISIE 2001, pp: 2083-2088, 2002. 48. Çakıroğlu, G. and H.I. Bozma. “Dynamic Integration for Scene Recognition Using Complex Attentional Sequences”. Intelligent Autonomous Systems 8, pp:21-28, 10-13 March 2004, Netherlands. 49. Soyer, Ç., H.I. Bozma and Y. Istefanopulos, “A New Memory Model for Selective Perception Systems”, Proceedings of IEEE/RSJ International Conference on Robots and Systems, pp:2304-2309, Japan October 2000. 50. Soyer, Ç., H.I. Bozma. “Further Experiments in Classification of Attentional Sequences: Combining Instantaneous and Temporal Evidence”, Proceedings of 8th International Conference on Advanced Robotics, pp: 991-998, July 7-9 1997. 51. Dikici, Ç., I. Bozma, R. Civanlar. “Fovea based Coding for Video Streaming”, International Conference on Image Analysis and Recognition değerlendirilmek üzere sunulmuştur (ICIAR 2004), Porto 2004 . 52. Çakıroğlu, G. , H.I. Bozma. “Seçici Algılamada Karmaşık Odaklama Dizilerinin Kullanımı”, 11. Sinyal İşleme ve İletişim Uygulamaları Kurultayı, ss:180-183, Haziran 2003. (Bu tebliğ bu konferans çerçevesinde en başarılı ve orijinal tebliğlere verilen En iyi Makale ve Alper Atalay ödüllerini almıştır.) 53. Soyer, Ç., H.I. Bozma. “İlgi Dizinlerinin Destek Fonksiyonlarıyla Modellenmesi ve Sınıflandırılması”, Biyomedikal Mühendisliği Ulusal Toplantısı Bildiriler Kitabı , pp: 26-30, Istanbul 1998. 54. Tarım, C. ,ME 492 Bitirme Projesi. “APES Kafa Eğme ve Döndürme Mekanizması”, (Danışman: Yard.Doç. Dr. Emre Aksan, Prof. Dr. Işıl Bozma)