Derinlik algılama, bir cihazın çevresindeki nesnelere veya yüzeylere olan mesafeyi ölçmesine olanak tanıyan bir teknolojidir. Genellikle çevrenin 3D haritasını veya modelini oluşturmak için kullanılır. Derinlik algılama teknolojisi, robotik, sanal ve artırılmış gerçeklik ile bilgisayarla görme gibi çok çeşitli uygulamalarda kullanılmaktadır. Nesnelerin veya çevrelerin ayrıntılı 3D modellerini oluşturmak, robotların nesneleri yönlendirmesi ve manipüle etmesi veya daha gerçekçi ve etkileyici artırılmış gerçeklik deneyimlerini sağlamak için kullanılabilir.
Derinlik algılama ayrıca stereoskopi ve zaman-of-flight (ToF) gibi farklı ölçümleri de içerir. Stereoskopi, iki kameranın hafifçe farklı açılardan görüntüler almasını ve ardından görüntüler arasındaki farkı kullanarak sahnedeki nesnelere olan mesafeyi hesaplamasını içerir. Zaman-of-flight (ToF), bir ışık dalgasının bir nesneye gidip geri dönmesi için geçen süreyi ölçer. Işığın seyahat etmesi için geçen süreyi ölçerek, nesneye olan mesafe hesaplanabilir.
NVIDIA Jetson ile 3D kamera uygulaması
NVIDIA Jetson platformu ile stereo derinlik algılama elde etmek için uygun bir 3D kamera seçmeniz gerekecek. Bugün, Cavedu‘nun öğreticisi aracılığıyla Stereolabs ZED ve Xavier NX için reComputer J2021 kurulumunu nasıl yapacağımıza bakalım. ZED kamerası, mekansal algılama için son teknoloji ile donatılmıştır. ZED stereo kameraları, insan görüşüne dayanmaktadır. NVIDIA Jetson ile çalışan gelişmiş gömülü AI, iki kamera (“göz”) video akışlarını GPU’ya gönderir ve Stereolabs’ın yazılımı, insan görsel korteksine benzer şekilde gördüğü şeyler arasındaki farkı ölçerek bir derinlik haritası hesaplar. Bu teknoloji, ZED’in 2.2k çözünürlükte ve 120 fps’ye kadar kare hızlarında derinlik yakalamasını sağlar. Geliştiriciler, 3D dünyayı yakalayabilir ve 20 metreye kadar iç ve dış mekan sahnelerinin 3D modellerini çizebilir.
Ayrıca ZED kamerasında, görüntü ve derinlik ile birlikte gerçek zamanlı senkronize ivme, yükseklik ve manyetik alan verilerine yardımcı olan yerleşik bir IMU sensörü, barometre sensörü ve manyetometre bulunmaktadır. NVIDIA Jetson ile çalışan geliştiriciler, AI ile 3D konumlandırmayı kolayca birleştirerek yeni nesil mekansal farkındalık oluşturabilirler.
Stereolabs’ın ZED kameraları, büyük alanların gerçek zamanlı derinlik algılama, izleme ve haritalama sağlamak için bir SDK ile birlikte gelen yüksek çözünürlüklü 2K 3D kameralardır; ayrıca 3D nesne tespiti ve iskelet izleme özellikleri de bulunmaktadır. ZED, bir USB3 arayüzüne sahiptir ve Jetson platformu ile tak-çalıştır özelliği taşır. Stereolabs, NVIDIA Jetson için optimize edilmiş ZED SDK’sını sağlar ve geliştiricilerin otonom robotik, mekansal analiz ve XR uygulamaları için 3D algılama çözümlerini kolayca dağıtmasına olanak tanır.
ZED, kamerada minimum işlem yapar. NVIDIA Jetson ile çalışırken, ZED şunları sağlar:
NEVRAL DERİNLİK ALGILAMA
Sinirsel derinlik algılama kullanarak, çevrenizi 20m mesafeye kadar 3D olarak algılayın, yakın mesafede artırılmış doğrulukla.
ÇEVRE 3D HARİTALAMA
Robotunuzu konumlandırın ve 3D SLAM kullanarak çevrenizin haritasını çıkarın. ROS ile uyumludur.
3D SLAM yapabilme yeteneği, otonom bir makinenin çevresindeki dünyayı detaylı bir şekilde anlamasını kolaylaştırır ve her geliştiriciye otonom olarak gezinme fırsatları sunar. 3D derinlik kameraları ile makineler dünyayı neredeyse insanlar gibi görebilir. Stereolabs x Monarch Tractor entegre teknolojisini izleyin.
MEKANSAL AI
Gerçek zamanlı olarak 3D nesneleri tanıyın ve takip edin, navigasyon ve manipülasyon için.
ZED SDK’yı İndirin ve Kurun
ZED SDK for Jetson‘ı indirin. Birden fazla JetPack sürümü desteklenmektedir, sisteminize uygun olanı seçtiğinizden emin olun.
İndirme işleminin yapıldığı klasöre gidin.
$ cd path/to/download/folder
İndirme dosyasına yürütme izni eklemek için chmod +x komutunu kullanın. İndirdiğiniz sürümle dosya adını değiştirdiğinizden emin olun.
$ chmod +x ZED_SDK_JP4.3_v3.0.run
ZED SDK yükleyicisini çalıştırın.
$ ./ZED_SDK_JP4.3_v3.0.run
Jetson kartlarında, CUDA otomatik olarak JetPack ile yüklenir, bu nedenle ZED SDK’yı kullanmaya hazırsınız.
Sonra reComputer’da ZED örneğini çalıştıralım. /usr/local/zed/tools/ dizinine gidin ve bu örneği başlatmak için ZED_Depth_Viewer dosyasına tıklayın. Kamera ekranını görüyorsanız, ZED SDK’nın normal bir şekilde yüklendiği anlamına gelir.
Lütfen dikkat: bu örneğin bir ekrana bağlı olması gerekir. SSH uzaktan bağlantısı örneği başarıyla çalıştıramaz.
Daha fazla öğretici için stereolabs adresini ziyaret edin ve reComputer ile çalışın!
| Görüntü Yakalama | Bir stereo kamerayı nasıl açacağınızı, bir görüntü yakalayacağınızı ve terminalde zaman damgasını ve görüntü boyutunu nasıl yazdıracağınızı gösterir. |
| Derinlik Algılama | Bir sahnenin derinliğini ve nokta bulutunu nasıl alacağınızı ve terminalde belirli bir noktanın mesafesini nasıl yazdıracağınızı gösterir. |
| Kamera Takibi | Konumsal takibi nasıl etkinleştireceğinizi ve kameranın konumunu ve yönünü gerçek zamanlı olarak nasıl alacağınızı gösterir. |
| Mekansal Haritalama | Mekansal haritalamayı nasıl etkinleştireceğinizi ve çevrenin bir ağını veya birleştirilmiş nokta bulutunu nasıl yakalayacağınızı gösterir. |
| 3D Nesne Tespiti | Bir sahnedeki nesneleri nasıl tespit edeceğinizi ve bunları 3D olarak nasıl konumlandıracağınızı gösterir (sadece ZED 2 için). |
| Sensör Kullanımı | IMU, barometre ve manyetometre verilerini nasıl alacağınızı gösterir. |
Kaynaklar
- Cavedu: [ZED深度攝影機系列] 如何在 Jetson Xavier NX 安裝 ZED SDK 與 Python開發環境範例 – 以 RK-reComputer J2012 為例
- stereolabs: Nvidia Jetson’da ZED’i Kurun
Ayrıca okuyun: DexForce’in NVIDIA Jetson Destekli 3D Kamerası, Seeed Fusion PCBA ile Endüstriyel 3D Makine Görüşünde Maliyet Engelini Kırıyor
NVIDIA Jetson Nano modülü ile güçlendirilmiş Xema, 3D nokta bulutu tanıma algoritmalarını ve robotik kol kontrol programlarını çalıştırabilir. Xema ayrıca hızlı görüntüleme hızı ve güçlü çevresel ışık direnci sağlayan bir DLP projektör ve bir CMOS sensör ile donatılmıştır. Yansıtıcı metal, siyah karbon fiber, ince karton gibi çeşitli nesnelerin yüksek çözünürlüklü ve hassas nokta bulutlarını üretebilir. 60 mm çalışma mesafesinde, Z ekseni ölçüm doğruluğu 50μm’ye ulaşabilir.
Seeed Jetson Ekosistemi
Seeed, kenar AI için NVIDIA Gömülü’nin Tercih Edilen Ortağıdır. Daha fazla taşıyıcı kart, tam sistem cihazları, özelleştirme hizmetleri, kullanım durumları ve geliştirici araçları keşfedin: Seeed Jetson Ekosistemi!
- Ayrıca en son NVIDIA Jetson kataloğumuzu indirebilirsiniz.
- Son güncelleme: Orin NX ve Orin Nano için reComputer’ı duyurduk, ilginizi belirtin ve önerilerinizi bize bildirin!
Eğer kenar AI çözümleri üzerinde çalışıyorsanız, bir Kenar AI Ortağı olarak bize katılın
En iyi sınıf donanımımızı ve yazılım ortaklarımızdan ve topluluktan son teknolojiyi birleştirerek, hem geliştiricilerin hem de işletmelerin endüstriler arasında gerçek dünyada ML dağıtmasına yardımcı olmayı hedefliyoruz. Bize edgeai@seeed.cc adresinden ulaşın.