Cloud GPU’larından Edge GPU’larına YOLOv7 TensorRT Karşılaştırması

Gerçek zamanlı bilgisayarla görme çıkarım performansı, Cloud GPU’larından Edge GPU’larına nasıl değişiyor?

Nilvana (bir AI yazılım platformu şirketi), bulut GPU’ları A100’dan en son küçük güç merkezi Jetson AGX Orin’e (şu anda Seeed’de mevcut!) kadar farklı cihazlarda Nesne Tespiti, Anomali Tespiti ve Örnek Segmentasyonu modellerinin bir dizi performans testini gerçekleştirdi. Test sonuçlarına bir göz atalım!

Nesne Tespiti

Nilvana, YOLOv7 varyant modellerini A100, RTX 3060, Jetson AGX Orin ve Jetson Xavier NX üzerinde test etti (Xavier NX tabanlı reComputer J2012‘ye göz atın!). Bunu Nilvana Medium’daki makaleden daha fazla okuyun.

Nesne Tespiti Nedir?

Görüntü sınıflandırması, nesne tespiti ve segmentasyon, bilgisayarla görmenin üç ana görevidir. Görüntü sınıflandırması, bir görüntüyü genellikle görüntüdeki en belirgin nesneye karşılık gelen tek bir kategoriye ayırır. Ancak, gerçek dünya görüntüleri genellikle birden fazla nesne içerir. Eğer görüntü sınıflandırma modeli, görüntüye tek bir etiket atamak için kullanılıyorsa, bu kaba ve hatalı olabilir. Bu tür durumlarda, bir görüntüde birden fazla nesneyi tanımlamak ve farklı nesneleri (sınır kutuları ile) yerleştirmek için bir nesne tespiti modeline ihtiyaç vardır. Nesne tespiti, nesne takibi, video analitiği, güvenlik ve otonom sürüş gibi gerçek dünya AI uygulamalarında kullanılır.

YOLOv7

You Only Look Once (YOLO), en son teknoloji, gerçek zamanlı nesne tespiti sistemidir. Mevcut ve en son versiyonu, YOLOv7, nesne tespitini daha hızlı ve büyük bir doğrulukla çıkararak yeni zirvelere taşıyor. YOLO hakkında daha fazla bilgi edinmek ve nesne tespitine başlamak ister misiniz? Özel veri setlerine dayalı nesne tespiti modeli oluşturmak ve bunu NVIDIA Jetson destekli reComputer‘da dağıtmak için adım adım öğreticimize göz atın!

DGX A100, RTX 3060, AGX Orin ve Xavier NX Üzerinde Test

Sonuçlar tablosuna göre, Jetson Xavier NX, YOLOv7-tiny modelini oldukça iyi bir şekilde çalıştırabiliyor. AGX Orin, hatta YOLOv7x modelini 30 FPS’den fazla bir hızda çalıştırabiliyor!

Anomali Tespiti

Anomali Tespiti Nedir?

Anomali Tespiti, veri madenciliği adımında, bir veri kümesinin normal davranışından sapma gösteren nadir veri noktalarını, olayları ve gözlemleri tanımlar. Örnekler, teknik aksaklıklar veya tüketici davranışındaki değişiklikler gibi potansiyel fırsatlar olabilir.

Nilvana, RTX 3060 ve Jetson AGX Orin üzerinde MVTec AD veri setinde anomali tespiti test etti. Bunu Nilvana’nın medium makalesinde daha fazla okuyun! Ürünün her bir kusuru için yaklaşık 200 normal görüntü ve 20 anormal görüntü sağlayarak PyTorch Lightning kullanarak eğitim ve çıkarım test ettiler. Modeli yalnızca normal görüntülerle eğitiyor ve birkaç anormal görüntü ile AUROC (Alıcı İşletim Karakteristik Eğrisi Altındaki Alan) ve F1 Skoru değerlendiriyorlar.

PaDiM, liderlik tablosunda yer alan ünlü anomali tespit algoritmalarından biridir, değerlendirme, PaDiM’in hem büyük hem de küçük alan kusurlarına uygulanabilir olduğunu göstermektedir.

RTX 3060 ve Jetson AGX Orin Üzerinde Test

Veri Seti: MVTec AD[3]

Sınıf: Şişe

Eğitim Görüntüsü: 209 normal görüntü, her bir kusur için 20 anormal görüntü

Çerçeve: PyTorch Lightning

Algoritma: PaDiM

NVIDIA RTX 3060 ve Jetson AGX Orin üzerindeki eğitim süresi ve çıkarım FPS’si sırasıyla.

NVIDIA Jetson AGX Orin’in, RTX3060 ve hatta A100 kadar iyi performans gösterebildiğini söyleyebiliriz. Bulut GPU üzerinde modeli eğitmek ve bunu bir edge cihazında dağıtmak yaygın bir uygulamadır, Jetson AGX Orin’in yukarıdaki sonucu, edge cihazındaki performansın çok güvenilir olacağını göstermektedir. Bu güçlü küçük makinede daha fazla uygulama görmeyi dört gözle bekliyoruz. Seeed, ayrıca yeni AGX Orin ve gelecek Orin NX destekli edge cihazları üzerinde çalışıyor. Şu anda geliştirilmekte olan reServer J5014, yayınladık. Düşüncelerinizi ve beklentilerinizi discord edge ai kanalında bizimle paylaşın!

reServer Jetson: Edge için Çıkarım Merkezi

Jetson AGX Orin / NX ile Güçlendirilmiştir

reserver

“`html

Şimdi Al

275 TOPS AI performansına kadar taşınabilir Edge AI merkezi
Vapor Chamber soğutucu ile 24/7 serin kalın (sadece AGX Orin), %40 daha etkili termal performans
Hızlı ağ erişimi ve hibrit bağlantı 2.5Gbes, 4G, 5G, LoRa, BLE ve WiFi (modüller dahil değildir)
Birden fazla eşzamanlı AI uygulaması için yerleşik depolama
Triton Inference Server’ı destekler ve önceden yüklenmiş Jetpack ile gelir
AIoT için zengin IO’lar
USB 3.2 Type-A portu, USB 2.0 Type-A portu, HDMI portu ve DP portu

reComputer Jetson: Kenarda Gerçek Dünya AI, $199’dan başlıyor

Built with Jetson Nano 4GB / Xavier NX 8GB/16GB