Harika haber!! Artık NVIDIA TAO‘yu MCU – Grove Vision AI V2 üzerinde kullanabilirsiniz!
Train, Adapt, Optimize’nin kısaltması olan TAO, NVIDIA tarafından geliştirilen açık kaynaklı bir araç setidir. TensorFlow ve PyTorch üzerine inşa edilmiştir ve model eğitim sürecini basitleştirmek için transfer learning kullanarak çıkarım verimliliğinden ödün vermez.
(TAO Genel Bakış Görseli, Kredi: Nvidia https://docs.nvidia.com/tao/tao-toolkit/text/overview.html)
NVIDIA TAO, doğrudan çıkarım için kullanılabilecek veya özel veri setleri ile ince ayar yapılarak yeni modeller eğitilebilecek geniş bir önceden eğitilmiş model yelpazesi sunar.
(NVIDIA NGC Kataloğundaki Modeller, https://catalog.ngc.nvidia.com/models)
NVIDIA TAO model hayvanat bahçesinde birçok model mevcutken bu modeller ONNX formatındadır, bu format GPU’lar ve CPU’lar için daha uygundur. Hesaplama kaynakları ve bellek sınırlamaları nedeniyle, bu TAO modellerinin MCU’lar için optimize edilmesi gerekmektedir. Seeed Studio ekibimiz bu konuda çalışmaktadır ve Grove Vision AI V2‘yi başlangıç noktası olarak almıştır. Ve bu, modellerin performansından ödün vermeden çalışmaktadır.
ICYDK, Grove Vision AI V2, Himax WiseEye2 HX6538 işlemcisi tarafından desteklenen son derece verimli bir MCU tabanlı akıllı görsel modüldür ve çift çekirdekli Arm Cortex-M55 ve entegre Arm Ethos-U55 sinir ağı bileşeni ile donatılmıştır.
Aşağıdaki adımlar aracılığıyla, NVIDIA NGC Kataloğundaki önceden eğitilmiş modeller optimize edilip Grove Vision AI V2 üzerinde kullanılabilir.
- Kuantalama: kayan nokta ONNX modellerinden TensorFlow Lite Int8 modellerine.
- Dönüştürme: ARM’nin Ethos-U Vela derleyicisi ile modelleri optimize edip TFLM modellerine dönüştürmek. (Bu, çıkış modellerinin ARM Cortex-M İşlemcileri ve Ethos-U NPU tabanlı diğer ürünlerde de çalışabileceği anlamına gelir.)
- Yayınla optimize edilmiş modelleri SenseCraft AI platformu‘nda herkesin kullanabilmesi için kamuya açık modeller olarak.
Şu anda SenseCraft AI platformunda, Trafik Kamerası Tespiti ve İnsan Tespiti gibi birkaç NVIDIA TAO modeli mevcuttur. Grove Vision AI V2’yi bağlayarak bu modelleri kolay bir kodsuz deneyimle şimdi deneyebilirsiniz!
SenseCraft AI Platformuna, optimize edilmiş NVIDIA TAO modelleri de dahil olmak üzere daha fazla model eklemeye devam edeceğiz. Yorum yapmaya ve en çok istediğiniz modelleri bize bildirmeye davetlisiniz. Ve elbette, modellerinizi SenseCraft AI platformu‘nda yayınlayıp paylaşmaktan da çekinmeyin!
Son olarak, ekibimiz yukarıda bahsedilen süreci adım adım açıklayan bir Wiki paylaşacak, böylece NVIDIA TAO modellerini Grove Vision AI V2 üzerinde kenar AI projeleriniz için kullanabilirsiniz. Bizi izlemeye devam edin!