Yılan Tanıma Sistemi: LoRaWAN ve XIAO ESP32S3 Sense ile TinyML Kullanımı

28 Şubat 2024’te güncellendi

Yılanlar, özellikle ciddi tıbbi acil durumlara neden olabilen zehirli türlerin bulunduğu çiftliklerde sıkça tehlike oluşturur. Bu XIAO ESP32S3 Duygu Tabanlı Yılan Tanıma Sistemi, çiftlik alanlarındaki yılanları tespit etmeyi ve insanları LoRaWAN aracılığıyla uyarmayı amaçlamaktadır.

Seeed Donanımı: Seeed Studio XIAO ESP32S3 Sense, Grove – Wio-E5 (STM32WLE5JC), Grove Base for XIAO, SenseCAP M2 Multi-Platform LoRaWAN Indoor Gateway(SX1302) – EU868

Yazılım: Arduino IDE, Edge Impulse

Sektör: Tarım, Kentsel Yaban Hayatı İzleme, Hayvanat Bahçeleri ve Akvaryumlar, Koruma Biyolojisi, Turizm ve Doğa Koruma, Araştırma ve Eğitim

Arka Plan

Yılanlar sıkça çiftliklere girerek insan güvenliğini tehdit eder. Chloe Zhang‘nın araştırması, birçok ülkede, özellikle Afrika, Asya ve Latin Amerika’da yılan ısırıklarıyla ilgili göz ardı edilen bir sorunu vurgulamaktadır. Sayılar endişe verici: Asya’da her yıl yaklaşık 2 milyon yılan ısırığı vakası görülmekte ve Afrika’da tahminen 435.000 ile 580.000 kişi yıllık tedavi gerektirmektedir. Bu zehirli yılanların ısırıkları, felç, solunum problemleri ve kanama bozuklukları gibi ciddi tıbbi acil durumlara yol açabilir.

Zorluk

Chloe’nın projesinde üç önemli zorluk bulunmaktadır. İlk olarak, Wi-Fi ve hücresel ağlar, tarımsal alanların geniş ve uzak alanları için uygun değildir. İkincisi, dış mekan dağıtımının uygulanabilirliği ve maliyet etkinliğini dengelemek için kompakt bir ekipman çözümü kritik öneme sahiptir. Son olarak, proje, enerji tüketimini en aza indirirken uzun mesafe iletim yeteneklerine ulaşmalıdır; bu da menzil ve enerji verimliliği arasında optimal bir sinerji gerektirir.

Çözüm

Donanım Seçimi

Seeed Studio XIAO ESP32S3 Sense: OV2640 kamera sensörü, dijital mikrofon ve SD kart desteği ile birlikte gelen maliyet etkin bir cihazdır. AI yetenekleri, görüntü tanıma konusunda mükemmel performans sergileyerek doğru görüntü tespiti ve tahmini sağlar.
Grove – Wio-E5 (STM32WLE5JC): LoRaWAN’nın geniş kapsama alanı ve düşük güç tüketimi, bu LoRa modülünü XIAO görüntü tanıma sonuçlarını IoT platformuna göndermek için harika bir seçim haline getirir. Tak ve çalıştır basitliği, yerleşik AT komutları ve Arduino uyumluluğu ile birlikte cazibesini artırır.
Grove Base for XIAO: XIAO ESP32S3 Sense’i Grove-Wio E5’e bağlamak için kullanılır.
SenseCAP M2 Multi-Platform LoRaWAN Indoor Gateway(SX1302) – EU868: Chloe, bütçe dostu ancak yüksek kaliteli bir geçit arıyor ve M2 mükemmel bir seçimdir. Bütçesini aşmadan ihtiyaçlarını karşılar ve güçlü bir performans sunar.

Edge Impulse ile nesne tespit modeli eğitimi

1. Veri setinin toplanması

Bir hedef tanıma modelinin eğitimi, hedef görüntülerinin yüksek kaliteli bir veri setinin edinilmesiyle başlar. İlgili veri setlerini Kaggle, Roboflow ve OpenDataLab gibi platformlardan temin edebilirsiniz. Seçtiğiniz veri setini COCO formatında indirerek sıkıştırılmış bir veri seti paketi elde edebilirsiniz.

Sıkıştırmayı açtığınızda, model eğitimi ve doğrulama için verileri içeren “train” ve “test” klasörlerini bulacaksınız. Her klasör, görüntü etiketleri ile birlikte bir JSON dosyası içerir, bu da manuel etiketleme ihtiyacını ortadan kaldırır. Eğer manuel etiketleme gerekiyorsa, labelme anotasyon aracını kullanmayı düşünebilirsiniz.

2. Edge Impulse’da yeni bir proje oluşturma

Yeni bir proje oluşturun.
“Veri toplama”ya tıklayın ve ardından “yükle” butonuna basın. Bir klasör seçin, dosyaları seçin ve klasörün içeriğine bağlı olarak “train” veya “test” olarak belirtin. Ardından, verileri yükleyin.
Verileri yükledikten sonra, Edge Impulse platformunda tüm veri setini görüntüleyebilirsiniz. Tüm veri seti için etiketleri kontrol edin.
“Impulse Oluştur”a tıklayın ve yeniden boyutlandırma modunu “En uzun eksene sığdır” olarak değiştirin. Impulsu kaydedin.
“Görüntü”ye tıklayın ve özellikleri oluşturun.
Model eğitimine başlayın ve Arduino IDE’de dağıtımını yapın.
Model eğitimi tamamlandığında, “Dağıtım”a tıklayın, Arduino kütüphanesini seçin, EON Derleyicisini devre dışı bırakın, “Kuantize (int8)” seçin ve ardından oluşturun.

Not:

Edge Impulse’nun geliştirici modeli, veri seti boyutu ve eğitim süresi konusunda sınırlamalara sahiptir. Modelinizin bu kısıtlamalara uyduğundan emin olmak için önceden karmaşıklık değerlendirmesi yapmak önemlidir.
Veri seti boyutu ve model yapısına bağlı olarak parametre değişiklikleri gereklidir ve burada eğitim için varsayılan parametreler kullanılmaktadır.

3. Arduino IDE kullanarak kod derleme

Nesne Tespit Kütüphanelerinin Kurulumu

Belgede belirtilen adımları tamamladıktan sonra, Arduino çalışması için gerekli olan eğitimli model ve kütüphane dosyalarını içeren sıkıştırılmış bir pakete erişin.

Arduino IDE’de kütüphaneleri kurmak için, Kütüphane Kurulumu | Arduino Dokümantasyonu‘na başvurun.

Eğitilmiş Modelin XIAO’da Uygulanması

Önceki bölümde yapılandırılan derin öğrenme bağımlılık kütüphaneleri ile, eğitimli model artık çıkarım için kullanılabilir. Gerçek zamanlı görüntü verilerini yakalamak için kamerayı başlatın. Başarılı bir başlatma, seri portun “kamera başlatıldı.” mesajını göstermesini sağlayacaktır. Görsel bir temsil için aşağıdaki şekle bakın.

Daha sonra, kamera çağrısı ile görüntü verilerini elde edin ve yüklenen model ile ileri yayılma tahmini yaparak görüntünün kategorisini belirleyin. Tahmin, sınıflandırma için ardışık numaralar kullanılarak temsil edilen farklı kategorilere karşılık gelir. Özellikle yılan tespiti için, “1” yılan tespitini, “0” ise yılan tespit edilmediğini belirtir. Bu sınıflandırma verileri mevcut olduğunda, LoRa iletişimi aracılığıyla iletin.

3. Verileri TTN’ye iletin ve Datacake’te görselleştirin

The Things Network’e Veri İletimi

Uygulama oluşturma, bir ağ geçidi ekleme ve cihazları bağlama talimatları için “Wio-E5 Verilerini TTN Üzerinden Datacake’e Gönderme – Hackster.io” kılavuzuna başvurun. The Things Network (TTN) kullanmak için kendi LoRaWAN ağ geçidinize sahip olmanız önemlidir. Aşağıdaki görüntüde gösterildiği gibi, XIAO başarıyla Grove-Wio-E5 aracılığıyla TTN’ye tanıma sonuçlarını yükler.

Datacake Kullanarak Veri Görselleştirme

Veri görselleştirmesi için aynı kaynağa, “Wio-E5 Verilerini TTN Üzerinden Datacake’e Gönderme – Hackster.io” başvurun. Verileri görselleştirmeden önce, gerekli bilgileri elde etmek için verilerin çözülmesi gerekir. Bu, cihaz -> Yapılandırma -> Payload Decoder sayfasına giderek yapılabilir; aşağıdaki şekilde gösterildiği gibi:

Daha sonra Payload Decoder’daki kodu Chloe’nin sağladığı kodla değiştirebilirsiniz. Tüm görevler tamamlandığında, XIAO’dan gelen verileri gösterge panelinde görselleştirebilirsiniz.

Hiçbir yılan mevcut olmadığında değerin 0’da kaldığını unutmayın. Ancak bir yılan tespit edilirse, sayı değişecektir. Bir “1”, o belirli zaman diliminde yılanların varlığını gösterir.

Program XIAO’ya yüklendikten sonra, kamera nesne tespiti için yılan görüntülerini yakalar. x, y, genişlik ve yükseklik verilerini kullanarak, hedefin görüntü içindeki konumunu belirleyebiliriz. Gerekirse, hedefi görüntü merkezinde tutarak izlemek ve tanımak için bir yönlendirme dişlisi gibi ek ekipmanlar eklenebilir. Bu proje, tarım alanları için geniş kapsama alanı sağlayan LoRaWAN teknolojisinden faydalanmaktadır ve birkaç kilometreye kadar uzanabilir.

Sonuç

Sonuç olarak, Chloe Zhang bir yılan tespit projesi üzerinde çalışıyor ve bunu yılan türlerini saymak ve tanımlamak için gelişmiş AI ve bilgisayarla görme teknikleri kullanarak genişletmeyi planlıyor. Bu gelişme, yaban hayatı koruma, ekolojik araştırma ve yılan ısırığı önleme açısından önemli sonuçlar doğurmaktadır. Projesini ilerletmeye kararlıdır ve diğerlerini AI ve LoRaWAN teknolojilerini keşfetmeye teşvik etmektedir.

Daha Fazla Bilgi

Daha Fazla Proje Detayı Öğrenin Hackster’da: LoRaWAN Tabanlı TinyML Yılan Tanıma Sistemi

Daha Fazla TinyML Hikayesi Keşfedin:

TinyML projeleriniz için en iyi aracı seçin:

Grove – Vision AI Modülü V2

Himax WiseEye2 HX6538 işlemcisiyle güçlendirilmiş MCU tabanlı bir görüntü AI modülüdür; rm Cortex-M55 ve Ethos-U55 özelliklerine sahiptir. Arm Helium teknolojisini entegre eder, bu da vektör veri işleme için ince bir şekilde optimize edilmiştir ve şunları sağlar:

Ödüllü düşük güç tüketimi
DSP ve ML yeteneklerinde önemli bir artış
Pil ile çalışan uç nokta AI uygulamaları için tasarlanmıştır

Tensorflow ve Pytorch çerçevelerini destekleyerek, kullanıcıların hem hazır hem de özel AI modellerini Seeed Studio’dan SenseCraft AI ile dağıtmasına olanak tanır. Ayrıca, modül, Seeed Studio XIAO, Grove, Raspberry Pi, BeagleBoard ve ESP tabanlı ürünler gibi popüler ürünlerle kolay entegrasyon sağlayan IIC, UART, SPI ve Type-C gibi çeşitli arayüzler sunar.

Seeed Studio XIAO ESP32S3 Sense & Seeed Studio XIAO nRF52840 Sense

Seeed Studio XIAO Serisi, benzer donanım yapısına sahip minik geliştirme kartlarıdır; boyutları gerçekten parmak boyutundadır. Buradaki kod adı “XIAO”, yarı özelliği “Tiny” ve diğer yarısı “Puissant” anlamına gelir.

Seeed Studio XIAO ESP32S3 Sense, OV2640 kamera sensörü, dijital mikrofon ve SD kart desteği entegre eder. Gömülü ML hesaplama gücü ve fotoğrafçılık yeteneğini birleştirerek, bu geliştirme kartı akıllı ses ve görüntü AI ile başlamanız için harika bir araç olabilir.

Seeed Studio XIAO nRF52840 Sense, Bluetooth 5.0 kablosuz yeteneği taşır ve düşük güç tüketimi ile çalışabilir. Yerleşik IMU ve PDM ile donatılmıştır, gömülü Makine Öğrenimi projeleri için en iyi aracınız olabilir.

Buraya tıklayın ve XIAO ailesi hakkında daha fazla bilgi edinin!

SenseCraft AI

SenseCraft AI kod yazmadan/düşük kod ile kolay AI modeli eğitimi ve dağıtımı sağlayan bir platformdur. Seeed ürünlerini yerel olarak destekler, eğitilen modellerin Seeed ürünlerine tam uyumunu sağlar. Ayrıca, bu platform aracılığıyla modellerin dağıtılması, tanımlama sonuçlarının web sitesinde anında görselleştirilmesini sağlar ve model performansının hızlı bir şekilde değerlendirilmesine olanak tanır.

tinyML uygulamaları için ideal olan bu platform, cihazı bağlayarak, bir model seçerek ve tanımlama sonuçlarını görüntüleyerek, hazır veya özel AI modellerini zahmetsizce dağıtmanıza olanak tanır.

Herhangi bir soru için lütfen iot@seeed.cc ile iletişime geçmekten çekinmeyin veya daha fazla proje tartışması yapmak isterseniz bizimle iletişime geçin. Sorularınız ve ilginiz memnuniyetle karşılanır.