28 Şubat 2024’te güncellendi
XIAO ESP32S3 Sense, XIAO için Yuvarlak Ekran ve TinyML kullanarak AI destekli BLE Seyahat Acil Durum Asistanı’nı tanıtıyoruz. Acil durum uyarıları için anahtarlıkları tespit edin, WhatsApp/SMS aracılığıyla kişileri bilgilendirin ve Haritalar API’sinden konum bilgisi talep etme işlevselliği ekleyin.
Seeed Donanımı: Seeed Studio XIAO ESP32S3 Sense, XIAO için Yuvarlak Ekran
Yazılım: Edge Impulse, Android Studio, MIT App Inventor 2, WhatsApp için Twilio API’si, Twilio SMS Mesajlaşma API’si, Google Haritalar, Autodesk Fusion 360, Ultimaker Cura, Microsoft Visual Studio 2017
Sektör: Sağlık, Konaklama, Seyahat ve Turizm, Ulaşım, Acil Servisler, Sigorta, Güvenlik
Arka Plan
Engelli gezginler, şiddet, hırsızlık, sözlü taciz ve ihmal gibi suçların mağduru olma riski taşımaktadır. Suç mağduru olma riski, en az dört ila on kat daha fazladır. Bu suçları önlemek için onlara en son teknoloji cihazlar sağlamak gerekmektedir. Ancak, akıllı telefonlar, hareket kabiliyeti kısıtlı kişiler için kriz anında zaman alıcı ve zorlayıcı olabilir. Bu nedenle, engelli ve özel ihtiyaçları olan bireyleri dikkate alarak bütçe dostu ve erişilebilir AIoT yardımcı cihazlar, daha geniş bir yelpazede çeşitli özellikler sunmalıdır.
Zorluk
Bu sorunu ele almak için Kutluhan Aktar, acil durumları belirten farklı anahtarlıklar oluşturdu ve bir XIAO ESP32S3 Sense kullanarak görüntüleri bir SD karta yakalayıp kaydetti. Edge Impulse ile, özelleştirilmiş anahtarlıkları tanımlamak ve acil durum kişilerini WhatsApp/SMS aracılığıyla bilgilendirmek için bir nesne tespit modeli geliştirdi. Sonuçlar, BLE aracılığıyla XIAO için Yuvarlak Ekran’da görüntülenir ve acil durum kişileri Haritalar API’sinden konum bilgisi alabilir.
Çözüm
Adım 1: Akıllı saat ilhamlı bir kılıf tasarlamak ve basmak
Bütçe dostu bir yardımcı cihaz yaratmaya odaklanan Kutluhan, acil durum kişileriyle WhatsApp veya SMS aracılığıyla kesintisiz iletişim sağlamak için hareket yardımcılarına kolayca takılabilen çok yönlü bir kılıf tasarladı. Ana kılıf, farklı pillerle uyumluluk için iki parçaya ayrılmıştır ve snap-fit eklemler içerir. İşlevselliği artırmak ve toz maruziyetini önlemek için XIAO ESP32S3 Sense ve XIAO için Yuvarlak Ekran için modüler bir parça eklenmiştir. Her iki parçadaki çukurlar, tarama veya örnek toplama sırasında yerleşik kameranın esnek bir şekilde konumlandırılmasını sağlar. Ana kılıf, cihazın yeteneklerini vurgulamak için Seeed Studio logosu, Twilio logosu ve seyahat eden bir uçak simgesi ile süslenmiştir.
Adım 2: MIT APP Inventor ile GPS, GPRS ve BLE destekli bir Android uygulaması geliştirmek
Yardımcı cihazın Wi-Fi olmadan çalışmasını sağlamak için Kutluhan, MIT App Inventor kullanarak bir Android uygulaması oluşturdu. Cihazın arayüzü olarak hizmet veren uygulama, veri transferi için hücresel ağ bağlantılarını kullanarak GPRS aracılığıyla GPS tabanlı konum verilerini alır ve XIAO ESP32S3 ile BLE üzerinden model tespiti ve veri toplama komutları için iletişim kurar.
Adım 3: Twilio’nun WhatsApp & SMS API’lerini kullanmak için bir hesap oluşturmak
Kullanıcının acil durum kişilerini nesne tanıma modeli aracılığıyla WhatsApp ve SMS ile en son tespit edilen anahtarlık hakkında bilgilendirmek için Kutluhan, Twilio’nun WhatsApp ve SMS API’lerini entegre etti. Twilio, deneme hesapları için ücretsiz bir webhook kullanarak WhatsApp üzerinden Twilio onaylı bir telefonla iletişimi kolaylaştırır. Ayrıca, Twilio, sanal bir telefon numarasından onaylı bir telefon numarasına uluslararası SMS transferi için deneme metin mesajlaşma hizmeti sunar. PHP dahil olmak üzere çeşitli programlama dillerinde resmi yardımcı kütüphaneleri destekleyen Twilio, güvenilir API uygulamasını sağlar.
Adım 4: Android uygulamasıyla iletişim kurmak ve WhatsApp’tan gelen talepleri işlemek için bir web uygulaması geliştirmek
XIAO ESP32S3’ten acil durum kişilerini bilgilendirmek için model tespit sonuçlarını iletmek amacıyla Kutluhan, Twilio’nun WhatsApp ve SMS API’lerini kullanan basit bir web uygulaması geliştirdi. Web uygulaması, Android uygulaması ile acil durum kişileri arasında bir proxy görevi görerek kullanıcının iletişim bilgilerini tek bir HTTP GET isteği ile güncellemesine olanak tanır. Saklanan verileri kullanarak, web uygulaması model tespit sonuçlarına göre kişileri otomatik olarak WhatsApp veya SMS aracılığıyla bilgilendirir. Twilio’nun API’leri, web uygulamasının WhatsApp üzerinden konum denetimlerini ana acil durum kişisine göndermek için komut almasını sağlar. Twilio’nun gereksinimlerini karşılamak için, web uygulamasını SSL destekli bir sunucuda barındırdı, ancak ngrok gibi bir HTTP tünelleme aracı da webhook için genel bir URL ayarlayabilir.
Adım 5: XIAO ESP32S3 Sense ve Yuvarlak Ekranı Arduino IDE’de ayarlamak
XIAO ESP32S3 Sense genişletme kartının dosya işleme yeteneğini kullanarak, Kutluhan, yerleşik OV2640 kameradan doğrudan görüntüleri yakalamayı ve bunları microSD karta kaydetmeyi tercih etti. XIAO ESP32S3, kullanıcı komutlarını almak ve model tespit sonuçlarını iletmek için Android uygulaması ile BLE üzerinden iletişim kurar.
Adım 6: Yerleşik OV2640 kamerayla özelleştirilmiş anahtarlık (token) görüntülerini yakalamak
XIAO ESP32S3’ü yuvarlak ekran ile yapılandırdıktan ve gerekli kütüphaneleri yükledikten sonra, Kutluhan, ham görüntü tamponlarını yakalamak, bunları JPG dosyalarına dönüştürmek ve örnekleri doğrudan genişletme kartındaki SD karta kaydetmek için programladı.
Nesne tespit modeli için geçerli bir veri seti oluşturmayı kolaylaştırmak amacıyla, Android uygulamasını kullanarak kullanıcı komutlarını BLE üzerinden XIAO ESP32S3’e gönderdi. Bu, belirli acil durum sınıfıyla birlikte örnekleri yakalamayı ve SD karta kaydetmeyi sağladı ve ek bileşenlere ihtiyaç duymadan ana kılıf boyutlarının artmasını önledi.
Adım 7: Edge Impulse ile bir nesne tespit (FOMO) modeli oluşturmak
Özelleştirilmiş anahtarlıkların görüntülerini yakaladıktan ve bunları SD karta depoladıktan sonra, Kutluhan, acil durum kişilerini WhatsApp veya SMS aracılığıyla hemen bilgilendirmek için anahtarlıkları bireysel olarak tanımlamak üzere bir nesne tespit (FOMO) modeli geliştirmeye odaklandı.
Edge Impulse‘ı tercih ederek, model dağıtımı için geniş mikrodenetleyici ve geliştirme kartı desteğinden faydalandı. Edge Impulse’ın gelişmiş makine öğrenimi algoritması (FOMO), XIAO ESP32S3 gibi kenar cihazlarda daha erişilebilir ve hızlı nesne tespit modellerinin oluşturulmasını sağladı.
Adım 8: Edge Impulse FOMO modelini XIAO ESP32S3 Sense üzerinde ayarlamak
Nesne tespit modelini Edge Impulse üzerinde bir Arduino kütüphanesi olarak oluşturduktan, eğittikten ve dağıttıktan sonra, Kutluhan üretilen kütüphaneyi XIAO ESP32S3’e yükledi. Bu, modelin doğrudan çalışmasını sağladı ve minimum gecikme, bellek kullanımı ve enerji tüketimi ile erişilebilir bir yardımcı cihaz oluşturulmasını sağladı. Edge Impulse’ın sinyal işleme, yapılandırma ve öğrenme bloklarını tek bir pakette optimize etmesi ve biçimlendirmesi, çıkarım işlemlerini çalıştırmak için içe aktarma sürecini basitleştirdi.
Adım 9: Modeli çalıştırmak ve acil durum kişilerini WhatsApp & SMS aracılığıyla bilgilendirmek
Edge Impulse nesne tespit (FOMO) modelinin XIAO ESP32S3 üzerinde başarılı bir şekilde ayarlanmasının ardından:
- Kullanıcılar, Android uygulaması aracılığıyla BLE bağlantısı ile acil durum sınıfı anahtarlarını tespit edebilirler.
- XIAO ESP32S3, her 30 saniyede bir bir çıkarım yaparak, acil durum sınıfını tespit ettiğinde kullanıcıları XIAO yuvarlak ekran üzerinden bilgilendirir.
- Tespit sonrası, XIAO ESP32S3 model sonuçlarını Android uygulamasına BLE üzerinden aktarır.
- Android uygulaması, model sonuçlarını, mevcut konumu ve tarihi web uygulamasına GPRS üzerinden gösterir ve aktarır.
- Web uygulaması, kodlanmış konum bilgilerinden bir Google Maps URL’si oluşturur.
- Twilio’nun API’lerini kullanarak, web uygulaması tespit edilen acil durum sınıfına göre acil durum kişilerini WhatsApp veya SMS ile bilgilendirir.
Sonuç
Özetle, özelleştirilmiş anahtarlarda eğitilmiş nesne tespit modellerinin yardımcı cihazlara entegrasyonu, yalnızca engelli bireylere yönelik potansiyel suçları engellemekle kalmaz, aynı zamanda acil durumlarda hareket kabiliyeti kısıtlı olanları güçlendirir. Sistem, çeşitli hareket yardımcıları için çok yönlü bildirimler sunarak, acil durumların kesin konum verileri ile iletişimini hızlı bir şekilde sağlar. Ayrıca, talep üzerine daha önce ziyaret edilen destinasyonların seyahat planını oluşturma yeteneği sunarak genel faydasını artırır.
Daha Fazla Bilgi
Daha Fazla Proje Detayı Öğrenin Hackster’da: AI destekli BLE Seyahat Acil Durum Asistanı w/ Twilio
Daha Fazla TinyML Hikayelerini Keşfedin:
- Vahşi Yaşam İzleme Devrimi: TinyML, IoT ve LoRa Teknolojileri ile XIAO ESP32S3 Sense ve Wio E5 Modülü
- NMCS: Ses ve Görüntü Sınıflandırması ile Kahve Deneyiminizi Güçlendirme
- IoT Destekli Ağaç Hastalığı Tespiti: Görüntü AI, Wio Terminal ve TinyML Kullanarak
- Yılan Tanıma Sistemi: LoRaWAN ve XIAO ESP32S3 Sense Kullanarak TinyML
- Grove-Vision AI Modülünü Kullanan Yenilikçi Topluluk Projeleri: 11 İlham Verici Hikaye
TinyML projeleriniz için en iyi aracı seçin:
Grove – Vision AI Modülü V2
Himax WiseEye2 HX6538 işlemcisi ile güçlendirilmiş, Cortex-M55 ve Ethos-U55 içeren MCU tabanlı bir görüntü AI modülüdür. vektör veri işleme için ince bir şekilde optimize edilmiş Arm Helium teknolojisini entegre eder ve:
- Ödüllü düşük güç tüketimi
- DSP ve ML yeteneklerinde önemli bir artış
- Pil ile çalışan uç nokta AI uygulamaları için tasarlanmıştır
Tensorflow ve Pytorch framework’lerini destekleyerek, kullanıcıların Seeed Studio’dan hem hazır hem de özel AI modellerini dağıtmasına olanak tanır. Ayrıca, modül, IIC, UART, SPI ve Type-C gibi çeşitli arayüzler içerir ve Seeed Studio XIAO, Grove, Raspberry Pi, BeagleBoard ve ESP tabanlı ürünler gibi popüler ürünlerle kolay entegrasyon sağlar.
Seeed Studio XIAO ESP32S3 Sense & Seeed Studio XIAO nRF52840 Sense
Seeed Studio XIAO Serisi, benzer bir donanım yapısına sahip, parmak boyutunda küçücük geliştirme kartlarıdır. Burada “XIAO” kod adı, yarı özelliği “Tiny” ve diğer yarısı “Puissant” anlamına gelir.
Seeed Studio XIAO ESP32S3 Sense, bir OV2640 kamera sensörü, dijital mikrofon ve SD kart desteği entegre eder. Gömülü ML hesaplama gücü ve fotoğrafçılık yeteneğini birleştirerek, bu geliştirme kartı, akıllı ses ve görüntü AI ile başlamanız için harika bir araç olabilir.
Seeed Studio XIAO nRF52840 Sense, Bluetooth 5.0 kablosuz yeteneğine sahip olup, düşük güç tüketimi ile çalışabilmektedir. Yerleşik IMU ve PDM ile, gömülü Makine Öğrenimi projeleri için en iyi aracınız olabilir.
Buraya tıklayın ve XIAO ailesi hakkında daha fazla bilgi edinin!
SenseCraft AI
SenseCraft AI kolay AI modeli eğitimi ve dağıtımını no-code/low-code ile sağlayan bir platformdur. Seeed ürünlerini yerel olarak destekleyerek, eğitilen modellerin Seeed ürünlerine tam uyumunu sağlar. Ayrıca, bu platform aracılığıyla modellerin dağıtılması, web sitesinde tanımlama sonuçlarının anında görselleştirilmesini sağlayarak model performansının hızlı bir şekilde değerlendirilmesine olanak tanır.
tinyML uygulamaları için ideal olan bu platform, cihazı bağlayarak, bir model seçerek ve tanımlama sonuçlarını görüntüleyerek, hazır veya özel AI modellerini zahmetsizce dağıtmanıza olanak tanır.
Herhangi bir soru için lütfen iot@seeed.cc ile iletişime geçmekten çekinmeyin veya daha fazla proje tartışmalarına katılmak isterseniz bizimle iletişime geçin. Sorularınız ve ilginiz memnuniyetle karşılanır.