NMCS’yi tanıtıyoruz, TinyML teknolojisini kullanarak hem işitme hem de görme yetenekleriyle tasarlanmış bir cihazdır. Bu cihaz, kahve yapma ritüelinizin dökülmeden geçmesini sağlamak için tasarlanmıştır ve gününüze kesintisiz bir başlangıç garantisi verir.
Seeed Donanımı: Wio Terminal, Grove-Vision AI Modülü
Yazılım: Arduino, Edge Impulse, Roboflow
Sektör: Akıllı Ev
Arka Plan
Seeed Studio’nun “IoT in the Wild Contest 2022” yarışmasının kazananlarından Sashrika Das, yakın zamanda yeni bir cihaz geliştirdi. “NMCS” (No More Coffee Spills) adı verilen bu cihaz, babasının kahve demleme sırasında kahve dökme deneyiminden ilham aldı. NMCS, demleme işlemine başlamadan önce bir fincanın varlığını kontrol ederek bu tür kazaları önlemeyi amaçlıyor.
Zorluk
NMCS’nin üstesinden gelmeye çalıştığı ana zorluk, doğru tahminler sağlamak ve yanlış alarmları en aza indirmek için ses ve görsel verilerin koordinasyonudur. Bunu başarmak için, bir fincanın varlığını görsel olarak doğrulamak amacıyla Vision AI kamerasını kullanıyor ve bu değerlendirmeyi Wio Terminal’ın mikrofonundan gelen ses girişi ile senkronize ediyor. Eğer bir fincan olmadan demleme tespit edilirse, Wio Terminal kullanıcıyı bir uyarı ile hemen bilgilendiriyor ve potansiyel kahve felaketlerini önlüyor.
Çözüm
Wio Terminal mikrodenetleyicisinin seçimi, Sashrika’nın aşina olduğu bir cihaz olması ve dahili mikrofonu sayesinde harici bir ses sensörüne ihtiyaç duymamasından kaynaklanıyor. Mikrofon, kahve hazırlama seslerini ayırt etmek için ses sınıflandırması yapıyor. Ayrıca, Wio Terminal’ın tak-çalıştır grove portları, sensör bağlantılarını basitleştirerek lehimleme ihtiyacını ortadan kaldırıyor. Vision AI modülü, bu grove portlarından birine sorunsuz bir şekilde entegre ediliyor. Cihaz ayrıca, kahve demleme tahmin yüzdesi ve fincan varlığı hakkında gerçek zamanlı verileri sunan kullanıcı dostu bir ekrana sahip, bu da insanların çevrelerini doğal olarak yönlendirmek için kullandıkları çok duyulu yaklaşımı yansıtıyor. İşitsel ve görsel girdileri birleştirerek, NMCS kahve ve sabahları kurtarma çabasındaki hem hassasiyeti hem de güvenilirliği sağlıyor.
Sashrika, Edge Impulse’u iki farklı amaç için kullandı: ses sınıflandırması ve nesne tespiti, her görev için ayrı projeler oluşturmayı gerektiriyordu. Ses sınıflandırma modeli için yaklaşık 10 dakika 10 saniye veri topladı; her veri seti yaklaşık 5 saniye sürdü ve arka plan gürültüsü ile bir kahve makinesinin ayırt edici seslerini içeriyordu. Veri toplamanın ardından, 100 eğitim döngüsü ve 0.005 öğrenme oranı ile yapılandırarak kendi impulsunu oluşturdu ve dağıtıma geçmeden önce hem cep telefonlarında hem de bilgisayarlarda sorunsuz işlevselliği sağladı.
Tercih edilen araç olan Edge Impulse, onun Vision AI modülü projesinde de önemli bir rol oynadı. İlk olarak, Grove Vision AI modülünü Edge Impulse’a bağladı ve modülden doğrudan görüntüler topladı, bu da impuls oluşturma, eğitim ve test süreçlerini iPhone’unda kolaylaştırdı. Özel modeli Vision AI modülüne dağıtmak için zorluklarla karşılaştı ancak ek modüller edinerek ve YOLO 5 eğitimi için Roboflow’a başvurarak bu sorunları çözdü. 120 fincan görüntüsünü başarıyla etiketleyerek, bunları 192 x 192 boyutuna yeniden boyutlandırdı ve veri setini oluşturdu. YOLO 5 modelini Google Colab’da eğitmek için bir kılavuz takip etti ve sonunda eğitilen modeli Vision AI modülünün GROVEAI sürücüsüne taşıdı. Cihazın tamamlanması, seri monitörde fincan sayısını görüntülemek için koda bir kütüphane eklemeyi gerektiriyordu ve bu da israf olmadan mükemmel bir kahve deneyimi sağladı; bu, her saat kahve içmeyi seven babası da dahil olmak üzere her kahvesever için mükemmel bir çözümdür.
Sonuç
Bu proje, dosyaların bir modüle dağıtılmasıyla ilgili zorluklardan modül arızalarına kadar birçok zorlukla karşılaştı. Bellek kullanımı sorunlarına uyum sağlamak, tasarım değişikliklerine yol açtı. Sashrika, daha fazla zamanla bellek kullanımını optimize etmeyi, ekrana görsel çekicilik katmayı ve fincan olmadan demleme için uzaktan bildirimler uygulamayı planlıyor. Edge Impulse içinde nesne tespitini keşfetmek, gelecekteki projeleri kolaylaştırmayı hedefliyor.
Daha Fazla Bilgi
Daha Fazla Proje Detayı Öğrenin Hackster’da: NMCS: No More Coffee Spills!
Seeed Studio TinyML Vaka Çalışmaları
Herhangi bir soru için lütfen maker.team@seeed.cc ile iletişime geçmekten çekinmeyin veya proje tartışmalarına katılmak isterseniz bizimle iletişime geçin. Sorularınız ve ilginiz memnuniyetle karşılanır.