WatchThis: Görüntü-Dil Modelleri ve XIAO ESP32S3 Sense ile Güçlendirilmiş Giyilebilir Nokta ve Sorma Arayüzü

WatchThis, doğal, jest tabanlı etkileşimi günlük yaşama sorunsuz bir şekilde entegre etmek için tasarlanmıştır. Giyilebilir cihaz, arka tarafında döner, açılır bir kameraya sahip bir saatten oluşmaktadır. Kullanıcı ilgi alanına işaret ettiğinde, kamera alanı yakalar ve cihaz, kullanıcının jestine dayalı bağlamsal sorguları işler.

Etkileşim, kullanıcı saat gövdesini yukarı kaldırarak kamerayı açtığında başlar; bu durumda kamera, parmağın işaret ettiği alanı yakalar. Saatin ekranı, kameradan canlı bir görüntü gösterir ve hassas nişan almayı sağlar. Kullanıcı ekrana dokunduğunda, cihaz görüntüyü yakalar ve kamera akışını duraklatır. Yakalanan RGB görüntüsü daha sonra JPG formatına sıkıştırılır ve base64 formatına dönüştürülür; ardından görüntüyü sorgulamak için bir API isteği yapılır.

“`

Cihaz, OpenAI’nin GPT-4o modeline etkileşimde bulunmak için bu API çağrılarını kullanır; bu model hem metin hem de görüntü girdilerini kabul eder. Bu, kullanıcının “Bu nedir?” veya “Bunu çevir,” gibi sorular sormasına ve anında yanıt almasına olanak tanır. Metin yanıtı, ekran üzerinde, yakalanan görüntünün üzerine yerleştirilerek gösterilir. Yanıt 3 saniye boyunca gösterildikten sonra, ekran kamera akışını yayınlamaya geri döner ve bir sonraki komut için hazır hale gelir.

WatchThis’i yönlendiren yazılım, Arduino uyumlu C++ dilinde yazılmıştır ve doğrudan cihaz üzerinde çalışır. Hızlı ve verimli bir performans için optimize edilmiştir ve uçtan uca yanıt süresi yaklaşık 3 saniyedir. Ses tanıma veya metinden konuşmaya bağımlı kalmak yerine—ki bu yöntemler hata yapmaya ve kaynak tüketmeye eğilimlidir—sistem sorgular için doğrudan metin girişi kullanır. Kullanıcılar, cihazda sunulan bir WebApp aracılığıyla varsayılan sorgu istemini değiştirerek etkileşimlerini daha da kişiselleştirebilir; bu, nesneleri tanımlama, metin çevirme veya talimat isteme gibi özelleştirilmiş eylemler gerçekleştirmelerine olanak tanır.