Son zamanlarda, Budapeşte’deki MOME Robotics Studio tarafından, Profesör Renáta Dezső’nün, Bruno Munari’nin 1963 tarihli “İtalyan Sözlüğü’ne Ek” adlı eserinden ilham alan (İtalyan) jestlerin kullanımına odaklanan dersinde bir konferans vermek üzere davet edilmek benim için bir onur oldu.
MOME’deki Ders
Aslında, öğrenciler için dersimin amacı, Sensecraft ile Xiao ESP32S3 Sense modüllerini kullanarak bir model eğitmekti. Bu tamamlandığında, veriler Touch Designer -öğrencilerin kurulumlar oluşturmak için yaygın olarak kullandığı bir yazılım- aracılığıyla Node-RED üzerinden gönderilecekti.
Bir YouTube videosu (İngilizce altyazılı) çektim ve her şeyi GitHub deposuna kaydettim, böylece tüm deneyimi yeniden oluşturabilirsiniz.
Her katılımcıya bir Xiao ESP32Se Sense verildi ve Sensecraft AI platformunda ilk adımlarımızı attık. Başlangıçta, platformun kullanıcıların çeşitli kartlarla arayüz oluşturmasına olanak tanıdığını anlamak amacıyla bu, kullanıcıların mevcut prototipleme seçeneklerini keşfetmemizi sağladı: SenseCAP A1102 ve Watcher, Jetson Orin Nano ve daha küçük kartlar: Grove Vision AI 2 ve Xiaolar.
Bu nedenle, daha basit ama her zaman doğru olmayan önceden tanımlı modellerle “tanıştık”: bu, model oluşturma kavramını ve her model için fotoğrafların parlaklığı ve çeşitliliğinin önemini tanıtmama olanak tanıdı, ayrıca elbette algılama ve sınıflandırma arasındaki farkı da.
Herkes, en ilginç buldukları jestleri (mutlaka İtalyan olanlar değil, her türlü jest!) kaydederek kendi modellerini geliştirdikten sonra, atölyenin ana zorluğu netleşti.
Kameranın yerel olarak nasıl alınacağına dair en iyi yolu bulmak istedim. Sensecraft’taki mevcut seçenekler arasında MQTT‘yi seçtim ve yerel ağda bir broker barındırarak, sınıfa Node-RED‘in JSON dosyasından veri çıkarmak ve bunu -bu durumda- Touch Designer‘ıma OSC komutu olarak göndermek için güçlü yeteneklerini göstermeye karar verdim. Sınıfı kurduk, herkes benim yönlendiricime bağlıydı ve böylece her Xiao’dan gelen mesajları sahibinin Touch Designer’ına iletebildim. En cesur olanlar kendi aracılık firmalarını kurdular ve her şeyi kendi başlarına yaptılar.
Exalt Interactive’deki Ders
O aynı günün öğleden sonrasında, yenilik ve UX odaklı büyük bir şirkette ikinci bir konferans vermek üzere davet edildim: Exalt Interactive.
Bu tür bir toplantı biraz farklıydı: sistemin yeteneklerini her şeyi kendim yaparak, çok yavaş bir şekilde gösterdim.
Katılımcıların birçok sorusu vardı ve özellikle Sensecraft’ta henüz test etmediğim bazı özellikler hakkında çok meraklıydılar, örneğin sesler, gürültüler ve arızalar için eğitim. Bunu 20 öğrencilik bir sınıfla aynı anda yapmak mümkün değil, ancak sunumlarda bir dram duygusu yaratmak için anlamlı olabilir. Not: titreşim analizi modelini göstermek için kullanabileceğiniz küçük bir motor getirin!
Atölyenin son kısmını değiştirmeye karar verdim: Touch Designer’ı OSC aracılığıyla kontrol etmek yerine, Philips HUE ampulünün davranışını nasıl kontrol edeceğimi Tamas Fogarasy’nin ekibine göstereceğim. Deneyin bir gösterimini 34 saniyede yeniden oluşturdum, solda kısa bir GIF.
Jestlere dayalı akıllı ev ortamlarını kontrol etme olanağını bulmak, mobilyalara ve arayüzlere yeni kültürel ve fiziksel anlam katmanları eklemek için birçok fırsat açıyor, bu da son derece ilham verici.
Bu fırsat kaçınılmaz olarak gizlilik sorununu öncelikli bir endişe olarak gündeme getiriyor: kendi cihazlarımız veya başkalarının cihazları, şehirlerdeki ve evlerimizin dışındaki kameralar tarafından sürekli izlenirken, evlerimizin içinde bizi izleyen bir cihaz her zaman hoş karşılanmıyor. Ancak Sensecraft’ın Tiny Machine Learning’i tam olarak bunu sunuyor: hiçbir iletişim veya akış olmadan çevrimdışı tanıma.
Bu konuyu derinlemesine keşfettiğim ve bunu İtalyan jestleri için eğlenceli bir metafora dönüştürdüğüm için mutluyum – ama sadece bu değil.