Robotlar daha zeki, daha otonom ve daha etkileşimli hale geliyor. Bu projede, bir Kiwi sürüş robotunu, uzak alan uyanma kelimesi algılama, doğal dil sesli komutlar, gerçek zamanlı hareket kontrolü, eşzamanlı ses oynatma ve konuşma tanıma ile eller serbest insan-robot etkileşimi gerçekleştirebilen ses etkileşimli bir bedensel AI sistemine dönüştürmek için LeKiwi Robot platformunu reSpeaker Flex ile birleştirdik. Ses AI’sını robotik ile entegre ederek, sistem kullanıcıların robota doğal bir şekilde konuşmasını ve çok daha sezgisel ve etkileşimli bir şekilde gerçek zamanlı yanıtlar almasını sağlıyor.
Neden reSpeaker Flex mikrofon dizisini LeKiwi’ye ekleyelim?
LeKiwi zaten son derece esnek bir robotik platform. Ancak reSpeaker Flex’i entegre ettikten sonra, robot temelde farklı bir şey kazanıyor: Gerçek bir ses etkileşim arayüzü.
Bu, bir USB mikrofon takmaktan çok daha fazlasıdır.
reSpeaker Flex 4 mikrofon dizisi, aşağıdakileri içeren yerleşik akustik zekâ sağlar:
- Akustik Yankı İptali (AEC)
- Beamforming
- Gürültü Bastırma (NS)
- Geliş Yönü (DoA)
- Uzak alan ses alımı
Bu yetenekler, robotun sesli komutları anlamaya devam etmesini sağlar:
- Müzik çalarken
- Motor gürültüsü ile hareket ederken
- Gürültülü ortamlarda çalışırken
Bu, bedensel AI’daki temel zorluklardan biridir: Robotlar fiziksel dünyada insanları güvenilir bir şekilde nasıl “duyabilir”?
reSpeaker Flex, sesi basit ses yakalamak yerine bir algılama katmanına dönüştürerek bu sorunu ele alır.
LeKiwi Robot Neler Yapabilir?
Entegre edildikten sonra, LeKiwi Robot tamamen sesle kontrol edilen bir robotik sisteme dönüşür.
Kullanıcılar, aşağıdaki gibi komutlarla doğal bir şekilde etkileşimde bulunabilir:
- “Hey Jarvis, ileri git”
- “Sola dön”
- “Sağa kay”
- “Dur”
Sistem şunları destekler:
- Uyanma kelimesi aktivasyonu
- Konuşmadan metne transkripsiyon
- LLM tabanlı komut anlama
- TTS aracılığıyla sesli geri bildirim
- Gerçek zamanlı motor kontrolü
Bu, insanlar ve robotlar arasında çok daha doğal bir etkileşim döngüsü oluşturur.
Kullanıcılar butonlara basmak veya hareketi manuel olarak kontrol etmek yerine, robota basitçe konuşurlar.
Sistem Mimarisi
Proje, bir ses borusuna bir araya getirilmiş birden fazla AI ve robotik bileşeni birleştirir.
Donanım
Kurulum şunları içerir:
AI Boru Hattı
Etkileşim akışı şu şekilde çalışır:
Uyanma Kelimesi → Konuşma Tanıma → LLM Akıl Yürütme → TTS Yanıtı → Robot Hareketi
Bu mimari, ses AI’sını ve robotikleri tek bir bedensel etkileşim sistemine birleştirir.
Neden Uzak Alan Ses Alımı Önemlidir
Projenin en etkileyici yönlerinden biri, uzak alan ses etkileşim yeteneğidir.
Testlerde, robot 5-7 metre mesafeden uyanma kelimelerine ve komutlara başarılı bir şekilde yanıt verdi.
Bu, gerçek robotik uygulamalar için son derece önemlidir çünkü kullanıcılar nadiren robotun hemen yanında durur.
Uzak alan alımı, robotların:
- Odalar arasında komutları duymasını
- Hareket ederken doğal bir şekilde etkileşimde bulunmasını
- Elleri serbest işletimi desteklemesini
- Dinamik ortamlarda yanıt verebilirliğini sürdürmesini
Beamforming ve gürültü bastırma ile birleştirildiğinde, reSpeaker Flex, geleneksel mikrofonlardan çok daha güvenilir bir etkileşim sağlar.
Gerçek Dünya Robotik Zorlukları
Robotlar hareket etmeye ve aynı anda konuşmaya başladığında ses etkileşimi çok daha zor hale gelir.
Robotlar kendileri gürültü üretir. Motorlar döner. Hoparlörler sesli geri bildirim verir. Kullanıcılar farklı mesafelerden ve yönlerden etkileşimde bulunur. Gerçek dünya ortamlarında, robotların ayrıca uzak alan ses alımını, farklı pozisyonlar arasında net konuşma geri bildirimi için yeterince güçlü yerleşik hoparlör çıktısını, oda yankılanmasını, arka plandaki konuşmaları ve yansımalar veya kısmi engellerle akustik olarak karmaşık alanları yönetmesi gerekir.
Uygun akustik işleme olmadan:
- Robot kendi hoparlör çıktısını duyar
- Motor gürültüsü ASR ile karışır
- Uyanma kelimesi doğruluğu düşer
- Konuşma tanıma kararsız hale gelir
Bu senaryolarda, istikrarlı ve doğal insan-robot etkileşimi, basit ses girişi gerektiren çok daha fazlasını gerektirir; mekansal ses algısı, sağlam uzak alan ses yakalama ve gerçek zamanlı akustik işleme gerektirir.
Bu nedenle, beamforming, Akustik Yankı İptali (AEC), gürültü bastırma ve Geliş Yönü (DoA) gibi akustik algoritmalar, bedensel AI sistemleri için hayati önem taşır.
Yerleşik AEC ile, reSpeaker Flex, robotun kendi oynatma sesini bastırırken kullanıcı konuşmasını koruyabilir.
Beamforming, gürültü bastırma ve uzak alan ses alımı ile birleştirildiğinde, reSpeaker Flex, robotun sesli komutları anlamaya devam etmesini sağlar:
- Müzik çalarken
- Motor gürültüsü ile hareket ederken
- Gürültülü ortamlarda çalışırken
Bu, robotun:
- Müzik çalmasını
- TTS aracılığıyla konuşmasını
- Aynı anda dinlemeye devam etmesini
Bu tam çift yönlü etkileşim modeli, doğal bedensel AI deneyimleri için esastır.
Sadece Bir Robot Demo’sundan Daha Fazlası
Böyle projeler, robotikte daha geniş bir eğilimi göstermektedir:
Robotlar, pasif makinelerden etkileşimli AI sistemlerine evrim geçiriyor.
Ses, bedensel AI için en doğal arayüzlerden biri haline geliyor çünkü:
- Elleri serbest etkileşim
- Düşük gecikmeli kontrol
- Doğal iletişim
- Çok modlu algılama
Ve mikrofon dizileri, bu etkileşimin arkasındaki “duyma sistemi” olarak giderek daha önemli hale geliyor.
Ses kaydetmek yerine, reSpeaker Flex gibi sistemler:
- Mekansal işitme
- Akustik algılama
- Gürültüye dayanıklı etkileşim
- Gerçek zamanlı ses zekâsı
Bu, robotların insan ortamlarında daha doğal bir şekilde çalışmasını sağlar.
Kendi Ses Robotunuzu İnşa Etmeye Başlayın
Bu proje, aşağıdaki konularla ilgilenen geliştiriciler için güçlü bir başlangıç noktası sağlar:
- Bedensel AI
- Sesli robot teknolojileri
- Yerel AI ajanları
- İnsan-robot etkileşimi
- Edge AI ses sistemleri
LeKiwi ile reSpeaker Flex‘i birleştirerek, geliştiriciler doğal konuşma etkileşimi ve gerçek dünya tepkisi verebilen robotları hızlı bir şekilde prototipleyebilirler.
İster şunları inşa ediyor olun:
- AI arkadaş robotlar
- Eğitim robotları
- Etkileşimli asistanlar
- Akıllı hizmet robotları
- Deneysel bedensel AI sistemleri
ses etkileşimi hızla deneyimin temel bir parçası haline geliyor.
Ve bu, robotlara akıllıca duyma yeteneği vermekle başlar.
reSpeaker Flex’i buradan edinin: reSpeaker Flex 4-Mikrofon Dizisi: Bedensel AI için Ayrılmış Tip | Seeed Studio
LeKiwi Kit’i buradan edinin: LeKiwi Tam Kit (12V Versiyonu)
LeKiwi + reSpeaker Flex entegrasyon wiki’sini buradan kontrol edin: reSpeaker Flex ile LeKiwi Robotunuza Ses Etkileşimi Ekleyin | Seeed Studio Wiki