Bu proje, mühendisimiz Mengdu tarafından Hackster‘da ilk kez yayımlandı ve burada daha fazla insanın gerçek zamanlı LLM sesli sohbetin ne kadar basit olabileceğini keşfetmesine yardımcı olmak için paylaşılıyor.
Nesnelerin İnterneti (IoT), bize inanılmaz olanaklar sundu ve yapay zeka alanındaki ilerlemelerle birleştiğinde, potansiyel daha da heyecan verici hale geliyor. SenseCAP Watcher ile tanışın; ESP32-S3 MCU ile güçlendirilmiş kompakt ve güçlü bir cihaz. Yakın zamanda, en son Espressif’in OpenAI API belgelerinde belirtilen OpenAI API entegrasyonunu denedim ve gerçek zamanlı bir sesli sohbet demosu oluşturdum.
Bu blog, SenseCAP Watcher’ı nasıl kurduğumu, ses giriş ve çıkışını nasıl entegre ettiğimi ve doğal ve sezgisel bir konuşma asistanı oluşturduğumu anlatacak. Hadi başlayalım!
SenseCAP Watcher Nedir?
SenseCAP Watcher, SenseCAP IoT cihazları ailesinin bir parçasıdır. SenseCAP Watcher, Arm Cortex-M55 & Ethos-U55 ile birlikte Himax WiseEye2 HX6538 AI çipini içeren ESP32S3 üzerine inşa edilmiştir ve görüntü ve vektör veri işleme konusunda mükemmeldir. Kamera, mikrofon ve hoparlör ile donatılmış olan SenseCAP Watcher, görebilir, duyabilir ve konuşabilir. Ayrıca, LLM destekli SenseCraft paketi ile SenseCAP Watcher, komutlarınızı anlar, çevresini algılar ve buna göre eylemleri tetikler. Özellikleri şunlardır:
- ESP32-S3 MCU: Yerleşik AI hızlandırma ve düşük güç tüketimi özelliklerine sahip çift çekirdekli bir işlemci.
- Yerleşik Mikrofon: Sesli komutlar veya konuşma tanıma gibi ses girişi için mükemmel.
- Wi-Fi ve Bluetooth: Buluta ve diğer cihazlara kesintisiz bağlantı sağlar.
- Kompakt Tasarım: Minimal alan gereksinimleri ile IoT uygulamaları için tasarlanmıştır.
Güçlü ESP32-S3 çipi, özellikle ses tanıma ve doğal dil anlama gibi gerçek zamanlı işleme gerektiren AI uygulamaları için idealdir.
Fikir: OpenAI ile Gerçek Zamanlı Sesli Sohbet
Bu projenin amacı, SenseCAP Watcher kullanarak gerçek zamanlı bir sesli asistan yaratmak ve OpenAI API’sini kullanarak konuşma etkileşimlerini yönetmektir. Espressif’in esp-iot-solution’daki en son güncellemeleri ile OpenAI’nin yeteneklerini ESP32 tabanlı cihazlara entegre etmek oldukça kolay hale geldi.
Bu demo için iş akışı şu şekildedir:
1. SenseCAP Watcher mikrofonunu kullanarak ses girişini yakalayın.
2. Ses kaydını OpenAI API’sine gönderin.
3. API yanıtını alın ve işleyin, ardından metni gerçek zamanlı sesli çıkış için tekrar konuşmaya dönüştürün.
Adım Adım: Sesli Sohbet Demosunu Oluşturma
Adım 1: Geliştirme Ortamını Kurma
Başlamak için, ESP32-S3 için geliştirme ortamını kurdum:
1. ESP-IDF v5.2.1’i Yükleyin: Espressif’in resmi web sitesinden ESP-IDF’nin 5.2.1 sürümünü indirin ve yükleyin. Bu, ESP32 tabanlı cihazları programlamak için gereken SDK’dır.
2. Watcher Firmware Kodunu Klonlayın: SenseCAP Watcher gerçek zamanlı OpenAI entegrasyonu için firmware kodu aşağıdaki GitHub deposunda bulunabilir: SenseCAP-Watcher-Firmware/examples/openai-realtime
“`
Bu depo, SenseCAP Watcher, ESP32-S3 ve OpenAI API kullanarak gerçek zamanlı bir sesli sohbet uygulaması oluşturmak için örnek kodlar içermektedir.
3. Donanım Kurulumu:
- SenseCAP Watcher’ı bilgisayarınıza USB-C kablosu ile bağlayın.
- Aygıtın sisteminiz tarafından algılandığından ve programlamaya hazır olduğundan emin olun.
Adım 2: OpenAI API Entegrasyonu
Wi-Fi’yi Yapılandırın
Wi-Fi bağlantısını kurmak için wifi_sta komutunu kullanın:
wifi_sta -s <SSID> -p <PASSWORD>
<SSID> kısmını Wi-Fi ağ adınızla değiştirin.
<PASSWORD> kısmını Wi-Fi şifrenizle değiştirin.
OpenAI API Anahtarını Yapılandırın
OpenAI API anahtarını kurmak için openai_api komutunu kullanın:
openai_api -k <API_KEY>
<API_KEY> kısmını OpenAI API anahtarınızla değiştirin.
Bu yapılandırmalar tamamlandığında, SenseCAP Watcher internete bağlanmaya ve gerçek zamanlı uygulamalar için OpenAI API ile etkileşimde bulunmaya hazır olacaktır.
Adım 3: Demo’yu Çalıştırma
Tüm bileşenler yerinde olduğunda, demo’yu çalıştırdım:
1. Bir Sohbet Başlatın: SenseCAP Watcher’a konuşarak “Dünya savaşı ne zaman oldu?” gibi bir soru sordum.
2. İşleme: Aygıt, sesimi metne dönüştürdü, OpenAI API’ye gönderdi ve bir yanıt aldı.
3. Oynatma: Yanıt, konuşmaya dönüştürüldü ve gerçek zamanlı olarak oynatıldı:
– “Tarihte iki büyük dünya savaşı olmuştur: Birinci Dünya Savaşı (Büyük Savaş) Tarihler: 28 Temmuz 1914 – 11 Kasım 1918…”
Gecikme etkileyici derecede düşüktü ve sohbet doğal ve sezgisel hissettirdi.
Zorluklar ve Çözümler
1. Gecikme: ESP32-S3 güçlü olsa da, ağ gecikmesi bazen gecikmelere neden olabiliyor. Bunu azaltmak için API istek boyutunu optimize ettim ve stabil bir Wi-Fi bağlantısı sağladım.
2. Ses Kalitesi: Mikrofon ve hoparlör ayarlarını ince ayar yaparak genel ses girişi ve çıkış kalitesini artırdım.
Anahtar Çıkarımlar
Bu proje, SenseCAP Watcher ve OpenAI API’nin bir araya gelerek etkileyici ve pratik bir gerçek zamanlı sesli asistan oluşturabileceğini göstermiştir. ESP32-S3’ün AI yetenekleri ve Espressif’in sorunsuz OpenAI entegrasyonu, konuşma tabanlı AI ile IoT cihazları geliştirmek isteyen geliştiriciler için mükemmel bir seçimdir.
Gelecek Olasılıkları
Bu demo sadece bir başlangıç! Bu projeyi genişletmek için bazı fikirler:
1. Akıllı Ev Asistanı: Evdeki IoT cihazlarını sesli komutlarla kontrol edin.
2. Çok Dilli Destek: OpenAI’nin modellerini kullanarak diller arasında gerçek zamanlı çeviri yapın.
3. Kenar AI İyileştirmeleri: Daha hızlı yanıtlar ve buluta daha az bağımlılık için daha fazla cihaz içi işleme uygulayın.
IoT ve AI dünyası hızla büyüyor ve SenseCAP Watcher ve OpenAI API gibi araçlar daha akıllı, daha etkileşimli cihazların yolunu açıyor. IoT fikirlerinizi gerçeğe dönüştürmek için heyecanlıysanız, keşfetmek için mükemmel bir zaman!