Home Assistant, 2023’ü “ses yılı” olarak ilan etti ve kullanıcıların Home Assistant ve cihazlarıyla doğal dillerini kullanarak etkileşimde bulunmalarını sağlamak için cesur bir vizyon belirledi. Bu girişim, akıllı ev yönetiminin geleneksel yöntemlerini aşmayı hedefliyor; yalnızca terminal cihaz kullanımı veya basit ses komutlarının ötesine geçiyor. Ana zorluk, kullanıcının ses dili talepleri aracılığıyla kendi niyetlerini anlayabilen bir sistem tasarlamaktır; bu sayede gerçek akıllı ev otomasyonu sağlanabilir.
Home Assistant ile akıllı ev oluşturun, LLM kullanarak evi daha akıllı hale getirin
“Akıllı evi kendi dilimizle kontrol etme” vizyonunu takip ederek, bu sistemi geliştirdik; bu sistem, tinyML ve LLM (büyük dil modeli) entegrasyonu ile Home Assistant‘a ses kontrol seçeneği olarak eklenmiştir. Local Jarvis, daha akıllı ve daha özel bir akıllı ev yönetimi talebine yanıt olarak ortaya çıkmaktadır.
Home Assistant MQTT Entegrasyonu ile Home Assistant, AWS IoT Core ve yerel Greengrass MQTT aracısına bağlanabilir. Bu, bulutla, diğer yerel Greengrass bileşenleriyle ve aynı ağdaki cihazlarla çalışabileceği anlamına gelir. Böylece Home Assistant, AWS’nin Greengrass‘ını, özel olanları ve topluluk tarafından yapılanları kullanarak, ev otomasyonunu daha iyi hale getirebilir ve daha fazla şey yapabilir.
Home Assistant’ı LLM’lerle birleştirmek, bulut bağımlılığı olmadan karmaşık doğal dil işleme imkanı sunar. Bu yaklaşım, gizliliği garanti eder ve komut işleme süresinde gecikmeyi azaltır. Gelişmiş dil modellerinin kullanımı, sistemin kullanıcı etkileşimlerinden öğrenmesini sağlar; böylece akıllı ev otomasyonu sadece yanıt vermekle kalmaz, aynı zamanda öngörücü hale gelir.
tinyML ve LLM’leri birleştiren mimari, basitlik ve ölçeklenebilirlik düşünülerek tasarlanmıştır. Ses yakalamaya ReSpeaker ile başlayarak, NVIDIA’nın Riva ve Jetson AGX Orin ile işleme yaparak ve nihayetinde komutları Home Assistant Green Gateway aracılığıyla gerçekleştirerek, her bir bileşen ses girdilerini akıllı eylemlere dönüştürmede kritik bir rol oynamaktadır. Bu akıcı iş akışı, yalnızca gizliliği ve verimliliği sağlamakla kalmaz, aynı zamanda geliştiricilerin akıllı ev çözümlerini özelleştirmeleri ve genişletmeleri için yeni olanaklar sunar. Sistem şu bileşenlerden oluşmaktadır:
- ReSpeaker aracılığıyla sesi yakalamak, ardından Riva kullanarak konuşmayı metne dönüştürmek.
- NVIDIA Jetson AGX Orin’i kullanarak LLAMA2‘yi çalıştırmak, metni analiz ederek kullanıcı komutlarını anlamak ve uygun yanıtlar üretmek.
Local Voice Chatbot projemiz için GitHub reposumuzu kontrol edin.
3. Komutları yürütmek: Home Assistant Green Gateway aracılığıyla, modelin yanıtlarını eylemlere dönüştürmek, akıllı cihazları buna göre kontrol etmek.
4. Gerçek zamanlı geri bildirim ve kontrol için Home Assistant arayüzünü kullanmak, akıllı ortamla kullanıcı etkileşimini artırmak.
Local Jarvis projemiz için GitHub reposumuzu kontrol edin.
Temelinde, “Local Jarvis”, daha sezgisel ve güvenli ev otomasyonu çözümlerine olan artan talebe bir yanıt niteliğindedir. Yerel LLM’lerin gücünden yararlanarak, bu proje bulut tabanlı işleme ile ilişkili gizlilik endişelerini aşmakta ve kullanıcı verilerinin evin sınırlarını asla terk etmediği güvenli bir ortam sunmaktadır. Home Assistant ile entegrasyon, bu etkiyi artırarak akıllı cihazları kontrol etmek için ses komutlarıyla sorunsuz bir arayüz sağlar; bu da etkileşimi sadece daha akıllı değil, aynı zamanda doğası gereği daha doğal hale getirir.
Büyük dil modellerinin akıllı evinize ne söylemeye çalıştığınızı anlamasına izin verin.
“Nabu,” “Jarvis,” “Mirror” veya ışıkları kapatmak, termostatı ayarlamak veya otomasyonları yürütmek için seçtiğiniz herhangi bir isimle sorabilirsiniz. Tekil komutların ötesinde, “posta geldiğinde, bir mesaj bırak ve paket alımını onayla” gibi görevler vermek için Jarvis’e talimat verebilirsiniz. Dahası, akıllı merkez zamanla davranışlarınızı öğrendikçe, yaşam tarzınıza otomatik olarak uyum sağlayacak ve giderek daha akıllı hale gelecektir.
Gerçekten akıllı bir ev, ihtiyaçlarınızı tahmin edebilir ve manuel girdi olmadan görevleri sorunsuz bir şekilde yerine getirebilir. Böyle bir akıllı ortam yaratmanın özü otomasyondadır. Otomasyon olmadan, akıllı ev sadece uzaktan kontrol edilebilen bir dizi cihaz haline gelir. LLM’leri kullanarak, “Local Jarvis” karmaşık komutları çözebilir ve bağlama duyarlı etkileşimlerde bulunabilir; bu da ev otomasyonunda daha önce görülmemiş bir kişiselleştirme düzeyi sunar. Kullanıcı alışkanlıklarından ve tercihlerinden öğrenme ve uyum sağlama yeteneği, reaktif akıllı evlerden proaktif akıllı evlere geçişi simgeler; burada sistemler yalnızca komutlara yanıt vermekle kalmaz, aynı zamanda ihtiyaçları da öngörür.
Seeed NVIDIA Jetson Ekosistemi
Seeed, NVIDIA Partner Network‘deki kenar AI için bir Elite ortaktır. Daha fazla taşıyıcı kart, tam sistem cihazları, özelleştirme hizmetleri, kullanım durumları ve geliştirici araçları keşfetmek için Seeed’in NVIDIA Jetson ekosistemi sayfasını ziyaret edin.
AI yeniliğinin ön saflarında bizimle birlikte yer alın! Keskin donanım ve teknolojinin gücünü kullanarak, makine öğreniminin gerçek dünyada farklı sektörlerde devrim yaratmasını sağlayın. Geliştiricilere ve işletmelere en iyi ML çözümlerini sunma misyonumuzun bir parçası olun. Daha fazla kenar AI olasılıklarını keşfetmek için başarılı vakalar kataloğumuzu kontrol edin!
Sonsuz bilgisayarla görme uygulama olasılıklarını keşfedin; görsel AI kaynak merkezi aracılığıyla!
İlk adımı atın ve bu heyecan verici yolculuğun bir parçası olmak için bize edgeai@seeed.cc adresinden e-posta gönderin!
Size uygun bir seçenek bulmak için en son Jetson Kataloğumuzu indirin. İhtiyaçlarınıza uygun hazır Jetson donanım çözümünü bulamazsanız, lütfen özelleştirme hizmetlerimizi kontrol edin ve değerlendirme için yeni bir ürün talebi gönderin: odm@seeed.cc.