Gör+Dinle, Anla ve Tepki Ver | Entegre IA | ChatGPT / LLM | Etkileşim ile
Ses | Animasyon | Özel Uygulama | HTTP | + Sensörler.
belirli bir alan; böylece LLM’ler orada neler olduğunu anlayabilir.
Örneğin, bir kişinin bir Nintendo Switch’i bir
rafın önünde tuttuğunu veya iki kişinin kostüm giyerek okuduğunu tespit edebilir. Bu yetenek,
otomatik olarak birçok eylemi tetikleyebilir, örneğin Switch’i olan kişiye en son çıkan oyunları
önermek veya satıcıya gelmesi için bir mesaj göndermek.
Bu nedenle, LLM’leri fiziksel dünyaya getirmek, akıllı
binalarda ve evlerde zekayı önemli ölçüde artırabilir. Ancak, bu yeteneği mevcut
otomasyon sistemlerine kolayca nasıl ekleyebiliriz?
Çözümümüz SenseCAP Watcher, dünyanın ilk fiziksel LLM ajanı
akıllı alanlar için.
SenseCAP Watcher, ESP32S3 üzerine inşa edilmiştir ve Arm Cortex-M55 & Ethos-U55 ile birlikte Himax WiseEye2 HX6538 AI çipini içermektedir. Bu,
görüntü işleme ve vektör verileri konusunda öne çıkmaktadır. Bir kamera, mikrofon ve
hoparlör ile donatılmış olan SenseCAP Watcher, görebilir, duyabilir ve konuşabilir. Ayrıca, LLM tarafından etkinleştirilen SenseCraft paketi ile
SenseCAP Watcher, komutlarınızı anlar, çevresini algılar ve buna göre eylemleri tetikler.
Komutunu sadece telaffuz et
Yalnızca Watcher ile konuş, neyi gözlemlemesi gerektiğini söyle ve belirtilen olay gerçekleştiğinde seni bilgilendirecektir.
Komutları kolayca, konuşmak için basarak veya SenseCraft uygulamasından gönderebilirsin.
Gördüğünü anlama
İçeride entegre AI modelleri ile SenseCAP Watcher,
farklı şeyleri tespit edebilir: insanlar, elmalar, evcil hayvanlar vb. Ancak, Watcher‘ın en belirgin özelliği LLM’lerle entegrasyonudur.
LLM’leri kullanarak, Watcher, belirttiğin kesin olayları yakalayabilir, bu da basit hedef tespitinin ötesine geçmek anlamına gelir, çünkü davranışları ve durumları tamamen analiz eder. Örneğin, “köpek + top ile oynuyor, 0
kişi + odada” veya “DHL üniforması giymiş kişi geldi” gibi.
Watcher gerçekten gözetim altındaki sahneyi anlıyor!
LLM’leri sürekli olarak ChatGPT gibi çağırmak yüksek maliyetler doğurur. Bu nedenle, cihazda + LLM’ler mimarisini kullanıyoruz. Watcher‘daki AI modeli hedefi tespit eder, ardından LLM tarafından analiz edilerek kesin ve uygulanabilir fikirler üretir.
“Köpeğin kağıt yırtıp yırtmadığını bana söyle” görevinde, cihazın modeli köpekleri tespit ettiğinde, bu ana sahne LLM’ye daha derin bir analiz için gönderilir: kağıt mı yırtıyor? LLM’ler insanlar, kediler, sincaplar veya diğerleri tarafından tetiklenmeyecek. Bu, LLM’lerin maliyetini büyük ölçüde azaltır.
Sesle yanıt ver
Belirtilen olayı tespit ettikten sonra, Watcher, hedeflerle ses aracılığıyla etkileşimde bulunabilir. Örneğin, bunu şu şekilde ayarlayabilirsin:
Belirtilen olay: biri pembe klavyeyi alıyor;
İki belirtilen tepki:
1. “İyi seçim! Bu, yazı makinesi Pink Royal’dan ilham alan en son versiyonumuz” diyen bir sesli yanıt;
2. Diğer tepki, satıcılara “En son klavyeye ilgi duyan biri var! Lütfen en kısa sürede rafa gidin” mesajıdır.
Watcher‘ı farklı senaryolarda yerleştirmek, çok yönlü yanıtlar sağlar. Bir köpeğin peçeteleri yırttığını gördüğünde, “Dur, Cooper!” de veya yasak olan alanlarda birinin sigara içtiğini gördüğünde, “Sigara içme!” de.
Sistemlerini nasıl geliştirebilirsin? Sadece basit bir eklentiye ihtiyacın var.
basit.
Hedef olayı tespit ettikten sonra, farklı eylemleri tetikleyebilir, örneğin, göndermek için
SenseCraft uygulamasında push bildirimleri gönderebilir veya Watcher LED ışıklarının yanıp sönmesini sağlayabilirsiniz.
Elbette, uygulama veya cihazın işlevselliğinin ötesine geçmek istediğinizi anlıyoruz. Sorun değil! Keşfedilecek sonsuz olasılık var!
Watcher’ı Home Assistant’a ekleyin.
Home Assistant gibi IoT platformlarına bağlı olan Watcher, bir
davranış sensörü olarak, çeşitli bağlamlarda özel eylemleri tetikler. Örneğin, insanlar tespit edildiğinde, Watcher durumu analiz eder ve otomatik olarak
eylemleri başlatır: okumak için ışıklar açılır ve uyumak için ışıklar kapatılır.
Görsel bir sensörden daha fazlası, Watcher, diğer sensörlerle genişletilebilir
çok modlu algılama için. Watcher’ın arkasında, I2C, 100’den fazla Grove sensörünü barındırmak için ayrılmıştır. Bu esneklik, Watcher’ın kapsamlı bir analiz ve
uygun eylemler için geniş bir veri kaynağı yelpazesini entegre etmesini sağlar. Oda sıcaklığını tespit edip, buna göre klima ayarlamak gibi uygulamalar oluşturabilirsiniz: takım elbise giydiğinizde 22°C’ye, şort giydiğinizde ise 26°C’ye ayarlamak.
Watcher’ı Node-RED akışınıza ekleyin
Sadece 3 blok mesafede, Watcher tarafından tespit edilen sonuçları Node-RED aracılığıyla internette herhangi bir yere iletebilirsiniz, tıpkı bir tıklama kadar kolay!
Watcher’ı Arduino | ESP32 ve diğer sistemlere ekleyin
donanım.
Arduino/ESP32/Raspberry Pi gibi popüler MCU ve SBC’lere bir AI ajanı eklemek mi istiyorsunuz? Sadece Watcher‘ı UART, HTTP veya USB aracılığıyla bağlayın ve zekanın yeni sınırlarını keşfedin.
İlginç bir bilgi: Burada Seeed’de, Watcher “Nobody” lakabıyla anılmaktadır, bu da bir bedeni olmayan bir robotu simgeler. Bu güçlü bir mesaj iletir: Watcher’a bir beden verin!
Watcher, robotunuz için harika bir kafa olabilir!
XIAO hayranları için özel bir paketimiz var! SenseCAP
Watcher’ı destekleyin ve sadece 1$ karşılığında bir XIAO ESP32C6 ekleyin.
XIAO ESP32C6, akıllı evler için Matter’a yerel olarak sahip, kompakt bir MCU’dur. Espressif’in ESP32-C6’sına dayanmaktadır ve çeşitli kablosuz bağlantıları destekler: Wi-Fi 6, 2.4 GHz, BLE 5.0, Zigbee ve Thread.
Örneğin, Watcher’ı XIAO’ya ekleyerek bir duygu sensörü yapabilirsiniz. Kötü ruh halinizi tespit ettiğinde, sizi neşelendirmek için açar.
Watcher’ınıza benzersiz duygular verin
SenseCAP Watcher, “modlar” ile komutlarınıza uyum sağlar. Önce talimatlarınızı DİNLEYİN, ardından belirlenen alanı korumak için GÖZETİM moduna geçin,
vs. Ama eğlence burada bitmiyor! Kendi duygu tasarımlarınızı yükleyebilirsiniz
Watcher’ınıza benzersiz bir kişilik kazandırmak için. Bir PNG dosyası hazırlayın ve Watcher’a saniyeler içinde yükleyin! Seçim sizin!
Watcher’ın varsayılan emojileri, en büyük yardımcılarımızdan biri olan C-3PO’dan ilham alınmıştır.
“`html
Kendi .PNG formatındaki dosyalarınızı kolayca yükleyebilirsiniz.
Ayrıca SenseCAP’ınız için benzersiz bir kullanıcı arayüzü (UI) tasarlayabilirsiniz.
Watcher. Mevcut arayüzümüz Squareline tarafından desteklenmektedir.
Açık Kaynak ve Yerinde Dağıtım.
Bir AI cihazı olarak, gizliliğe saygı göstermek esastır. Ve bu akıllı cihazda iki temel stratejiyi benimsiyoruz ve uyguluyoruz.
1. SenseCAP Watcher açık kaynaklıdır, bu da size nasıl çalıştığını derinlemesine anlamak için tam erişim sağlar.
2. Yerinde dağıtımı destekler. SenseCAP Watcher’ın omurgası, Watcher’ı yapılandırmak, komutlarınızı yorumlamak ve LLM’lere erişmek için kullanılan SenseCraft yazılım paketidir. Bu nedenle, her şey özel olarak depolanır ve çalıştırılır, modellerinizin ve verilerinizin herhangi bir LLM veya kamu bulutuna gönderilmesini garanti eder. SenseCraft, Windows/MacOS/Linux üzerinde çalıştırılabilir. SenseCraft LLM’ler içerdiğinden, aşağıda detaylandırıldığı gibi bilgisayar için belirli performans kriterleri gereklidir.
SenseCraft’ı yedek bilgisayarlarınıza dağıtabilirsiniz. Ancak, ticari düzeyde güvenilirlik ve düşük enerji tüketimi gerektiren uygulamalar arıyorsanız, SenseCAP Watcher + NVIDIA® Jetson AGX Orin™ kombinasyonu sizin için mükemmeldir.
Tüketici grafik kartları (örneğin RTX 4090) ile AI görevleri için karşılaştırıldığında, NVIDIA® Jetson AGX Orin™ önemli avantajlar sunar:
1. Endüstriyel düzeyde güvenilirlik: Endüstriyel ve ticari uygulamalar için tasarlanmış Jetson AGX serisi, daha uzun bir MTBF (ortalama arıza süresi) sunar. 24 saat çalışacak şekilde tasarlanmış olup, sürekli çalışma uygulamaları için tüketici grafik kartlarına kıyasla üstün bir güvenilirlik sunar.
2. Komple ve düşük enerji tüketimi: Gömülü ve kenar bilişim uygulamaları düşünülerek tasarlanan Jetson AGX serisi, daha küçük bir formatta tasarlanmıştır ve tüketici grafik kartlarından 3 kat daha az enerji tüketir. Dar alanlar için uygundur, daha az ısı üretir ve işletme maliyetlerini azaltmaya yardımcı olur. Bu, gömülü sistemler için kritik öneme sahiptir.
Abonelik? Sen karar ver!
SenseCraft AI Hizmetleri ihtiyaçlarınıza göre tasarlanmıştır.
Basic ile başlayın, düşük frekans için tamamen ÜCRETSİZ: 15 dakika/istek için görüntü analizi, LLM’lerle ayda 200 sohbet.
Daha fazlasına mı ihtiyacınız var? Sadece $6.90 karşılığında Pro sürüm, sadece kullandığınız kadar ödeyin, TEKRARLI ücret taahhüdü YOK! Ayrıca, her YENİ cihaz bir
$6.90 değerinde ÜCRETSİZ Pro paketi içerir! Gerekirse yeniden yükleyin.
Ücretlerden tamamen kaçınmak mı istiyorsunuz? Yerinde seçeneğini tercih edin. Sadece dağıtın ve ek maliyet olmadan kullanın.
İki model
Birden fazla montaj yöntemi desteği.
Bir masa üstüne yerleştirilebilir veya akıllı bir genişleme olarak duvara monte edilebilir. Ayrıca bir robotun başına da dönüştürülebilir.
Diğerleri bunu şu şekilde kullandı
Özelleştirme – Donanım inşa etmenin en hızlı yolu
AI ile.
Bir sonraki cihaz AI tarafından desteklenmelidir. LLM’lere bağlı yerleşik AI donanımı trendi!
SenseCAP Watcher ile, güçlü LLM’leri fiziksel dünyanın kenarına taşıyan devrim niteliğinde bir çerçeve geliştirdik. Bu çerçeve, AI ile donanım prototiplemesini hızlandırır. Özelleştirme hizmetlerimizle, AI donanımınızı daha önce hiç olmadığı kadar hızlı bir şekilde hayata geçirebilirsiniz!
“““html
Artık alanınızın zekasını artırma zamanı! Biz Discord’dayız.
Topluluğumuza katılmak için hoş geldiniz! Eğer bizimle yazılı olarak iletişime geçmek isterseniz, bunu
e-posta ile sensecap@seeed.cc. yapabilirsiniz.
Riskler ve zorluklar
SenseCAP Watcher ile kapsamlı testler gerçekleştirdik ve sponsorlarımıza zamanında teslim etmek için tamamen
kararlıyız, her şeyin sorunsuz çalışmasını sağlamak için. Ancak, her yeni ürünle birlikte, lansmanla ilgili potansiyel
riskler bulunmaktadır.
Yine de, yüzlerce ürün geliştirme konusunda kanıtlanmış bir geçmişe sahip köklü bir şirket olarak, bu zorlukların üstesinden nasıl geleceğimizi biliyoruz. Eğer üretimle ilgili sorunlar ortaya çıkarsa, sponsorlarımıza tamamen şeffaf olacağımızdan ve sürecin her aşamasında onları bilgilendireceğimizden emin olabilirsiniz.
Yapay Zeka Kullanımı
Projemde yapay zeka tarafından üretilen içerik kullanmayı düşünüyorum.
Projenizin hangi kısımları yapay zeka tarafından üretilen içerik kullanacak? Lütfen
mümkün olan en doğru şekilde yanıtlayın.
Ürünümüzün özelliklerini vurgulayan ve gerçek senaryolarda nasıl kullanılabileceğini gösteren görseller oluşturmak için MidJourney’den yapay zeka tarafından üretilen içerik kullanacağız. Ayrıca, kampanyamızın stil düzeltmeleri için ChatGPT’yi kullanacağım.
Kullandığınız (veya kullanacağınız) eserlerin sahiplerinden izin aldınız mı? Lütfen açıklayın.
İhtiyacımız olan görseller için önce Google’daki mevcut kütüphanelerde arama yapacağız. Eğer doğrudan kullanılabilecek görseller bulursak, uygun adımları belirlemek için lisanslarını kontrol edeceğiz. Eğer görseller doğrudan kullanılamıyorsa, kendi görsellerimizi oluşturacağız.
“`