Aylık chatCEO Canlı yayınımızda, mevcut teknolojideki zorluklardan başlayacağız ve ardından optimize edilmiş çözümlerimizi paylaşacağız. Her canlı yayında belirli bir teknoloji sorununa odaklanacağız. Herhangi bir geliştirme fikriniz varsa, paylaşmaktan çekinmeyin, birlikte bunları gerçeğe dönüştürmek için çalışacağız.
Son canlı yayınımızda, Yerel LLM (Büyük Dil Modelleri) teknolojisinin büyüleyici dünyasına daldık ve Home Assistant (HA) ile entegre daha akıllı ofisler yaratmadaki uygulamalarını keşfettik. Oturumun öne çıkan noktalarına ve bu teknolojinin çalışma ortamlarını devrim niteliğinde değiştirmek için nasıl evrildiğine daha yakından bakalım.
1. Jetson ile sahneyi anlama!
Problem: AI teknolojisini mekansal sahnelerin tanımlanmasını geliştirmek için nasıl kullanabiliriz?
Yerel Canlı LLaVa: Dustin Franklin’in Yerel Canlı LLaVa adlı demosunu yeniden ürettik. Yerel Canlı LLaVa, 4-bit hassasiyetle kuantize edilmiş ve kullanıcı uyarılarını tetiklemek için Jetson Orin üzerinde dağıtılan LLaVa çok modlu görsel-dil modelinden türetilmiş yenilikçi bir çözümdür. LLaVa’nın temelinde, CLIP’in görsel yetenekleri ile GPT-4 gibi modellerden gelen dil gömme işlemleri sorunsuz bir şekilde entegre edilerek, AI’nın metin ve görüntüleri içeren çok modlu girdileri kapsamlı bir şekilde anlamasını ve işlemesini sağlar, karmaşık talimatların daha derin bir şekilde anlaşılmasını kolaylaştırır.
Verileri kenar cihazlarında yerel olarak işleyerek, LLaVa hassas bilgilerin yerinde kalmasını sağlayarak gizlilik endişelerini azaltır ve gizlilik ile güvenliği artırır. Canlı yayında, bunu ofisimizdeki sahneleri yakalamak ve canlı yayınımızın arkasındaki ekibi tanıtmak için kullandık.
İlgili Bağlantılar:
1.NVIDIA Jetson Generative AI Lab
2.AI NVR
3.Retrieval-Augmented Generation (RAG) nedir?
“““html
2. Devam Eden ofis modifikasyonları
Problem: Geleneksel ofislerde elektrik israfı, ofiste aşırı karbondioksit ve toplantı odaları için randevu alma zorluğu gibi birçok rahatsızlık bulunmaktadır.
Akıllı ofisler: Seeed Studio’daki meslektaşlarımıza daha iyi bir ortam sağlamak için, Home Assistant ile birlikte birkaç akıllı ofis projesi gerçekleştirdik. Canlı yayın sırasında, beş meslektaşımız ışık kontrolü, çevresel izleme, akıllı toplantı odası ve akıllı klima gibi farklı ev asistanı projelerini tanıttı. Beni en çok etkileyen, ofisteki karbondioksit yoğunluğunu izleyebilmesiydi. Yoğunluk çok yüksek olduğunda bir alarm verilebilir ve zamanında ayarlamalar yapabiliriz. Bu, herkes için daha iyi bir ofis ortamı sağlayabilir.
“““html
Bu projeleri gelecekte optimize etmeye devam edeceğiz. Home Assistant hakkında daha fazla bilgi almak isterseniz, buradan kontrol edebilirsiniz: Seeed’in Home Assistant Wiki’si
Seeed Studio, çeşitli endüstrilere yönelik açık kaynaklı cihazlar sunmaktadır. Bu cihazlar tarım, akıllı şehirler ve güvenlik sektöründe yaygın olarak kullanılmaktadır. Endüstri vakaları ve çözümleri hakkında daha fazla bilgi edinebileceğiniz özel bir çözüm web sayfası başlattık.
Denediğimiz bir diğer ilginç şey ise 24 saatlik canlı yayın. Seeed Studio’nun ürün performansını ve sensör verilerini gerçek zamanlı olarak, dış mekanlardan iç mekanlara ve seralara kadar her ortamda yayınlayın.
“““html
3. yerel LLM (denemek) hepsini yönetmek için
Problem: Akıllı ev cihazları için geleneksel arayüzler tarihsel olarak doğal dil işleme (NLP) yeteneklerinden yoksun kalmış, bu da kullanıcı deneyimini ve işlevselliği sınırlamıştır. Fiziksel düğmeler, anahtarlar ve temel sesli komutlar, kullanıcıların teknoloji kısıtlamalarına uyum sağlamasını gerektirmiştir. Bu sezgisel etkileşim eksikliği, kullanıcıların akıllı ev cihazlarını tam olarak kullanmasını zorlaştırmış, erişilebilirliği ve görev verimliliğini azaltmıştır.
yerel LLM: Bu proje, Seeed Studio’daki Uygulama Mühendisleri’nin Jetson Orin AGX’in gelişmiş yeteneklerinden yararlanma yolculuğuna çıkmasıyla başlıyor. Misyonumuz, Langchain ajanı ile entegre bir LLM’in işletimi için bunu dağıtmaktır. Amaç, ofis ortamımızı, otomasyonun Home Assistant projesi ile entegrasyonu ile daha da geliştirilmiş, keskin bir GenAI ile dolu AIoT çalışma alanına dönüştürmektir. Hedef, Home Assistant API ile etkileşimde bulunan yerel bir LLM oluşturmak için RAG tabanlı açık kaynaklı bir çerçeve kurmaktır. Bu çaba, sadece çalışma ortamını yükseltmekle kalmayıp, aynı zamanda enerji tüketimini azaltmayı da hedeflemektedir ve Sürdürülebilir Kalkınma Hedefleri (SDG) ile uyumlu hale gelmektedir.
Bu kapsamlı proje, bu devrim niteliğindeki yükseltmenin etkili gerçek dünya dağıtımı için her biri vazgeçilmez olan birkaç kritik bölüme ayrılmıştır.
İşte tüm sistemin akış şeması:
Ve işte Yerel Jarvis’in resmi.
“““html
Gelecek CANLI oturum:
Bir sonraki canlı yayın 29 Mart’ta “TinyML ve Yerel LLM” hakkında olacak. GTC’de sergileyeceğimiz demoyu sizinle paylaşacağız. Aynı zamanda, yeni ürünümüz hakkında önceden bilgi vereceğiz: iç mekan kombinasyonu!
Seeed Studio’dan daha fazla heyecan verici güncellemeler ve etkinlikler için bizi takipte kalın. Bağlantıda kalmak için beğenmeyi, yorum yapmayı ve abone olmayı unutmayın. Bir sonraki sefer görüşmek üzere!