Geçen hafta UAM’de Elektrik Mühendisliği Haftası sırasında bir konuşma yapma fırsatım oldu. Bu etkinlikte birçok profesyonel, teknoloji hakkında öğrenciler ve öğretmenlerle konuşmalar paylaşmak için bir araya geliyor. Bu seferki konuşma, Seeed Studio ve AG Electronica, iş birliği ile gerçekleştirildi ve gerçek cihazları öğrencilerin önüne koymak için donanım uzmanlığı ve yerel dağıtımı bir araya getirdi.
AI/EdgeAI alanının nereye gittiği konusunda meraklı olan insanlarla tanışmak için harika bir ortamdı ve onlara giderek daha fazla önem kazanan bir konuyu sunmak istedim: AI modellerini tamamen buluta bağımlı olmadan yerel olarak çalıştırmak.
Benim konuşmam bu fikre odaklandı: verilerin üretildiği yerde, elinizde tutabileceğiniz donanımda yetenekli modeller çalıştırabilirsiniz. Teorik yerine somut bir örnek vermek için, her biri yerel olarak modelleri çalıştırmanıza olanak tanıyan farklı bir hesaplama seviyesini gösteren üç canlı demo hazırladık. Amacım, şu anda herkesin AI çıkarımı için devasa veri merkezlerinden bahsettiğini fark ettirmekti; eğer sistemi doğru düşünürseniz, hala yerel olarak birçok ağır yükün üstesinden gelebileceğinizi göstermekti.
Demo 1: XIAO ESP32S3 Sense üzerinde TinyML
En küçük cihazla başlayarak traction kazanmayı hedefledik, Seeed XIAO ESP32S3 Sense kullanarak, SenseCraft AI platformunu kullanarak. Buradaki amaç, 3W’den daha az güç çeken bir cihazın, gerçek zamanlı nesne tespiti modeli gibi karmaşık bir şeyi çalıştırabileceğini göstermektir. İnsanlar bu demo ile genellikle şaşırıyor. Bir madeni paranın üzerine sığan, az güç tüketen ve yine de kendi başına bilgisayarla görme işlemi yapabilen bir mikrodenetleyici. SenseCraft AI kullanarak, cihaza bir modeli dağıtabilir ve nesneleri canlı olarak tespit etmesini izleyebiliriz, hiçbir aşamada bulut yok. Bu, yerel AI’ye giriş kapısıdır ve başlamanız için bir veri merkezine ihtiyacınız olmadığını gösterir.
“`
Demo 2: reCamera ile Daha Yüksek Kare Hızı
Sonraki demo için Seeed reCamera HQ ile bir demo yaptık. Burada da bir nesne tespit modeli çalıştırdık, ancak amaç, özel donanımın farkını göstermekteydi. Yerleşik AI işlemcisi sayesinde, reCamera aynı türdeki görevi XIAO’dan belirgin şekilde daha yüksek fps ile gerçekleştirdi.
Bu, izleyicilere “yerel olarak çalışmanın” tek bir şey veya model türü olmadığını göstermek için güzel bir yoldu. Bir dizi cihaz var ve bu cihazların her birine çıktıkça daha fazla güç ve maliyet karşılığında daha fazla performans elde ediyorsunuz. reCamera, tüm çıkarımı cihazda yapan, ancak daha hızlı ve daha akıcı bir şekilde çalışan kompakt, kendi kendine yeterli bir kamera olan o orta alanda yer alıyor.
Demo 3: reComputer J4012 Üzerinde Agentic Kodlama
Merdivenin en üst kısmı için Seeed reComputer J4012 getirdik, NVIDIA Jetson Orin NX ile 100 TOPS’a kadar AI performansı sunuyor. İşte burada işler gerçekten eğlenceli hale geldi. Cihazda yerel bir Qwen3 modeli çalıştırdık ve bunu OpenCode aracılığıyla agentic kodlama için kullandık.
Somut hale getirmek için, yerinde küçük bir proje geliştirdik: bazı CSV dosyalarını modelin yönlendirdiği şekilde işlemek. İlginç olan kısım, token üretim hızını izlemekti. GPU hızlandırması ile, cihaz gerçek görevler için gerçekten faydalı hissettirecek kadar hızlı token üretti, hepsi masanızda duran bir kutuda yerel olarak çalışıyordu. Bir satır kodu buluta göndermeden yetenekli bir kodlama asistanının çalıştığını görmek, birçok insan için tüm konsepti anlamalarını sağladı.
Öğrencilerin ve öğretmenlerin yerel AI hakkında merak ettikleri
Beni etkileyen bir şey, insanların sorduğu soru türleriydi. İlginin büyük kısmı, yerel modellerin uzak bölgelerde, düşük gelirli ve sınırlı teknoloji altyapısına sahip yerlerde nasıl uygulanabileceği etrafında yoğunlaştı. Bu oldukça mantıklı. Eğer bağlantınız güvenilir değilse veya pahalıysa, tamamen cihazda çalışan bir model sadece hoş bir özellik değil, aynı zamanda AI’yi ihtiyaç duyulan yerlere getirmenin tek pratik yolu olabilir.
Öğrenciler ve öğretmenlerle bu senaryoları tartışmak, günün en sevdiğim kısımlarından biriydi. Bu, kenar AI’nın bir lüks değil, gerçek bir çözüm olduğu türden bir problem.
