Seeed Studio, NVIDIA ve Hugging Face tarafından başlatılan etkinliğimizde, 2025 Ekim ayında Shenzhen, Çin ve Mountain View, ABD’de iki Embodied AI Hackathon başarıyla düzenlendi. 700’den fazla geliştirici kayıt oldu ve 30’dan fazla ekip, bu açık kaynak robotik oyun alanına katkıda bulunmak için bir araya geldi!
Etkinliğin ana konusu, Ev Görevi ve Pişirme Robotları tasarlamak ve bunları EV sahnesinde hayata geçirmektir. Tüm katılımcılar bir araya gelir ve her iki site için 15 takıma ayrılır. Gerçek robot kitleri ile uygulamalı deneyim kazanabilirler – Hugging Face LeRobot SO-ARM101 ve FashionStar StarAI robot kolları, NVIDIA Jetson Thor platformu ile birlikte en son JetPack 7 SDK, NVIDIA Isaac Sim ve LeRobot çerçevesi ile güçlendirilmiştir. Hugging Face, katılımcılara gerçek dünya robotik atılımlarını yaratmak için gereken her şeyi sağlayan modeller, veri setleri ve araçlara erişim merkezi olarak da hizmet vermektedir.
Bu etkinlikte, çift kollu operasyon, uzun ardışık görevlerin tamamlanması, yüksek genelleme yanıtları, derinlik algılama, LeKiwi/XLeRobot ile mobil manipülasyon gibi birçok harika fikir ve iyi yapılmış demo gördük!
Her ekip, aşağıdakilerle tam bir geliştirme deneyimi elde edebilir:
- Robot donanım montajı ve kalibrasyonu ile hazırlık
- Teleoperasyon/Isaac simülasyonu aracılığıyla 150 bölümden fazla veri seti toplama (daha iyi veri, daha iyi robot davranışı)
- Modeli eğitme, bu ACT/Diffusion Policy, Isaac GR00T N1.5 gibi VLA modellerini içerebilir; taklit öğrenme ve pekiştirme öğrenme yöntemi ile Hugging Face SmolVLA
- Son olarak, NVIDIA Jetson Thor geliştirici kitinde politikaları dağıtarak, günlük zorluklarla başa çıkabilen uygun fiyatlı, yetenekli robotlar inşa etmek için hızlandırılmış çıkarım sağlama; örneğin: alma ve yerleştirme, kumaş katlama vb.
Bu hackathonun tüm sürecine uygulamalı olarak katılabilirsiniz ve adım adım wiki’mizi takip edebilirsiniz: [YENİ] LeRobot SO-101 Kol için GR00T N1.5’i ince ayar yapın ve Jetson AGX Thor’a dağıtın.
Bu yolculuğu tamamlamak, size modern robotiklerin arkasındaki güçlü NVIDIA’nın üç bilgisayar felsefesi hakkında pratik, perde arkasında bir bakış sunacaktır: robot temel modellerini eğitmek için büyük hesaplama gücü elde etmek, en son NVIDIA Isaac GR00T modelini biliş ve kontrol için, NVIDIA Omniverse ve Cosmos ile güçlendirilmiş simülasyon çerçeveleri; Sentetik Veri ve ortamlar üretimi için veri boru hatları; ve nihayetinde, NVIDIA Jetson AGX Thor robotun beyni olarak hizmet ederek, zeki fiziksel etkileşim için verimli, gerçek zamanlı çıkarım sağlar.
İşte bu etkinliğe katılmadan önce her katılımcının kontrol etmesi gereken diğer gerekli teknik kaynaklar:
- SO-ARM101 ile başlayın
- Fashion Star Star AI Robot Kol ile başlayın
- Star AI Robot Kol için ROS2 Moveit
- SO-Arm101 Pekiştirme Öğrenimi
- NVIDIA Issac Sim’e robot kolunu aktarmak için Wiki
- Makale – Diffusion Policy
- Diffusion Policy Q&A için Video
- Makale – ACT (Transformers ile Eylem Parçalama)
- SO-Arm101 için Isaac GR00T N1.5’in Sonrası Eğitimi
- Lightwheel LeIsaac ile başlayın
- XLeRobot ile Başlarken
Etkinliklerden herhangi birini kaçırdıysanız, bu harika yolculuk sırasında neler olduğunu gösteren özetler burada:
Kazanan Proje & Demo Koleksiyonları
1. ABD oturumundaki şampiyon takım: UIUC SIGRobotics takımının Matcha yapımı
Onlar, XLeRobot sistemi ile güçlendirilmiş çift kollu robot kolları inşa ettiler, NVIDIA Brev aracılığıyla NVIDIA GR00T N1.5 modelini eğittiler ve Jetson Thor’da çıkarım yaptılar. Robotun görevi, matcha tozunu dökmek, kaseye su eklemek ve ardından matcha çayı yapmak için karıştırmaktır.
“`html
GR00T için veri seti hazırlarken ana zorluk, belleğinin olmamasıydı; bu, geçmiş eylemleri hatırlayamaması anlamına geliyor ve bu da tekrarlanan veya simetrik görevler sırasında kafa karışıklığına yol açabiliyor.
Bunu aşmak için, her görevin belirgin bir başlangıç ve bitiş durumu olmasını sağladılar veya durumları asimetrik hale getirmek için rotayı değiştirdiler ve örtüşmeyi önlediler. Örneğin, matcha yapım sürecindeki su dökme alt görevinde, görev tamamlandığını belirtmek için su kabını sona doğru kasıtlı olarak düşürdüler. Benzer şekilde, matcha dökme görevini, kasesini ya boş ya da dolu olarak görsel olarak işaretleyerek farklılaştırdılar. Son çırpma görevinde, çırpıcının kase içinde saat yönünde hareket ettiğinden emin oldular ve hareketi durdurma veya devam etme arasında kafa karışıklığını önlemek için kayıtları aniden sonlandırdılar.
Bu proje hakkında daha fazla bilgi edinmek için kaynaklar: Hackster | GitHub
2. ABD oturumunda Birinci Yedek takım: Sprinkle robot
Bruce Kim, Joon Kim ve Peiqing Xia ile iş birliği yaparak grup, Sprinkle Robot adlı sürekli, çok adımlı bir robotik sistem inşa etti; bu sistem, bir şeker kabını alıp, tabağa eşit şekilde serpiştirip, özel bir düğme kullanarak tabağı döndürüp 🎃, diğer yarısını tamamlayıp ve nihayetinde kabı dik bir şekilde yerleştiriyor. Sonuç, her kurabiye için düzenli bir otomatik şeker serpiştirme iş akışı oldu.
Sistemleri, 170 bölümde eğitilmiş ince ayar yapılmış SmolVLA ile güçlendirildi ve NVIDIA Jetson Thor üzerinde dağıtıldı; daha küçük Jetson Orin Nano üzerinde bile başarılı bir geçiş sağlandı. Dikkate değer bir tasarım tercihi, uzun ufuklu görevi 4 odaklı modele ayırmaktı — kapma, eğme, basma ve yerleştirme. Her modeli kendi aktivasyon zamanlaması ve sırası ile çalıştırarak, ekip her alt eylem üzerinde daha güvenilir bir kontrol sağladı. Bu modüler yaklaşım, genel davranışı daha akıcı hale getirdi ve tüm görev boyunca koordinasyonu kolaylaştırdı.
Bu projeyi daha fazla öğrenin.
3. ABD oturumunda İkinci Yedek takım: Kumaş Katlama Robotu
Bu proje, iki robot kol kullanarak bir tişört katlama karmaşık görevine yönelik Vision-Language-Action (VLA) modellerini ince ayar yapmayı amaçladı. Çekici bir davranışın ne kadar hızlı geliştirilebileceğini ve dağıtılabileceğini keşfetmek istedik.
Sadece bir buçuk günde, manuel gösterimler topladılar, senaryo oluşturmak için Isaac Sim ile denemeler yaptılar ve bir ACT modeli ince ayar yaptılar. Hatta robotun görünmeyen hatalardan kurtulmasını sağlayan öğrenilmiş bir ödül fonksiyonu oluşturma aşamasına geçtiler. Nihayetinde, bu hattı SO-ARM101 üzerinde dağıtmak, bu araçların hızlı prototipleme ve test için sağladığı yinelemeli hızı gösteriyor.
4. Çin oturumunda Şampiyon takım: Yüksek genelleme ile Pick&Place
Bu proje, bir robotun uzun ufuklu bir masa düzenleme görevini gerçekleştirmesini sağlama karmaşık zorluğunu ele aldı. LeRobot çerçevesini kullanarak, ekip NVIDIA’nın GR00T N1.5 modelini ince ayar yaptı ve bunu Jetson Thor geliştirici kiti ile SO-ARM101 üzerinde dağıttı. Amaç, robotun kalemleri ve silgileri bir konteynere sırayla toplaması ve ardından masayı temizlemesiydi.
Sağlam bir performans elde etmek için, model 300 bölümden oluşan çeşitli, çok kaynaklı bir veri seti üzerinde eğitildi. Bu veri seti, gerçek dünya uzaktan kumanda verilerini (%90) simüle edilmiş verilerle (%10) harmanlayarak, nesne konumlarını ve türlerini değiştirmek için alan rastgeleleştirmesi ile güçlendirildi. Ortaya çıkan politika, görev için etkili bir genelleme sergileyerek, kararlı, hassas ve hızlı hareketler gösterdi.
Bu projeyi daha fazla öğrenin.
5. Çin oturumunda Birinci Yedek takım: Yumuşak tekstil katlama
Bu proje, tam bir havlu katlama rutinini gerçekleştiriyor. Zorluk, bir çift kollu SO-ARM101 robotunu, masadan bir havlu alıp, düz bir şekilde yayarak ve nihayetinde katlayarak uzun ufuklu bir sırayı gerçekleştirecek şekilde programlamaktı.
Ekip, sağlam bir algılama ve kontrol sistemi inşa etti. Görsel girdi için bir RGB kamera kullanarak, robot havluyu ve ana noktaları tanımladı, ayrıca politika öğrenimi için Hugging Face LeRobot çerçevesini entegre etti ve ardından model, gerçek zamanlı hızlandırılmış çıkarım için ana hesaplama beyni olarak hizmet eden NVIDIA Jetson Thor üzerinde dağıtıldı. Tüm hat, robotun çevresini algılamasını ve bu karmaşık, çok adımlı görevi gerçekleştirmesini sağlıyor.
“““html
6. Çin oturumunda İkinci Yarışmacı takım: Mate XLeRobot
Tüm ekip – Ryan, Isaac, Qi, KAHO ve Bubbles, XLeRobot’un çift kollarını yeniden tasarlayıp optimize ederek, kontrol etmenin daha insana benzer hissettirdiği ve gerçek kullanımda çok daha çok yönlü bir yapı haline getirdi. Bunu, her iki kolu simetrik, insana yönelik bir düzene çevirerek başardılar; bu sayede VR kontrol, kendi ellerinizi hareket ettiriyormuş gibi hissettirdi. Hareket planlaması, daha akıcı ters kinematikler ve geliştirilmiş hareket aralığı sayesinde daha sezgisel hale geldi.
En büyük yükseltmelerden biri, MakerMods kaydırıcıları kullanarak inşa edilen dikey kaldırma rayı sistemi oldu; bu sayede her iki kol da masa altına ve rafların üstüne ulaşarak günlük manipülasyon görevlerini yerine getirebiliyor.
Son gösterim, çift robot iş birliği sergiledi: Make XLeRobot, nesne geçişini elden ele yaparken, temel özellikteki XLeRobot, nesneleri otonom olarak alıp depolamak için bir VLA (Görsel-Dil-Eylem) modeli çalıştırdı. Birlikte, iki robot, koordineli bedenlenmiş AI sistemlerinin karmaşık, çok aşamalı görevleri hassasiyet ve akıcılıkla nasıl yerine getirebileceğini vurguladı.
Bu proje hakkında daha fazla bilgi edinin.
Geliştirici Ekosistem Arkadaşlarımıza Özel Teşekkür Notu
Harika mentorlerimiz ve jüri üyelerimize NVIDIA, Hugging Face, K-Scale Labs, XLeRobot, Lightwheel, Solo Tech, ve Fashion Star için içten teşekkürlerimizi sunuyoruz; bedenlenmiş/Fiziksel AI uzmanlığınızı paylaştığınız ve tüm katılımcılar için etkinlik boyunca rehberlik sağladığınız için. Her tartışmaya kattığınız zaman, içgörü ve enerji için gerçekten minnettarız. LeRobot platformu etrafındaki geliştirici ekosistemini büyütmek ve topluluğa daha fazla pratik araç ve kaynak sunmak için sizinle iş birliği yapmaya devam etmek her zaman heyecan verici.
Ayrıca, Circuit Launch‘a böyle harika ve iş birliğine dayalı bir mekan sağladığı için çok teşekkürler — bu, yaratıcılık ve robotik yenilik için gerçekten mükemmel bir ortamdı; her gün ilham verici fikirlerin ortaya çıktığı zengin bir araç, makine ve fikir seti ile!
Bu etkinlik, Seeed Studio, NVIDIA ve Hugging Face ekiplerimizin özverisi olmadan mümkün olmazdı; düşünceli planlamaları ve koordinasyonları her şeyin sorunsuz işlemesini sağladı. Bu deneyimden çok şey öğrendik ve gelecekte daha fazla yaratıcı iş birliği yapmayı dört gözle bekliyoruz.
Bu yolculuğun bir parçası olduğunuz için tekrar teşekkür ederiz — topluluğa daha fazla geliştirici katmayı ve onu taze ve çılgın içgörülerle güçlendirmeyi dört gözle bekliyoruz! Mutlu hackleme, sizi gelecek yıl çok yakında göreceğiz.🤗
Seeed: NVIDIA Jetson Ekosistem Ortağı
Seeed, NVIDIA Partner Network‘de kenar AI için bir Elite ortaktır. Daha fazla taşıyıcı kart, tam sistem cihazları, özelleştirme hizmetleri, kullanım durumları ve geliştirici araçları keşfetmek için Seeed’in NVIDIA Jetson ekosistem sayfasını ziyaret edin.
Bizimle AI yeniliğinin ön saflarında yer alın! Gerçek dünyada makine öğreniminin dağıtımını devrim niteliğinde değiştirmek için en son donanım ve teknolojinin gücünden yararlanın. Geliştiricilere ve işletmelere en iyi ML çözümlerini sunma misyonumuza katılın. Daha fazla kenar AI olasılıklarını keşfetmek için başarılı vaka çalışması kataloğumuzu gözden geçirin!
İlk adımı atın ve bu heyecan verici yolculuğun bir parçası olmak için bize bir e-posta gönderin: edgeai@seeed.cc !
Size uygun bir seçenek bulmak için en son Jetson Kataloğumuzu indirin. İhtiyaçlarınıza uygun hazır Jetson donanım çözümünü bulamazsanız, lütfen özelleştirme hizmetlerimizi kontrol edin ve değerlendirme için bize yeni bir ürün sorgusu gönderin: odm@seeed.cc.
“`