Transferscope: Gen AI ve XIAO RP2040 Kullanarak Gerçek Dünya Görsellerini Dönüştürme

Üretken yapay zeka, görünüşte sınırsız potansiyele sahip inanılmaz bir araçtır. Birçok durumda, bu potansiyeli açmanın ana engeli insan yaratıcılığıdır. Bu modelleri doğal dil ile yönlendirmek sezgisel olsa da, genellikle kullanıcıların karmaşık fikirleri yalnızca zihinlerinde somut bir referans olmadan inşa etmelerini ve hayal etmelerini gerektirdiği için bir zorluk teşkil eder.

Artık endişelenmeyin. DALL-E, Stable Diffusion ve MidJourney için titizlikle hayal kurup ardından istemler yazma günleri geride kaldı. Şimdi, tek ihtiyacınız olan çevreniz. Christopher Pietsch tarafından geliştirilen Transferscope, kullanıcıların fiziksel ortamlarını doğrudan kullanmalarını sağlayan, önceden tanımlanmış istemler veya kapsamlı dijital girdi gereksinimini ortadan kaldıran bir XIAO RP2040 ve Raspberry Pi destekli bir araçtır. Bu araç, gerçek dünya nesnelerinden dokuları, desenleri ve kavramları yakalayan ve bunları diğer yüzeylere uygulayan bir istem oluşturur. Bu, yaratıcı ifade için engelleri azaltır ve ani, ilham verici yaratımlar yapılmasına olanak tanır.

Transferscope, üç sarı lalenin (solda) dokularını ve desenlerini yeni bir sahneye uygulamaya hazır

Kaynak: Christopher Pietsch

Transferscope’un Doğuşu

Bir yaratıcı teknoloji uzmanı olan Christopher Pietsch, HfG Schwäbisch Gmünd‘deki ikametinde Transferscope’u geliştirdi. Proje, Stable Diffusion kullanarak üretken görüntü sentezini daha sezgisel ve dokunsal bir şekilde keşfetme arzusundan doğdu. Pietsch şöyle açıklıyor:

“Bir fiziksel aracı kullanarak yapay zekayı yönlendirmeyi, çevrenizi kullanarak istemler yazmak yerine nasıl hissedeceğimi merak ettim.”

Bu vizyon, kullanıcıların herhangi bir nesneyi veya kavramı basit bir tıklama ile yakalayıp herhangi bir sahneye sorunsuz bir şekilde harmanlamalarını sağlayan bir cihazın yaratılmasına yol açtı ve yeni ve hayal gücüyle dolu gerçeklikler oluşturdu.

Transferscope, iki set görüntü ile sonuç

Kaynak: Christopher Pietsch

Transferscope Nasıl Çalışır

Transferscope, kompakt mühendisliğin bir harikasıdır. Raspberry Pi Zero 2 ile güçlendirilmiş ve özel bir 3D baskı kasasında yer alan cihaz, 720×720 piksel çözünürlüğe sahip bir HyperPixel ekran ve entegre Li-Ion piller içerir. Donanım bileşenleri şunlardır:

• Ekran: Pimoroni’den HyperPixel 4.0 kare
• Hesaplama: Raspberry Pi Zero 2
• Kamera: Raspberry Pi Kamera Modülü 3
• I2C Buton: süper mini MCU Seeed XIAO RP2040
• Pil: DFRobot Power Booster ile 18650 Li-Ion

Kaynak: Christopher Pietsch

Cihaz, Debian üzerinde çalışmakta olup, görüntü yakalama ve işleme için özel bir Python betiği kullanmaktadır. Verileri, görüntü yorumlama ve üretimi için RTX 4080 GPU ve Intel i7-12700K işlemcisi ile donatılmış bir sunucuya göndermeden önce cihazda kenar tespiti yapmaktadır.

Christopher, Raspberry Pi’nin GPIO pinlerinin HyperPixel ekranı tarafından tamamen kullanıldığından, projesinde XIAO RP2040’ı kullandı. XIAO, ekrandaki kalan I2C portuna bağlanarak bir buton ve potansiyel olarak daha fazla bileşen eklemesine olanak tanıdı. I2C iletişimini yönetme yeteneği, kompakt boyutu ve gelecekte genişletilebilirlik potansiyeli nedeniyle bunu tercih etti.

Kaynak: Christopher Pietsch

Sunucu, görüntü üretimi için Stable Diffusion ve görüntü yorumlama için Microsoft’un Kosmos 2’sini birleştiren optimize edilmiş bir pipeline çalıştırmaktadır. Bu yapı, Transferscope’un yakalanan görüntüleri yeni dokulara ve desenlere dönüştürmesini ve bunları ikinci bir sahneye neredeyse anında (bir saniyeden daha kısa sürede) uygulamasını sağlar, böylece kullanıcı için kesintisiz bir deneyim yaratır.

Kullanıcı Deneyimi

Arkasındaki karmaşık teknolojiye rağmen, Transferscope son derece basit ve sezgisel bir kullanıcı deneyimi sunmaktadır. Pietsch, bu gelişmiş teknoloji ile kullanıcı dostu tasarım arasındaki dengeyi vurgulayarak, ürünün “kullanımı eğlenceli ve ilgi çekici kılan” şey olduğunu söylüyor.

XIAO RP2040 destekli tek butonlu arayüz, net ekran geri bildirimleri ile birleştiğinde, kullanıcıların teknik detaylarla boğulmadan yaratıcılığa odaklanmalarını sağlar. XIAO’nun kompakt tasarımı ve I2C yetenekleri sayesinde sağlanan bu basitlik, Transferscope’un çeşitli ortamlarda kolayca kullanılmasını sağlar ve ani yaratıcılığı teşvik eder. Pietsch, “Sonucu belirleyen sadece teknoloji değil: kullanıcının yönlendirmesi dönüşümü yönlendirir.” diyor.

Geliştirme Süreci

Transferscope’u yaratmak, cihazın hem teknolojisini hem de formunu keşfetmeyi içeren yinelemeli bir süreçti. Pietsch ve ekibi, birden fazla prototip, 3D baskı, test etme ve tasarımlarını iyileştirme aşamalarından geçti. Proje, örnekleme ve transfer için iki ayrı cihazdan, daha akıcı bir tek araca evrildi.

İlginç bir şekilde, Transferscope’un geliştirilmesi, yapay zeka ve görüntü sentez teknolojilerindeki hızlı ilerlemelerle çakıştı. Bu, onu bu teknolojik gelişmelerle birlikte evrilen bir “canlı proje” haline getirdi ve sürekli olarak yeni yetenekler ve iyileştirmeler ekledi.

Halk Tepkisi

Halkın Transferscope’a tepkisi son derece olumlu oldu. Pietsch, bir sergideki tepkisi hakkında eğlenceli bir anekdot paylaştı:

“`

“Bir sergiye koydum ve insanların buna nasıl tepki verdiği ve bunu nasıl kullandığı ilginç. Ben bunu esasen çalışıp çalışmadığını denemek için kullanıyorum, ama insanlar yüz değiştirme yapmaya başladılar. Tanıdıkları birine ve sonra kendilerine doğrultuyorlar ve iki kişinin ve tarzın bir kombinasyonunu elde ediyorlar. Bu komikti. Hepsi gülüyordu ve şakalar yapıyordu.”

Transferscope’un halka tanıtımı

Kredi:  Christopher Pietsch

Gelecek Yönelimleri

Transferscope zaten etkileyici bir başarı olmasına rağmen, Pietsch daha fazla gelişim için alan görüyor. İşlem gücünü artırmak için bir hesaplama modülü kullanmayı ve ivmeölçer, titreşim geri bildirimi veya NeoPixel aydınlatma gibi özellikler eklemeyi düşünüyor. Ayrıca, alüminyum bir kasa ile daha sağlam bir versiyon oluşturma olasılığı da var.

Pietsch, Transferscope’un geleceği için Kickstarter gibi yollarla potansiyel ticarileşme dahil olmak üzere çeşitli olasılıklara açık. Ancak, bunların hala keşif aşamasındaki fikirler olduğunu vurguluyor.

Transferscope’un yaratıcısı Christopher Pietsch, ürününün neler yapabileceğini gösteriyor

Kredi:  Christopher Pietsch

Genel olarak, Transferscope, AI destekli yaratıcı süreçlerde önemli bir sıçramayı temsil ediyor. Görüntü sentezi için sezgisel, somut bir arayüz sağlayarak, sanatsal ifade ve görsel dünyamızın keşfi için yeni yollar açıyor. Kritik I/O işlevlerini yönetmek için XIAO RP2040’ı sorunsuz bir şekilde entegre ederek, Transferscope açık kaynak araçlar, disiplinler arası işbirliği ve insan yaratıcılığını AI ile birleştirmenin potansiyelini gösteriyor. Teknoloji ve yaratıcılığın evrilen manzarasında ilerlerken, Transferscope gibi projeler, AI ve çevremizle olan ilişkimizin yeniden hayal edilmesi için bizi zorlayan önemli kilometre taşları olarak hizmet ediyor ve gerçeklik ile hayal gücü arasındaki sınırları bulanıklaştırıyor.