Giriş
Modern teknolojik ilerleme çağında, hem akıllı fabrikalar hem de akıllı binalar kendi alanlarında yeniliğin öncüsü olarak öne çıkmaktadır. Akıllı bir tesis, hem üretim hem de yapısal yönetimi kapsayarak, operasyonları optimize etmek, verimliliği artırmak ve sistemler ile insanlar arasında kesintisiz iletişim sağlamak için gelişmiş teknolojilerin bir karışımını kullanır. Nesnelerin İnterneti (IoT), yapay zeka (AI), makine öğrenimi (ML) ve büyük veri analitiği entegrasyonu ile bu tesisler, yalnızca üretim süreçlerini ve bina operasyonlarını iyileştirmekle kalmayıp, aynı zamanda esneklik ve sürdürülebilirlik de sağlar. Bu kapsamlı ekosistemde, otomatik süreçler ve gerçek zamanlı veri alışverişi, üretim iş akışlarından ısıtma, havalandırma, iklimlendirme (HVAC), aydınlatma ve güvenlik gibi her şeyin akıllı yönetimini sağlar ve üstün performans, artırılmış konfor ve önemli enerji tasarrufları ile sonuçlanır.
Büyük Dil Modellerinin Yerel Dağıtımı
Büyük Dil Modellerinin (LLM’ler) ortaya çıkışı, yapay zeka alanında yeni ufuklar açmıştır; modeller artık milyarlarca parametre içermekte ve çeşitli uygulamaları karşılamak için sürekli olarak evrim geçirmektedir. Bulut tabanlı AI hizmetleri yaygınlaşmış olsa da, LLM’leri kişisel veya kurumsal donanımda yerel olarak dağıtmak, özellikle gizlilik ve veri kontrolü açısından önemli avantajlar sunmaktadır. Bu yaklaşım, kullanıcıların ve organizasyonların hassas bilgileri işleyebilmesini ve dış sunuculara bağımlı olmadan AI destekli analizler gerçekleştirebilmesini sağlar; böylece özel veya gizli verileri kendi bilişim ortamlarında güvenli bir şekilde tutar. Yerel dağıtım, verilerin üçüncü taraf sunucular üzerinden geçebileceği veya depolanabileceği bulut tabanlı hizmetlerle ilişkili birçok gizlilik endişesini ele alır. Ancak, LLM’leri yerel olarak çalıştırmak için uygun donanımın seçilmesi, optimal performans ve verimlilik elde etmek için kritik öneme sahiptir.
Raspberry Pi Destekli HMI Küçük Dil Modelleri Üzerinde
reTerminal DM’deki 8GB RAM ile, küçük kuantize edilmiş dil modellerinin bu HMI ortamında dağıtılması mümkün hale gelmektedir. Kapsamlı araştırmalar sonucunda, Raspberry Pi destekli reTerminal HMI’de dağıtım için kalite, boyut ve performans dengesini sağlayan uygun modeller belirlenmiştir.
“`
- Parametreler: 7 milyar
- Kuantalama: 8 blok içeren süper bloklarda 4-bit, her blokta 32 ağırlık bulunmaktadır. Ölçekler ve minimum değerler 6 bit ile kuantize edilmiştir.
- Model Boyutu: 4.08GB
- Hafıza Gereksinimi: 6.58GB
- Performans: Bu model dengeli kalite ve orta boyut sunmaktadır.
- Kuantalama: 8 blok içeren süper bloklarda 4-bit, her blokta 32 ağırlık bulunmaktadır. Ölçekler ve minimum değerler 6 bit ile kuantize edilmiştir.
- Model Boyutu: 1.79GB
- Hafıza Gereksinimi: 4.29GB
- Performans: Orta, dengeli kalite ile Phi-2, LLaMA 2 7B Chat’e kıyasla verilen istemler için daha hızlı ve daha duyarlıdır.
- Dağıtım: Sınırlı hafıza ve hesaplama kapasitesine sahip kenar cihazları için özel olarak tasarlanmıştır.
- Kuantalama: 4-bit, model boyutu 637 MB.
- Performans: TinyLLaMA-1.1B, internet bağlantısı olmadan daha az zaman kısıtlaması olan makine çevirisi için uygun hızlı yanıtlar sağlar. Ancak, çıktısının esnekliği LLaMA 2 7B Chat ve Phi-2 modellerine kıyasla daha azdır.
Bu küçük kuantize edilmiş dil modellerini reTerminal DM üzerinde dağıtmak, Raspberry Pi destekli HMI’nin güçlü, yerelleştirilmiş AI destekli işlevselliklerini etkinleştirerek yeteneklerini artırır. Her modelin boyut, hafıza gereksinimleri ve yanıt kalitesi açısından güçlü ve zayıf yönleri vardır; seçim, belirli uygulama ihtiyaçları ve performans kriterlerine dayanmalıdır. Yüksek kalite ve esneklik gerektiren görevler için LLaMA 2 7B Chat uygundur, Phi-2 ise daha hızlı yanıt süreleri için tercih edilir. Ultra kompakt ve verimli kenar dağıtımları için, bu demoda kullandığımız Phi-2 en iyi seçim olarak öne çıkmaktadır.
Sisteminizin internet erişimi varsa, çeşitli LLM hizmetleriyle API anahtarları kullanarak etkileşimde bulunabilirsiniz. Bazı API’ler ücretsiz olarak mevcuttur, örneğin Google Gemini ve Meta AI’nın LLaMA 3. Bir Gemini AI API anahtarı oluşturarak, Gemini API’sine ve diğer ilgili hizmetlere, ayrıca Meta AI’nın LLaMA 3’üne erişim sağlayabilirsiniz. Bu etkileşimler internet üzerinden gerçekleştiğinden, yerel LLM’lere kıyasla önemli ölçüde daha hızlı yanıt süreleri deneyimleyebilirsiniz. Bu bulut tabanlı LLM hizmetlerini entegre etmek, sisteminizin yeteneklerini artırarak hızlı ve sofistike veri analizi ve karar destek sağlama imkanı sunar.
Teknik Yığın
NodeRed: Node-RED, cihazları, API’leri ve çevrimiçi hizmetleri entegre etmek için özellikle uygun, görsel programlama için tasarlanmış açık kaynaklı, akış tabanlı bir geliştirme aracıdır. Node-RED, kullanıcıların çeşitli bileşenleri bir araya getirip basit bir sürükle-bırak mekanizmasıyla karmaşık iş akışları oluşturmalarına olanak tanıyan kullanıcı dostu, tarayıcı tabanlı bir arayüz sunar. Bu görsel yaklaşım, giriş engelini önemli ölçüde azaltarak hem geliştiricilerin hem de geliştirici olmayanların süreçleri otomatikleştirmesine ve IoT uygulamaları oluşturmasına olanak tanır. Node-RED’in ana faydaları arasında, önceden oluşturulmuş düğümlerin geniş bir kütüphanesi aracılığıyla genişletilebilirliği, gerçek zamanlı veri işleme yeteneği ve çok çeşitli protokoller ve cihazlar için destek bulunur. Bu, Node-RED’i akıllı çözümler geliştirmek için güçlü ve çok yönlü bir araç haline getirir; akıllı binalar ve fabrikalar gibi çeşitli ortamlarda verimliliği artırır ve hızlı prototipleme ve dağıtım sağlar.
MariaDB: MariaDB, yüksek performansı, güvenilirliği ve güvenliği ile bilinen sağlam, açık kaynaklı bir ilişkisel veritabanı yönetim sistemidir. Büyük veri hacimlerini ve karmaşık sorguları verimli bir şekilde işlemek için mükemmel bir seçimdir. Geniş bir depolama motoru yelpazesini, gelişmiş kümelemeyi destekler ve MySQL ile tamamen uyumlu olması, onu çeşitli veritabanı ihtiyaçları için çok yönlü bir çözüm haline getirir. MariaDB’nin önemli bir avantajı, reTerminal DM tarafından kullanılan Raspbian OS dahil olmak üzere Linux ortamlarında sorunsuz bir şekilde dağıtılabilmesidir.
FlowFuse: FlowFuse, veri odaklı panolar ve görselleştirmeler oluşturmak için özel olarak tasarlanmış sezgisel bir düğüm seti sağlayarak Node-RED’in yeteneklerini artıran yenilikçi bir araçtır. En son sunumları olan Dashboard 2.0, etkileşimli ve görsel olarak çekici kullanıcı arayüzleri oluşturma sürecini basitleştirir.
“`html
Metodoloji
Bu projede, Modbus TCP, Modbus RTU ve MQTT gibi farklı protokoller kullanarak sensörler kuruyoruz. Bu sensörler, süreci kolaylaştıran Node-RED düğümleri aracılığıyla veri toplar. Ardından, verileri güvenli bir şekilde depolamak için reTerminal DM üzerinde MariaDB dağıtıyoruz ve veritabanları ve tablolar oluşturuyoruz. Daha sonra, doğal dilden SQL sorguları oluşturmak için reTerminal DM üzerinde veya Google Gemini veya Meta Llama gibi bulut desteği ile yerel olarak dağıtılan Küçük Dil Modelleri (SLM’ler) kullanıyoruz. Bu sorgular, ilgili veritabanı tablolarında yanıt almak için yürütülmektedir. Son olarak, kullanıcı ve sistem arasında kolay veri görselleştirme ve kontrol sağlamak için FlowFuse ve Node-Red kullanarak kullanıcı dostu bir gösterge paneli tasarlıyoruz.
Sonuç
Operasyonel Teknoloji (OT) ve Bilgi Teknolojisi (IT) hizmetlerini fabrika operasyonları veya akıllı binalarda entegre etmek, özellikle bulut tabanlı LLM API’leri veya mevcut sistemler içinde Yerel SLM’ler kullanıldığında önemli avantajlar sunar. Geleneksel OT sistemleri, fabrika otomasyonu gibi, genellikle internet bağlantısı olmayan kapalı ağlarda çalışır. Yerel LLM’leri entegre ederek, bu sistemler güvenlik ve gizliliği ihlal etmeden yeteneklerini artırabilir. Ayrıca, reTerminal DM üzerinde kuantize edilmiş modeller dağıtmak, veri edinimi ve kenar kontrolünün ötesine geçen maliyet etkin bir çözüm sunar. Bu yapı, yalnızca gerçek zamanlı operasyonları verimli bir şekilde yönetmekle kalmaz, aynı zamanda karar vericilere ve teknik olmayan personele doğal dil sorguları aracılığıyla gelişmiş veri içgörülerine kolay erişim sağlayarak güçlendirir. reTerminal DM, yerel LLM’lerin dağıtımını kolaylaştırma yeteneği ile, hassas bilgilerin organizasyonun kontrolünde kalmasını sağlarken gelişmiş veri analizi ve karar destek sistemleri sunarak, nihayetinde operasyonel mükemmelik ve yenilik sağlamaktadır.
“““html
Kaynaklar
Şehirde Yenilikler
