Gelen kutunuzda daha akıllı bilgiler ister misiniz? Sadece kurumsal AI, veri ve güvenlik liderleri için önemli olanı elde etmek için haftalık bültenlerimize kaydolun. Şimdi abone olun
Singapur merkezli AI Startup Sapient zekası önemli ölçüde daha küçük ve daha fazla veri tasarruflu iken, karmaşık akıl yürütme görevlerinde büyük dil modelleri (LLMS) eşleştirebilecek ve bazı durumlarda daha iyi performans gösterebilen yeni bir AI mimarisi geliştirmiştir.
Mimari, olarak bilinir Hiyerarşik akıl yürütme modeli (HRM), insan beyninin nasıl farklı kullandığından ilham alıyor Yavaş, kasıtlı planlama ve hızlı, sezgisel hesaplama için sistemler. Mannequin, bugünün LLM’lerinin gerektirdiği veri ve belleğin bir kısmı ile etkileyici sonuçlar elde etmektedir. Bu verimliliğin, verilerin kıt olduğu ve hesaplama kaynaklarının sınırlı olduğu gerçek dünya kurumsal AI uygulamaları için önemli etkileri olabilir.
Düşünce zincirinin sınırları
Karmaşık bir sorunla karşılaştığında, mevcut LLM’ler büyük ölçüde düşünce zincirine (COT) güvenir, problemleri ara metin tabanlı adımlara ayırır, esasen modeli bir çözüme doğru çalışırken “yüksek sesle düşünmeye” zorlar.
COT, LLM’lerin akıl yürütme yeteneklerini geliştirmiş olsa da, temel sınırlamaları vardır. Onların kağıtSapient Intelligence’daki araştırmacılar, “Akıl Yürütme karyolası tatmin edici bir çözüm değil, bir koltuk değneğidir. Tek bir yanlış adımın veya adımların bir yanlış siparişinin akıl yürütme sürecini tamamen rayından çıkarabileceği kırılgan, insan tanımlı ayrışmalara dayanır.”
AI Etki Serisi San Francisco’ya Dönüyor – 5 Ağustos
Yapay zekanın bir sonraki aşaması burada – hazır mısınız? Otonom ajanların kurumsal iş akışlarını nasıl yeniden şekillendirdiğine özel bir bakış için Block, GSK ve SAP’den liderlere katılın-gerçek zamanlı karar vermeden uçtan uca otomasyona kadar.
Şimdi yerinizi sabitleyin – Alan Sınırlı:
Açık dil üretmeye bu bağımlılık, modelin akıl yürütmesini jeton seviyesine ayırır, genellikle büyük miktarda eğitim verisi gerektirir ve uzun, yavaş yanıtlar üretir. Bu yaklaşım aynı zamanda, dilde açıkça ifade edilmeden, dahili olarak gerçekleşen “gizli akıl yürütme” türünü de gözden geçirmektedir.
Araştırmacıların belirttiği gibi, “bu veri gereksinimlerini en aza indirmek için daha verimli bir yaklaşıma ihtiyaç vardır.”
Beyinden esinlenen hiyerarşik bir yaklaşım
YOL -COT’un ötesine geçmek için araştırmacılar, “düşünme jetonları” üretmek yerine, modelin sorunun iç, soyut temsilinde neden olduğu “gizli akıl yürütmeyi” araştırdılar. Bu, insanların nasıl düşündüğü ile daha uyumludur; Makalenin belirttiği gibi, “Beyin, sürekli bir alanda, dile sürekli çeviri olmadan, gizli bir alanda dikkat çekici verimlilikle uzun, tutarlı bir akıl yürütme zincirlerini sürdürüyor.”
Bununla birlikte, AI’da bu derin, iç akıl yürütme seviyesine ulaşmak zordur. Derin bir öğrenme modelinde daha fazla katman istiflemek genellikle “kaybolan gradyan” problemine yol açar, burada öğrenme sinyalleri katmanlar arasında zayıflar ve eğitimi etkisiz hale getirir. Hesaplamalar üzerinde döngü yapan alternatif, tekrarlayan bir mimariler, modelin sorunu tam olarak keşfetmeden çok hızlı bir şekilde bir çözüme yerleştiği “erken yakınsama” muzdarip olabilir.
Daha iyi bir yaklaşım arayan Sapient ekibi, bir çözüm için sinirbilime döndü. Araştırmacılar, “İnsan beyni, çağdaş yapay modellerin eksik olduğu etkili hesaplama derinliğini elde etmek için zorlayıcı bir plan sunuyor” diyor. “Farklı zaman aralıklarında çalışan kortikal bölgeler arasında hiyerarşik olarak hesaplama düzenliyor ve derin, çok aşamalı akıl yürütmeyi sağlıyor.”
Bundan esinlenerek, HRM’yi iki çift, tekrarlayan modülle tasarladılar: yavaş, soyut planlama için üst düzey (H) bir modül ve hızlı, ayrıntılı hesaplamalar için düşük seviyeli (L) bir modül. Bu yapı, ekibin “hiyerarşik yakınsama” dediği bir süreci sağlar. Sezgisel olarak, hızlı L-modül sorunun bir kısmını ele alır ve kararlı, yerel bir çözüme ulaşana kadar birden fazla adım yürütür. Bu noktada, yavaş H-modül bu sonucu alır, genel stratejisini günceller ve L-modülüne üzerinde çalışmak için yeni, rafine bir alt drawback verir. Bu, L-modülü etkili bir şekilde sıfırlar, sıkışmasını önler (erken yakınsama) ve tüm sistemin yok olan gradyanlardan muzdarip olmayan yalın bir mannequin mimarisi ile uzun bir akıl yürütme adımları gerçekleştirmesine izin verir.
Makaleye göre, “Bu işlem, HRM’nin H-modülünün genel drawback çözme stratejisini yönlendirdiği ve L-modülünün her adım için gereken yoğun arama veya arıtma işlemini yürüttüğü farklı, kararlı, iç içe hesaplamalar düzenlemesine izin verir.” Bu iç içe döngü tasarımı, modelin uzun karyola istemlerine veya büyük miktarda veriye ihtiyaç duymadan gizli alanında derinlemesine akıl yürütmesini sağlar.
Doğal bir soru, bu “gizli akıl yürütmenin” yorumlanabilirlik pahasına olup olmadığıdır. Sapient Intelligence’ın kurucusu ve CEO’su Guan Wang, bu fikri geri iterek, modelin iç süreçlerinin, COT’un bir modelin düşüncesine nasıl bir pencere sağladığına benzer şekilde kod çözülebileceğini ve görselleştirilebileceğini açıklıyor. Ayrıca COT’un kendisinin yanıltıcı olabileceğine dikkat çekiyor. “COT, bir modelin iç muhakemesini gerçekten yansıtmıyor,” dedi Wang, VentureBeat’e, modellerin bazen yanlış akıl yürütme adımlarıyla doğru cevaplar verebileceğini gösteren çalışmalara atıfta bulunuyor. “Esasen bir kara kutu olmaya devam ediyor.”
Eylemde İK
Modellerini check etmek için, araştırmacılar İK’yi soyutlama ve akıl yürütme cesedi (ARC-AGI), son derece zor sudoku bulmacaları ve karmaşık labirent çözme görevleri gibi kapsamlı arama ve geri izleme gerektiren kriterlere karşı çekti.
Sonuçlar, HRM’nin gelişmiş LLM’ler için bile inatçı sorunları çözmeyi öğrendiğini göstermektedir. Örneğin, “Sudoku-Excessive” ve “Labirent-Arduous” ölçütlerinde, son teknoloji ürünü COT modelleri tamamen başarısız oldu ve% 0 doğruluk puanladı. Buna karşılık, HRM her görev için sadece 1.000 örnek üzerinde eğitildikten sonra mükemmel bir doğruluk elde etti.
Soyut akıl yürütme ve genelleme testi olan Arc-AGI kıyaslamasında 27m-parametreli HRMpercent40.3 puan aldı. Bu, çok daha büyük O3-Mini-Excessive (%34.5) ve Claude 3.7 sonnet (%21.2) gibi önde gelen karyola tabanlı modelleri aşmaktadır. Büyük bir eğitim öncesi korpus olmadan elde edilen ve çok sınırlı verilerle elde edilen bu performans, mimarisinin gücünü ve verimliliğini vurgular.
Bulmacaları çözmek modelin gücünü gösterirken, gerçek dünya sonuçları farklı bir sorun sınıfında yatmaktadır. Wang’a göre, geliştiriciler dil tabanlı veya yaratıcı görevler için LLM’leri kullanmaya devam etmeli, ancak “karmaşık veya deterministik görevler” için İK benzeri bir mimari daha az halüsinasyon ile üstün performans sunuyor. Özellikle somutlaştırılmış AI ve robotik gibi gecikmeye duyarlı alanlarda veya bilimsel keşif gibi veri scarce alanlarında “karmaşık karar verme veya uzun vadeli planlama gerektiren sıralı problemlere” işaret ediyor.
Bu senaryolarda, HRM sadece problemleri çözmez; Onları daha iyi çözmeyi öğrenir. Wang, “Grasp seviyesindeki Sudoku deneylerimizde… HRM’nin eğitim ilerledikçe giderek daha az adıma ihtiyacı var – acemi bir uzman haline geliyor” dedi.
İşletme için, bu, mimarinin verimliliğinin doğrudan alt çizgiye dönüştüğü yerdir. HRM’nin paralel işleme, seri, token-by-by-by-by-by COT üretimi yerine, Wang tahminlerinin “görev tamamlama süresinde 100x hızlandırma” olabileceğini sağlar. Bu, daha düşük çıkarım gecikmesi ve kenar cihazlarında güçlü akıl yürütme yeteneği anlamına gelir.
Maliyet tasarrufu da önemlidir. Wang, “HRM gibi özel akıl yürütme motorları, büyük, maliyetli ve gecikme yoğun API tabanlı modellere kıyasla belirli karmaşık akıl yürütme görevleri için daha umut verici bir alternatif sunuyor” dedi. Verimliliği perspektife sokmak için, profesyonel düzey Sudoku için modeli eğitmenin yaklaşık iki GPU saatini ve karmaşık ark-AGI ölçütü için 50 ila 200 GPU saati-büyük temel modelleri için gereken kaynakların bir kısmı olduğunu belirtti. Bu, lojistik optimizasyonundan hem verilerin hem de bütçenin sınırlı olduğu karmaşık sistem teşhislerine kadar özel iş sorunlarını çözme yolunu açar.
İleriye baktığımızda, Sapient Intelligence zaten HRM’yi özel bir drawback çözücüden daha genel amaçlı bir akıl yürütme modülüne dönüştürmek için çalışıyor. “HRM üzerine inşa edilmiş beyinlerden ilham alan modelleri aktif olarak geliştiriyoruz,” dedi Wang, sağlık hizmetleri, iklim tahminleri ve robotiklerde umut verici ilk sonuçları vurguladı. Bu yeni nesil modellerin, özellikle kendi kendini düzelten yeteneklerin dahil edilmesiyle, günümüzün metin tabanlı sistemlerinden önemli ölçüde farklı olacağını söyledi.
Çalışma, bugünün AI devlerini zorlayan bir sorun sınıfı için, ileriye giden yolun daha büyük modeller olmayabileceğini, ancak nihai akıl yürütme motorundan esinlenen daha akıllı, daha yapılandırılmış mimarilerin insan beyninden esinlenebileceğini öne sürüyor.
avots
