Yapay zeka performansı Super Mario’la ölçülüyor

Pokemon’un yapay zeka modelleri için bir benchmark olduğu düşünülüyor. Fakat bir grup araştırmacıya göre Super Mario daha zor.

Haberin Devamı

Haberin Devamı

Haberin Devamı

Haberin Devamı

California San Diego Üniversitesine bağlı bir araştırma kuruluşu olan Hao AI Lab, yapay zekaların performansını Super Mario oynatarak karşılaştırdı.

Anthropic’in yeni modeli Claude 3.7 en iyi performansı gösterirken, onu da Claude 3.5 izledi. Google Gemini 1.5 Pro ve OpenAI’ın GPT-4o modelleri ise zorlandı.

Super Mario, 1985’teki orijinal sürümüyle tam olarak aynı versiyonda değil. Oyun bir emülatörde çalıştırıldı ve yapay zekaların Mario’yu kontrol edip, oynamasını sağlamak için GamingAgent isimli bir framework kullanıldı. Hao AI Lab’ın kendi geliştirdiği GamingAgent yapay zekaya, “Bir engel veya düşman yakındaysa kaçmak için hareket et, zıpla” gibi temel komutları veriyor. Yapay zeka da bu bilgileri kullanarak Python kodu şeklinde girdiler üretiyor ve bu girdilerle Mario’yu kontrol ediyor. Hao AI Lab, GamingAgent’ı Github’ta da paylaştı.

Haberin Devamı

Haberin Devamı

Haberin Devamı

Haberin Devamı

Araştırma ekibine göre yapay zeka modellerinin gerçek zamanlı oyunları oynarken, sorun yaşamasının ana nedenlerinden biri, eyleme karar vermelerinin biraz zaman almasından kaynaklanıyor. Bu genellikle saniyelerle ölçülüyor, ancak Super Mario’da zamanlama her şeydir. Bir saniye geç kalmak bile oyundaki bir hakkın yanmasına neden olabilir.

Aslında oyunlar yıllardır yapay zekaların performansını ölçmek ve karşılaştırmak için kullanılıyor. Oyunlar gerçek dünyanın aksine soyut ve daha basittir. Böylece yapay zekayı eğitmek için teorik olarak sonsuz miktarda veri sağlarlar. Bazı uzmanlar ise yapay zekanın oyun becerileri ile teknolojik ilerleme arasında bağlantı kurmanın mantığını sorguluyor. Oyunların benchmark olarak kullanılmasının yanlış olduğunu ileri süren uzmanlar da bulunuyor.