Geçtiğimiz haftalarda tanıtılan OpenAI o3 AI modeli, yapay zeka dünyasında büyük ses getirdi. Ancak, modelin FrontierMath testindeki performansı, şirketin önceki iddialarının gerisinde kaldı. Aralık 2024’te yapılan bir canlı yayında, OpenAI’nin Araştırma Direktörü Mark Chen, o3 modelinin bu zorlu matematik testinde %25 başarı elde ettiğini açıklamıştı. Fakat, modelin halka açık sürümünün test sonuçları, bu iddiayı doğrulamadı.
Epoch AI tarafından yapılan bağımsız testlerde, o3 modelinin skoru yalnızca %10 olarak kaydedildi. Bu, OpenAI’nin iddiasının yarısından bile az bir performans anlamına geliyor. Peki, bu farkın nedeni ne olabilir?
OpenAI o3 AI Modeli FrontierMath Performansı: İddia Edilen vs. Gerçekleşen Skor
OpenAI, o3 modelini tanıtırken FrontierMath gibi zorlu benchmark testlerindeki üstün performansını vurgulamıştı. Ancak, modelin erişime açılmasıyla birlikte bağımsız testler farklı bir tablo ortaya koydu:
- OpenAI’nin İddiası: %25 başarı oranı (Aralık 2024 iç testleri)
- Gerçekleşen Skor: %10 (Epoch AI’nın bağımsız testi)
Bu durum, yapay zeka topluluğunda “Benchmark skorlarına ne kadar güvenilmeli?” tartışmasını yeniden alevlendirdi.
FrontierMath Testinin Zorluğu ve Önemi: Neden Bu Test Önemli?
FrontierMath, 70’ten fazla matematikçi tarafından geliştirilen ve manipülasyona karşı korumalı bir test. Sorular tamamen yeni ve yayınlanmamış olduğu için, AI modellerinin ezber yapması imkansız.
- Önceki Rekor: Hiçbir AI modeli, tek denemede %9’dan fazla başarı gösterememişti.
- o3’ün Konumu: %10 skor, hâlâ en iyi performans olarak kayda geçti.
Ancak, OpenAI’nin ilk iddiasıyla arasındaki büyük fark, kullanıcıların şüphelerini artırıyor.
OpenAI’nın Açıklaması ve Olası Nedenler: Neden Performans Düştü?
OpenAI bu farkı yalanlamadı, ancak muhtemel nedenleri şöyle açıklanabilir:
- Farklı Bilgisayar Kaynakları:
- İç testlerde daha yüksek hesaplama gücü kullanılmış olabilir.
- Ticari sürüm, enerji verimliliği için optimize edildiğinden performans düşmüş olabilir.
- Modelin Farklı Bir Versiyonu:
- ARC Prize, “Aralık 2024’te test edilen modelle şimdiki aynı değil” açıklamasını yaptı.
ARC-AGI Testindeki Durum: Diğer Benchmark Sonuçları
ARC-AGI testi (AI’nın genel zekasını ölçen bir benchmark), o3 için henüz kesin sonuç vermedi:
- OpenAI, modelin ARC-AGI verileriyle eğitilmediğini doğruladı.
- ARC Prize, yeni testler yapıp sonuçları “önizleme” yerine güncel skorlarla paylaşacağını duyurdu.
Ayrıca BKZ: ChatGPT Görsel Kütüphane Çıktı! GPT-4o ile Oluşturduğunuz AI Görsellerini Tek Yerde Yönetin
Gelecek Beklentileri: OpenAI o3’ün Geleceği
OpenAI o3, hâlâ en güçlü AI modellerinden biri olsa da, benchmark iddialarındaki tutarsızlık şeffaflık sorularını gündeme getirdi.
- Yapay Zeka Topluluğu Ne Diyor?
- “Şirketler, benchmark skorlarını açıklarken daha detaylı veri paylaşmalı.”
- Sonraki Adım Ne?
- OpenAI’nin resmi bir açıklama yapması ve o4-mini gibi yeni modellerde daha net veriler sunması bekleniyor.
