Haberler

Google Brain’in yapay zekası son teknoloji metin özetleme performansı elde ediyor

0

Google Brain ve Imperial College Londra ekibi, özet metin dizisi veya boşluk cümleleriyle Google’ın Transformers mimarisini, soyut metin üretimi için uyarlanmış ön hedeflerle birleştiren bir sistem öncesi eğitim oluşturdu.

Google Brain’in yapay zekası son teknoloji metin özetleme performansı elde ediyor

Google Brain ekibi haber, bilim, hikayeler, talimatlar, e-postalar, patentler ve yasal faturaları kapsayan 12 özetleme görevinde son teknoloji sonuçlar elde ettiğini ve yalnızca 1000 örnekle altı adet veri kümesinde bir önceki en iyi sonuçları aştığını söyledi.

Araştırmacıların belirttiği gibi metin özetleme, yürütme tekniklerinin aksine girdi belgelerinden doğru ve özlü özetler oluşturmayı amaçlıyor. Parçaları yalnızca girişten kopyalamak yerine özetleme, yeni kelimeler üretebilir veya çıktının dilsel olarak akıcı kalmasını sağlayacak şekilde temel bilgileri kapsayabilir.

Transformatörler, Google’ın AI araştırma bölümü olan Google Brain’deki araştırmacılar tarafından bir makalede sunulan bir tür sinirsel mimaridir. Tüm derin sinir ağlarında olduğu gibi Transformatörler, giriş verilerinden sinyaller ileten ve her bağlantının sinaptik gücünü yavaşça ayarlayan birbirine bağlı katmanlarda düzenlenmiş işlevler içerir. Ancak Transformatörlerde her çıkış elemanı her giriş elemanına bağlıdır ve aralarındaki ağırlıklar dinamik olarak hesaplanır.

Ekip, belgelerdeki bütün ve varsayılan olarak önemli cümlelerin gizlendiği bir eğitim görevi tasarladı. Yapay zeka, araştırmacıların derlediği yeni bir kurumda (HugeNews) bulunanlar da dahil olmak üzere web ve haber makaleleri çizerek boşlukları doldurmak zorunda kaldı.

Deneylerde ekip en iyi performans gösteren Pegasus modelini 568 milyon parametre ile 350 milyon web sayfasından çıkarılan 750GB metin veya haber ve haber benzeri web sitelerinden toplanan, toplam 3,8 TB’lık 1,5 milyar makaleyi kapsayan değişkenleri seçti.

Araştırmacılara göre Pegasus, akıcılık ve tutarlılık açısından yüksek dilsel kalite elde etti ve aksaklıkları azaltmak için karşı önlemler gerektirmedi. Ayrıca yalnızca 100 örnek makaleden oluşan düşük kaynaklı bir ortamda, 20.000 ila 200.000 makale arasında tam bir veri kümesi üzerinde eğitilmiş bir modelle karşılaştırılabilir kalitede özetler oluşturdu.

Comments

Comments are closed.

Login/Sign up