Google’ın Dataproc hizmeti, GPU’ları ve yönetim otomasyonu özelliklerini alıyor

Dataproc, Google LLC’den işletmelerin bulutta yönetilen Spark ve Hadoop büyük veri ortamlarını canlandırmasına olanak tanıyan bir analiz hizmeti. Google’ın yeni güncellemesiyle makine öğrenimi için Dataproc kullanan şirketler artık Hadoop ve Spark kümelerine grafik işleme birimleri ekleyebilecek.

Dataproc’un GPUs ve yönetim otomasyonu özellikleri

GPU’lar, yapay zeka modellerini standart bir merkezi işlem biriminden çok daha hızlı çalıştırıyor ve bu da kullanıcılar için bir performans artışına dönüşüyor. Google, en üst düzey Tesla V100 modeli de dahil olmak üzere herkese açık bulutunda seçilebilecek sekiz Nvidia Corp. veri merkezi GPU’su sunuyor.

Bu aslında Dataproc için de yeni bir otomatik ölçeklendirme. Hizmet artık bir iş yükünün belirli bir anda kaç donanım kaynağı gerektirdiğine bağlı olarak bir kümenin boyutunu otomatik olarak yukarı veya aşağı arayabiliyor.

Google’a göre, otomatik ölçeklendirme mekanizması çeşitli durumlarda kullanışlı oluyor. Bir analitik uygulamasının Spark dağıtımına gönderdiği veri hacmindeki artış gibi ani kullanım artışlarıyla başa çıkmayı kolaylaştırıyor.

Küme, yalnızca tüm veri kümesini işlemek için gereken boyuta büyüyüyor ve daha sonra işlem tamamlandığında kendini yeniden ölçeklendiriyor. Bu da daha geniş bir sunucu ortamına geçmeye çalışırken veya işin nasıl taşınacağına karar verirken zaman kazandırıyor.

Google, şirketlerin Dataproc kümelerini daha verimli kullanmalarına yardımcı olacak birkaç özellik daha ekledi. İlk ekleme olan yeni bir yapılandırma seçeneği, bir kümenin ne kadar süre boşta çalışabileceği ve eşik değere ulaşıldığında Dataproc’un otomatik olarak silmesi için bir sınır ayarlamayı mümkün kılıyor. Diğer yeni özellik, şirketlerin Spark programında R programlarını çerçeve üzerinde çalıştırma yeteneği sağlayan bir uzantısı olan SparkR’daki belirli görevleri otomatikleştirmelerini sağlıyor.