Veri Bilimciler, Neredeyse Gerçek Zamanlı Adaptasyon ile Tavsiye Sistemlerinde Gecikmeyi %75 Azalttı

Veri Bilimciler, soğuk başlangıç senaryolarında bile kullanıcı tercihlerine neredeyse gerçek zamanlı olarak adapte olabilen gelişmiş, çok aşamalı tavsiye sistemleri dağıtmanın artık özel altyapı gerektiren ve aylar süren bir mühendislik çabası olmadığını keşfediyorlar. Gelişmiş makine öğrenimi araçlarından ve akıllı mimarilerden yararlanarak, bu sistemler artık milyonlarca öğe genelinde 50 ms altı çıkarım gecikmeleri elde ediyor; bu performans düzeyi hızlı iş inovasyonunu ve hiper kişiselleştirilmiş kullanıcı deneyimlerini mümkün kılıyor. Bu yetenek, bir Veri Bilimcinin odağını altyapıyla boğuşmaktan, etkili ve taze öneriler sunmaya doğru dramatik bir şekilde kaydırıyor.

Yıllarca, üretim düzeyinde tavsiye sistemleri oluşturmak ve sürdürmek, Veri Bilimciler için göz korkutucu bir görevdi; genellikle muazzam MLOps ek yükü, yavaş model adaptasyonu ve karmaşık manuel ölçeklendirme içeriyordu. Yeni kullanıcılara veya öğelere yönelik soğuk başlangıç senaryoları ve katı gecikme bütçeleriyle milyonlarca farklı ürüne hizmet etme ihtiyacıyla zorluk daha da arttı. Şimdi, belirli yapay zeka araçlarını ve tasarım desenlerini birleştiren yapılandırılmış bir yaklaşım bu manzarayı dönüştürüyor. Veri Bilimciler, yalnızca modelleri eğiten ve dağıtan değil, aynı zamanda sürekli ince ayarı yöneten ve tam günlük yeniden derlemelere gerek kalmadan önerilerin taze ve ilgili kalmasını sağlayan uçtan uca işlem hatları uygulayabilirler. Bu yeni paradigma, Veri Bilimcilerin dağıtımın incelikleri yerine model kalitesi ve özellik mühendisliğine odaklanmalarını sağlıyor.

CLIP (görüntüler için) ve Sentence-BERT (metin için) gibi gelişmiş embedding tekniklerinin, geleneksel tablo verili işbirlikçi özelliklerin yanı sıra entegrasyonu, anonim kullanıcılar veya yeni öğeler için bile gelişmiş içerik tabanlı sinyallerin sağlam soğuk başlangıç önerileri sunduğu anlamına gelir. Kritik olarak, veri bilimciler için bu yapay zeka araçları, hafif bir geri çağırma aşamasını takiben daha ağır bir sıralama aşaması olan çok aşamalı mimarilere olanak tanır; bu mimariler, geniş katalogları verimli bir şekilde yönetir, her istekte milyonlarca öğeyi puanlamanın hesaplama yükünü önemli ölçüde azaltır ve doğrudan bir Veri Bilimcinin temel çalışmasına fayda sağlar.

Dahası, bellek içi özellik önbellekleme ve yüksek performanslı çıkarım sunucularının stratejik kullanımı, karmaşık model aramaları için gecikme darboğazının önemli ölçüde hafifletildiği anlamına gelir. Bu, Veri Bilimcilerin üretim performansını felce uğratma korkusu olmadan daha karmaşık modeller tasarlamasına olanak tanır. Vurgu, basitçe bir model eğitmaktan, öğrenen ve otonom olarak ölçeklenen dirençli, uyarlanabilir ve performanslı bir prediktif analitik yapay zeka sistemi oluşturmaya kaymıştır.

Bu entegre yaklaşımdan önce, bir e-ticaret platformu için tavsiye sistemini güncel tutmakla görevlendirilen bir Veri Bilimcinin bir dizi ayrı komut dosyasını manuel olarak koordine etmesi gerekiyordu. Bu, genellikle tam model yeniden eğitimini başlatmak, büyük ölçekli Yaklaşık En Yakın Komşu (ANN) indekslerini yeniden oluşturmak ve tüm model yığınlarını günlük olarak yeniden dağıtmak anlamına geliyordu; bu süreç saatler sürebilir, potansiyel hatalara neden olabilir ve önemli kesinti veya güncelliğini yitirmiş önerilere yol açabilirdi. Model tazeliği ve geliştirme hızı üzerindeki etkisi önemliydi.

Bu işlem hattı güdümlü stratejileri benimsedikten sonra, iş akışı iki ayrı, otomatikleştirilmiş Kubeflow işlem hattına streamlined edilmiştir. Birincisi, ön hazırlığı kurma, temel modelleri sıfırdan eğitme, ANN indeksini oluşturma ve çıkarım sunucusunu dağıtma gibi ilk ağır işleri ele alır. İkinci, daha çevik işlem hattı şunlara adanmıştır