Karmaşık makine öğrenimi sıralama modellerini doğrudan arama motorunuza yerleştirebildiğinizi ve harici çıkarım hizmetlerini ve bunlarla ilişkili ağ gecikmesini tamamen atlayabildiğinizi hayal edin? Swiggy’deki geliştiricilerin otomatik tamamlama önerileri için başardığı tam olarak budur; statik kuralların ötesine geçerek milisaniyenin altında hızlarda önemli ölçüde daha alakalı sonuçlar sunarlar. Bu, yalnızca AI kodu üretmekle ilgili değildir; AI araçlarının temel ürün deneyimlerine nasıl entegre edilebileceğini temelden yeniden düşünmek, onları daha hızlı ve akıllı hale getirmekle ilgilidir.

Uzun zamandır, gerçekten akıllı bir otomatik tamamlama sistemi oluşturmak, Yazılım Geliştiriciler için bir ödünleşme gibi görünüyordu. Temel sözcüksel eşleştirmeye ve dikkatlice elle ayarlanmış, statik kurallar kümesine güvenerek ışık hızında yanıtlar elde edebilirdiniz. Ya da makine öğrenimini kullanarak gelişmiş alaka düzeyi hedefleyebilirdiniz, ancak bu genellikle ek hizmetler, ağ geçişleri ve harici bir çıkarım motoruyla gelen kaçınılmaz gecikme ek yükünü getirmek anlamına gelirdi. Bu gecikme, otomatik tamamlama için özellikle acı vericidir; burada her tuş vuruşu anında, alakalı bir öneri gerektirir.

Bu geleneksel yaklaşım genellikle geliştiricileri ödünleşim yapmaya zorladı. Mühendislik ekibi, kenar durumlarını ele almak için sadece sezgisel kuralları iyileştirmek, ağırlıkları ayarlamak ve karmaşık mantığı sürdürmek için haftalarca, hatta aylarca harcayabilir – bu kırılgan ve zaman alan bir süreçtir. Bir ML modeli *tanıtıldığında*, tipik olarak çekirdek arama motorunun dışında yaşardı, kendi dağıtım hattı, ölçeklendirme hususları ve bir API uç noktası gerektirirdi. Bu, mimari karmaşıklığı önemli ölçüde artırdı ve genellikle basit bir arama sorgusu olması gereken şeyi çok hizmetli bir orkestrasyon zorluğuna dönüştürdü. Yazılım Geliştirici’nin günlük çalışması üzerindeki etkisi açıktı: yönetilecek daha fazla altyapı, arıza potansiyeli olan daha fazla nokta ve alaka düzeyi sorununa odaklanmak için daha az zaman.

Swiggy’nin atılımı bu ikilemi tamamen atlıyor. Öğrenilmiş bir sıralama modelini doğrudan OpenSearch içine entegre ederek, geleneksel iki aşamalı ‘al, sonra sırala’ işlemini son derece optimize edilmiş, motor içi bir işleme indirgediler. Bu, gelişmiş sıralama için kullanılan güçlü modellerin artık OpenSearch’in kendisindeki ilk aday üretimiyle birlikte çalışabileceği anlamına gelir. Yazılım Geliştirici için bu, basitleştirilmiş mimari, dramatik ölçüde azaltılmış gecikme ve makine öğrenimi modellerini, arama dizin yapılandırmalarına uygulayabilecekleri çeviklikle yineleme ve dağıtma yeteneği anlamına gelir. Onları tipik mimari yükü olmadan gerçekten uyarlanabilir ve akıllı arama deneyimleri oluşturmaları için güçlendirir.

Oto tamamlama alaka düzeyini iyileştirmekle görevli bir Yazılım Geliştirici için tipik iş akışını düşünün:

ML’yi doğrudan OpenSearch’e entegre etmeden önce:

Bir geliştirici, hızlı aday üretimi sağlayan ilk sözcüksel alım için OpenSearch’i yapılandırırdı. Makine öğrenimini uygulamak isteselerdi, daha sonra ayrı bir hizmet oluştururlardı, belki de bir XGBoost modelini barındıran bir Python uygulaması. Bu hizmet, ilk adayları alır, gerçek zamanlı sinyaller için bir özellik deposunu sorgular, ML modelini uygular ve sonuçları geri göndermeden önce yeniden sıralardı. Ağ gecikmesi ve çıkarım süresi dahil olmak üzere bu gidiş-dönüş, her tuş vuruşu için kolayca 20-50 milisaniye ekleyebilir – bir kullanıcıya yavaş hissettirecek kadar.

Harcanan zaman, iki ayrı sistemi ve aralarındaki ağ sözleşmesini yönetmeye harcanırdı.

ML’yi LTR ile doğrudan OpenSearch’e entegre ettikten sonra:

Geliştirici hala aynı şeyi yapar…