Bir kullanıcıyı mobil uygulamada tutmak tam bir bilimdir. Kursun yazarı, temellerini VC.ru'daki makalemizde anlattı. Maxim Godzi, App in the Air'de Makine Öğrenimi Başkanı. Maxim, bir mobil uygulamanın analizi ve optimizasyonu üzerine çalışma örneğini kullanarak şirkette geliştirilen araçlardan bahsediyor. App in the Air'de geliştirilen ürün iyileştirmeye yönelik bu sistematik yaklaşıma Elde Tutma adı veriliyor. Bu araçları ürününüzde kullanabilirsiniz: bunlardan bazıları GitHub'da.
App in the Air, dünya çapında 3 milyondan fazla aktif kullanıcısı olan, uçuşları takip edebileceğiniz, kalkış/iniş saatlerindeki değişiklikler, check-in ve havalimanı özellikleri hakkında bilgi alabileceğiniz bir uygulamadır.
Huniden yörüngeye
Tüm geliştirme ekipleri bir katılım hunisi (ürünün kullanıcı tarafından kabul edilmesini amaçlayan bir süreç) oluşturur. Bu, tüm sisteme yukarıdan bakmanıza ve uygulama sorunlarını bulmanıza yardımcı olan ilk adımdır. Ancak ürün geliştikçe bu yaklaşımın sınırlarını hissedeceksiniz. Basit bir huni kullanarak bir ürünün bariz olmayan büyüme noktalarını göremezsiniz. Huninin amacı kullanıcıların uygulamadaki aşamalarına genel bir bakış vermek, normun metriklerini size göstermektir. Ancak huni, normdan bariz sorunlara veya tam tersine özel kullanıcı etkinliğine doğru sapmaları ihtiyatlı bir şekilde gizleyecektir.
App in the Air'de kendi hunimizi oluşturduk ancak ürünün özellikleri nedeniyle elimizde bir kum saati oluştu. Daha sonra yaklaşımı genişletmeye ve uygulamanın bize sağladığı zengin bilgileri kullanmaya karar verdik.
Bir dönüşüm hunisi oluşturduğunuzda, kullanıcının katılım yörüngelerini kaybedersiniz. Yörüngeler, kullanıcının ve uygulamanın kendisinin gerçekleştirdiği bir dizi eylemden oluşur (örneğin, anlık bildirim göndermek).
Zaman damgalarını kullanarak kullanıcının gidişatını çok kolay bir şekilde yeniden oluşturabilir ve her biri için bir grafik oluşturabilirsiniz. Tabii ki çok sayıda grafik var. Bu nedenle benzer kullanıcıları gruplamanız gerekir. Örneğin tüm kullanıcıları tablo satırlarına göre sıralayabilir ve belirli bir işlevi ne sıklıkta kullandıklarını listeleyebilirsiniz.
Böyle bir tabloya dayanarak bir matris oluşturduk ve kullanıcıları işlevlerin kullanım sıklığına göre, yani grafikteki düğümlere göre gruplandırdık. Bu genellikle içgörüye doğru atılan ilk adımdır: örneğin, bu aşamada bazı kullanıcıların bazı işlevleri hiç kullanmadığını göreceksiniz. Frekans analizini yaptığımızda grafikte hangi düğümlerin “en büyük” olduğunu, yani kullanıcıların en sık hangi sayfaları ziyaret ettiğini araştırmaya başladık. Sizin için önemli olan bazı kriterlere göre temelde farklı olan kategoriler hemen vurgulanır. Burada örneğin abonelik kararına göre böldüğümüz iki kullanıcı kümesi var (toplamda 16 küme vardı).
Bu nasıl kullanılır
Kullanıcılarınıza bu şekilde bakarak onları elde tutmak için hangi özellikleri kullandığınızı görebilir veya örneğin kaydolmalarını sağlayabilirsiniz. Doğal olarak matris de bariz şeyleri gösterecektir. Örneğin abonelik satın alanların abonelik ekranını ziyaret ettiği. Ancak bunun yanı sıra, başka türlü asla bilemeyeceğiniz kalıpları da bulabilirsiniz.
Böylece tamamen tesadüfen bir uçuş ekleyen, onu gün boyunca aktif olarak takip eden ve ardından tekrar bir yere uçuncaya kadar uzun süre ortadan kaybolan bir grup kullanıcı bulduk. Davranışlarını geleneksel araçları kullanarak analiz etsek, uygulamanın işlevselliğinden memnun olmadıklarını düşünürdük; uygulamayı bir gün kullanıp bir daha geri dönmemelerini başka nasıl açıklayabiliriz? Ancak grafiklerin yardımıyla çok aktif olduklarını gördük, sadece tüm aktiviteleri bir güne sığıyor.
Şimdi asıl görevimiz böyle bir kullanıcıyı istatistiklerimizi kullanırken havayolunun sadakat programına bağlanmaya teşvik etmektir. Bu durumda satın aldığı tüm uçuşları içe aktaracağız ve yeni bilet alır almaz onu kaydolmaya zorlayacağız. Bu sorunu çözmek için Aviasales, Svyaznoy.Travel ve diğer uygulamalarla da işbirliği yapmaya başladık. Kullanıcıları bir bilet satın aldığında uygulama onlardan uçuşu App in the Air'e eklemelerini istiyor ve biz de bunu hemen görüyoruz.
Grafik sayesinde abonelik ekranına giden kişilerin %5'inin iptal ettiğini gördük. Bu tür durumları analiz etmeye başladık ve ilk sayfaya giden, Google hesabının bağlantısını başlatan ve hemen iptal eden, tekrar ilk sayfaya ulaşan ve dört kez bu şekilde devam eden bir kullanıcı olduğunu gördük. İlk başta "Bu kullanıcıda açıkça bir sorun var" diye düşündük. Ve sonra büyük olasılıkla uygulamada bir hata olduğunu fark ettik. Dönüşüm hunisinde bu şu şekilde yorumlanabilir: Kullanıcı, uygulamanın talep ettiği izin kümesini beğenmedi ve ayrıldı.
Başka bir grup, kullanıcıların %5'inin, uygulamanın akıllı telefonlarındaki tüm takvim uygulamalarından birini seçmelerini istediği ekranda kaybolduğunu gördü. Kullanıcılar defalarca farklı takvimleri seçip uygulamadan çıkıyordu. Bir kullanıcı deneyimi sorunu olduğu ortaya çıktı: Bir kişi bir takvimi seçtikten sonra sağ üst köşedeki Bitti'ye tıklamak zorunda kaldı. Sadece tüm kullanıcılar bunu görmedi.
App in the Air'in ilk ekranı
Grafiğimizde kullanıcıların yaklaşık %30'unun ilk ekranın ötesine geçmediğini gördük: bunun nedeni, kullanıcıyı abone olmaya zorlama konusunda oldukça agresif olmamızdır. İlk ekranda uygulama sizden Google veya Triplt kullanarak kayıt olmanızı istiyor ve kaydın atlanmasıyla ilgili bir bilgi bulunmuyor. İlk ekrandan ayrılan kullanıcıların %16'sı "Diğer"e tıklayıp tekrar geri dönüyor. Uygulamaya dahili olarak kaydolmanın bir yolunu aradıklarını öğrendik ve bir sonraki güncellemede yayınlayacağız. Ayrıca hemen ayrılanların 2/3'ü hiçbir şeye tıklamıyor. Onlara ne olduğunu öğrenmek için bir ısı haritası oluşturduk. Müşterilerin tıklanabilir bağlantılar olmayan uygulama özellikleri listesine tıkladıkları ortaya çıktı.
Mikro bir anı yakalayın
Asfalt yolun yanında yolları çiğneyen insanları sıklıkla görebilirsiniz. Koruma, bu yolları bulma ve mümkünse yolları değiştirme girişimidir.
Elbette gerçek kullanıcılardan öğrenmemiz kötü ama en azından uygulamada kullanıcı sorunu olduğunu gösteren kalıpları otomatik olarak takip etmeye başladık. Artık ürün yöneticisi, çok sayıda "döngü" meydana geldiğinde (kullanıcı aynı ekrana tekrar tekrar döndüğünde) e-posta bildirimleri alıyor.
Bir uygulamanın sorunlarını ve büyüme alanlarını analiz etmek için kullanıcı yörüngelerindeki hangi kalıpları aramanın genel olarak ilgi çekici olduğuna bakalım:
- Döngüler ve döngüler. Yukarıda bahsedilen döngüler, bir olayın kullanıcının yörüngesinde tekrarlandığı zamandır; örneğin takvim-takvim-takvim-takvim. Çok fazla tekrarın olduğu bir döngü, bir arayüz sorununun veya yetersiz olay işaretlemesinin açık bir göstergesidir. Döngü aynı zamanda kapalı bir yörüngedir ancak döngüden farklı olarak birden fazla olayı içerir, örneğin: uçuş geçmişini görüntüleme - uçuş ekleme - uçuş geçmişini görüntüleme.
- Akış durdurucular - kullanıcı, bazı engeller nedeniyle uygulama içinde istediği hareketi sürdüremediğinde (örneğin, istemci tarafından anlaşılamayan bir arayüze sahip bir ekran). Bu tür olaylar kullanıcıların gidişatını yavaşlatır ve değiştirir.
- Çatallanma noktaları, farklı türdeki müşterilerin yörüngelerinin ayrıldığı önemli olaylardır. Özellikle hedef eyleme doğrudan geçiş veya harekete geçirici mesaj içermeyen, bazı kullanıcıları etkili bir şekilde buna doğru iten ekranlardır bunlar. Örneğin, bir uygulamadaki içeriğin satın alınmasıyla doğrudan ilgili olmayan ancak müşterilerin içerik satın alma veya almama eğiliminde olduğu bazı ekranlar farklı davranacaktır. Çatallanma noktaları, artı işaretiyle kullanıcılarınızın eylemleri üzerinde etki noktaları olabilir - satın alma veya tıklama kararını etkileyebilirler veya eksi işaretiyle - kullanıcının birkaç adımdan sonra uygulamadan ayrılacağını belirleyebilirler.
- İptal edilen dönüşüm noktaları potansiyel çatallanma noktalarıdır. Bunları, hedef eylemi tetikleyebilecek ekranlar olarak düşünebilirsiniz, ancak öyle değil. Bu aynı zamanda kullanıcının bir ihtiyacının olduğu bir zaman noktası da olabilir, ancak bunu karşılamıyoruz çünkü bunun hakkında hiçbir şey bilmiyoruz. Yörünge analizi bu ihtiyacın tanımlanmasına izin vermelidir.
- Dikkat dağıtma noktası - kullanıcıya değer sağlamayan, dönüşümü etkilemeyen ve yörüngeleri "bulanıklaştırabilen" ekranlar/açılır pencereler, kullanıcının dikkatini hedef eylemlerden uzaklaştırabilir.
- Kör noktalar uygulamanın, ekranların ve özelliklerin kullanıcının ulaşması çok zor olan gizli noktalarıdır.
- Drenajlar – trafiğin aktığı noktalar
Genel olarak matematiksel yaklaşım, müşterinin uygulamayı, kullanıcı için standart bir kullanım senaryosu planlamaya çalışırken genellikle ürün yöneticilerinin düşündüğünden tamamen farklı bir şekilde kullandığını anlamamızı sağladı. Ofiste otururken ve en havalı ürün konferanslarına katılırken, kullanıcının uygulamayı kullanarak sorunlarını çözeceği tüm gerçek saha koşullarını hayal etmek hâlâ çok zor.
Bu bana harika bir şakayı hatırlattı. Bir testçi bara girer ve sipariş verir: bir bardak bira, 2 bardak bira, 0 bardak bira, 999999999 bardak bira, bardakta bir kertenkele, -1 bardak bira, qwertyuip bardak bira. İlk gerçek müşteri bara girer ve tuvaletin nerede olduğunu sorar. Bar alevler içinde kalır ve herkes ölür.
Bu soruna derinlemesine dalmış olan ürün analistleri, mikro an kavramını tanıtmaya başladılar. Modern kullanıcının sorunlarına anında çözüme ihtiyacı var. Google bundan birkaç yıl önce bahsetmeye başladı: Şirket bu tür kullanıcı eylemlerini mikro anlar olarak adlandırdı. Kullanıcının dikkati dağılır, yanlışlıkla uygulamayı kapatır, kendisinden ne istendiğini anlamaz, bir gün sonra tekrar giriş yapar, tekrar unutur ve ardından bir arkadaşının kendisine messenger'da gönderdiği bağlantıyı takip eder. Ve tüm bu oturumlar 20 saniyeden fazla süremez.
Böylece destek hizmetinin çalışmasını, çalışanların sorunun ne olduğunu neredeyse gerçek zamanlı olarak anlayabilmeleri için ayarlamaya başladık. Bir kişi destek sayfasına gelip sorusunu yazmaya başladığında, onun gidişatını (son 100 olayı) bilerek sorunun özünü belirleyebiliriz. Daha önce, destek talep metinlerinin ML analizini kullanarak tüm destek taleplerinin kategorilere dağıtımını otomatikleştiriyorduk. Kategorizasyonun başarısına rağmen, tüm isteklerin %87'si 13 kategoriden birine doğru bir şekilde dağıtıldığında, kullanıcının durumuna en uygun çözümü otomatik olarak bulabilen şey yörüngelerle çalışmaktır.
Güncellemeleri hızlı bir şekilde yayınlayamıyoruz ancak sorunu fark edebiliyoruz ve kullanıcı daha önce gördüğümüz senaryoyu takip ederse ona bir anında bildirim gönderebiliyoruz.
Bir uygulamayı optimize etme görevinin, kullanıcı yörüngelerini incelemek için zengin araçlar gerektirdiğini görüyoruz. Ayrıca, kullanıcıların izlediği tüm yolları bilerek gerekli yolları açabilirsiniz ve özelleştirilmiş içerik, anlık bildirimler ve uyarlanabilir kullanıcı arayüzü öğelerinin yardımıyla "elle" kullanıcıyı ihtiyaçlarına en uygun ve para getiren hedefli eylemlere yönlendirirsiniz. , veriler ve işletmeniz için diğer değerler.
Nelere dikkat edilmeli
- Örnek olarak yalnızca hunileri kullanarak kullanıcı dönüşümünü incelemek, uygulamanın bize sağladığı zengin bilgileri kaybetmek anlamına gelir.
- Grafiklerdeki kullanıcı yörüngelerinin elde tutma analizi, kullanıcıları elde tutmak için hangi özellikleri kullandığınızı görmenize veya örneğin onları abone olmaya teşvik etmenize yardımcı olur.
- Elde tutma araçları, uygulamadaki kullanıcı sorunlarını gösteren kalıpların otomatik olarak, gerçek zamanlı olarak izlenmesine, fark edilmesi zor olan hataların bulunmasına ve kapatılmasına yardımcı olur.
- Kullanıcı davranışının açık olmayan kalıplarını bulmaya yardımcı olurlar.
- Elde tutma araçları, önemli kullanıcı etkinliklerini ve ölçümlerini tahmin etmek için otomatik makine öğrenimi araçları oluşturmayı mümkün kılar: kullanıcı kaybı, LTV ve grafikte kolayca belirlenen diğer birçok ölçüm.
Fikirlerin özgürce paylaşılması için Elde Tutma etrafında bir topluluk oluşturuyoruz. Geliştirdiğimiz araçları, farklı mobil ve web uygulamalarındaki analistlerin ve ürünlerin içgörü, en iyi teknik ve yöntem alışverişinde bulunabileceği bir dil olarak düşünebilirsiniz. Bu araçları nasıl kullanacağınızı kursta öğrenebilirsiniz. İkili Bölge.
Kaynak: habr.com