<\/a><\/noindex>
Sprawdzenie hipotezy o przewadze jest odpowiednie do rozwi\u0105zania wielu problem\u00f3w. Wydajemy wersj\u0119 B modelu rekomendacyjnego tylko wtedy, gdy jest ona wyra\u017anie lepsza od wersji A, kt\u00f3r\u0105 ju\u017c stosujemy. Jednak w niekt\u00f3rych przypadkach to podej\u015bcie nie dzia\u0142a tak dobrze. Rozwa\u017cmy kilka przyk\u0142ad\u00f3w.<\/p>\n
1) Korzystamy z zewn\u0119trznej us\u0142ugi<\/b>, kt\u00f3ra pomaga identyfikowa\u0107 fa\u0142szywe karty bankowe. Znale\u017ali\u015bmy inn\u0105 us\u0142ug\u0119, kt\u00f3ra kosztuje znacznie mniej. Je\u015bli ta ta\u0144sza us\u0142uga dzia\u0142a tak samo dobrze, jak ta, kt\u00f3rej obecnie u\u017cywamy, wybierzemy j\u0105. Nie musi by\u0107 lepsza od u\u017cywanej us\u0142ugi. <\/p>\n
2) Chcemy zrezygnowa\u0107 z \u017ar\u00f3d\u0142a danych<\/b> A i zast\u0105pi\u0107 je \u017ar\u00f3d\u0142em danych B. Mogliby\u015bmy od\u0142o\u017cy\u0107 rezygnacj\u0119 z A, je\u015bli B daje bardzo s\u0142abe wyniki, ale kontynuowanie korzystania z A nie jest mo\u017cliwe. <\/p>\n
3) Chcieliby\u015bmy przej\u015b\u0107 z podej\u015bcia do modelowania<\/b>A na podej\u015bcie B nie dlatego, \u017ce oczekujemy lepszych wynik\u00f3w z B, ale dlatego, \u017ce daje nam to wi\u0119ksz\u0105 elastyczno\u015b\u0107 operacyjn\u0105. Nie mamy podstaw, by s\u0105dzi\u0107, \u017ce B b\u0119dzie gorsze, ale nie przeprowadzimy zmiany, je\u015bli tak by by\u0142o.<\/p>\n
4) Wprowadzili\u015bmy kilka jako\u015bciowych zmian<\/b> w projekcie strony internetowej (wersja B) i uwa\u017camy, \u017ce ta wersja przewy\u017csza wersj\u0119 A. Nie spodziewamy si\u0119 zmian w konwersji lub jakichkolwiek kluczowych wska\u017anikach wydajno\u015bci, wed\u0142ug kt\u00f3rych zazwyczaj oceniamy stron\u0119. Ale uwa\u017camy, \u017ce istniej\u0105 zalety w parametrach, kt\u00f3re s\u0105 albo niezmierzalne, albo nasze technologie nie s\u0105 wystarczaj\u0105ce, aby je zmierzy\u0107.<\/p>\n
Wszystkie te przypadki pokazuj\u0105, \u017ce badanie przewagi nie jest najlepszym rozwi\u0105zaniem. Ale wi\u0119kszo\u015b\u0107 specjalist\u00f3w w takich sytuacjach korzysta z niego domy\u015blnie. Dok\u0142adnie przeprowadzamy eksperyment, aby prawid\u0142owo okre\u015bli\u0107 wielko\u015b\u0107 efektu. Gdyby by\u0142o prawd\u0105, \u017ce wersje A i B dzia\u0142aj\u0105 w bardzo podobny spos\u00f3b, istnieje prawdopodobie\u0144stwo, \u017ce nie uda nam si\u0119 odrzuci\u0107 hipotezy zerowej. Czy dochodzimy do wniosku, \u017ce A i B generalnie dzia\u0142aj\u0105 identycznie? Nie! Niemo\u017cno\u015b\u0107 odrzucenia hipotezy zerowej a przyj\u0119cie hipotezy zerowej to nie to samo.<\/p>\n
Obliczenia dotycz\u0105ce wielko\u015bci pr\u00f3by (kt\u00f3re oczywi\u015bcie przeprowadzi\u0142e\u015b) zazwyczaj s\u0105 prowadzone z bardziej rygorystycznymi granicami dla b\u0142\u0119du pierwszego rodzaju (prawdopodobie\u0144stwo b\u0142\u0119dnego odrzucenia hipotezy zerowej, cz\u0119sto nazywane alfa) ni\u017c dla b\u0142\u0119du drugiego rodzaju (prawdopodobie\u0144stwo nieodrzucenia hipotezy zerowej, je\u015bli hipoteza zerowa jest fa\u0142szywa, cz\u0119sto nazywane beta). Typowa warto\u015b\u0107 dla alfa wynosi 0,05, podczas gdy typowa warto\u015b\u0107 dla beta wynosi 0,20, co odpowiada mocy statystycznej 0,80. Oznacza to, \u017ce mo\u017cemy nie wykry\u0107 prawdziwego wp\u0142ywu warto\u015bci, kt\u00f3r\u0105 okre\u015blili\u015bmy w naszych obliczeniach mocy, z prawdopodobie\u0144stwem 20%, co stanowi do\u015b\u0107 powa\u017cn\u0105 luk\u0119 w informacjach. Jako przyk\u0142ad rozwa\u017cmy nast\u0119puj\u0105ce hipotezy:<\/p>\n
H0: m\u00f3j plecak NIE znajduje si\u0119 w moim pokoju (3)
Je\u015bli przeszuka\u0142em m\u00f3j pok\u00f3j i znalaz\u0142em plecak \u2014 \u015bwietnie, mog\u0119 odrzuci\u0107 hipotez\u0119 zerow\u0105. Ale je\u015bli sprawdzi\u0142em pok\u00f3j i nie znalaz\u0142em plecaka (rysunek 1), jaki wniosek mog\u0119 wyci\u0105gn\u0105\u0107? Czy jestem pewien, \u017ce go tam nie ma? Czy wystarczaj\u0105co dok\u0142adnie szuka\u0142em? Co je\u015bli przeszuka\u0142em tylko 80% pokoju? Wyci\u0105gni\u0119cie wniosku, \u017ce plecaka na pewno nie ma w pokoju, by\u0142oby lekkomy\u015bln\u0105 decyzj\u0105. Nic dziwnego, \u017ce nie mo\u017cemy \"zaakceptowa\u0107 hipotezy zerowej.\"Obszar, kt\u00f3ry przeszukali\u015bmy
Rysunek 1. Przeszukanie 80% pokoju \u2014 to mniej wi\u0119cej to samo, co przeprowadzenie badania o mocy 80%. Je\u015bli nie znalaz\u0142e\u015b plecaka, przeszukuj\u0105c 80% pokoju, czy mo\u017cna wyci\u0105gn\u0105\u0107 wniosek, \u017ce go tam nie ma?<\/i> <\/p>\n
Co zatem powinien zrobi\u0107 specjalista ds. danych w tej sytuacji? Mo\u017cesz znacznie zwi\u0119kszy\u0107 moc badania, ale wtedy b\u0119dziesz potrzebowa\u0142 pr\u00f3by znacznie wi\u0119kszej wielko\u015bci, a wynik wci\u0105\u017c mo\u017ce by\u0107 niezadowalaj\u0105cy.<\/p>\n
Na szcz\u0119\u015bcie, takie problemy s\u0105 od dawna badane w \u015bwiecie bada\u0144 klinicznych. Preparat B jest ta\u0144szy ni\u017c preparat A; oczekuje si\u0119, \u017ce preparat B b\u0119dzie powodowa\u0142 mniej dzia\u0142a\u0144 niepo\u017c\u0105danych ni\u017c preparat A; preparat B jest \u0142atwiejszy w transporcie, poniewa\u017c nie wymaga przechowywania w lod\u00f3wce, podczas gdy preparat A \u2013 wymaga. Sprawd\u017amy hipotez\u0119 o nie mniejszej skuteczno\u015bci. Jest to potrzebne, aby wykaza\u0107, \u017ce wersja B jest tak samo dobra jak wersja A \u2013 przynajmniej w granicach ustalonego wcze\u015bniej progu \u201enie mniejszej skuteczno\u015bci\u201d, \u0394. Wkr\u00f3tce om\u00f3wimy, jak ustali\u0107 ten pr\u00f3g. Ale teraz za\u0142\u00f3\u017cmy, \u017ce to minimalna r\u00f3\u017cnica, kt\u00f3ra ma znaczenie praktyczne (w kontek\u015bcie bada\u0144 klinicznych zazwyczaj nazywa si\u0119 to istotno\u015bci\u0105 kliniczn\u0105).<\/p>\n
Hipotezy o nie mniejszej skuteczno\u015bci przewracaj\u0105 wszystko do g\u00f3ry nogami:<\/p>\n
Wyb\u00f3r \u0394<\/h3>\n \nJak prawid\u0142owo wybra\u0107 \u0394? Proces wyboru \u0394 obejmuje uzasadnienie statystyczne oraz ocen\u0119 merytoryczn\u0105. W \u015bwiecie bada\u0144 klinicznych istniej\u0105 normatywne wytyczne, kt\u00f3re wskazuj\u0105, \u017ce delta powinna stanowi\u0107 najmniejsz\u0105 istotn\u0105 klinicznie r\u00f3\u017cnic\u0119 \u2013 tak\u0105, kt\u00f3ra ma znaczenie w praktyce. Oto cytat z europejskiego przewodnika, kt\u00f3ry mo\u017cna sobie przypomnie\u0107: \u201eJe\u015bli r\u00f3\u017cnica zosta\u0142a wybrana prawid\u0142owo, przedzia\u0142 ufno\u015bci, kt\u00f3ry w ca\u0142o\u015bci mie\u015bci si\u0119 pomi\u0119dzy \u2013\u2206 a 0\u2026, nadal jest wystarczaj\u0105cy do wykazania nie mniejszej skuteczno\u015bci. Je\u015bli ten wynik nie wydaje si\u0119 akceptowalny, oznacza to, \u017ce \u2206 nie zosta\u0142 wybrany prawid\u0142owo.\u201d<\/p>\n
Delta zdecydowanie nie powinna przekracza\u0107 warto\u015bci efektu wersji A w por\u00f3wnaniu do prawdziwej kontroli (placebo \/ brak leczenia), poniewa\u017c prowadzi to do wniosku, \u017ce wersja B jest gorsza ni\u017c prawdziwa kontrola, a jednocze\u015bnie wykazuje \u201enie mniejsz\u0105 skuteczno\u015b\u0107\u201d. Za\u0142\u00f3\u017cmy, \u017ce gdy wersja A zosta\u0142a wprowadzona, na jej miejscu by\u0142a wersja 0 lub funkcja w og\u00f3le nie istnia\u0142a (patrz rysunek 3). <\/p>\n
Na podstawie wynik\u00f3w testowania hipotezy o przewadze ustalono warto\u015b\u0107 efektu E (to znaczy zak\u0142adamy, \u017ce \u03bc^A\u2212\u03bc^0=E). Teraz A jest naszym nowym standardem i chcemy upewni\u0107 si\u0119, \u017ce B nie ust\u0119puje A. Innym sposobem zapisania \u03bcB\u2212\u03bcA\u2264\u2212\u0394 (hipoteza zerowa) jest \u03bcB\u2264\u03bcA\u2212\u0394. Je\u015bli za\u0142o\u017cymy, \u017ce wyniki s\u0105 r\u00f3wne lub wi\u0119ksze ni\u017c E, to \u03bcB \u2264 \u03bcA\u2212E \u2264 placebo. Teraz widzimy, \u017ce nasza ocena dla \u03bcB ca\u0142kowicie przekracza \u03bcA\u2212E, co ca\u0142kowicie obala hipotez\u0119 zerow\u0105 i pozwala na wniosek, \u017ce B nie ust\u0119puje A, ale jednocze\u015bnie \u03bcB mo\u017ce by\u0107 \u2264 \u03bc placebo, co nie jest tym, czego potrzebujemy. (rysunek 3).<\/p>\n
Rysunek 3. Demonstrowanie ryzyk wyboru granicy nie mniejszej skuteczno\u015bci. Je\u015bli granica jest zbyt du\u017ca, mo\u017cna doj\u015b\u0107 do wniosku, \u017ce B nie ust\u0119puje A, ale jednocze\u015bnie jest nieodr\u00f3\u017cnialna od placebo. Nie zamienimy leku, kt\u00f3ry jest wyra\u017anie skuteczniejszy od placebo (A), na lek, kt\u00f3ry ma tak\u0105 sam\u0105 skuteczno\u015b\u0107 jak placebo. <\/i><\/p>\nWyb\u00f3r \u03b1 <\/h3>\n
\nPrzejd\u017amy do wyboru \u03b1. Mo\u017cna przyj\u0105\u0107 standardow\u0105 warto\u015b\u0107 \u03b1 = 0,05, ale to nie jest do ko\u0144ca uczciwe. Na przyk\u0142ad, gdy kupujesz co\u015b w internecie i u\u017cywasz kilku kod\u00f3w rabatowych jednocze\u015bnie, chocia\u017c nie powinny si\u0119 one sumowa\u0107 \u2013 to po prostu b\u0142\u0105d dewelopera, a tobie to przesz\u0142o. Zgodnie z zasadami warto\u015b\u0107 \u03b1 powinna by\u0107 r\u00f3wna po\u0142owie warto\u015bci \u03b1 stosowanej przy testowaniu hipotezy o przewadze, to znaczy 0,05 \/ 2 = 0,025.<\/p>\n
Wielko\u015b\u0107 pr\u00f3by <\/h3>\n \nJak oceni\u0107 wielko\u015b\u0107 pr\u00f3by? Je\u015bli uwa\u017casz, \u017ce rzeczywista r\u00f3\u017cnica \u015brednich mi\u0119dzy A i B wynosi 0, to obliczenie wielko\u015bci pr\u00f3by b\u0119dzie takie samo jak przy testowaniu hipotezy o przewadze, z wyj\u0105tkiem tego, \u017ce zast\u0119pujesz wielko\u015b\u0107 efektu granic\u0105 nie mniejszej skuteczno\u015bci, pod warunkiem, \u017ce u\u017cywasz \u03b1nie mniejsza efektywno\u015b\u0107 = 1\/2\u03b1przewaga <\/b>(\u03b1non-inferiority=1\/2\u03b1superiority). Je\u015bli masz powody s\u0105dzi\u0107, \u017ce opcja B mo\u017ce by\u0107 nieco gorsza od opcji A, ale chcesz udowodni\u0107, \u017ce nie jest gorsza o wi\u0119cej ni\u017c \u0394, masz szcz\u0119\u015bcie! W rzeczywisto\u015bci zmniejsza to wielko\u015b\u0107 Twojej pr\u00f3bki, poniewa\u017c \u0142atwiej jest wykaza\u0107, \u017ce B jest gorsze od A, je\u015bli uwa\u017casz, \u017ce jest nieco gorsze, a nie r\u00f3wnowa\u017cne.<\/p>\nPrzyk\u0142ad z rozwi\u0105zaniem <\/h3>\n
\nZa\u0142\u00f3\u017cmy, \u017ce chcesz przej\u015b\u0107 na wersj\u0119 B pod warunkiem, \u017ce jest ona gorsza od wersji A nie wi\u0119cej ni\u017c 0,1 punktu w 5-stopniowej skali satysfakcji klient\u00f3w\u2026 Podejd\u017amy do tego zadania, u\u017cywaj\u0105c hipotezy o przewadze.<\/p>\n
Aby sprawdzi\u0107 hipotez\u0119 o przewadze, obliczymy wielko\u015b\u0107 pr\u00f3bki w nast\u0119puj\u0105cy spos\u00f3b:<\/p>\n
Co je\u015bli zamiast tego sprawdzimy hipotez\u0119 o nie mniejszej efektywno\u015bci? <\/p>\n
\u2014 Z1\u2212\u03b1\/2 jest zast\u0119powane przez Z1\u2212\u03b1, ale je\u015bli robisz wszystko zgodnie z zasadami, zast\u0119pujesz \u03b1 = 0,05 na \u03b1 = 0,025, wi\u0119c to ta sama liczba (1,96)<\/p>\n
\u2014 w mianowniku pojawia si\u0119 (\u03bcB\u2212\u03bcA)<\/p>\n
\u2014 \u03b8(wielko\u015b\u0107 efektu) jest zast\u0119powana przez \u0394 (limit nie mniejszej efektywno\u015bci)<\/p>\n
Je\u015bli za\u0142o\u017cymy, \u017ce \u00b5B = \u00b5A, to (\u00b5B \u2212 \u00b5A) = 0, a obliczenie rozmiaru pr\u00f3by dla nie mniejszej efektywno\u015bci to dok\u0142adnie to, co uzyskaliby\u015bmy przy obliczaniu przewagi dla wielko\u015bci efektu 0,1, doskonale! Mo\u017cemy przeprowadzi\u0107 badanie tej samej skali z r\u00f3\u017cnymi hipotezami i innym podej\u015bciem do wniosk\u00f3w, i uzyskamy odpowied\u017a na pytanie, na kt\u00f3re naprawd\u0119 chcemy odpowiedzie\u0107.<\/p>\n
Za\u0142\u00f3\u017cmy teraz, \u017ce tak naprawd\u0119 nie uwa\u017camy, \u017ce \u00b5B = \u00b5A i
Co si\u0119 stanie, je\u015bli wersja B jest w rzeczywisto\u015bci lepsza ni\u017c wersja A? Odrzucamy hipotez\u0119 zerow\u0105, \u017ce B jest gorsze ni\u017c A o wi\u0119cej ni\u017c \u0394, i przyjmujemy alternatywn\u0105 hipotez\u0119, \u017ce B, je\u015bli jest gorsze, to nie gorsze ni\u017c \u0394, a mo\u017ce by\u0107 lepsze. Spr\u00f3buj wprowadzi\u0107 to wniosek do prezentacji mi\u0119dzyfunkcjonalnej i zobacz, co z tego wyniknie (powa\u017cnie, spr\u00f3buj). W sytuacji, gdy trzeba kierowa\u0107 si\u0119 perspektyw\u0105, nikt nie chce zgodzi\u0107 si\u0119 na \u201egorsze nie wi\u0119cej ni\u017c \u0394 i mo\u017ce lepsze\u201d.<\/p>\n
W takim przypadku mo\u017cemy przeprowadzi\u0107 badanie, kt\u00f3re kr\u00f3tko nazywa si\u0119 \u201esprawdzeniem hipotezy, \u017ce jedna opcja przewy\u017csza drug\u0105 lub jej ust\u0119puje\u201d. U\u017cywa si\u0119 w nim dw\u00f3ch zestaw\u00f3w hipotez:<\/p>\n
Pierwszy zestaw (taki sam jak w te\u015bcie hipotezy o nie mniejszej efektywno\u015bci): <\/p>\n
Jest jeszcze inny typ bada\u0144, kt\u00f3rego nie om\u00f3wili\u015bmy \u2013 badania ekwiwalencji. <\/p>\n
Badania tego typu mog\u0105 by\u0107 zast\u0119powane badaniami maj\u0105cymi na celu weryfikacj\u0119 hipotezy o co najmniej r\u00f3wnej skuteczno\u015bci, i odwrotnie, ale maj\u0105 one wa\u017cn\u0105 r\u00f3\u017cnic\u0119. Badanie weryfikuj\u0105ce hipotez\u0119 o co najmniej r\u00f3wnej skuteczno\u015bci ma na celu wykazanie, \u017ce opcja B jest co najmniej tak samo dobra jak A. Z kolei badanie r\u00f3wnowa\u017cno\u015bci ma na celu wykazanie, \u017ce opcja B jest co najmniej tak samo dobra jak A, a opcja A jest tak samo dobra jak B, co jest bardziej skomplikowane. W istocie, pr\u00f3bujemy okre\u015bli\u0107, czy ca\u0142y przedzia\u0142 ufno\u015bci dla r\u00f3\u017cnicy \u015brednich le\u017cy mi\u0119dzy \u2212\u0394 a \u0394. Takie badania wymagaj\u0105 wi\u0119kszej wielko\u015bci pr\u00f3by i s\u0105 rzadziej przeprowadzane. Dlatego nast\u0119pnym razem, gdy przeprowadzisz badanie, w kt\u00f3rym Twoim g\u0142\u00f3wnym celem jest upewnienie si\u0119, \u017ce nowa wersja nie jest gorsza, nie zgadzaj si\u0119 na \u201enieskuteczno\u015b\u0107 obalenia hipotezy zerowej\u201d. Je\u015bli chcesz sprawdzi\u0107 naprawd\u0119 wa\u017cn\u0105 hipotez\u0119, rozwa\u017c r\u00f3\u017cne opcje.habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u0421\u0442\u0430\u0442\u044c\u044f \u043e\u0442 \u043a\u043e\u043c\u0430\u043d\u0434\u044b Stitch Fix \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0434\u0445\u043e\u0434 \u043a\u043b\u0438\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439 \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435\u0439 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 (non-inferiority trials) \u0432 \u043c\u0430\u0440\u043a\u0435\u0442\u0438\u043d\u0433\u043e\u0432\u044b\u0445 \u0438 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u044b\u0445 A\/B \u0442\u0435\u0441\u0442\u0430\u0445. \u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c \u043d\u043e\u0432\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435, \u0438\u043c\u0435\u044e\u0449\u0435\u0435 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430, \u043d\u0435\u0438\u0437\u043c\u0435\u0440\u044f\u0435\u043c\u044b\u0435 \u0442\u0435\u0441\u0442\u0430\u043c\u0438. \u0421\u0430\u043c\u044b\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u2014 \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u0435 \u043a\u043e\u0441\u0442\u043e\u0432. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0443\u0440\u043e\u043a\u0430, \u043d\u043e \u043d\u0435 \u0445\u043e\u0442\u0438\u043c \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u0440\u043e\u043d\u0438\u0442\u044c \u0441\u043a\u0432\u043e\u0437\u043d\u0443\u044e \u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u044e. \u0418\u043b\u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":26311,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-34958","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-news"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t
![\"Kiedy](\"\/wp-content\/uploads\/2019\/06\/0ce4d602add079e55d1025a8d8b2122f.jpg\")