Arthur Khachuyan: kunstig intelligens i markedsføring

Arthur Khachuyan er en velkendt russisk specialist i big data-behandling, grundlægger af Social Data Hub-virksomheden (nu Tazeros Global). Partner ved National Research University Higher School of Economics. Udarbejdede og præsenterede sammen med National Research University Higher School of Economics et lovforslag om Big Data i Føderationsrådet. Han talte ved Curie Institute i Paris, St. Petersburg State University, Federal University under Den Russiske Føderations regering, på Red Apple, International OpenDataDay, RIW 2016, AlfaFuturePeople.

Foredraget blev optaget på friluftsfestivalen "Geek Picnic" i Moskva i 2019.

Arthur Khachuyan: kunstig intelligens i markedsføring

Artur Khachuyan (i det følgende - AH): – Hvis fra et stort antal brancher - fra medicin, fra byggeri, fra noget, noget, til at vælge den, hvor teknologien med big data, machine learning, deep learning oftest bruges, så er det sandsynligvis markedsføring. For i de sidste tre eller deromkring år er alt, hvad der omgiver os i en eller anden form for reklamekommunikation, nu bundet netop til dataanalyse og netop til det, man kan kalde kunstig intelligens. Derfor vil jeg i dag fortælle dig om dette fra en så meget fjern historie...

Hvis du forestiller dig kunstig intelligens, og hvordan den ser ud, er det sandsynligvis sådan noget. Det mærkelige billede er et af de neurale netværk, som jeg skrev for et år siden for at finde afhængigheden af, hvad min hund gør - hvor mange gange skal den blive stor, lille, og hvordan afhænger det generelt af, hvor meget hun spiser eller ikke? . Dette er en joke om, hvordan kunstig intelligens kunne forestilles.

Arthur Khachuyan: kunstig intelligens i markedsføring

Men lad os stadig tænke over, hvordan det hele fungerer i reklamekommunikation. Der er tre måder, hvorpå moderne algoritmer inden for annoncering og markedsføring kan interagere med os. Det er tydeligt, at den første historie har til formål at indhente og uddrage yderligere viden om dig og mig, og så bruge den til nogle gode og knap så gode formål; tilpasse tilgangen til hver specifik person; Naturligvis skal du efter dette skabe en vis efterspørgsel for at udføre hovedmålhandlingen og gennemføre et bestemt salg.

Ved hjælp af teknologi forsøger de at løse problemet med effektiv kommunikation

Hvis jeg fortæller dig at tænke over, hvad Pornhub og M. Video", hvad tænker du?

Kommentarer fra publikum (i det følgende benævnt C): - TV, publikum.

Åh: - Mit koncept er, at det er to steder, hvor folk kommer for en bestemt type service, eller lad os kalde det en bestemt type varer. Og dette publikum er anderledes ved, at det ikke ønsker at fortælle sælgeren noget. Hun vil gerne ind og få det, der interesserer hende, i en eller anden eksplicit eller implicit form. Naturligvis er der ingen, der kommer til M. Video” ønsker ikke at kommunikere med nogen sælgere, ønsker ikke at forstå, ønsker ikke at svare på nogen af ​​deres spørgsmål.

Derfor følger den første historie af alt dette.

Når teknologier til at opnå yderligere viden dukkede op for på en eller anden måde at undgå at kommunikere med en person. Vi elsker alle det, når vi ringer til banken, og banken fortæller os: ”Hej. Alexey, du er vores VIP-klient. Nu vil en eller anden superchef tale med dig.” Du kommer til denne bank, og der er virkelig en unik leder, der kan tale med dig. Desværre eller heldigvis har endnu ikke en eneste virksomhed fundet ud af at ansætte tusinde personlige ledere til tusinde kunder; og da de fleste af disse mennesker nu er online, er opgaven at forstå, hvilken slags person dette er, og hvordan man kommunikerer med ham korrekt, før han kommer til en eller anden reklameressource. Og derfor er der faktisk dukket teknologier op, der forsøger at løse dette problem.

Dataudvinding er den nye olie

Lad os forestille os, at du er ejer af en blomsterbod. Tre personer kommer for at se dig. Den første står meget længe, ​​tøver, prøver at tale med dig, tager en form for buket - du går for at pakke den ind, går ud for at lave noget der; han løber væk fra boden med denne buket - du har mistet dine tre tusinde rubler. Hvorfor skete det? Du ved ikke noget om denne person: du kender ikke hans historie med anholdelser i indenrigsministeriet, du ved ikke, at han er kleptoman og er registreret i et psykiatrisk ambulatorium. Hvorfor? Fordi du så det for første gang, og du er ikke adfærdsanalytiker.

Der kommer en anden... Vitaly. Vitaly tager også meget lang tid om at finde ud af det, siger han, "Nå, jeg har brug for det og det." Og du siger til ham: "Blomster til mor, ikke?" Og du sælger ham en buket.

Konceptet her er at finde ud af nok data til at forstå, hvad personen faktisk har brug for. Alle tænkte straks på en form for reklamenetværk og så videre...

Alle har sikkert hørt den dumme sætning, at "data er den nye olie" mere end én gang? Det har sikkert alle hørt. Faktisk har folk lært at indsamle data for ganske lang tid siden, men at udtrække data fra disse data er den opgave, som kunstig intelligens i markedsføring, eller en slags statistiske algoritmer, nu forsøger at løse. Hvorfor? For hvis du taler med en person, kan han give dig et rigtigt, forkert eller på en eller anden måde farvet svar. Den vittighed, jeg fortæller mine elever, er, hvordan undersøgelser adskiller sig fra statistikker. Jeg vil fortælle dig dette som en anekdote:

Det betyder, at de i to landsbyer besluttede at gennemføre en undersøgelse af den gennemsnitlige længde af manddom. Det betyder, at i den første landsby, Villaribo, er den gennemsnitlige længde 15 centimeter, i landsbyen Villabaggio - 25. Ved du hvorfor? Fordi der blev udført målinger i den første landsby, og en undersøgelse blev udført i den anden.

Pornoindustrien er flagskibet for anbefalingssystemerne

Det er derfor, den moderne tilgang er at analysere alle mennesker uden undtagelse, selvom de er lidt mindre end 100%, men det er de mennesker, du ikke behøver at spørge, du behøver ikke at se på dem. Det er nok at analysere det, der nu kaldes et digitalt fodaftryk for at forstå, hvad denne person har brug for, hvordan man taler til ham korrekt, hvordan man korrekt skaber efterspørgsel omkring ham. På den ene side er dette en tankeløs maskine (men du og jeg ved det godt); vi ønsker ikke at kommunikere med folk fra M. Video,” og endnu mere, når vi går til ressourcer som Pornhub, ønsker vi at få præcis det, vi har brug for.

Hvorfor taler jeg altid om Pornhub? Fordi voksenindustrien er den første, der kommer til analyse af sådanne teknologier, til implementering af sådanne teknologier, til dataanalyse. Hvis du tager de tre mest populære biblioteker i dette område (f.eks. TensorFlow eller Pandas for Python, til behandling af CSV-filer og så videre), hvis du åbner det på Github, med en kort Google over alle disse navne vil du finde en et par personer, der enten arbejdede eller i øjeblikket arbejder hos Pornhub-virksomheden, og som var de første til at implementere anbefalingssystemer der. Generelt er denne historie meget avanceret og viser, hvor meget dette publikum, hvor meget denne virksomhed har bevæget sig fremad.

Arthur Khachuyan: kunstig intelligens i markedsføring

Tre niveauer af identifikation

Der er et enormt sæt data omkring en person, som kan identificeres. Jeg normalt formelt opdele dette i tre niveauer, går dybere og dybere. Selskabet har naturligvis sine egne data.

Hvis vi f.eks. taler om at bygge et anbefalingssystem, så er det første niveau de data, der er placeret i selve butikken (købshistorik, alle former for transaktioner, hvordan en person interagerede med grænsefladen).

Dernæst er der et niveau (relativt det største) - det er det, der kaldes åbne kilder. Tro ikke, at jeg opfordrer dig til at skrabe sociale netværk, men faktisk åbner det, der er tilgængeligt i åbne kilder, op for et enormt sæt data, som du for eksempel kan lære om en person.

Og den tredje store del er miljøet for denne person selv. Ja, der er en mening om, at hvis en person ikke er på sociale netværk, er der ingen data om ham der (du ved sikkert allerede, at dette ikke er sandt), men det vigtigste er, at de data, der er på en persons profil (eller i nogle applikationer) er kun 40% af den viden, der kan opnås om det. Resten af ​​informationen hentes fra hans omgivelser. Udtrykket "fortæl mig, hvem din ven er, og jeg vil fortælle dig, hvem du er" får en ny betydning i det XNUMX. århundrede, fordi der kan opnås en enorm mængde data omkring den person.

Hvis vi taler tættere på reklamekommunikation, så er det at modtage reklamekommunikation ikke fra reklamer, men fra en ven, en bekendt eller en eller anden verificeret person en meget cool funktion, som mange marketingfolk bruger. Når en applikation pludselig giver dig en gratis kampagnekode, laver du et opslag om det og tiltrækker derved et nyt publikum. Faktisk blev denne kampagnekode til den betingede "Yandex.Taxi" ikke valgt tilfældigt, men til dette blev en enorm mængde data analyseret om dit potentiale til at tiltrække et nyt publikum og på en eller anden måde interagere med dem.

Arthur Khachuyan: kunstig intelligens i markedsføring

De analyserer endda opførselen af ​​tv-seriefigurer

Jeg vil vise dig tre billeder, og du fortæller mig, hvad forskellen er på dem.

Denne:

Arthur Khachuyan: kunstig intelligens i markedsføring

Det her:

Arthur Khachuyan: kunstig intelligens i markedsføring

Og denne:

Arthur Khachuyan: kunstig intelligens i markedsføring

Hvad er forskellen på dem? Alt er enkelt her. Som i kvantemekanikken blev denne kreativitet i dette tilfælde dannet af observatøren. Det vil sige, at forskellen i den samme reklamekampagne, udført af det samme mærke på samme tid, kun er i, hvem der så denne kreative. Personligt, når jeg går til Amediateka, viser de stadig Khal Drogo. Jeg ved ikke, hvad Amediateka synes om mine præferencer, men af ​​en eller anden grund sker dette.

Det, der nu kaldes personlig kommunikation, er den mest populære historie om at tiltrække et publikum og interagere korrekt med det. Hvis vi i første fase identificerede personer, der brugte vores egne branddata, open source-data og for eksempel data fra denne persons miljø, kan vi, efter at have analyseret ham, forstå, hvem han er, hvordan man taler til ham korrekt og vigtigst af alt , hvilket sprog han taler tal til ham.

Her er teknologien gået så langt, at karaktererne i tv-serier, som folk ser, nu bliver analyseret. Det vil sige, du kan lide tv-serier - de [synes godt om] bliver set, de ser på, hvem du interagerede med der, for at forstå, hvilken slags person der ville være egnet for dig at interagere med. Det lyder som fuldstændig nonsens, men bare for sjov, prøv det på en af ​​ressourcerne - forskellige mennesker ser forskellige kreative materialer (for at interagere med det korrekt).

Ikke et eneste moderne medie eller nogen videoressource viser dig bare nogle nyheder. Gå til medierne - et stort antal algoritmer er indlæst, der identificerer dig, forstår al din tidligere aktivitet, appellerer til den matematiske model og derefter viser dig noget. I dette tilfælde er der sådan en mærkelig historie.

Hvordan afgøres behov? Psykometri. Fysiognomi

Der er mange (rigtige) tilgange til at bestemme en persons faktiske behov og hvordan man kommunikerer med dem korrekt. Der er mange tilgange, alt er løst forskelligt, det er umuligt at sige, hvad der er godt og hvilket der er dårligt. De vigtigste lader til at vide alt.

Arthur Khachuyan: kunstig intelligens i markedsføring

Psykometri. Efter historien med Cambridge Analytics tog det en eller anden form for chokerende, efter min mening, en slags drejning, fordi hver anden politisk virksomhed nu kommer og siger: ”Åh, kan du få mig til at lide Trump? Jeg vil også gerne vinde, og så videre.” Faktisk er dette selvfølgelig noget sludder for vores realiteter, for eksempel politiske valg. Men for at bestemme psykotyper bruges tre modeller:

  • den første er baseret på det indhold, du bruger - de ord, du skriver, nogle oplysninger, du kan lide, videoer osv.;
  • den anden er knyttet til, hvordan du interagerer med webgrænsefladen, hvordan du skriver, hvilke knapper du trykker på – ja, der er hele virksomheder, der ud fra deres tastaturhåndskrift ganske pålideligt kan bestemme, hvad der nu kaldes psykotyper.
  • Jeg er ikke meget af en psykolog, jeg forstår ikke rigtig, hvordan det fungerer, men fra et annoncekommunikationssynspunkt fungerer publikum opdelt i disse segmenter meget godt, fordi nogen skal have vist en rød skærm med en blå kvinde, nogen skal have vist en mørk skærm -blå baggrund med en form for abstraktion, og det virker meget fedt. På nogle lave niveauer - så meget, at en person ikke engang tænker over det. Hvad er hovedproblemet på annoncemarkedet nu? Alle er efterretningsagenter, alle gemmer sig, alle har en million tusinde browsertilladelser installeret, for ikke at blive identificeret på nogen måde - du har sandsynligvis "Adblocks", "Gostrey" og alle mulige applikationer, der blokerer sporing. På grund af dette er det meget svært at forstå noget om en person. Men teknologien er gået videre - du skal ikke kun vide, at denne person er vendt tilbage til dit websted for 125. gang, men at han også er sådan og sådan en mærkelig person.

Fysiognomi er en meget kontroversiel videnskab. Det betragtes ikke engang som videnskab. Dette er en gruppe mennesker, der plejede at programmere løgnedetektorer til et eller andet indenrigsministerium, og som nu er engageret i det, der kaldes personificeringen af ​​kreativitet. Fremgangsmåden her er meget enkel: flere af dine offentlige fotografier er taget fra nogle sociale netværk, og tredimensionel geometri er bygget ud fra dem. Og hvis du er advokat, vil du nu sige, at der er tale om en person og persondata; men jeg vil fortælle dig, at disse er 300 tusind punkter placeret i rummet, og dette er ikke en person og ikke personlige data. Det er, hvad alle plejer at sige, når Roskomnadzor kommer til dem.

Men seriøst, dit ansigt separat, hvis dit for- og efternavn ikke er underskrevet der, er ikke dine personlige data. Pointen er, at fyrene markerer forskellige ansigtstræk, der påvirker, hvordan en person træffer beslutninger, og hvordan man interagerer med ham korrekt. I nogle områder fungerer dette dårligt, i nogle reklamesegmenter; i hvilke segmenter fungerer det meget godt. I sidste ende viser det sig, at når man går til en eller anden ressource, ser man ikke bare et banner, der vises til alle, men for eksempel... nu er det normalt at lave 16 eller 20 muligheder for forskellige målgrupper - og det virker meget sejt. Ja, det er endnu mere trist set fra forbrugerens synspunkt, fordi folk begynder at blive manipuleret mere og mere. Men ikke desto mindre fungerer det fra et forretningsmæssigt synspunkt meget godt.

Maskinlæringens sorte boks

Dette giver anledning til følgende problem med sådanne teknologier: for de fleste udviklere er det, der nu kaldes deep learning, en "sort boks". Hvis du nogensinde har været fordybet i denne historie og talt med udviklerne, siger de altid: "Åh, hør nu, vi har kodet noget så uforståeligt der, og vi ved ikke, hvordan det fungerer." Måske er der nogen, der har været ude for dette.

Dette er faktisk langt fra sandt. Det, der nu kaldes machine learning, er langt fra en "sort boks". Der er et stort antal tilgange til at beskrive input- og outputdata, og i sidste ende kan virksomheden grundigt forstå på grundlag af hvilke tegn maskinen besluttede at vise dig denne pornografiske video eller en anden. Spørgsmålet er, at ingen af ​​selskaberne nogensinde afslører dette, fordi: for det første er det en forretningshemmelighed; for det andet vil der være en enorm mængde data, som du ikke engang vidste om.

For eksempel, før dette, i en diskussion om etik, diskuterede vi, hvordan sociale netværk analyserer personlige beskeder for at tagge folk i en eller anden form for reklamehistorier. Hvis du skriver noget til nogen, modtager du på baggrund af dette et specifikt tag for faktisk en eller anden form for reklamekommunikation. Og du vil aldrig bevise det, og det nytter nok ikke noget at bevise det. Men hvis lignende mønstre blev afsløret, ville de eksistere. Det viser sig, at markedet for at bygge sådanne anbefalingssystemer foregiver ikke at vide, hvorfor det skete.

Folk ønsker ikke at vide, hvad folk ved om dem

Og den anden historie er, at kunden aldrig ønsker at vide, hvorfor han modtog netop denne annonce, netop dette produkt. Jeg vil fortælle dig denne historie. Min første erfaring med kommerciel implementering af anbefalingssystemer baseret på lignende algoritmer netop for forskningens skyld var i 2015 i et meget stort netværk af sexbutikker (ja, heller ikke en særlig ubehagelig historie).

Arthur Khachuyan: kunstig intelligens i markedsføring

Kunder blev tilbudt følgende: de kommer ind, logger ind med deres sociale netværk, og efter cirka 5 sekunder modtager de en helt personlig butik til dem, det vil sige, at alle produkterne er ændret - de falder ind under en bestemt kategori, og så videre . Ved du, hvor meget konverteringsraten for denne butik er steget? Ikke på nogen måde! Folk kom ind og løb straks væk fra det. De kom ind og indså, at de blev tilbudt præcis, hvad de tænkte på...

Problemet med denne test var, at der under hvert produkt stod skrevet, hvorfor du blev tilbudt netop det ("fordi du er medlem af den skjulte gruppe "Kraftfuld kvinde søger en mand, der er en dørmåtte"). Derfor viser moderne anbefalingssystemer aldrig de data, som "forudsigelsen" blev lavet på grundlag af.

En meget populær historie er medierne, fordi de alle bruger lignende anbefalingssystemer. Tidligere var algoritmerne meget enkle: se på kategorien "Politik" - og de viser dig nyheder fra kategorien "Politik". Nu er alt så kompliceret, at de analyserer de steder, hvor du stoppede musen, hvilke ord du koncentrerede dig om, hvad du kopierede, hvordan du generelt interagerede med denne side. Derefter analyserer han selve beskedernes ordforråd: ja, du læser ikke bare nyheder om Putin, men på en bestemt måde med en vis følelsesmæssig farve. Og når en person modtager nogle nyheder, tænker han ikke engang på, hvordan han kom hertil. Ikke desto mindre interagerer han så med dette indhold.

Alt dette har naturligvis til formål at fastholde den stakkels, uheldige lille mand, der allerede er ved at gå amok af den enorme mængde information, der er omkring ham. Her skal det siges, at det ville være rart at bruge sådanne systemer til at personalisere det kreative omkring dig og indsamle nogle oplysninger, men desværre er der ingen sådanne tjenester endnu.

Kunstig intelligens fanger klienten i vejret og skaber efterspørgsel

Og her opstår et meget interessant filosofisk spørgsmål, der går fra at skabe et anbefalingssystem til at skabe efterspørgsel. Sjældent tænker nogen over det, men når man forsøger at spørge den såkaldte Instagram: "Hvorfor indsamler du data? Hvorfor ikke vise mig absolut tilfældig reklame?" - Instagram vil fortælle dig: "Ven, det hele er gjort for at vise dig præcis, hvad der er interessant for dig." Vi vil gerne kende dig så præcist, at vi kan vise dig præcis, hvad du leder efter.

Arthur Khachuyan: kunstig intelligens i markedsføring

Men teknologien har for længst krydset denne frygtelige tærskel, og lignende teknologier forudsiger ikke længere, hvad du har brug for. De (opmærksomhed!) skaber efterspørgsel. Dette er nok det mest skræmmende, der kredser om kunstig intelligens i sådan kommunikation. Det skræmmende er, at det er blevet brugt næsten overalt i de sidste 3-5 år - fra Googles søgeresultater til Yandex søgeresultater, til nogle systemer... Okay, jeg vil ikke sige noget dårligt om Yandex; og godt.

Hvad er pointen? Det er længe siden, at sådan reklamekommunikation har bevæget sig væk fra strategien, hvor du skriver "Jeg vil købe en barnestol" og ser hundrede tusinde millioner publikationer. De gik videre til følgende: Så snart kvinden postede et billede med en knap synlig mave, begyndte hendes mand straks at blive fulgt af beskeder: "Mand, fødslen kommer snart. Køb en barnestol."

Her kan du med rimelighed spørge, hvorfor vi, med så gigantiske fremskridt inden for teknologi, stadig ser så lorte reklamer på sociale netværk? Problemet er, at alt på dette marked stadig afgøres af penge, så et fint øjeblik kan en annoncør som Coca-Cola komme og sige: "Her er 20 millioner til dig - vis mine lorte bannere til hele internettet." Og de vil virkelig gøre det.

Men hvis du laver en form for ren konto og tester, hvor nøjagtigt sådanne algoritmer gætter dig: de prøver først at gætte dig, og så begynder de at gøre noget ved dig på forhånd. Og den menneskelige hjerne fungerer på en sådan måde, at når den modtager information, der er pålidelig for den, behandler den ikke engang det øjeblik, hvorfor den modtog denne information. Den første regel for at bestemme, at du er i en drøm, er at forstå, hvordan du kom her. En person husker aldrig det øjeblik, han endte i et bestemt rum. Det er det samme her.

Google kan begynde at forme dit verdensbillede

Sådanne undersøgelser blev udført af flere udenlandske virksomheder, der beskæftiger sig med i-tracking. De installerede enheder på specielle computere, der registrerer, hvor testpersonens øjne kigger. Jeg tog fra fem til syv tusinde frivillige, som blot rullede gennem feedet, interagerede med sociale netværk, med reklamer, og de registrerede information om, hvilke dele af bannerne og reklamerne disse mennesker stoppede deres øjne på.

Og det viser sig, at når folk modtager sådan hyper-personlig kreativ, tænker de ikke engang over det - de går straks videre, begynder at interagere med det. Fra et forretningsmæssigt synspunkt er det godt, men set fra os som brugeres synspunkt er det ikke særlig fedt, for - hvad er de bange for? – At det betingede "Google" i et fint øjeblik kan begynde (eller selvfølgelig ikke begynde) at danne sit eget verdensbillede. I morgen kan han for eksempel begynde at vise folk nyheder om, at jorden er flad.

Bare for sjov, men de er blevet fanget så mange gange, at de under valg begynder at give visse oplysninger til bestemte personer. Vi er alle vant til, at søgemaskinen får alt ærligt. Men, som jeg altid siger, hvis du virkelig vil vide, hvordan verden fungerer, så skriv din egen søgemaskine, uden filtre, uden at være opmærksom på copyright, uden at rangere nogle af dine venner i søgeresultaterne. Visningen af ​​rigtige data på internettet er generelt forskellig fra det, der vises af Google, Yandex, Bing og så videre. Nogle materialer er skjult, fordi venner, kolleger, fjender eller en anden (eller en tidligere elsker, som du har sovet med) - det er lige meget.

Hvordan Trump vandt

Da der var det sidste valg i USA, blev der lavet en meget simpel undersøgelse. De tog de samme anmodninger forskellige steder, fra forskellige IP-adresser, fra forskellige byer, forskellige mennesker Googlede det samme. Konventionelt var anmodningen i stil med: hvem vinder valget? Og utroligt nok blev resultaterne konstrueret på en sådan måde, at i de stater, hvor det største antal mennesker forsøgte at stemme på den forkerte kandidat, modtog de nogle gode nyheder om den kandidat, som Google promoverede. Hvilken en? Nå, det er klart, hvilken - ham der blev præsident. Dette er en absolut ubeviselig historie, og alle disse undersøgelser er en finger i vandet. Google kan sige: "Drenge, alt dette er gjort, så vi viser det mest relevante indhold for jer."

Fra nu af skal du vide, at det, der kaldes maksimalt relevant, absolut ikke er tilfældet. Virksomheden kalder relevant noget, der skal sælges til dig af en eller anden god eller dårlig grund.

Dem, der ikke har penge nu, er allerede ved at blive forberedt på fremtidige køb

Der er et andet interessant punkt her, som jeg vil fortælle dig om. Et stort antal aktive publikummer nu på sociale netværk og i apps er unge mennesker. Lad os kalde det dette - insolvente unge: børn på 8-9 år, der spiller idiotiske spil, disse er 12-13-14, der lige registrerer sig på sociale netværk. Hvorfor ville store virksomheder bruge enorme budgetter og ressourcer på at skabe applikationer til et ikke-betalende publikum, som aldrig tjene penge på? I det øjeblik, hvor denne målgruppe bliver solvent, vil der være en tilstrækkelig mængde data om den til at forudsige dens adfærd meget godt.

Arthur Khachuyan: kunstig intelligens i markedsføring

Spørg nu enhver målolog, hvad er det sværeste publikum? De vil sige: meget rentabelt. Fordi at sælge for eksempel en lejlighed til en værdi af 150 millioner rubler gennem sociale netværk er næsten umuligt. Der er isolerede tilfælde, hvor man laver en form for reklame for 10 tusinde mennesker, én køber denne lejlighed - kunden er en succes... Men én ud af ti tusind, set fra et statistisk synspunkt, er fuldstændig lort. Så hvorfor er det svært at identificere et højindkomstpublikum? Fordi de mennesker, der nu er medlemmer af et meget profitabelt publikum, blev født, da internettet stadig var meget lille, da ingen kendte Artemy Lebedev endnu, og der er ingen information om dem. Det er umuligt at forudsige deres adfærdsmønster, det er umuligt at forstå, hvem deres opinionsdannere er, og fra hvilke indholdskilder de modtager.

Så når I alle bliver milliardærer om 25 år, og de virksomheder, der skal sælge dig noget, vil have en enorm mængde data. Derfor har vi nu en vidunderlig GDPR i Europa, der forhindrer indsamling af data fra mindreårige.

Det virker naturligvis slet ikke i praksis, da alle børn stadig spiller på deres mors og fars konti - det er sådan information indsamles. Næste gang du giver dit barn en tablet, så tænk over dette.

Absolut ikke en eller anden skræmmende, dystopisk fremtid, når alle vil dø i en krig med maskiner – en absolut virkelig historie nu. Der er et stort antal virksomheder, der skaber algoritmer til psykoprofilering af mennesker baseret på, hvordan de spiller spil. En meget interessant branche. Baseret på alt dette bliver folk derefter segmenteret for på en eller anden måde at kommunikere med dem.

Arthur Khachuyan: kunstig intelligens i markedsføring

Forudsigelse af disse menneskers adfærd vil være tilgængelig om 10-15 år - netop i det øjeblik, hvor de bliver et solvent publikum. Det vigtigste er, at disse mennesker allerede på forhånd har givet tilladelse til at behandle deres personlige data, overføre dem til tredjeparter, og alt dette er lykke og så videre.

Hvem vil miste deres job?

Og min sidste historie er, at alle altid spørger, hvad der vil ske om 50 år: Vi vil alle dø, der vil være arbejdsløshed for marketingfolk... Der er marketingfolk her, som er bekymrede for arbejdsløshed, ikke? Generelt er der ingen grund til bekymring, for enhver højt kvalificeret person vil ikke miste sit job.

Arthur Khachuyan: kunstig intelligens i markedsføring

Ligegyldigt hvilke algoritmer der oprettes, uanset hvor tæt maskinen kommer tæt på det, vi har her (peger på hans hoved), hvis den udvikler sig hurtigt nok, vil sådanne mennesker aldrig stå stille, fordi nogen bliver nødt til at skabe disse kreative ting gør. Ja, der er alle slags "gans", der tegner billeder, der ligner mennesker og skaber musik, men det er stadig usandsynligt, at folk i dette område nogensinde vil miste deres job.

Arthur Khachuyan: kunstig intelligens i markedsføring

Jeg har alt med historien, så du kan stille spørgsmål, hvis du har flere. Tak skal du have.

Arthur Khachuyan: kunstig intelligens i markedsføring

Førende: – Venner, vi går nu videre til blokken "Spørgsmål og svar". Du rækker hånden op – jeg kommer hen til dig.

Arthur Khachuyan: kunstig intelligens i markedsføring

Spørgsmål fra salen (3): – Spørgsmål om den "sorte boks". De sagde, at det var muligt specifikt at forstå, hvorfor sådan og sådan et resultat blev opnået for sådan og sådan en bruger. Er det en slags algoritmer, eller skal det analyseres hver gang for hver model ad hoc (forfatterens note: "specielt for dette" - en latinsk fraseologisk enhed)? Eller findes der færdige til en form for neurale netværk, der groft sagt kan give forretningsmæssig mening?

Åh: – Her skal du forstå følgende: Der er et stort antal opgaver inden for maskinlæring. For eksempel er der en opgave - regression. Til regression er der overhovedet ikke behov for neurale netværk. Alt er enkelt: du har flere indikatorer, du skal beregne følgende. Der er opgaver, hvor det er nødvendigt at ty til sådan noget som deep learning. Inden for deep learning er det faktisk vanskeligt pålideligt at forstå, hvilke vægte der blev tildelt hvilke neuroner, men juridisk set er alt hvad du behøver at forstå, hvilke data der var ved input, og hvordan det udspillede sig ved output. Dette er juridisk nok til at patentere en sådan beslutning, og det er nok til at forstå, på hvilket grundlag historien blev lavet.

Det er ikke sådan, at du gik ind på siden og fik vist en slags banner, fordi du tog et billede med rødt hår på Instagram for to måneder siden. Hvis udvikleren ikke inkluderer indsamlingen af ​​disse data og markeringen af ​​hårfarve i denne model, så kommer den ikke ud af ingenting.

Hvordan sælger man resultaterne af maskinlæringssystemer?

Z: - Det er bare et spørgsmål om hvad: præcis hvordan man forklarer, hvordan man sælger til en, der ikke forstår machine learning. Jeg vil sige: min model fører klart fra hårfarve til... ja, hårfarveændringer... Er det muligt eller ej?

Arthur Khachuyan: kunstig intelligens i markedsføring

Åh: - Måske ja. Men fra et salgssynspunkt vil den eneste ordning fungere: du har en reklamekampagne, vi erstatter publikum med den, der genereres af maskinen - og du ser bare resultatet. Dette er desværre den eneste måde at pålideligt overbevise kunden om, at sådan en historie virker, for der er en masse løsninger på markedet, som engang blev implementeret og ikke virkede.

Om at skabe en virtuel personlighed

Z: - Hej. Tak for foredraget. Spørgsmålet er: Hvilken chance har en person, der af en eller anden grund ikke ønsker at følge maskinens lærings lederskab, for at skabe sig en virtuel personlighed, der er radikalt anderledes end sin egen personlighed, gennem interaktion med grænsefladen eller for nogle anden grund?

Arthur Khachuyan: kunstig intelligens i markedsføring

Åh: – Der er en masse forskellige plugins, der specifikt beskæftiger sig med randomiseringsadfærd. Der er en fed ting - Ghostery, som efter min mening næsten fuldstændig skjuler dig for en masse forskellige trackere, der så ikke kan registrere disse oplysninger. Men faktisk er alt hvad du behøver nu en lukket profil på sociale netværk, så ingen, ingen onde skrabere, kan samle noget der. Det er nok bedre at installere en form for udvidelse eller skrive noget selv.

Du ser, konceptet her er, at for eksempel juridisk refererer persondata til data, som du kan identificeres med, og loven giver som eksempel din bopælsadresse, alder og så videre. I dag er der utallige mængder data, som du kan identificere dig med: den samme tastaturhåndskrift, den samme tryk, browserens digitale signatur... Før eller siden begår en person en fejl. Han kan være et sted på en "café" ved hjælp af "Thor", men i sidste ende, i et fint øjeblik, glemmer enten VPN'en at tænde, eller noget andet, og i det øjeblik kan han identificeres. Så den nemmeste måde er at oprette en privat konto og installere en udvidelse.

Markedet bevæger sig mod det punkt, hvor du kun behøver at trykke på én knap for at få resultater.

Z: - Tak for historien. Som altid, altid meget interessant (jeg følger dig). Spørgsmålet er: hvilke fremskridt er der i forhold til at skabe systemer, der er positive for brugerne, anbefalingssystemer? Du sagde, at du på et tidspunkt arbejdede på et anbefalingssystem for at finde en sexpartner, en ven i livet (eller musik, som en person potentielt kunne lide)... Hvor lovende er alt dette, og hvordan ser du dets udvikling fra synspunktet om at skabe systemer, som folk har brug for?

Åh: - Generelt bevæger markedet sig til det punkt, hvor folk skal trykke på én knap og straks få, hvad de har brug for. Med hensyn til min erfaring med at oprette dating-applikationer (i øvrigt vil vi genlancere det i slutningen af ​​året), ud over at 65 % var gifte mænd, var det sværeste anbefalingsproblem, at en person blev tilbudt flere modeller i starten af ​​ansøgningen - "Venskab", "Sex", "Sexvenskab" og "Forretning". Folk valgte ikke, hvad de havde brug for. Mænd kom og valgte "Kærlighed", men i virkeligheden kastede de nøgenhed på alle, og så videre.

Problemet var at identificere en person, der ikke passer til en af ​​disse modeller, og på en eller anden måde glat tage ham og flytte ham i den anden retning. På grund af den lille mængde data er det meget svært at afgøre, om der er tale om en fejl i prognosealgoritmen, eller om en person ikke er i hans kategori. Det er det samme med musik: Der er nu meget få virkelig værdige algoritmer, der kan "facaste" musik godt. Måske "Yandex.Music". Nogle mennesker synes, at Yandex.Music-algoritmen er dårlig. For eksempel kan jeg godt lide hende. Jeg personligt kan for eksempel ikke lide YouTube-musikalgoritmen og så videre.

Der er selvfølgelig nogle finesser - alt er bundet til licenser... Men i virkeligheden er efterspørgslen efter sådanne systemer ret høj. På et tidspunkt kendte man Retail Rocket-firmaet, som var involveret i implementeringen af ​​anbefalingssystemer, men nu går det på en eller anden måde ikke særlig godt – åbenbart fordi de ikke har udviklet deres algoritmer i lang tid. Alt går i retning af dette – til det punkt, at vi går ind og uden at trykke på noget får det, vi har brug for (og bliver helt dumme, fordi vores evne til at vælge er helt forsvundet).

Påvirke markedsføring

Z: - Hej. Mit navn er Konstantin. Jeg vil gerne stille et spørgsmål om influence marketing. Kender du nogle systemer, der tillader en virksomhed at vælge en passende blogger til virksomheden baseret på nogle statistiske data og så videre? Og på hvilket grundlag sker dette?

Arthur Khachuyan: kunstig intelligens i markedsføring

Åh: – Ja, jeg vil starte langvejs fra og med det samme sige, at problemet med alle disse teknologier er, at al denne kunstige intelligens i marketing nu er som en tightrope roller: til venstre er der store virksomheder, der har mange penge, og i under alle omstændigheder vil alt være effektivt for deres arbejde, fordi deres reklamekampagner blot er rettet mod synspunkter; på den anden side er der mange små virksomheder, som dette ikke vil fungere for, fordi de har en masse data. Indtil videre er anvendeligheden af ​​disse historier et sted i midten.

Når der allerede er gode budgetter, og opgaven er at behandle disse budgetter korrekt (og der i princippet allerede er en del data)... kender jeg et par tjenester, noget som Getblogger, som ser ud til at have algoritmer. For at være ærlig har jeg ikke studeret disse algoritmer. Jeg kan fortælle dig, hvilken tilgang vi bruger til at finde meningsdannere, når vi skal give en gave til nogle mødre.

Vi bruger en metric kaldet Content Distribution Time. Det fungerer sådan her: du tager en person, hvis publikum du analyserer, og du skal systematisk (for eksempel en gang hvert 5. minut) indsamle information om hvert opslag, hvem der kunne lide det, kommenterede det, og så videre. På denne måde kan du forstå, på hvilket tidspunkt hver person i dit publikum interagerede med dit indhold. Gentag denne operation for hver repræsentant for hans publikum, og ved hjælp af metrikken for den gennemsnitlige tid for indholdsformidling kan den for eksempel farvelægges i en stor netværksgraf over disse personer og bruge denne metrik til at bygge klynger.

Dette fungerer ganske godt, hvis vi for eksempel vil finde 15 mødre, der fastholder deres offentlige mening på nogle woman.ru. Men dette er en ret kompleks teknisk implementering (selvom det rent teoretisk kan gøres i Python). Den nederste linje er, at problemet med indflydelsesmarkedsføring i store reklamebureauer er, at de har brug for store, seje, dyre bloggere, der ikke arbejder for lort. Nu vil et bilmærke sælge et eller andet produkt gennem en opinionsdanner - de skal bruge en bilblogger som sidste udvej, fordi deres publikum enten allerede har købt en bil, eller ved præcis, hvilken slags bil de vil have, sidder bare og ser på fede biler. Her er det vigtigt ikke at gå glip af analysen af ​​publikum af personen selv.

Marketing bots

Z: – Fortæl mig, hvor meget påvirker bots på sociale netværk indsamlingen af ​​information og dens kvalitet?

Arthur Khachuyan: kunstig intelligens i markedsføring

Åh: - Det er så interessant noget med bots. Billige bots er ret nemme at identificere – de har enten det samme indhold, eller de er venner med hinanden, eller de er i samme netværk. Der er også tilgange til at håndtere komplekse bots. Eller spørger du problemet, hvordan man forbinder en person til sin falske?

Z: – Hvor høj kvalitet vil informationen blive outputtet med alt dette affald?

Åh: – Her fungerer det sådan: På grund af det faktum, at der er en enorm mængde data (f.eks. til en form for markedsføringsforskning), kan alt det her riffraff simpelthen smides ud. Det vil sige, det er bedre at smide lidt flere rigtige mennesker ud end at fange bots, fordi det er nytteløst for dem at vise nogen reklame. Men hvis du indsamler metrics, for eksempel interaktioner med bannere eller anbefalingssystemer, kan sådanne konti blive smidt ud.

Nu på sociale netværk er der omkring seks procent af virtuelle karakterer eller simpelthen forladte sider eller introverte, som algoritmer "matcher" som bots. Med hensyn til at knytte en person til sin falske, så er alt også her bundet til, at personen før eller siden vil begå en fejl, og sagen er, at adfærdsmodellen er den samme - både hans rigtige konto og hans falske. Før eller siden vil de se det samme indhold eller noget andet.

Her kommer det hele ikke ned på fejlprocenten, men på mængden af ​​tid, der kræves for pålideligt at identificere en person. For nogen, der bor med deres Instagram, kommer denne gang til pålidelig identifikation ned til fem minutter. For nogle – med seks til otte måneder.

Til hvem og hvordan sælger man data?

Z: - Hej. Jeg er interesseret i at vide, hvordan data sælges mellem virksomheder? For eksempel har jeg en applikation, hvor du kan finde ud af (til udvikleren), hvor en person går, hvilke butikker han går til, og hvor mange penge han bruger der. Og jeg er interesseret i at vide, hvordan, lad os sige, jeg kan sælge data om mit publikum til disse butikker eller lægge mine data ind i en enorm database og få betalt for det?

Arthur Khachuyan: kunstig intelligens i markedsføring

Åh: – Med hensyn til at sælge data direkte til nogen, så var du og alle andre foran OFD – skattedataoperatører, som snedigt byggede sig mellem overførslen af ​​checks og Skat og nu forsøger at sælge data til alle. De styrtede faktisk hele mobilanalysemarkedet ned. Faktisk kan du indlejre din applikation, for eksempel Facebook-pixel, dens DMP-system; Brug derefter denne målgruppe til at sælge. For eksempel "May Target"-pixlen. Jeg ved bare ikke, hvilken slags publikum du har, du skal forstå. Men under alle omstændigheder kan du integrere enten i Yandex eller My Target, som er de største DMP-systemer.

Dette er en ganske interessant historie. Det eneste problem er, at du vil give dem al trafikken, og de, som børser, vil påtage sig indtægtsgenereringen af ​​denne trafik. De fortæller dig måske eller ikke, at 10 personer har brugt dit publikum. Derfor bygger du enten dit eget annoncenetværk, eller også overgiver du dig til store DMP'er.

Hvem vinder - kunstneren eller teknikeren?

Z: – Et spørgsmål lidt fjernt fra den tekniske del. Det blev sagt om marketingfolks frygt for den kommende massearbejdsløshed. Er der en slags konkurrencekamp mellem kreativ markedsføring (disse fyre, der kom med kyllingeannoncering, Volkswagen-reklamer, ser det ud til) og dem, der er involveret i Big Data (som siger: nu samler vi bare alle data og leverer målrettet annoncering til alle sammen )? Som en person, der er direkte involveret, hvad er din mening om, hvem der vinder - en kunstner, en tekniker, eller vil der være en form for synergistisk effekt?

Arthur Khachuyan: kunstig intelligens i markedsføring

Åh: – Hør, de arbejder sammen. Ingeniører kommer ikke med kreativitet. De, der er kreative, opfinder ikke et publikum. Der er en form for tværfaglig historie her. De virkelige problemer nu er for dem, der sidder og trykker på knapper, for dem, der laver "abe-jobbet", der trykker på det samme hver dag - det er de mennesker, der vil forsvinde.

Men dem, der analyserer dataene, bliver naturligvis tilbage, men nogen skal behandle disse data. Nogen bliver nødt til at komme med disse billeder, tegne dem. En maskine kan ikke komme op med sådan en kreativitet! Dette er fuldstændig vanvid! Eller som for eksempel den virale annoncering af Carprice, som i øvrigt fungerede rigtig godt. Husk, der var denne på YouTube: "Sælg den til Carprice", helt vild. Naturligvis vil intet neurale netværk generere en sådan historie.
Generelt er jeg tilhænger af, at det ikke er folk, der mister deres arbejde, men de får lidt mere fritid, og de vil kunne bruge denne fritid på selvuddannelse.

Primitiv reklame vil dø ud

Z: - I det store og hele er reklamen, der vises, bannerne - i det store og hele, selv sælgende tekster står der ikke: "Du skal bruge vinduer - tag den!", "Du skal have noget andet - tag den!", dvs. der er ingen kreativitet der overhovedet.

Åh: - Sådan reklame vil selvfølgelig dø ud før eller siden. Det vil dø ud, ikke så meget på grund af teknologiens udvikling, men på grund af udviklingen af ​​dig og mig.

Det er bedre at blande det relevante med det irrelevante

Z: - Jeg er her! Jeg har et spørgsmål om eksperimentet, som du sagde, ikke fungerede for dig (med anbefalingssystemet). Efter din mening, er problemet det, der blev underskrevet der, hvorfor anbefales det, eller er det, at alt, hvad brugeren så, virkede relevant for ham? Fordi jeg læste et eksperiment for mødre, og der var ikke så meget data endnu, og der var ikke så meget data fra internettet, var der bare data fra en købmand, der forudsagde graviditet (at de ville være mødre). Og da de viste et udvalg af produkter til vordende mødre, var mødrene forfærdede over, at de fandt ud af dem før nogen officielle ting. Og det virkede ikke. Og for at løse dette problem blandede de bevidst relevante produkter med noget helt irrelevant.

Arthur Khachuyan: kunstig intelligens i markedsføring

Åh: ”Vi viste specifikt folk grundlaget for anbefalingerne, for at kunne forstå deres feedback. Det er faktisk her, konceptet blev født om, at folk ikke behøver at få at vide, at det er nogle superrelevante produkter for ham.

Ja, der er i øvrigt en tilgang til at blande dem med irrelevante. Men der er det modsatte: nogle gange kommer folk ind og interagerer med dette irrelevante produkt - tilfældige outliers opstår, modeller går i stykker, og tingene bliver endnu mere komplicerede. Men dette eksisterer faktisk. Desuden blander mange virksomheder med vilje, hvis de ved, at nogen behandler deres data (nogen kunne stjæle sådanne output fra dem), nogle gange blander det sammen, så de senere kan bevise, at du ikke tog dataene fra deres anbefalingssystem, men fra det såkaldte Yandex.Market.

Annonceblokering og browsersikkerhed

Z: - Hej. Du nævnte Ghostery og Adblock. Kan du fortælle os, hvor effektive sådanne trackere generelt er (måske baseret på statistik)? Og havde du nogle ordrer fra virksomheder: de siger, sørg for, at vores annoncering ikke kan lukkes af Adblock.

Åh: – Vi kontakter ikke reklameplatforme direkte – netop for at de ikke beder om at gøre deres annoncering synlig for alle. Jeg bruger personligt Ghostery - jeg synes det er en meget fed udvidelse. Nu kæmper alle browsere for privatlivets fred: Mozilla har udgivet en masse alle slags opdateringer, Google Chrome er nu supersikkert. De blokerer alle for alt, hvad de kan. "Safari" har endda slået "Gyroskop" fra som standard.
Og denne tendens er selvfølgelig god (ikke for dem, der indsamler data, selvom de også kom ud af det), fordi folk først blokerede cookies. Alle, der ejede reklamenetværk, huskede en så vidunderlig teknologi som browserfingeraftryk - disse er algoritmer, der modtager 60 forskellige parametre (skærmopløsning, version, installerede skrifttyper), og baseret på dem beregner de et unikt "ID". Lad os gå videre til dette. Og browsere begyndte at kæmpe med dette. Generelt vil dette være en endeløs kamp mellem titanerne.

Den seneste udvikler Mozilla er ret sikker. Det sparer stort set ingen cookies og indstiller en kort levetid. Især hvis du slår "Inkognito" til, vil ingen finde dig overhovedet. Spørgsmålet er, at det vil være ubelejligt at indtaste adgangskoder i alle tjenester.

Hvor virker psykotypning og fysiognomi og ikke virker?

Z: – Arthur, mange tak for foredraget. Jeg nyder også at følge dine foredrag på YouTube. Du nævnte, at marketingfolk i stigende grad tyer til at bruge psykotyping og fysiognomi. Mit spørgsmål er: hvilke mærkekategorier fungerer dette i? Min overbevisning er, at dette kun er egnet til FMCG. For eksempel er det at vælge en bil...

Åh: – Jeg kan downloade, hvor det præcist virker. Dette virker i alle mulige historier som "Amediateka", tv-serier, film og så videre. Dette fungerer godt i banker og bankprodukter, hvis det ikke er premium-segmentet, men alle mulige studiekort, afdragsordninger - den slags ting. Dette fungerer virkelig meget godt i FMCG og alle mulige iPhones, opladere, alt det lort. Dette fungerer godt i "mor og pop"-produkter. Selvom jeg ved, at i fiskeri (der er sådan et emne)... Der har været sager med fiskere flere gange - de kan aldrig opdeles pålideligt. Jeg ved ikke hvorfor. En slags statistisk fejl.

Dette fungerer ikke godt med bilister, med smykker eller med nogle husholdningsartikler. Faktisk fungerer det ikke godt med ting, som folk aldrig ville skrive om på sociale medier – du kan tjekke det på denne måde. Konventionelt, med køb af en vaskemaskine: Sådan forstår du, hvem der har en vaskemaskine, og hvem der ikke har? Det ser ud til, at alle har det. Du kan bruge OFD-data - se, hvem der har købt hvad ved hjælp af kvitteringer, og match disse personer ved hjælp af kvitteringer. Men faktisk er der ting, du aldrig ville tale om, for eksempel på Instagram - det er svært at arbejde med sådanne ting.

Maskiner genkender tricks som statistisk fyld.

Z: – Jeg har et spørgsmål om målretning. Er det muligt (eller findes de pludselig) af en betinget tilfældig karakter, der modsiger sig selv i alt: først Googler han "de bedste fitnesscentre", og derefter Googler han "10 måder at gøre ingenting på"? Og sådan er det i alt. Kan målretning holde styr på noget, der modsiger sig selv?

Åh: – Det eneste spørgsmål her er dette: Hvis du har brugt Google i 2 år, fortalte det alt, hvad du kan om dig selv, og nu installerer et plugin til dig selv, der vil skrive lignende tilfældige forespørgsler, så vil du naturligvis ud fra statistikken være i stand til at forstå - det du gør nu er en statistisk outlier, og det hele er et spørgsmål om at sigte fra. Hvis du vil, skal du registrere en ny konto, men mængden af ​​annoncer ændres ikke. Hun bliver bare mærkelig. Selvom hun stadig er mærkelig.

Nogle annoncer 🙂

Tak fordi du blev hos os. Kan du lide vores artikler? Vil du se mere interessant indhold? Støt os ved at afgive en ordre eller anbefale til venner, cloud VPS for udviklere fra $4.99, en unik analog af entry-level servere, som blev opfundet af os til dig: Hele sandheden om VPS (KVM) E5-2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps fra $19 eller hvordan deler man en server? (tilgængelig med RAID1 og RAID10, op til 24 kerner og op til 40 GB DDR4).

Dell R730xd 2 gange billigere i Equinix Tier IV datacenter i Amsterdam? Kun her 2 x Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 TV fra $199 i Holland! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - fra $99! Læse om Hvordan man bygger infrastruktur corp. klasse med brug af Dell R730xd E5-2650 v4-servere til en værdi af 9000 euro for en krone?

Kilde: www.habr.com

Tilføj en kommentar