Arthur Khachuyan est un spécialiste russe bien connu du traitement du Big Data, fondateur de la société Social Data Hub (aujourd'hui Tazeros Global). Partenaire de l’École supérieure d’économie de l’Université nationale de recherche. A préparé et présenté, en collaboration avec l'École supérieure d'économie de l'Université nationale de recherche, un projet de loi sur le Big Data au Conseil de la Fédération. Il a pris la parole à l'Institut Curie de Paris, à l'Université d'État de Saint-Pétersbourg, à l'Université fédérale du gouvernement de la Fédération de Russie, à Red Apple, International OpenDataDay, RIW 2016, AlfaFuturePeople.
La conférence a été enregistrée lors du festival en plein air « Geek Picnic » à Moscou en 2019.
Artur Khachuyan (ci-après - AH) : – Si parmi un grand nombre d'industries - de la médecine, de la construction, de quelque chose, quelque chose, choisir celle où la technologie du big data, de l'apprentissage automatique, de l'apprentissage profond est le plus souvent utilisée, alors il s'agit probablement de marketing. Parce que depuis environ trois ans, tout ce qui nous entoure dans une sorte de communication publicitaire est désormais précisément lié à l'analyse des données et précisément à ce que l'on peut appeler l'intelligence artificielle. C'est pourquoi je vais vous parler aujourd'hui d'une histoire si lointaine...
Si vous imaginez l’intelligence artificielle et à quoi elle ressemble, c’est probablement quelque chose comme ça. L'image étrange est l'un des réseaux de neurones que j'ai écrit il y a un an pour trouver la dépendance de ce que fait mon chien - combien de fois doit-il devenir grand, petit, et comment cela dépend-il généralement de la quantité qu'il mange ou pas ? . C’est une blague sur la façon dont l’intelligence artificielle pourrait être imaginée.
Mais réfléchissons quand même à la manière dont tout cela fonctionne dans la communication publicitaire. Les algorithmes modernes de publicité et de marketing peuvent interagir avec nous de trois manières. Il est clair que la première histoire vise à obtenir et à extraire des connaissances supplémentaires sur vous et moi, puis à les utiliser à des fins bonnes et moins bonnes ; personnaliser l'approche à chaque personne spécifique; Naturellement, après cela, créez une certaine demande afin d'effectuer l'action cible principale et de réaliser une certaine vente.
En utilisant la technologie, ils tentent de résoudre le problème d'une communication efficace
Si je vous dis de réfléchir à ce que Pornhub et M. Vidéo", à quoi tu penses ?
Commentaires du public (ci-après dénommé C) : - Télévision, public.
OH: – Mon concept est qu’il s’agit de deux endroits où les gens viennent pour un certain type de service, ou disons, un certain type de biens. Et ce public est différent dans le sens où il ne veut rien dire au vendeur. Elle veut entrer et obtenir ce qui l’intéresse sous une forme explicite ou implicite. Naturellement, personne ne vient chez M. Vidéo » ne veut communiquer avec aucun vendeur, ne veut pas comprendre, ne veut répondre à aucune de leurs questions.
De tout cela découle donc la première histoire.
Lorsque des technologies permettant d'obtenir des connaissances supplémentaires sont apparues afin d'éviter d'une manière ou d'une autre de communiquer avec une personne. Nous aimons tous quand nous appelons la banque et qu’elle nous dit : « Bonjour. Alexey, vous êtes notre client VIP. Maintenant, un super manager va vous parler. Vous venez dans cette banque, et il y a vraiment un manager unique qui peut vous parler. Malheureusement ou heureusement, aucune entreprise n'a encore trouvé comment embaucher un millier de managers personnels pour un millier de clients ; et comme la plupart de ces personnes sont désormais en ligne, la tâche est de comprendre de quel genre de personne il s'agit et comment communiquer correctement avec elle avant qu'elle n'accède à une ressource publicitaire. Et donc, en fait, des technologies sont apparues pour tenter de résoudre ce problème.
L’extraction de données est le nouveau pétrole
Imaginons que vous soyez propriétaire d'un stand de fleurs. Trois personnes viennent vous voir. Le premier reste très longtemps debout, hésite, essaie de vous parler, prend une sorte de bouquet - vous allez l'emballer, sortez pour y faire quelque chose ; il s'enfuit de l'étal avec ce bouquet - vous avez perdu vos trois mille roubles. Pourquoi est-ce arrivé ? Vous ne savez rien de cette personne : vous ne connaissez pas son historique d’arrestations au ministère de l’Intérieur, vous ne savez pas qu’il est kleptomane et qu’il est inscrit dans un dispensaire psychiatrique. Pourquoi? Parce que vous l’avez vu pour la première fois et que vous n’êtes pas un analyste comportemental.
Quelqu'un d'autre arrive... Vitaly. Vitaly met également beaucoup de temps à comprendre, dit-il: "Eh bien, j'ai besoin de ceci et de cela." Et vous lui dites : « Des fleurs pour maman, n'est-ce pas ? Et tu lui vends un bouquet.
Le concept ici est de trouver suffisamment de données pour comprendre ce dont la personne a réellement besoin. Tout le monde a immédiatement pensé à une sorte de réseau publicitaire, etc.
Tout le monde a probablement entendu plus d’une fois l’expression stupide selon laquelle « les données sont le nouveau pétrole » ? Sûrement tout le monde a entendu. En fait, les gens ont appris à collecter des données il y a assez longtemps, mais extraire des données de ces données est la tâche que l'intelligence artificielle en marketing, ou une sorte d'algorithme statistique, tente désormais de résoudre. Pourquoi? Parce que si vous parlez à une personne, elle peut vous donner une réponse bonne, fausse ou colorée. La blague que je raconte à mes étudiants est la différence entre les enquêtes et les statistiques. Je vais vous raconter ceci à titre d'anecdote :
Cela signifie que dans deux villages, ils ont décidé de mener une étude sur la durée moyenne de la virilité. Cela signifie que dans le premier village, Villaribo, la longueur moyenne est de 15 centimètres, dans le village de Villabaggio - 25. Savez-vous pourquoi ? Car des mesures ont été réalisées dans le premier village, et une enquête a été réalisée dans le second.
L'industrie du porno est le fleuron des systèmes de recommandation
C’est pourquoi l’approche moderne consiste à analyser toutes les personnes sans exception, même si elles sont un peu moins de 100 %, mais ce sont ces personnes que vous n’avez pas besoin de demander, vous n’avez pas besoin de les regarder. Il suffit d'analyser ce qu'on appelle désormais une empreinte numérique pour comprendre ce dont cette personne a besoin, comment lui parler correctement, comment créer correctement la demande autour d'elle. D’un côté, il s’agit d’une machine stupide (mais vous et moi le savons très bien) ; nous ne voulons pas communiquer avec les gens de M. Vidéo », et plus encore, lorsque nous accédons à des ressources comme Pornhub, nous voulons obtenir exactement ce dont nous avons besoin.
Pourquoi est-ce que je parle toujours de Pornhub ? Parce que l'industrie pour adultes est la première à venir à l'analyse de telles technologies, à la mise en œuvre de telles technologies, à l'analyse des données. Si vous prenez les trois bibliothèques les plus populaires dans ce domaine (par exemple, TensorFlow ou Pandas pour Python, pour le traitement des fichiers CSV, etc.), si vous l'ouvrez sur Github, avec un petit Google de tous ces noms vous trouverez un quelques personnes qui ont travaillé ou travaillent actuellement dans la société Pornhub et qui ont été les premières à y mettre en œuvre des systèmes de recommandation. De manière générale, cette histoire est très avancée, et montre à quel point ce public, à quel point cette entreprise a progressé.
Trois niveaux d'identification
Il existe un vaste ensemble de données sur une personne qui peuvent être identifiées. Je divise habituellement formellement cela en trois niveaux, allant de plus en plus profondément. Bien entendu, l’entreprise dispose de ses propres données.
Si, par exemple, nous parlons de créer un système de recommandation, le premier niveau concerne les données qui se trouvent dans le magasin lui-même (historique des achats, toutes sortes de transactions, comment une personne a interagi avec l'interface).
Il y a ensuite un niveau (relativement le plus grand) : c'est ce qu'on appelle les sources ouvertes. Ne pensez pas que je vous encourage à gratter les réseaux sociaux, mais en fait, ce qui est disponible dans les sources ouvertes ouvre un vaste ensemble de données que vous pouvez, par exemple, en apprendre davantage sur une personne.
Et le troisième élément majeur est l’environnement de cette personne elle-même. Oui, il existe une opinion selon laquelle si une personne n'est pas sur les réseaux sociaux, il n'y a aucune donnée à son sujet (vous savez probablement déjà que ce n'est pas vrai), mais le plus important est que les données qui se trouvent sur le profil d'une personne (ou dans certaines applications) ne représente que 40 % des connaissances pouvant être obtenues à ce sujet. Le reste des informations est obtenu de son environnement. L’expression « dis-moi qui est ton ami et je te dirai qui tu es » prend un nouveau sens au XNUMXe siècle car une énorme quantité de données peut être obtenue autour de cette personne.
Если говорить ближе к рекламным коммуникациям, то получение рекламной коммуникации не из рекламы, а от какого-то вашего друга, знакомого или как-то верифицированного человека – это очень крутая фишка, которой пользуется куча маркетологов. Когда вам внезапно дарит бесплатный промо-код какое-то приложение – вы делаете об этом пост и тем самым завлекаете новую аудиторию. На самом деле этот промо-код на условное «Яндекс.Такси» был выбран совершенно не случайным образом, а для этого было проанализировано огромное количество данных о вашем потенциале привлечь новую аудиторию и с ней как-то провзаимодействовать.
Ils analysent même le comportement des personnages de séries télévisées
Je vais vous montrer trois photos et vous me direz quelle est la différence entre elles.
Celui-ci:
Ce:
Et celui-là:
Quelle est la différence entre eux ? Tout est simple ici. Comme en mécanique quantique, cette créativité est ici formée par l’observateur. Autrement dit, la différence dans une même campagne publicitaire, menée par la même marque au même moment, réside uniquement dans la personne qui a regardé cette création. Personnellement, quand je vais à Amediateka, ils montrent encore Khal Drogo. Je ne sais pas ce que pense Amediateka de mes préférences, mais pour une raison quelconque, cela arrive.
Ce que l’on appelle aujourd’hui les communications personnalisées est l’histoire la plus populaire pour attirer un public et interagir correctement avec lui. Si dans un premier temps nous identifions des personnes en utilisant nos propres données de marque, des données open source et, par exemple, des données de l'environnement de cette personne, nous pouvons, après l'avoir analysée, comprendre qui elle est, comment lui parler correctement et, surtout , quelle langue il parle, parlez-lui.
Ici, la technologie est allée si loin que les personnages des séries télévisées que les gens regardent sont désormais analysés. Autrement dit, vous aimez les séries télévisées - elles [j'aime] sont regardées, elles regardent avec qui vous avez interagi là-bas, afin de comprendre avec quel genre de personne vous conviendrait d'interagir. Cela semble complètement absurde, mais juste pour vous amuser, essayez-le sur l'une des ressources - différentes personnes voient différentes créations (afin d'interagir correctement avec elles).
Pas un seul média moderne ni aucune ressource vidéo ne vous montre des nouvelles. Allez dans les médias - un grand nombre d'algorithmes sont chargés qui vous identifient, comprennent toutes vos activités précédentes, font appel au modèle mathématique et vous montrent ensuite quelque chose. Dans ce cas-ci, il y a une histoire tellement étrange.
Comment sont déterminés les besoins ? Psychométrie. Physionomie
Il existe de nombreuses approches (réelles) pour déterminer les besoins réels d’une personne et comment communiquer correctement avec elle. Il existe de nombreuses approches, tout est résolu différemment, il est impossible de dire laquelle est bonne et laquelle est mauvaise. Les principaux semblent tout savoir.
Psychométrie. Après l'histoire de Cambridge Analytics, cela a pris une sorte de tournure choquante, à mon avis, car une entreprise politique sur deux vient maintenant et dit : « Oh, pouvez-vous me faire aimer Trump ? Je veux aussi gagner, et ainsi de suite. En fait, cela n’a bien sûr aucun sens pour nos réalités, par exemple les élections politiques. Mais pour déterminer les psychotypes, trois modèles sont utilisés :
- le premier est basé sur le contenu que vous consommez – les mots que vous écrivez, certaines informations que vous aimez, les vidéos, etc. ;
- la seconde est liée à la façon dont vous interagissez avec l'interface Web, à la façon dont vous tapez, aux boutons sur lesquels vous appuyez - en effet, il existe des entreprises entières qui, sur la base de l'écriture manuscrite de leur clavier, peuvent déterminer de manière assez fiable ce qu'on appelle aujourd'hui les psychotypes.
- Je ne suis pas vraiment psychologue, je ne comprends pas vraiment comment ça marche, mais du point de vue de la communication publicitaire, les audiences divisées en ces segments fonctionnent très bien, car il faut montrer à quelqu'un un écran rouge avec un écran bleu femme, il faut montrer à quelqu'un un écran sombre, un fond bleu avec une sorte d'abstraction, et ça marche très bien. À certains niveaux bas, à tel point qu’une personne n’y pense même pas. Quel est actuellement le principal problème du marché publicitaire ? Tout le monde est un agent de renseignement, tout le monde se cache, tout le monde a installé un million de milliers d'autorisations de navigateur, afin de ne pas être identifié de quelque manière que ce soit - vous avez probablement "Adblocks", "Gostrey" et toutes sortes d'applications qui bloquent le suivi. Pour cette raison, il est très difficile de comprendre quoi que ce soit sur une personne. Et la technologie a évolué : vous devez non seulement savoir que cette personne est revenue sur votre site pour la 125ème fois, mais qu'elle est aussi telle ou telle personne étrange.
La physionomie est une science très controversée. Ce n’est même pas considéré comme une science. Il s'agit d'un groupe de personnes qui programmaient des détecteurs de mensonges pour certains ministères de l'Intérieur et qui se consacrent désormais à ce qu'on appelle la personnification de la créativité. L'approche ici est très simple : plusieurs de vos photographies publiques sont prises à partir de certains réseaux sociaux, et une géométrie tridimensionnelle est construite à partir d'elles. Et si vous êtes avocat, vous direz désormais qu'il s'agit d'une personne et de données personnelles ; mais je vais vous dire que ce sont 300 XNUMX points situés dans l'espace, et ce n'est pas une personne, ni des données personnelles. C'est ce que tout le monde dit habituellement lorsque Roskomnadzor vient le voir.
Mais sérieusement, votre visage séparément, si votre prénom et votre nom n'y sont pas signés, ne sont pas vos données personnelles. Le fait est que les gars marquent diverses caractéristiques du visage qui influencent la façon dont une personne prend des décisions et comment interagir correctement avec elle. Dans certains domaines, cela fonctionne mal, dans certains segments publicitaires ; dans quels segments cela fonctionne-t-il très bien. En fin de compte, il s'avère que lorsque vous accédez à une ressource, vous ne voyez pas seulement une bannière qui s'affiche à tout le monde, mais, par exemple... maintenant, il est normal de créer 16 ou 20 options pour différents publics - et cela fonctionne très cool. Oui, c’est encore plus triste du point de vue du consommateur, car il commence à se laisser de plus en plus manipuler. Néanmoins, d’un point de vue commercial, cela fonctionne très bien.
La boîte noire du machine learning
Cela pose le problème suivant avec de telles technologies : après tout, pour la plupart des développeurs, ce qu’on appelle le deep learning est désormais une « boîte noire ». Si vous avez déjà été plongé dans cette histoire et parlé aux développeurs, ils disent toujours : « Oh, écoutez, eh bien, nous avons codé quelque chose de tellement incompréhensible là-bas, et nous ne savons pas comment cela fonctionne. Peut-être que quelqu'un a vécu cela.
C’est en réalité loin d’être vrai. Ce que l’on appelle aujourd’hui le machine learning est loin d’être une « boîte noire ». Il existe un grand nombre d'approches pour décrire les données d'entrée et de sortie, et en fin de compte, l'entreprise peut parfaitement comprendre, sur la base de quels signes la machine a décidé de vous montrer telle ou telle vidéo pornographique. Le problème est qu’aucune des entreprises ne le divulgue jamais, car : premièrement, il s’agit d’un secret commercial ; deuxièmement, il y aura une énorme quantité de données dont vous ne connaissiez même pas l’existence.
Par exemple, auparavant, dans une discussion sur l'éthique, nous avons discuté de la manière dont les réseaux sociaux analysent les messages personnels afin de marquer les gens dans certaines sortes d'histoires publicitaires. Si vous écrivez quelque chose à quelqu'un, sur cette base, vous recevez une balise spécifique pour, en fait, une sorte de communication publicitaire. Et vous ne le prouverez jamais, et cela ne sert probablement à rien de le prouver. Cependant, si des modèles similaires étaient révélés, ils existeraient. Il s’avère que le marché de la construction de tels systèmes de recommandation fait semblant de ne pas savoir pourquoi cela s’est produit.
Les gens ne veulent pas savoir ce que les autres savent d'eux
Et la deuxième histoire est que le client ne veut jamais savoir pourquoi il a reçu telle publicité, tel produit particulier. Je vais vous raconter cette histoire. Ma première expérience dans la mise en œuvre commerciale de systèmes de recommandation basés sur des algorithmes similaires précisément à des fins de recherche a eu lieu en 2015 dans un très grand réseau de sex-shops (oui, ce n'est pas non plus une histoire particulièrement désagréable).
Les clients se sont vu proposer ce qui suit : ils entrent, se connectent avec leur réseau social et après environ 5 secondes, ils reçoivent une boutique entièrement personnalisée pour eux, c'est-à-dire que tous les produits ont changé - ils entrent dans une certaine catégorie, et ainsi de suite. . Savez-vous à quel point le taux de conversion de ce magasin a augmenté ? En aucun cas ! Les gens sont entrés et ont immédiatement pris la fuite. Ils sont entrés et ont réalisé qu’on leur proposait exactement ce à quoi ils pensaient…
Le problème avec ce test était que sous chaque produit il était écrit pourquoi on vous avait proposé celui-là en particulier (« parce que vous êtes membre du groupe caché « Une femme puissante cherche un homme qui est un paillasson »). C’est pourquoi les systèmes de recommandation modernes n’affichent jamais les données sur la base desquelles la « prédiction » a été réalisée.
Les médias sont une histoire très populaire car ils utilisent tous des systèmes de recommandation similaires. Auparavant, les algorithmes étaient très simples : regardez la catégorie « Politique » - et ils vous montrent les actualités de la catégorie « Politique ». Maintenant, tout est si compliqué qu'ils analysent les endroits où vous avez arrêté la souris, sur quels mots vous vous êtes concentré, ce que vous avez copié, comment vous avez généralement interagi avec cette page. Puis il analyse le vocabulaire des messages eux-mêmes : oui, vous ne lisez pas seulement des nouvelles sur Poutine, mais d’une certaine manière, avec une certaine coloration émotionnelle. Et quand une personne reçoit des nouvelles, elle ne pense même pas à la façon dont elle est arrivée ici. Néanmoins, il interagit ensuite avec ce contenu.
Tout cela, bien sûr, vise à préserver le pauvre et malheureux petit homme qui devient déjà fou de l'énorme quantité d'informations qui l'entourent. Ici, il faut dire qu'il serait bien d'utiliser de tels systèmes pour personnaliser la création autour de vous et collecter certaines informations, mais, malheureusement, de tels services n'existent pas encore.
L'intelligence artificielle capte le client dans les airs et crée la demande
Et ici se pose une question philosophique très intéressante, passer de la création d'un système de recommandation à la création de demande. On y pense rarement, mais lorsque vous essayez de demander à ce qu’on appelle Instagram : « Pourquoi collectez-vous des données ? Pourquoi ne pas me montrer des publicités absolument aléatoires ? » - Instagram vous dira : « Mon ami, tout cela est fait pour vous montrer exactement ce qui vous intéresse. » Par exemple, nous voulons vous connaître si précisément afin de pouvoir vous montrer exactement ce que vous recherchez.
Mais la technologie a depuis longtemps franchi ce terrible seuil, et des technologies similaires ne prédisent plus ce dont vous avez besoin. Ils (attention !) créent de la demande. C’est probablement la chose la plus effrayante qui tourne autour de l’intelligence artificielle dans de telles communications. Ce qui est effrayant, c'est qu'il a été utilisé presque partout au cours des 3 à 5 dernières années - des résultats de recherche Google aux résultats de recherche Yandex, en passant par certains systèmes... D'accord, je ne dirai rien de mal à propos de Yandex ; et bien.
À quoi ça sert? Il y a longtemps que ces communications publicitaires se sont éloignées de la stratégie consistant à écrire « Je veux acheter un siège enfant » et à voir cent milliards de publications. Ils sont passés au suivant : dès que la femme postait une photo avec un ventre à peine visible, son mari commençait immédiatement à être suivi de messages : « Mec, l'accouchement approche. Achetez un siège enfant."
Ici, on pourrait raisonnablement se demander pourquoi, avec des avancées technologiques aussi gigantesques, voit-on encore des publicités aussi merdiques sur les réseaux sociaux ? Le problème est que sur ce marché, tout est encore décidé par l'argent, donc à un moment donné, un annonceur comme Coca-Cola peut venir et dire : "Voici 20 millions pour vous - montrez mes bannières merdiques sur tout Internet." Et ils le feront vraiment.
Mais si vous créez une sorte de compte propre et testez avec quelle précision ces algorithmes vous devinent : ils essaient d'abord de vous deviner, puis ils commencent à vous faire quelque chose à l'avance. Et le cerveau humain fonctionne de telle manière que, lorsqu'il reçoit des informations qui lui sont fiables, il ne traite même pas le moment pour lequel il a reçu ces informations. La première règle pour déterminer que vous êtes dans un rêve est de comprendre comment vous êtes arrivé ici. Une personne ne se souvient jamais du moment où elle s'est retrouvée dans une certaine pièce. C'est la même chose ici.
Google pourrait commencer à façonner votre vision du monde
De telles études ont été réalisées par plusieurs sociétés étrangères engagées dans l'i-tracking. Ils ont installé des dispositifs sur des ordinateurs spéciaux qui enregistrent où regardent les yeux du sujet testé. J'ai emmené cinq à sept mille volontaires qui ont simplement fait défiler le flux, interagi avec les réseaux sociaux, avec la publicité, et ils ont enregistré des informations sur les parties des bannières et des créations sur lesquelles ces personnes ont arrêté leurs yeux.
Et il s'avère que lorsque les gens reçoivent une création aussi hyper-personnalisée, ils n'y pensent même pas - ils passent immédiatement à autre chose, commencent à interagir avec. D'un point de vue commercial, c'est bien, mais de notre point de vue, en tant qu'utilisateurs, ce n'est pas très cool, car - de quoi ont-ils peur ? – Qu’à un moment donné, le « Google » conditionnel puisse commencer (ou, bien sûr, ne pas commencer) à former sa propre vision du monde. Demain, par exemple, il pourra commencer à annoncer aux gens que la Terre est plate.
Je plaisante, mais ils ont été arrêtés tellement de fois que lors des élections, ils commencent à donner certaines informations à certaines personnes. Nous sommes tous habitués au fait que le moteur de recherche obtient tout honnêtement. Mais, comme je le dis toujours, si vous voulez vraiment savoir comment fonctionne le monde, écrivez votre propre moteur de recherche, sans filtres, sans prêter attention aux droits d'auteur, sans classer certains de vos amis dans les résultats de recherche. L'affichage des données réelles sur Internet est généralement différent de celui affiché par Google, Yandex, Bing, etc. Certains documents sont cachés parce que des amis, des collègues, des ennemis ou quelqu'un d'autre (ou un ancien amant avec qui vous avez couché) n'ont pas d'importance.
Comment Trump a gagné
Lors des dernières élections aux États-Unis, une étude très simple a été menée. Ils ont reçu les mêmes requêtes à différents endroits, à partir de différentes adresses IP, de différentes villes, différentes personnes ont recherché la même chose sur Google. Traditionnellement, la demande était du style : qui gagnera les élections ? Et étonnamment, les résultats ont été construits de telle manière que dans les États où le plus grand nombre de personnes ont essayé de voter pour le mauvais candidat, ils ont reçu de bonnes nouvelles concernant le candidat promu par Google. Lequel? Eh bien, il est clair lequel – celui qui est devenu président. C’est une histoire absolument impossible à prouver, et toutes ces études ne sont qu’un doigt dans l’eau. Google peut dire : « Les gars, tout cela est fait pour que nous vous montrions le contenu le plus pertinent. »
Désormais, sachez que ce qu’on appelle la pertinence maximale n’est absolument pas le cas. L'entreprise qualifie de pertinent quelque chose qui doit vous être vendu pour une bonne ou une mauvaise raison.
Ceux qui n’ont pas d’argent actuellement se préparent déjà à de futurs achats
Il y a ici un autre point intéressant dont je vais vous parler. Les jeunes constituent désormais un grand nombre de publics actifs sur les réseaux sociaux et dans les applications. Appelons ça ainsi - les jeunes insolvables : les enfants de 8-9 ans qui jouent à des jeux débiles, ce sont des 12-13-14 ans qui viennent de s'inscrire sur les réseaux sociaux. Pourquoi les grandes entreprises dépenseraient-elles d’énormes budgets et ressources pour créer des applications destinées à un public non payant et jamais monétisé ? Au moment où ce public deviendra solvable, il y aura une quantité suffisante de données à son sujet pour très bien prédire son comportement.
Demandez maintenant à n’importe quel cibologue : quel est le public le plus difficile ? Ils diront : très rentable. Parce que vendre, par exemple, un appartement d'une valeur de 150 millions de roubles via les réseaux sociaux est presque impossible. Il y a des cas isolés où vous faites une sorte de publicité pour 10 XNUMX personnes, on achète cet appartement - le client est un succès... Mais un sur dix mille, d'un point de vue statistique, c'est de la merde totale. Alors, pourquoi est-il difficile d’identifier un public à revenus élevés ? Parce que les personnes qui font aujourd'hui partie d'un public très lucratif sont nées à une époque où Internet était encore très petit, quand personne ne connaissait encore Artemy Lebedev et qu'il n'y a aucune information à leur sujet. Il est impossible de prédire leur comportement, il est impossible de comprendre qui sont leurs leaders d’opinion et de quelles sources de contenu ils reçoivent.
Ainsi, lorsque vous deviendrez tous milliardaires dans 25 ans, et que les entreprises qui vont vous vendre quelque chose disposeront d’une énorme quantité de données. C'est pourquoi nous disposons désormais d'un merveilleux RGPD en Europe qui empêche la collecte de données auprès de mineurs.
Naturellement, cela ne fonctionne pas du tout dans la pratique, puisque tous les enfants jouent encore sur les comptes de leur mère et de leur père - c'est ainsi que les informations sont collectées. La prochaine fois que vous donnerez un comprimé à votre enfant, pensez-y.
Absolument pas un avenir effrayant et dystopique, où tout le monde mourra dans une guerre contre les machines – une histoire absolument réelle maintenant. Il existe un grand nombre d’entreprises qui créent des algorithmes pour profiler les personnes en fonction de la façon dont elles jouent à des jeux. Une industrie très intéressante. Sur la base de tout cela, les gens sont ensuite segmentés afin de communiquer d'une manière ou d'une autre avec eux.
La prédiction du comportement de ces personnes sera disponible dans 10 à 15 ans - précisément au moment où elles deviendront un public solvable. Le plus important est que ces personnes ont déjà donné au préalable l’autorisation de traiter leurs données personnelles, de les transmettre à des tiers, et tout cela n’est que bonheur, etc.
Qui va perdre son emploi ?
Et ma dernière histoire, c'est que tout le monde se demande toujours ce qui se passera dans 50 ans : nous allons tous mourir, il y aura du chômage pour les marketeurs... Il y a des marketeurs ici qui s'inquiètent du chômage, non ? En général, il n'y a pas lieu de s'inquiéter, car toute personne hautement qualifiée ne perdra pas son emploi.
Quels que soient les algorithmes créés, peu importe à quel point la machine se rapproche de ce que nous avons ici (il montre sa tête), si elle se développe assez rapidement, ces personnes ne resteront jamais inactives, car quelqu'un devra créer ces choses créatives. faire. Oui, il existe toutes sortes de « gans » qui dessinent des images qui ressemblent à des personnes et créent de la musique, mais il est toujours peu probable que les gens de cette région perdent un jour leur emploi.
J'ai tout avec l'histoire, vous pouvez donc poser des questions si vous en avez plus. Merci.
Modérateur – Les amis, nous passons maintenant au bloc « Questions et réponses ». Vous levez la main - je m'approche de vous.
Question du public (XNUMX) : – Question sur la « boîte noire ». Ils disaient qu'il était possible de comprendre précisément pourquoi tel ou tel résultat était obtenu pour tel ou tel utilisateur. S'agit-il d'une sorte d'algorithme, ou faut-il l'analyser à chaque fois pour chaque modèle ad hoc (ndlr : « spécialement pour cela » - une unité phraséologique latine) ? Ou existe-t-il des réseaux de neurones prêts à l'emploi qui, en gros, peuvent avoir un sens commercial ?
OH: – Ici, vous devez comprendre ce qui suit : il existe un grand nombre de tâches dans l’apprentissage automatique. Par exemple, il existe une tâche : la régression. Pour la régression, aucun réseau de neurones n’est nécessaire. Tout est simple : vous disposez de plusieurs indicateurs, vous devez calculer les suivants. Il existe des tâches pour lesquelles il est nécessaire de recourir à l'apprentissage profond. En effet, dans l’apprentissage profond, il est difficile de comprendre de manière fiable quels poids ont été attribués à quels neurones, mais légalement, tout ce dont vous avez besoin est de comprendre quelles données se trouvaient à l’entrée et comment elles se sont déroulées à la sortie. C’est légalement suffisant pour breveter une telle décision et pour comprendre sur quelle base l’histoire a été construite.
Ce n’est pas comme si vous étiez allé sur le site et qu’on vous avait montré une sorte de bannière parce que vous aviez pris une photo avec des cheveux roux sur Instagram il y a deux mois. Si le développeur n'inclut pas la collecte de ces données et le marquage de la couleur des cheveux dans ce modèle, cela ne viendra pas de nulle part.
Comment vendre les résultats des systèmes de machine learning ?
Z : – C’est juste une question de quoi : exactement comment expliquer, comment vendre à quelqu’un qui ne comprend pas l’apprentissage automatique. J'ai envie de dire : mon modèle mène clairement de la couleur des cheveux à... eh bien, la couleur des cheveux change... Est-ce possible ou pas ?
OH: - Peut-être oui. Mais d'un point de vue commercial, le seul schéma fonctionnera : vous lancez une campagne publicitaire, nous remplaçons l'audience par celle générée par la machine - et vous voyez juste le résultat. C'est malheureusement le seul moyen de convaincre de manière fiable le client qu'une telle histoire fonctionne, car il existe de nombreuses solutions sur le marché qui ont été mises en œuvre une fois et qui n'ont pas fonctionné.
À propos de la création d'une personnalité virtuelle
Z : - Bonjour. Merci pour la conférence. La question est : quelle chance a une personne qui, pour une raison quelconque, ne veut pas suivre l'exemple de l'apprentissage automatique, de se créer une personnalité virtuelle radicalement différente de sa propre personnalité, par interaction avec l'interface ou pour certains autre raison?
OH: – Il existe de nombreux plugins différents qui traitent spécifiquement du comportement aléatoire. Il y a une chose intéressante - Ghostery, qui, à mon avis, vous cache presque complètement d'un tas de trackers différents qui ne peuvent ensuite pas enregistrer ces informations. Mais en fait, il suffit désormais d'avoir un profil fermé sur les réseaux sociaux pour que personne, aucun méchant grattoir, ne puisse y collecter quoi que ce soit. Il est probablement préférable d'installer une sorte d'extension ou d'écrire quelque chose vous-même.
Vous voyez, le concept ici est que légalement, par exemple, les données personnelles font référence aux données grâce auxquelles vous pouvez être identifié, et la loi donne comme exemple votre adresse de résidence, votre âge, etc. Il existe aujourd'hui une quantité incalculable de données permettant de vous identifier : la même écriture manuscrite sur le clavier, la même pression, la signature numérique du navigateur... Tôt ou tard, une personne commet une erreur. Il peut être quelque part dans un « café » en utilisant « Thor », mais à la fin, à un bon moment, soit le VPN oubliera de s'allumer, soit autre chose, et à ce moment-là il pourra être identifié. Le moyen le plus simple est donc de créer un compte privé et d’installer une extension.
Le marché évolue vers le point où il suffit d’appuyer sur un seul bouton pour obtenir des résultats.
Z : - Merci pour l'histoire. Comme toujours, toujours très intéressant (je vous suis). La question est : quels progrès y a-t-il en termes de création de systèmes positifs pour les utilisateurs, de systèmes de recommandation ? Vous avez dit qu'à une époque vous travailliez sur un système de recommandation pour trouver un partenaire sexuel, un ami dans la vie (ou une musique qu'une personne pourrait potentiellement aimer)... Comme tout cela est prometteur et comment voyez-vous son évolution à partir de du point de vue de la création de systèmes dont les gens ont besoin ?
OH: – En général, le marché évolue au point où les gens doivent appuyer sur un bouton et obtenir immédiatement ce dont ils ont besoin. Quant à mon expérience dans la création d'applications de rencontres (d'ailleurs nous la relancerons à la fin de l'année), outre le fait que 65% étaient des hommes mariés, le problème de recommandation le plus difficile était qu'une personne se voyait proposer plusieurs modèles. au début de l'application - « Amitié », « Sexe », « Amitié sexuelle » et « Affaires ». Les gens ne choisissaient pas ce dont ils avaient besoin. Les hommes sont venus et ont choisi « Amour », mais en réalité ils ont jeté de la nudité sur tout le monde, et ainsi de suite.
Le problème était d'identifier une personne qui ne correspondait pas à l'un de ces modèles, et de la prendre en douceur et de la déplacer dans l'autre sens. En raison du petit nombre de données, il est très difficile de déterminer s'il s'agit d'une erreur dans l'algorithme de prévision ou si une personne n'appartient pas à sa catégorie. C’est la même chose avec la musique : il existe désormais très peu d’algorithmes vraiment valables capables de bien « diffuser » la musique. Peut-être « Yandex.Music ». Certaines personnes pensent que l'algorithme Yandex.Music est mauvais. Par exemple, je l'aime bien. Personnellement, par exemple, je n’aime pas l’algorithme de musique YouTube, etc.
Il y a bien sûr quelques subtilités - tout est lié aux licences... Mais en réalité, la demande pour de tels systèmes est assez élevée. À une certaine époque, on connaissait la société Retail Rocket, qui était impliquée dans la mise en œuvre de systèmes de recommandation, mais maintenant, elle ne s'en sort pas très bien - apparemment parce qu'elle n'a pas développé ses algorithmes depuis longtemps. Tout va dans ce sens - au point que nous entrons et, sans rien appuyer, obtenons ce dont nous avons besoin (et devenons complètement stupides, car notre capacité de choisir a complètement disparu).
Marketing d'influence
Z : - Bonjour. Je m'appelle Constantin. Je voudrais soulever une question sur le marketing d’influence. Connaissez-vous des systèmes qui permettent à une entreprise de sélectionner un blogueur approprié pour l'entreprise sur la base de certaines données statistiques, etc. ? Et pour quelles raisons cela est-il fait ?
OH: – Oui, je pars de loin et je dis tout de suite que le problème avec toutes ces technologies, c'est que toute cette intelligence artificielle dans le marketing est désormais comme un funambule : à gauche il y a de grandes entreprises qui ont beaucoup d'argent, et à de toute façon tout sera efficace pour leur travail car leurs campagnes publicitaires visent simplement les vues ; d’un autre côté, il y a beaucoup de petites entreprises pour lesquelles cela ne fonctionnera pas, car elles disposent de beaucoup de données. Jusqu’à présent, l’applicabilité de ces histoires se situe quelque part entre les deux.
Quand il y a déjà de bons budgets et que la tâche est de traiter ces budgets correctement (et, en principe, il y a déjà pas mal de données)… Je connais quelques services, quelque chose comme Getblogger, qui semblent avoir des algorithmes. Pour être honnête, je n'ai pas étudié ces algorithmes. Je peux vous dire quelle approche nous utilisons pour trouver des leaders d'opinion lorsque nous devons offrir un cadeau à certaines mamans.
Nous utilisons une métrique appelée Content Distribution Time. Cela fonctionne comme ceci : vous prenez une personne dont vous analysez l'audience, et vous devez systématiquement (par exemple, une fois toutes les 5 minutes) collecter des informations sur chaque publication, qui l'a aimé, qui l'a commentée, etc. De cette façon, vous pouvez comprendre à quel moment chaque personne de votre audience a interagi avec votre contenu. Répétez cette opération pour chaque représentant de son audience, et ainsi, en utilisant la métrique du temps moyen de diffusion d'un contenu, celui-ci peut par exemple être coloré dans un grand graphe de réseau de ces personnes et utiliser cette métrique pour construire des clusters.
Cela fonctionne très bien si l'on veut, par exemple, trouver 15 mères qui maintiennent leur opinion publique sur some woman.ru. Mais il s’agit d’une implémentation technique assez complexe (même si, en théorie, elle peut être réalisée en Python). En fin de compte, le problème du marketing d’influence dans les grandes agences de publicité, c’est qu’elles ont besoin de gros blogueurs sympas et chers qui ne travaillent pas pour de la merde. Désormais, une marque automobile souhaite vendre un produit par l'intermédiaire d'un leader d'opinion. Elle doit utiliser un blogueur automobile en dernier recours, car son public soit a déjà acheté une voiture, soit sait exactement quel type de voiture il veut, il suffit de s'asseoir et de regarde des voitures cool. Ici, il est important de ne pas manquer l'analyse de l'audience de la personne elle-même.
Bots marketing
Z : – Dites-moi, dans quelle mesure les robots des réseaux sociaux affectent-ils la collecte d’informations et leur qualité ?
OH: – C’est une chose tellement intéressante avec les robots. Les robots bon marché sont assez faciles à identifier : soit ils ont le même contenu, soit ils sont amis les uns avec les autres, soit ils font partie du même réseau. Il existe également des approches pour gérer les robots complexes. Ou posez-vous le problème de savoir comment connecter une personne à son faux ?
Z : – Quelle sera la qualité des informations produites avec toutes ces ordures ?
OH: – Ici, cela fonctionne ainsi : en raison du fait qu'il existe une énorme quantité de données (par exemple, pour une sorte d'étude de marketing), toutes ces racailles peuvent simplement être jetées. Autrement dit, il vaut mieux expulser un peu plus de personnes réelles que de capturer des robots, car il est inutile pour eux de montrer de la publicité. Mais si vous collectez des mesures, par exemple les interactions avec des bannières ou des systèmes de recommandation, ces comptes peuvent être supprimés.
Aujourd’hui, sur les réseaux sociaux, on compte environ six pour cent de personnages virtuels ou simplement de pages abandonnées ou introvertis, que les algorithmes « associent » à des robots. Quant à lier une personne à son faux, ici aussi, tout est lié au fait que la personne fera tôt ou tard une erreur, et le fait est que le modèle de comportement est le même - à la fois son compte réel et son faux. Tôt ou tard, ils regarderont le même contenu ou autre chose.
Ici, tout ne se résume pas au pourcentage d’erreur, mais au temps nécessaire pour identifier une personne de manière fiable. Pour quelqu’un qui vit avec son Instagram, ce temps d’identification fiable se résume à cinq minutes. Pour certains – d’ici six à huit mois.
À qui et comment vendre des données ?
Z : - Bonjour. Je souhaite savoir comment les données sont vendues entre entreprises ? Par exemple, j'ai une application dans laquelle vous pouvez savoir (au développeur) où va une personne, dans quels magasins elle va et combien d'argent elle y dépense. Et je suis curieux de savoir comment, disons, je peux vendre des données sur mon audience à ces magasins ou mettre mes données dans une énorme base de données et être payé pour cela ?
OH: – Quant à la vente directe de données à quelqu’un, vous et tous étiez en avance sur l’OFD – les opérateurs de données fiscales, qui se sont astucieusement construits entre le transfert des chèques et le Service des Impôts et tentent désormais de vendre les données à tout le monde. En fait, ils ont fait s’effondrer l’ensemble du marché de l’analyse mobile. En effet, vous pouvez embarquer votre application, par exemple, le pixel Facebook, son système DMP ; puis utilisez cette audience pour vendre. Par exemple, le pixel « May Target ». Je ne sais tout simplement pas quel genre de public vous avez, vous devez comprendre. Mais dans tous les cas, vous pouvez intégrer soit Yandex, soit My Target, qui sont les plus grands systèmes DMP.
C'est une histoire assez intéressante. Le seul problème est que vous leur donnerez tout le trafic et qu'ils, en tant qu'échanges, prendront en charge la monétisation de ce trafic. Ils peuvent ou non vous dire que 10 personnes ont utilisé votre audience. Par conséquent, soit vous construisez votre propre réseau publicitaire, soit vous vous abandonnez aux grandes DMP.
Qui va gagner : l'artiste ou le technicien ?
Z : – Une question un peu éloignée de la partie technique. Il a été question des craintes des spécialistes du marketing face au chômage de masse à venir. Existe-t-il une sorte de lutte concurrentielle entre le marketing créatif (ces gars qui ont inventé la publicité pour les poulets, la publicité pour Volkswagen, semble-t-il) et ceux impliqués dans le Big Data (qui disent : maintenant nous allons simplement collecter toutes les données et diffuser de la publicité ciblée à tout le monde ) ? En tant que personne directement impliquée, quelle est votre opinion sur qui va gagner : un artiste, un technicien, ou y aura-t-il une sorte d'effet synergique ?
OH: – Écoute, eh bien, ils travaillent ensemble. Les ingénieurs ne font pas preuve de créativité. Ceux qui sont créatifs n’inventent pas de public. Il y a ici une sorte d’histoire multidisciplinaire. Les vrais problèmes maintenant, ce sont ceux qui s'assoient et appuient sur des boutons, ceux qui font le « travail de singe », en appuyant sur la même chose tous les jours – ce sont ces gens qui vont disparaître.
Mais ceux qui analysent les données resteront naturellement, mais quelqu'un doit traiter ces données. Quelqu'un devra imaginer ces images, les dessiner. Une machine ne peut pas faire preuve d’une telle créativité ! C'est une folie totale ! Ou comme par exemple la publicité virale de Carprice, qui d’ailleurs a très bien fonctionné. Souvenez-vous, il y avait celui-ci sur YouTube : « Vendez-le chez Carprice », absolument dingue. Bien entendu, aucun réseau de neurones ne générera une telle histoire.
En général, je suis partisan du fait que ce ne sont pas les gens qui perdront leur emploi, mais qu'ils auront un peu plus de temps libre, et ils pourront consacrer ce temps libre à s'auto-éduquer.
La publicité primitive va disparaître
Z : - Dans l'ensemble, la publicité diffusée, les bannières - dans l'ensemble, même les textes de vente n'y sont pas écrits : "Vous avez besoin de fenêtres - prenez-les !", "Vous avez besoin d'autre chose - prenez-le !", c'est-à-dire il n’y a aucune créativité là-bas.
OH: – Bien entendu, cette publicité disparaîtra tôt ou tard. Elle disparaîtra non pas tant à cause du développement de la technologie, mais à cause du développement de vous et de moi.
Il vaut mieux mélanger le pertinent avec le non pertinent
Z : - Je suis là! J'ai une question sur l'expérience qui, selon vous, n'a pas fonctionné pour vous (avec le système de recommandation). À votre avis, le problème est-il ce qui y a été signé, pourquoi est-il recommandé, ou est-ce que tout ce que l'utilisateur a vu lui a semblé pertinent ? Parce que j'ai lu une expérience pour les mères, et il n'y avait pas encore beaucoup de données, et il n'y avait pas beaucoup de données sur Internet, il y avait juste des données d'un détaillant en alimentation qui prédisaient une grossesse (qu'elles seraient mères). Et lorsqu'ils ont montré une sélection de produits destinés aux femmes enceintes, les mères ont été horrifiées d'avoir découvert leur existence avant toute information officielle. Et ça n'a pas marché. Et pour résoudre ce problème, ils ont délibérément mélangé des produits pertinents avec quelque chose de complètement hors de propos.
OH: « Nous avons spécifiquement montré aux gens sur quelle base les recommandations étaient faites afin de comprendre leurs retours. En fait, c’est de là qu’est né le concept selon lequel les gens n’ont pas besoin qu’on leur dise que ce sont des produits extrêmement pertinents pour eux.
Oui, en passant, il existe une approche consistant à les mélanger avec des éléments non pertinents. Mais il y a le contraire : parfois, des gens entrent et interagissent avec ce produit non pertinent – des valeurs aberrantes aléatoires se produisent, les modèles se brisent et les choses deviennent encore plus compliquées. Mais cela existe réellement. De plus, de nombreuses entreprises, si elles savent que quelqu'un traite leurs données (quelqu'un pourrait leur voler ces résultats), les mélangent parfois afin de pouvoir prouver plus tard que vous n'avez pas extrait les données de son système de recommandation, mais de le soi-disant Yandex.Market.
Bloqueurs de publicités et sécurité du navigateur
Z : - Bonjour. Vous avez mentionné Ghostery et Adblock. Pouvez-vous nous dire quelle est l’efficacité de ces trackers en général (peut-être sur la base de statistiques) ? Et avez-vous reçu des ordres d'entreprises : elles disent, assurez-vous que notre publicité ne puisse pas être fermée par Adblock.
OH: – Nous ne contactons pas directement les plateformes publicitaires – justement pour qu’elles ne demandent pas à rendre leur publicité visible à tous. Personnellement, j’utilise Ghostery – je pense que c’est une extension très intéressante. Désormais, tous les navigateurs se battent pour la confidentialité : Mozilla a publié de nombreuses mises à jour de toutes sortes, Google Chrome est désormais ultra-sécurisé. Ils bloquent tous tout ce qu'ils peuvent. « Safari » a même désactivé « Gyroscope » par défaut.
Et cette tendance, bien sûr, est bonne (pas pour ceux qui collectent des données, même s'ils en sont également sortis), car les gens ont d'abord bloqué les cookies. Tous ceux qui possédaient des réseaux publicitaires se souvenaient d'une technologie aussi merveilleuse que les empreintes digitales du navigateur - ce sont des algorithmes qui reçoivent 60 paramètres différents (résolution d'écran, version, polices installées) et sur cette base, ils calculent un « ID » unique. Passons à cela. Et les navigateurs ont commencé à avoir du mal avec cela. En général, ce sera une bataille de titans sans fin.
Le dernier développeur Mozilla est assez sécurisé. Il n'enregistre pratiquement aucun cookie et définit une courte durée de vie. Surtout si vous activez « Incognito », personne ne vous trouvera du tout. Le problème est qu'il ne sera pas pratique de saisir des mots de passe dans tous les services.
Où le psychotypage et la physionomie fonctionnent-ils et ne fonctionnent-ils pas ?
Z : – Arthur, merci beaucoup pour la conférence. J'aime également suivre vos conférences sur YouTube. Vous avez mentionné que les spécialistes du marketing ont de plus en plus recours au psychotypage et à la physionomie. Ma question est la suivante : dans quelles catégories de marques cela fonctionne-t-il ? Je pense que cela ne convient que pour les produits de grande consommation. Par exemple, choisir une voiture, c'est...
OH: – Je peux télécharger là où cela fonctionne exactement. Cela fonctionne dans toutes sortes d'histoires comme « Amediateka », les séries télévisées, les films, etc. Cela fonctionne bien dans les banques et les produits bancaires, même s'il ne s'agit pas du segment premium, mais de toutes sortes de cartes d'étudiant, de plans de versement, ce genre de choses. Cela fonctionne vraiment très bien dans les produits de grande consommation et toutes sortes d'iPhones, de chargeurs, toutes ces conneries. Cela fonctionne bien dans les produits « maman et pop ». Bien que je sache que dans la pêche (il existe un tel sujet)... Il y a eu plusieurs cas avec des pêcheurs - ils ne peuvent jamais être segmentés de manière fiable. Je ne sais pas pourquoi. Une sorte d'erreur statistique.
Cela ne fonctionne pas bien avec les automobilistes, avec les bijoux ou avec certains articles ménagers. En fait, cela ne fonctionne pas bien avec des choses sur lesquelles les gens n'écriraient jamais sur les réseaux sociaux - vous pouvez le vérifier de cette façon. Classiquement, à l’achat d’une machine à laver : voici comment comprendre qui a une machine à laver et qui n’en a pas ? Il semble que tout le monde l'ait. Vous pouvez utiliser les données OFD - voir qui a acheté quoi à l'aide de reçus et faire correspondre ces personnes à l'aide de reçus. Mais en fait, il y a des choses dont on ne parlerait jamais, par exemple sur Instagram - c'est difficile de travailler avec de telles choses.
Les machines reconnaissent les astuces comme du bourrage statistique.
Z : – J'ai une question sur le ciblage. Est-il possible (ou existent-ils soudainement) qu'un personnage aléatoire conditionnel se contredise en tout : d'abord il cherche sur Google « les meilleures salles de sport », puis il cherche sur Google « 10 façons de ne rien faire » ? Et il en est ainsi en tout. Le ciblage peut-il garder une trace de quelque chose qui se contredit ?
OH: – La seule question ici est la suivante : si vous utilisez Google depuis 2 ans, que vous lui avez dit tout ce que vous pouvez sur vous-même et que vous installez maintenant un plugin pour vous-même qui écrira des requêtes aléatoires similaires, alors, bien sûr, à partir des statistiques, vous le ferez. être capable de comprendre – ce que vous faites actuellement est une valeur statistique aberrante, et tout cela est une question de tri. Si vous le souhaitez, créez un nouveau compte, mais le volume de publicité ne changera pas. Elle va juste devenir bizarre. Même si elle reste étrange.
Quelques publicités 🙂
Merci de rester avec nous. Vous aimez nos articles ? Vous voulez voir du contenu plus intéressant ? Soutenez-nous en passant une commande ou en recommandant à vos amis, , un analogue unique des serveurs d'entrée de gamme, que nous avons inventé pour vous : (disponible avec RAID1 et RAID10, jusqu'à 24 cœurs et jusqu'à 40 Go de DDR4).
Dell R730xd 2 fois moins cher dans le centre de données Equinix Tier IV à Amsterdam ? Ici seulement aux Pays-Bas! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - à partir de 99$ ! En savoir plus
Source: habr.com