{"id":33865,"date":"2019-10-31T21:55:06","date_gmt":"2019-10-31T18:55:06","guid":{"rendered":"https:\/\/prohoster.info\/blog\/microsoft-otkryl-kod-biblioteki-vektornogo-poiska-ispolzuemoj-v-bing\/"},"modified":"2019-10-31T21:55:06","modified_gmt":"2019-10-31T18:55:06","slug":"microsoft-otkryl-kod-biblioteki-vektornogo-poiska-ispolzuemoj-v-bing","status":"publish","type":"post","link":"https:\/\/prohoster.info\/nl\/blog\/news\/microsoft-otkryl-kod-biblioteki-vektornogo-poiska-ispolzuemoj-v-bing","title":{"rendered":"Microsoft heeft de code van de vectorzoekbibliotheek, gebruikt in Bing, vrijgegeven","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Microsoft Corporation heeft gepubliceerd<\/a><\/noindex> bronnen teksten van de machine learning bibliotheek SPTAG<\/a><\/noindex> (Space Partition Tree And Graph) met de implementatie van het algoritme voor approximate nearest neighbor search<\/a><\/noindex>. De bibliotheek is ontwikkeld<\/a><\/noindex> is ontwikkeld in de onderzoeksgroep van Microsoft Research en het Microsoft Search Technology Center. In de praktijk wordt SPTAG gebruikt in de zoekmachine Bing om de meest relevante resultaten te bepalen op basis van de context van zoekopdrachten. De code is geschreven in C++ en wordt verspreid<\/a><\/noindex> onder de MIT-licentie. Er is ondersteuning voor een build voor Linux en Windows. Er is een wrapper beschikbaar voor de programmeertaal Python.<\/p>\n

Hoewel de idee\u00ebn voor het toepassen van vectorstorage in zoekmachines al geruime tijd bestaan, wordt de implementatie in de praktijk bemoeilijkt door de hoge resourcekosten van vectoroperaties en beperkingen in schaalbaarheid. De combinatie van methoden van diepgaand machine learning met algoritmen voor approximate nearest neighbor search heeft de prestaties en schaalbaarheid van vector systemen tot een niveau gebracht dat acceptabel is voor grote zoekmachines. Bijvoorbeeld, in Bing, voor een vectorindex van meer dan 150 miljard vectoren, is de tijd om de meest relevante resultaten op te vragen minder dan 8 ms.<\/p>\n

De bibliotheek bevat tools voor het bouwen van een index en het organiseren van vector zoekopdrachten, evenals een set instrumenten voor het beheer van een gedistribueerd online zoek systeem dat zeer grote collecties van vectoren beslaat. Er worden<\/a><\/noindex> de volgende modules aangeboden: index builder voor indexering, searcher voor zoeken met behulp van de index, gedistribueerd over een cluster van meerdere nodes, server voor het draaien van handlers op de nodes, Aggregator voor het samenvoegen van meerdere servers tot \u00e9\u00e9n geheel en client voor het verzenden van verzoeken. Ondersteuning voor het toevoegen van nieuwe vectoren aan de index en het verwijderen van vectoren on-the-fly wordt geboden.<\/p>\n

De bibliotheek gaat ervan uit dat de verwerkte en weergegeven gegevens in de collectie zijn geformatteerd als gerelateerde vectoren die kunnen worden vergeleken op basis van Euclidische<\/a><\/noindex> (L2) of cosinus<\/a><\/noindex> afstanden. Bij een zoekopdracht worden vectoren teruggegeven waarvan de afstand tot de oorspronkelijke vector minimaal is. In SPTAG zijn er twee methoden voor het organiseren van de vectorruimte: SPTAG-KDT (K-dimensionale boom (kd-tree<\/a><\/noindex>) en graf van relatieve buurten<\/a><\/noindex>) en SPTAG-BKT (k-means boom (k-means tree<\/a><\/noindex> en de grafiek van relatieve buurten). De eerste methode vereist minder middelen bij het werken met de index, terwijl de tweede een hogere nauwkeurigheid van zoekresultaten demonstreert bij zeer grote verzamelingen van vectoren.<\/p>\n

Vectorzoekopdrachten zijn niet beperkt tot tekst en kunnen ook worden toegepast op multimedia-informatie en afbeeldingen, evenals in systemen voor automatische aanbevelingen. Bijvoorbeeld, in een van de prototypes op basis van het PyTorch-framework werd een vectorsysteem voor zoeken ontwikkeld dat rekening houdt met de gelijkenis van objecten op afbeeldingen, gebouwd met gegevens uit verschillende referentiecollecties van afbeeldingen van dieren, katten en honden, die waren omgezet in verzamelingen van vectoren. Wanneer er een inkomende afbeelding voor zoekopdrachten binnenkomt, wordt deze omgezet met behulp van een machine learning-model in een vector, op basis waarvan met behulp van het SPTAG-algoritme de meest vergelijkbare vectoren uit de index worden geselecteerd en als resultaat worden de bijbehorende afbeeldingen teruggegeven.<\/p>\n

<\/a><\/noindex><\/p>\n

Bron: opennet.ru<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u041a\u043e\u043c\u043f\u0430\u043d\u0438\u044f Microsoft \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043b\u0430 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0435 \u0442\u0435\u043a\u0441\u0442\u044b \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f SPTAG (Space Partition Tree And Graph) \u0441 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u0430 \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0435\u0433\u043e \u0441\u043e\u0441\u0435\u0434\u0430. \u0411\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u0430 \u0432 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u043e\u043c \u043f\u043e\u0434\u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0438 Microsoft Research \u0438 \u0446\u0435\u043d\u0442\u0440\u0435 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0445 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0439 (Microsoft Search Technology Center). \u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 SPTAG \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0432 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u0435 Bing \u0434\u043b\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432. […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-33865","post","type-post","status-publish","format-standard","hentry","category-news"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Microsoft heeft de code van de vectorzoekbibliotheek die in Bing wordt gebruikt, geopend | ProHoster","description":"Microsoft heeft de broncode van de machine learning-bibliotheek gepubliceerd.","canonical_url":"https:\/\/prohoster.info\/nl\/blog\/news\/microsoft-otkryl-kod-biblioteki-vektornogo-poiska-ispolzuemoj-v-bing","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"nl_NL","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47Microsoft \u043e\u0442\u043a\u0440\u044b\u043b \u043a\u043e\u0434 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u0430, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u043e\u0439 \u0432 Bing | ProHoster","og:description":"\u041a\u043e\u043c\u043f\u0430\u043d\u0438\u044f Microsoft \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043b\u0430 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0435 \u0442\u0435\u043a\u0441\u0442\u044b \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f","og:url":"https:\/\/prohoster.info\/nl\/blog\/news\/microsoft-otkryl-kod-biblioteki-vektornogo-poiska-ispolzuemoj-v-bing","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T18:55:06+00:00","article:modified_time":"2019-10-31T18:55:06+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"33865","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-21 17:01:19","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 02:32:26","updated":"2026-01-21 17:01:19","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/posts\/33865","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/comments?post=33865"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/posts\/33865\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/media?parent=33865"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/categories?post=33865"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/tags?post=33865"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}