{"id":33865,"date":"2019-10-31T21:55:06","date_gmt":"2019-10-31T18:55:06","guid":{"rendered":"https:\/\/prohoster.info\/blog\/microsoft-otkryl-kod-biblioteki-vektornogo-poiska-ispolzuemoj-v-bing\/"},"modified":"2019-10-31T21:55:06","modified_gmt":"2019-10-31T18:55:06","slug":"microsoft-otkryl-kod-biblioteki-vektornogo-poiska-ispolzuemoj-v-bing","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/news\/microsoft-otkryl-kod-biblioteki-vektornogo-poiska-ispolzuemoj-v-bing","title":{"rendered":"Microsoft hat den Code der Vektor-Suchbibliothek, die in Bing verwendet wird, ge\u00f6ffnet.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Das Unternehmen Microsoft ver\u00f6ffentlicht<\/a><\/noindex> urspr\u00fcngliche Texte der Bibliothek f\u00fcr maschinelles Lernen SPTAG<\/a><\/noindex> (Space Partition Tree And Graph) mit der Implementierung des Algorithmus f\u00fcr ungef\u00e4hre n\u00e4chste Nachbarsuche<\/a><\/noindex>. Die Bibliothek wurde<\/a><\/noindex> wurde im Forschungsbereich von Microsoft Research und im Microsoft Search Technology Center entwickelt. In der Praxis wird SPTAG in der Bing-Suchmaschine eingesetzt, um die relevantesten Ergebnisse im Kontext von Suchanfragen zu bestimmen. Der Code ist in C++ geschrieben und wird verbreitet<\/a><\/noindex> steht unter der MIT-Lizenz. Es wird eine Version f\u00fcr Linux und Windows unterst\u00fctzt. Es gibt ein Binding f\u00fcr die Programmiersprache Python.<\/p>\n

Obwohl die Ideen zur Anwendung von Vektorspeichern in Suchsystemen schon lange im Umlauf sind, wird ihre Implementierung durch den hohen Ressourcenverbrauch bei Vektoroperationen und Skalierbarkeitsbeschr\u00e4nkungen erschwert. Die Kombination von Methoden des tiefen maschinellen Lernens mit Algorithmen zur ungef\u00e4hren n\u00e4chsten Nachbarsuche hat es erm\u00f6glicht, die Leistung und Skalierbarkeit von Vektorsystemen auf ein f\u00fcr gro\u00dfe Suchmaschinen akzeptables Niveau zu bringen. Beispielsweise erreicht die Bing-Suchmaschine bei einem Vektorindex mit \u00fcber 150 Milliarden Vektoren eine Abfragezeit von unter 8 ms f\u00fcr die relevantesten Ergebnisse.<\/p>\n

Die Bibliothek umfasst Werkzeuge zum Erstellen von Indizes und zur Organisation der Vektorsuche sowie ein Set von Werkzeugen zur Unterst\u00fctzung eines verteilten Online-Suchsystems, das sehr gro\u00dfe Vektorsammlungen umfasst. Es werden<\/a><\/noindex> folgende Module angeboten: Index Builder zur Indizierung, Searcher zur Suche unter Verwendung des verteilten Index in einem Cluster aus mehreren Knoten, Server zum Ausf\u00fchren von Handlern auf den Knoten, Aggregator zur Integration mehrerer Server zu einem Ganzen und Client zum Senden von Anfragen. Es wird unterst\u00fctzt, neue Vektoren in den Index einzuf\u00fcgen und Vektoren im laufenden Betrieb zu entfernen.<\/p>\n

Die Bibliothek geht davon aus, dass die zu verarbeitenden und in der Sammlung dargestellten Daten in Form von verkn\u00fcpften Vektoren strukturiert sind, die auf Basis von euklidischen<\/a><\/noindex> (L2) oder kosinusm\u00e4\u00dfigen<\/a><\/noindex> Abst\u00e4nden verglichen werden k\u00f6nnen. Bei einer Suchanfrage werden die Vektoren zur\u00fcckgegeben, deren Abstand zum urspr\u00fcnglichen Vektor minimal ist. In SPTAG stehen zwei Methoden zur Organisation des Vektorraums zur Verf\u00fcgung: SPTAG-KDT (K-dimensionaler Baum (kd-tree<\/a><\/noindex>) und Graf der relativen Nachbarschaften<\/a><\/noindex>) und SPTAG-BKT (k-Mittelwerte Baum (k-means tree<\/a><\/noindex> und das Diagramm relativer Nachbarschaften). Die erste Methode ben\u00f6tigt weniger Ressourcen bei der Arbeit mit dem Index, w\u00e4hrend die zweite eine h\u00f6here Genauigkeit der Suchergebnisse bei sehr gro\u00dfen Sammlungen von Vektoren zeigt.<\/p>\n

Dabei ist die Vektorsuche nicht auf Text beschr\u00e4nkt und kann auch auf multimediale Informationen und Bilder angewandt werden, sowie in Systemen zur automatischen Erstellung von Empfehlungen. Zum Beispiel wurde in einem der Prototypen auf Basis des PyTorch-Frameworks ein Vektorsystem f\u00fcr die Suche unter Ber\u00fccksichtigung der \u00c4hnlichkeit von Objekten in Bildern implementiert, das unter Verwendung von Daten aus mehreren Referenzsammlungen mit Bildern von Tieren, Katzen und Hunden entwickelt wurde, die in Vektors\u00e4tze umgewandelt wurden. Bei der Eingabe eines Bildes zur Suche wird es mithilfe eines Machine-Learning-Modells in einen Vektor umgewandelt, auf dessen Grundlage mithilfe des SPTAG-Algorithmus aus dem Index die \u00e4hnlichsten Vektoren ausgew\u00e4hlt werden und als Ergebnis die zugeh\u00f6rigen Bilder zur\u00fcckgegeben werden.<\/p>\n

<\/a><\/noindex><\/p>\n

Quelle: opennet.ru<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u041a\u043e\u043c\u043f\u0430\u043d\u0438\u044f Microsoft \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043b\u0430 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0435 \u0442\u0435\u043a\u0441\u0442\u044b \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f SPTAG (Space Partition Tree And Graph) \u0441 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u0430 \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0435\u0433\u043e \u0441\u043e\u0441\u0435\u0434\u0430. \u0411\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u0430 \u0432 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u043e\u043c \u043f\u043e\u0434\u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0438 Microsoft Research \u0438 \u0446\u0435\u043d\u0442\u0440\u0435 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0445 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0439 (Microsoft Search Technology Center). \u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 SPTAG \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0432 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u0435 Bing \u0434\u043b\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432. […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-33865","post","type-post","status-publish","format-standard","hentry","category-news"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Microsoft hat den Code der Vektorsuche-Bibliothek, die in Bing verwendet wird, ge\u00f6ffnet | ProHoster","description":"Das Unternehmen Microsoft hat den Quellcode der Machine-Learning-Bibliothek ver\u00f6ffentlicht.","canonical_url":"https:\/\/prohoster.info\/de\/blog\/news\/microsoft-otkryl-kod-biblioteki-vektornogo-poiska-ispolzuemoj-v-bing","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47Microsoft \u043e\u0442\u043a\u0440\u044b\u043b \u043a\u043e\u0434 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u0430, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u043e\u0439 \u0432 Bing | ProHoster","og:description":"\u041a\u043e\u043c\u043f\u0430\u043d\u0438\u044f Microsoft \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043b\u0430 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0435 \u0442\u0435\u043a\u0441\u0442\u044b \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f","og:url":"https:\/\/prohoster.info\/de\/blog\/news\/microsoft-otkryl-kod-biblioteki-vektornogo-poiska-ispolzuemoj-v-bing","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T18:55:06+00:00","article:modified_time":"2019-10-31T18:55:06+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"33865","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-21 17:01:19","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 02:32:26","updated":"2026-01-21 17:01:19","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/33865","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=33865"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/33865\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=33865"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=33865"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=33865"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}