{"id":33865,"date":"2019-10-31T21:55:06","date_gmt":"2019-10-31T18:55:06","guid":{"rendered":"https:\/\/prohoster.info\/blog\/microsoft-otkryl-kod-biblioteki-vektornogo-poiska-ispolzuemoj-v-bing\/"},"modified":"2019-10-31T21:55:06","modified_gmt":"2019-10-31T18:55:06","slug":"microsoft-otkryl-kod-biblioteki-vektornogo-poiska-ispolzuemoj-v-bing","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/novosti-interneta\/microsoft-otkryl-kod-biblioteki-vektornogo-poiska-ispolzuemoj-v-bing","title":{"rendered":"Microsoft hat den Quellcode der Vektor-Suche-Bibliothek ver\u00f6ffentlicht, die in Bing verwendet wird.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Das Unternehmen Microsoft die<\/a><\/noindex> urspr\u00fcngliche Texte der Bibliothek f\u00fcr maschinelles Lernen SPTAG<\/a><\/noindex> (Space Partition Tree And Graph) mit Implementierung des Algorithmus f\u00fcr die Ann\u00e4herung nahegelegener Nachbarn<\/a><\/noindex>. Die Bibliothek wurde<\/a><\/noindex> in der Forschungsabteilung von Microsoft Research und im Zentrum f\u00fcr Suchtechnologien (Microsoft Search Technology Center) entwickelt. In der Praxis wird SPTAG in der Suchmaschine Bing eingesetzt, um die relevantesten Ergebnisse unter Ber\u00fccksichtigung des Kontexts der Suchanfragen zu ermitteln. Der Code ist in C++ geschrieben und wird unter der GPLv3-Lizenz bereitgestellt.<\/a><\/noindex> unter der MIT-Lizenz verf\u00fcgbar. Eine Version f\u00fcr Linux und Windows wird unterst\u00fctzt. Es gibt ein Binding f\u00fcr die Programmiersprache Python.<\/p>\n

Obwohl die Ideen zur Anwendung von Vektorspeichern in Suchmaschinen schon lange diskutiert werden, stehen ihrer praktischen Umsetzung hohe Ressourcenanforderungen und Skalierbarkeitsgrenzen entgegen. Die Kombination aus tiefem maschinellen Lernen und Algorithmen f\u00fcr die ann\u00e4hernde Suche nach dem n\u00e4chsten Nachbarn hat es erm\u00f6glicht, die Leistungsf\u00e4higkeit und Skalierbarkeit von Vektorsystemen auf ein f\u00fcr gro\u00dfe Suchmaschinen akzeptables Niveau zu bringen. Beispielsweise liegt die Zeit f\u00fcr die Abfrage der relevantesten Ergebnisse in Bing bei \u00fcber 150 Milliarden Vektoren bei weniger als 8 ms.<\/p>\n

Die Bibliothek umfasst Werkzeuge zum Aufbau von Indizes und zur Organisation der Vektorsuche sowie ein Set an Instrumenten zur Unterst\u00fctzung eines verteilten Online-Suchsystems, das sehr gro\u00dfe Vektorsammlungen abdeckt. Es werden angeboten<\/a><\/noindex> Die folgenden Module: Index Builder zur Indizierung, Searcher zur Suche unter Verwendung des verteilten Indexes in mehreren Knoten, Server zur Ausf\u00fchrung von Prozessoren auf den Knoten, Aggregator zur Zusammenf\u00fchrung mehrerer Server zu einem Ganzen und Client zum Senden von Anfragen. Es wird unterst\u00fctzt, neue Vektoren in den Index einzuf\u00fcgen und Vektoren zur Laufzeit zu entfernen.<\/p>\n

Die Bibliothek geht davon aus, dass die verarbeiteten und in der Sammlung dargestellten Daten in Form von verwandten Vektoren strukturiert sind, die auf Basis von euklidischen<\/a><\/noindex> (L2) oder kosinus<\/a><\/noindex> Abst\u00e4nden verglichen werden k\u00f6nnen. Bei einer Suchanfrage werden Vektoren zur\u00fcckgegeben, deren Abstand zum urspr\u00fcnglichen Vektor minimal ist. In SPTAG stehen zwei Methoden zur Organisation des Vektorraums zur Verf\u00fcgung: SPTAG-KDT (K-dimensionale Baumstruktur (kd-tree<\/a><\/noindex>) und Graph der relativen Nachbarschaften<\/a><\/noindex>) und SPTAG-BKT (k-Mittelwert-Baum (k-means tree<\/a><\/noindex> und Graph der relativen Nachbarschaften). Die erste Methode erfordert weniger Ressourcen bei der Arbeit mit dem Index, w\u00e4hrend die zweite bei sehr gro\u00dfen Vektorsammlungen eine h\u00f6here Genauigkeit der Suchergebnisse zeigt.<\/p>\n

Vektorbasierte Suche beschr\u00e4nkt sich nicht nur auf Text, sondern kann auch auf multimediale Informationen und Bilder angewandt werden, beispielsweise in Systemen zur automatischen Empfehlungserstellung. In einem der Prototypen, der auf dem PyTorch-Framework basiert, wurde ein vektorales Suchsystem entwickelt, das Objekte auf Bildern hinsichtlich ihrer \u00c4hnlichkeit vergleicht. Dieses System nutzt Daten aus mehreren Referenzsammlungen von Bildern von Tieren, darunter Katzen und Hunde, die in Vektor-Sets umgewandelt wurden. Wenn ein Bild zur Suche eingeht, wird es mithilfe eines maschinellen Lernmodells in einen Vektor umgewandelt. Daraufhin w\u00e4hlt der Algorithmus SPTAG aus dem Index die passendsten Vektoren aus, und die zugeh\u00f6rigen Bilder werden als Ergebnis zur\u00fcckgegeben.<\/p>\n

<\/a><\/noindex><\/p>\n

Quelle: opennet.ru<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u041a\u043e\u043c\u043f\u0430\u043d\u0438\u044f Microsoft \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043b\u0430 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0435 \u0442\u0435\u043a\u0441\u0442\u044b \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f SPTAG (Space Partition Tree And Graph) \u0441 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u0430 \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0435\u0433\u043e \u0441\u043e\u0441\u0435\u0434\u0430. \u0411\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u0430 \u0432 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u043e\u043c \u043f\u043e\u0434\u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0438 Microsoft Research \u0438 \u0446\u0435\u043d\u0442\u0440\u0435 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0445 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0439 (Microsoft Search Technology Center). \u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 SPTAG \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0432 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u0435 Bing \u0434\u043b\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432. […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-33865","post","type-post","status-publish","format-standard","hentry","category-novosti-interneta"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Microsoft hat den Code der in Bing verwendeten Vektor-Suchbibliothek ge\u00f6ffnet | ProHoster","description":"Die Microsoft Corporation hat den Quellcode der Machine-Learning-Bibliothek SPTAG (Space Partition Tree And Graph) ver\u00f6ffentlicht, die einen Algorithmus zur Ann\u00e4herung an die Suche nach n\u00e4chsten Nachbarn implementiert. Diese Bibliothek wurde in der Forschungsabteilung Microsoft Research und im Microsoft Search Technology Center entwickelt. In der Praxis wird SPTAG in der Suchmaschine Bing eingesetzt, um die relevantesten Ergebnisse unter Ber\u00fccksichtigung des Kontexts der Suchanfragen zu ermitteln.","canonical_url":"https:\/\/prohoster.info\/de\/blog\/novosti-interneta\/microsoft-otkryl-kod-biblioteki-vektornogo-poiska-ispolzuemoj-v-bing","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47Microsoft \u043e\u0442\u043a\u0440\u044b\u043b \u043a\u043e\u0434 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u0430, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u043e\u0439 \u0432 Bing | ProHoster","og:description":"\u041a\u043e\u043c\u043f\u0430\u043d\u0438\u044f Microsoft \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043b\u0430 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0435 \u0442\u0435\u043a\u0441\u0442\u044b \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f SPTAG (Space Partition Tree And Graph) \u0441 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u0430 \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0435\u0433\u043e \u0441\u043e\u0441\u0435\u0434\u0430. \u0411\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u0430 \u0432 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u043e\u043c \u043f\u043e\u0434\u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0438 Microsoft Research \u0438 \u0446\u0435\u043d\u0442\u0440\u0435 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0445 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0439 (Microsoft Search Technology Center). \u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 SPTAG \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0432 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u0435 Bing \u0434\u043b\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432.","og:url":"https:\/\/prohoster.info\/de\/blog\/novosti-interneta\/microsoft-otkryl-kod-biblioteki-vektornogo-poiska-ispolzuemoj-v-bing","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T18:55:06+00:00","article:modified_time":"2019-10-31T18:55:06+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"33865","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-21 17:01:19","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 02:32:26","updated":"2026-01-21 17:01:19"},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/33865","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=33865"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/33865\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=33865"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=33865"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=33865"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}