{"id":38448,"date":"2019-10-31T22:23:47","date_gmt":"2019-10-31T19:23:47","guid":{"rendered":"https:\/\/prohoster.info\/blog\/github-otkryl-narabotki-po-primeneniyu-mashinnogo-obucheniya-dlya-poiska-i-analiza-koda\/"},"modified":"2019-10-31T22:23:47","modified_gmt":"2019-10-31T19:23:47","slug":"github-otkryl-narabotki-po-primeneniyu-mashinnogo-obucheniya-dlya-poiska-i-analiza-koda","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/news\/github-otkryl-narabotki-po-primeneniyu-mashinnogo-obucheniya-dlya-poiska-i-analiza-koda","title":{"rendered":"GitHub hat Arbeiten zur Anwendung von maschinellem Lernen zur Suche und Analyse von Code ver\u00f6ffentlicht.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

GitHub vor<\/a><\/noindex> Projekt CodeSearchNet<\/a><\/noindex>, im Rahmen dessen Modelle des maschinellen Lernens und Datens\u00e4tze erstellt wurden, die erforderlich sind, um Code in verschiedenen Programmiersprachen zu verstehen, zu klassifizieren und zu analysieren. CodeSearchNet, \u00e4hnlich wie ImageNet<\/a><\/noindex>, umfasst eine gro\u00dfe Sammlung von Codeausschnitten, die mit Annotationen versehen sind, die die durch den Code ausgef\u00fchrten Aktionen formal beschreiben. Die Komponenten zum Trainieren von Modellen und Beispiele f\u00fcr die Nutzung von CodeSearchNet sind in Python unter Verwendung des Tensorflow-Frameworks geschrieben, und wird verbreitet<\/a><\/noindex> unterliegt der MIT-Lizenz.<\/p>\n

Bei der Erstellung von CodeSearchNet wurden Technologien zur Verarbeitung nat\u00fcrlicher Sprache genutzt, die es Machine-Learning-Systemen erm\u00f6glichen, nicht nur syntaktische Merkmale, sondern auch die Bedeutung der durch den Code ausgef\u00fchrten Aktionen zu ber\u00fccksichtigen. Auf GitHub hat das System angewendet<\/a><\/noindex> in Experimenten zum Aufbau einer semantischen Codesuche unter Verwendung von Anfragen in nat\u00fcrlicher Sprache<\/a><\/noindex> (zum Beispiel, wenn die Anfrage \u201eSortierung der Liste von Zeichenfolgen\u201c gestellt wird, wird der Code zur Implementierung der entsprechenden Algorithmen ausgegeben).<\/p>\n

Der vorgeschlagene Datensatz enth\u00e4lt mehr als 2 Millionen Paare \u201eCode-Kommentar\u201c, die auf der Grundlage von Quelltexten vorhandener offener Bibliotheken erstellt wurden. Der Code umfasst den vollst\u00e4ndigen Quelltext einzelner Funktionen oder Methoden, w\u00e4hrend der Kommentar die von der Funktion durchgef\u00fchrten Aktionen beschreibt (detaillierte Dokumentation wird bereitgestellt). Derzeit sind Datens\u00e4tze f\u00fcr die Programmiersprachen Python, JavaScript, Ruby, Go, Java und PHP verf\u00fcgbar. Beispiele f\u00fcr die Verwendung der vorgeschlagenen Datens\u00e4tze zum Training verschiedener Typen neuronaler Netzwerke sind ebenfalls bereitgestellt. Neural-Bag-Of-Words<\/a><\/noindex>, RNN<\/a><\/noindex>, Self-Attention<\/a><\/noindex> (BERT) und 1D-CNN+Self-Attention Hybrid<\/a><\/noindex>.<\/p>\n

Um die Mechanismen der Suche in nat\u00fcrlicher Sprache weiterzuentwickeln, wurde zus\u00e4tzlich der CodeSearchNet Challenge-Datensatz vorbereitet, der
\n99 Typanfragen<\/a><\/noindex> mit rund 4.000 Expertenannotations, die die wahrscheinlichsten Zuordnungen zu Code im CodeSearchNet-Korpus beschreiben, der etwa 6 Millionen Methoden und Funktionen umfasst (die Gr\u00f6\u00dfe des Datensatzes<\/a><\/noindex> betr\u00e4gt etwa 20 GB). Der CodeSearchNet Challenge kann als Referenz zur Bewertung der Effektivit\u00e4t verschiedener Methoden zur Codesuche in nat\u00fcrlicher Sprache dienen. Unter Verwendung des Werkzeugs Kubeflow<\/a><\/noindex> vorbereitet
\nBeispiel<\/a><\/noindex> eine Engine zur Codesuche.<\/p>\n

<\/a><\/noindex><\/p>\n

Quelle: opennet.ru<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

GitHub \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043b \u043f\u0440\u043e\u0435\u043a\u0442 CodeSearchNet, \u0432 \u0440\u0430\u043c\u043a\u0430\u0445 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d\u044b \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u043d\u0430\u0431\u043e\u0440\u044b \u0434\u0430\u043d\u043d\u044b\u0445, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0435 \u0434\u043b\u044f \u0440\u0430\u0437\u0431\u043e\u0440\u0430, \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0438 \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u043a\u043e\u0434\u0430 \u043d\u0430 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u0430\u0445 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f. CodeSearchNet, \u043f\u043e \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0438 \u0441 ImageNet, \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u044e \u043e\u0442\u0440\u044b\u0432\u043a\u043e\u0432 \u043a\u043e\u0434\u0430, \u0441\u043d\u0430\u0431\u0436\u0451\u043d\u043d\u044b\u0445 \u0430\u043d\u043d\u043e\u0442\u0430\u0446\u0438\u044f\u043c\u0438, \u0444\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0443\u044e\u0449\u0438\u043c\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u043c\u044b\u0435 \u043a\u043e\u0434\u043e\u043c \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f. \u041a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f CodeSearchNet \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u044b \u043d\u0430 \u044f\u0437\u044b\u043a\u0435 Python \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-38448","post","type-post","status-publish","format-standard","hentry","category-news"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47GitHub hat seine Entwicklungen zur Anwendung von maschinellem Lernen f\u00fcr die Suche und Analyse von Code ver\u00f6ffentlicht | ProHoster","description":"GitHub hat ein Projekt vorgestellt","canonical_url":"https:\/\/prohoster.info\/de\/blog\/news\/github-otkryl-narabotki-po-primeneniyu-mashinnogo-obucheniya-dlya-poiska-i-analiza-koda","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47GitHub \u043e\u0442\u043a\u0440\u044b\u043b \u043d\u0430\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043f\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044e \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u0438 \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u043a\u043e\u0434\u0430 | ProHoster","og:description":"GitHub \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043b \u043f\u0440\u043e\u0435\u043a\u0442","og:url":"https:\/\/prohoster.info\/de\/blog\/news\/github-otkryl-narabotki-po-primeneniyu-mashinnogo-obucheniya-dlya-poiska-i-analiza-koda","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T19:23:47+00:00","article:modified_time":"2019-10-31T19:23:47+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"38448","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-23 22:05:20","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 01:09:22","updated":"2026-01-23 22:05:20","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/38448","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=38448"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/38448\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=38448"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=38448"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=38448"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}