GitHub কোড অনুসন্ধান এবং বিশ্লেষণের জন্য মেশিন লার্নিং ব্যবহারে উন্নয়ন উন্মুক্ত করেছে

GitHub পেশ প্রকল্প কোডসার্চনেট, যা বিভিন্ন প্রোগ্রামিং ভাষায় কোড পার্সিং, শ্রেণীবিভাগ এবং বিশ্লেষণের জন্য প্রয়োজনীয় মেশিন লার্নিং মডেল এবং ডেটা সেট প্রস্তুত করেছে। CodeSearchNet, অনুরূপ IMAGEnet, টিকা সহ কোড স্নিপেটগুলির একটি বড় সংগ্রহ অন্তর্ভুক্ত করে যা কোডটি কী করে তা আনুষ্ঠানিক করে। প্রশিক্ষণ মডেলের উপাদান এবং কোডসার্চনেট ব্যবহারের উদাহরণগুলি টেনসরফ্লো ফ্রেমওয়ার্ক ব্যবহার করে পাইথনে লেখা হয় এবং দ্বারা বিতরণ এমআইটি লাইসেন্সের অধীনে।

CodeSearchNet তৈরি করার সময়, প্রাকৃতিক ভাষার পাঠ্য পার্সিং প্রযুক্তি ব্যবহার করা হয়েছিল, যা মেশিন লার্নিং সিস্টেমগুলিকে শুধুমাত্র সিনট্যাটিক বৈশিষ্ট্যই নয়, কোড দ্বারা সম্পাদিত ক্রিয়াগুলির অর্থও বিবেচনায় নিতে সক্ষম করে। গিটহাব সিস্টেম প্রয়োগ ক্যোয়ারী অন ব্যবহার করে শব্দার্থক কোড অনুসন্ধান সংগঠিত করার পরীক্ষায় স্বভাবিক ভাষা (উদাহরণস্বরূপ, "স্ট্রিংগুলির একটি তালিকা বাছাই করার" অনুরোধ করার সময়, সংশ্লিষ্ট অ্যালগরিদমের বাস্তবায়ন সহ কোড প্রদর্শিত হয়)।

প্রস্তাবিত ডেটাসেটে 2 মিলিয়নেরও বেশি কোড-মন্তব্য লিঙ্ক রয়েছে, যা বিদ্যমান খোলা গ্রন্থাগারগুলির উত্স পাঠের উপর ভিত্তি করে তৈরি করা হয়েছে। কোডটি পৃথক ফাংশন বা পদ্ধতিগুলির সম্পূর্ণ উত্স পাঠ্যকে কভার করে এবং মন্তব্যটি ফাংশন দ্বারা সম্পাদিত ক্রিয়াগুলি বর্ণনা করে (বিস্তারিত ডকুমেন্টেশন সরবরাহ করা হয়েছে)। বর্তমানে, ডেটাসেটগুলি পাইথন, জাভাস্ক্রিপ্ট, রুবি, গো, জাভা এবং পিএইচপি-র জন্য প্রস্তুত করা হয়। বিভিন্ন ধরণের নিউরাল নেটওয়ার্ক সহ প্রশিক্ষণের জন্য প্রস্তাবিত ডেটাসেটগুলি ব্যবহার করার উদাহরণ দেওয়া হয়েছে নিউরাল-ব্যাগ-অফ-ওয়ার্ডস, RNN, স্ব-মনোযোগ (BERT) এবং 1D-CNN+সেল্ফ অ্যাটেনশন হাইব্রিড.

প্রাকৃতিক ভাষা অনুসন্ধান প্রক্রিয়া বিকাশের জন্য, CodeSearchNet Challenge-এর একটি সেট অতিরিক্ত প্রস্তুত করা হয়েছে, যার মধ্যে রয়েছে
99 সাধারণ প্রায় 4 মিলিয়ন পদ্ধতি এবং ফাংশন কভার করে CodeSearchNet Corpus ডেটাসেটে সম্ভাব্য কোড বাইন্ডিংগুলি বর্ণনা করে প্রায় 6 হাজার বিশেষজ্ঞ টীকা সহ প্রশ্নগুলি (সেট আকার প্রায় 20 জিবি)। CodeSearchNet চ্যালেঞ্জ প্রাকৃতিক ভাষা কোড অনুসন্ধানের জন্য নির্দিষ্ট পদ্ধতির কার্যকারিতা মূল্যায়নের জন্য একটি মানদণ্ড হিসাবে কাজ করতে পারে। টুল ব্যবহার করে কুবলফ্লো প্রস্তুত
উদাহরণ কোড সার্চ ইঞ্জিন।

উত্স: opennet.ru