QEMU.js: এখন সিরিয়াস এবং WASM এর সাথে

এক সময় আমি মজা করার জন্য সিদ্ধান্ত নিলাম প্রক্রিয়ার বিপরীততা প্রমাণ করুন এবং মেশিন কোড থেকে কিভাবে জাভাস্ক্রিপ্ট (আরো সঠিকভাবে, Asm.js) তৈরি করতে হয় তা শিখুন। পরীক্ষার জন্য QEMU বেছে নেওয়া হয়েছিল, এবং কিছু সময় পরে হাবরের উপর একটি নিবন্ধ লেখা হয়েছিল। মন্তব্যে আমাকে WebAssembly-এ প্রোজেক্টটি রিমেক করার পরামর্শ দেওয়া হয়েছিল এবং এমনকি নিজেকে ছেড়ে দেওয়ার জন্য প্রায় সমাপ্ত আমি কোনোভাবে প্রকল্পটি চাইনি... কাজ চলছিল, কিন্তু খুব ধীরে ধীরে, এবং এখন, সম্প্রতি সেই নিবন্ধে হাজির মন্তব্য বিষয়ের উপর "তাহলে এটি কীভাবে শেষ হল?" আমার বিস্তারিত উত্তরের জবাবে, আমি শুনেছি "এটি একটি নিবন্ধের মতো শোনাচ্ছে।" ভাল, আপনি যদি পারেন, একটি নিবন্ধ হবে. হয়তো কেউ এটা দরকারী খুঁজে পাবেন. এটি থেকে পাঠক QEMU কোড জেনারেশন ব্যাকএন্ডের ডিজাইন সম্পর্কে কিছু তথ্য শিখবে, সেইসাথে কীভাবে একটি ওয়েব অ্যাপ্লিকেশনের জন্য একটি জাস্ট-ইন-টাইম কম্পাইলার লিখতে হয়।

কর্ম

যেহেতু আমি ইতিমধ্যেই শিখেছি কিভাবে জাভাস্ক্রিপ্টে QEMU পোর্ট করতে হয়, এইবার এটি বুদ্ধিমানের সাথে করার এবং পুরানো ভুলের পুনরাবৃত্তি না করার সিদ্ধান্ত নেওয়া হয়েছিল।

ত্রুটি নম্বর এক: বিন্দু প্রকাশ থেকে শাখা

আমার প্রথম ভুল ছিল আপস্ট্রিম সংস্করণ 2.4.1 থেকে আমার সংস্করণটি ফোর্ক করা। তারপরে এটি আমার কাছে একটি ভাল ধারণা বলে মনে হয়েছিল: যদি পয়েন্ট রিলিজ বিদ্যমান থাকে তবে এটি সম্ভবত সাধারণ 2.4 এর চেয়ে আরও স্থিতিশীল এবং আরও বেশি শাখা master. এবং যেহেতু আমি আমার নিজের বাগগুলির একটি ন্যায্য পরিমাণ যোগ করার পরিকল্পনা করেছি, তাই আমার অন্য কারোর প্রয়োজন নেই। যে সম্ভবত এটা পরিণত কিভাবে. কিন্তু এখানে বিষয় হল: QEMU স্থির থাকে না, এবং এক পর্যায়ে তারা জেনারেট করা কোডের 10 শতাংশ অপ্টিমাইজেশন ঘোষণা করেছিল৷ "হ্যাঁ, এখন আমি হিমায়িত করতে যাচ্ছি," আমি ভাবলাম এবং ভেঙে পড়লাম৷ এখানে আমাদের একটি ডিগ্রেশন করতে হবে: QEMU.js-এর একক-থ্রেড প্রকৃতির কারণে এবং আসল QEMU মাল্টি-থ্রেডিংয়ের অনুপস্থিতিকে বোঝায় না (অর্থাৎ, একই সাথে একাধিক সম্পর্কহীন কোড পাথ পরিচালনা করার ক্ষমতা, এবং শুধু "সমস্ত কার্নেল ব্যবহার করুন") নয়, এটির জন্য গুরুত্বপূর্ণ, থ্রেডগুলির প্রধান কাজগুলি বাইরে থেকে কল করতে সক্ষম হওয়ার জন্য আমাকে "এটি চালু" করতে হয়েছিল। এটি একত্রীকরণের সময় কিছু প্রাকৃতিক সমস্যা তৈরি করেছিল। তবে শাখা থেকে কিছু পরিবর্তন আনার ঘটনাও ঘটেছে master, যার সাথে আমি আমার কোড একত্রিত করার চেষ্টা করেছি, পয়েন্ট রিলিজে (এবং তাই আমার শাখায়) চেরিও বাছাই করা হয়েছিল সম্ভবত সুবিধা যোগ করা হত না।

সাধারণভাবে, আমি সিদ্ধান্ত নিয়েছি যে প্রোটোটাইপটি ফেলে দেওয়া, অংশগুলির জন্য এটিকে আলাদা করা এবং নতুন কিছুর উপর ভিত্তি করে স্ক্র্যাচ থেকে একটি নতুন সংস্করণ তৈরি করা এখনও বোধগম্য এবং এখন থেকে master.

ভুল নম্বর দুই: TLP পদ্ধতি

সংক্ষেপে, এটি একটি ভুল নয়, সাধারণভাবে, এটি "কোথায় এবং কীভাবে সরানো যায়?" এবং সাধারণভাবে "আমরা কি সেখানে যাব?" উভয়ের সম্পূর্ণ ভুল বোঝাবুঝির শর্তে একটি প্রকল্প তৈরি করার একটি বৈশিষ্ট্য মাত্র। এই অবস্থার মধ্যে আনাড়ি প্রোগ্রামিং একটি ন্যায়সঙ্গত বিকল্প ছিল, কিন্তু, স্বাভাবিকভাবেই, আমি অপ্রয়োজনীয়ভাবে এটি পুনরাবৃত্তি করতে চাইনি। এইবার আমি বুদ্ধিমানের সাথে এটি করতে চেয়েছিলাম: পারমাণবিক কমিট, সচেতন কোড পরিবর্তন (এবং "এটা কম্পাইল না হওয়া পর্যন্ত (সতর্কতা সহ) র্যান্ডম অক্ষরকে একত্রে স্ট্রিং করা নয়", যেমনটি লিনাস টরভাল্ডস একবার উইকিকোট অনুসারে কারও সম্পর্কে বলেছিলেন) ইত্যাদি।

ভুল নম্বর তিন: ফোর্ড না জেনে জলে নামা

আমি এখনও এটি থেকে সম্পূর্ণরূপে পরিত্রাণ পাইনি, কিন্তু এখন আমি সিদ্ধান্ত নিয়েছি যে ন্যূনতম প্রতিরোধের পথ অনুসরণ করব না, এবং এটি "বড় হওয়ার উপায়" করব, যথা, স্ক্র্যাচ থেকে আমার TCG ব্যাকএন্ড লিখব, যাতে না হয় পরে বলতে হবে, "হ্যাঁ, এটি অবশ্যই, ধীরে ধীরে, কিন্তু আমি সবকিছু নিয়ন্ত্রণ করতে পারি না - এভাবেই TCI লেখা হয়..." অধিকন্তু, এটি প্রাথমিকভাবে একটি সুস্পষ্ট সমাধানের মতো মনে হয়েছিল, যেহেতু আমি বাইনারি কোড তৈরি করি. যেমন তারা বলে, “ঘেন্ট জড়ো হয়েছেу, কিন্তু সেটা নয়”: কোডটি অবশ্যই বাইনারি, কিন্তু নিয়ন্ত্রণ সহজভাবে এতে স্থানান্তরিত করা যায় না - এটিকে অবশ্যই স্পষ্টভাবে সংকলনের জন্য ব্রাউজারে পুশ করতে হবে, যার ফলে JS বিশ্ব থেকে একটি নির্দিষ্ট বস্তু, যা এখনও প্রয়োজন। কোথাও সংরক্ষণ করা হবে। যাইহোক, সাধারণ RISC আর্কিটেকচারে, যতদূর আমি বুঝতে পারি, একটি সাধারণ পরিস্থিতি হল পুনরুত্পাদিত কোডের জন্য নির্দেশনা ক্যাশে স্পষ্টভাবে রিসেট করার প্রয়োজন - যদি এটি আমাদের প্রয়োজন না হয়, তবে, যেকোনো ক্ষেত্রে, এটি কাছাকাছি। উপরন্তু, আমার শেষ প্রচেষ্টা থেকে, আমি শিখেছি যে নিয়ন্ত্রণটি অনুবাদ ব্লকের মাঝখানে স্থানান্তর করা হয়েছে বলে মনে হচ্ছে না, তাই আমাদের সত্যিই কোনো অফসেট থেকে ব্যাখ্যা করা বাইটকোডের প্রয়োজন নেই এবং আমরা এটি টিবি-তে ফাংশন থেকে তৈরি করতে পারি। .

তারা এসে লাথি মারল

যদিও আমি জুলাই মাসে কোডটি আবার লিখতে শুরু করি, একটি ম্যাজিক কিক অলক্ষ্যে তৈরি হয়েছিল: সাধারণত গিটহাব থেকে চিঠিগুলি ইস্যু এবং পুল অনুরোধের প্রতিক্রিয়া সম্পর্কে বিজ্ঞপ্তি হিসাবে আসে, কিন্তু এখানে, হঠাৎ থ্রেডে উল্লেখ করুন একটি qemu ব্যাকএন্ড হিসাবে Binaryen প্রসঙ্গে, "তিনি এমন কিছু করেছিলেন, হয়তো তিনি কিছু বলবেন।" আমরা Emscripten এর সম্পর্কিত লাইব্রেরি ব্যবহার সম্পর্কে কথা বলছিলাম বাইনারিন WASM JIT তৈরি করতে। ঠিক আছে, আমি বলেছিলাম যে আপনার সেখানে Apache 2.0 লাইসেন্স আছে, এবং QEMU সামগ্রিকভাবে GPLv2 এর অধীনে বিতরণ করা হয়েছে, এবং তারা খুব সামঞ্জস্যপূর্ণ নয়। হঠাৎ দেখা গেল লাইসেন্স হতে পারে এটা একরকম ঠিক করুন (আমি জানি না: হয়তো এটি পরিবর্তন করুন, হতে পারে দ্বৈত লাইসেন্সিং, হয়তো অন্য কিছু...)। এটি অবশ্যই আমাকে খুশি করেছে, কারণ ততক্ষণে আমি ইতিমধ্যে ঘনিষ্ঠভাবে দেখেছি বাইনারি বিন্যাস WebAssembly, এবং আমি একরকম দু: খিত এবং বোধগম্য ছিল. একটি লাইব্রেরিও ছিল যা ট্রানজিশন গ্রাফের সাহায্যে মৌলিক ব্লকগুলিকে গ্রাস করবে, বাইটকোড তৈরি করবে এবং এমনকি প্রয়োজনে দোভাষীতে নিজেই চালাবে।

তারপর আরো ছিল একটি চিঠি QEMU মেলিং লিস্টে, কিন্তু এটি এই প্রশ্ন সম্পর্কে আরও বেশি, "যাইহোক এটি কার প্রয়োজন?" এবং এটা করা হয় হঠাৎ, এটা প্রয়োজনীয় ছিল পরিণত. ন্যূনতম, আপনি ব্যবহার করার নিম্নলিখিত সম্ভাবনাগুলি একসাথে স্ক্র্যাপ করতে পারেন, যদি এটি কমবেশি দ্রুত কাজ করে:

• কোনো ইনস্টলেশন ছাড়াই শিক্ষামূলক কিছু চালু করা
• আইওএস-এ ভার্চুয়ালাইজেশন, যেখানে গুজব অনুসারে, একমাত্র অ্যাপ্লিকেশন যা ফ্লাইতে কোড জেনারেশন করার অধিকার রাখে তা হল একটি জেএস ইঞ্জিন (এটি কি সত্য?)
• মিনি-ওএস-এর প্রদর্শন - একক-ফ্লপি, অন্তর্নির্মিত, সব ধরণের ফার্মওয়্যার, ইত্যাদি...

ব্রাউজার রানটাইম বৈশিষ্ট্য

আমি ইতিমধ্যেই বলেছি, QEMU মাল্টিথ্রেডিংয়ের সাথে আবদ্ধ, তবে ব্রাউজারে এটি নেই। ঠিক আছে, যে, না... প্রথমে এটি একেবারেই বিদ্যমান ছিল না, তারপরে ওয়েবওয়ার্কাররা হাজির - যতদূর আমি বুঝি, এটি বার্তা পাস করার উপর ভিত্তি করে মাল্টিথ্রেডিং ভাগ করা ভেরিয়েবল ছাড়া. স্বাভাবিকভাবেই, ভাগ করা মেমরি মডেলের উপর ভিত্তি করে বিদ্যমান কোড পোর্ট করার সময় এটি উল্লেখযোগ্য সমস্যা তৈরি করে। তারপর জনগণের চাপে নামে তা বাস্তবায়নও করা হয় SharedArrayBuffers. এটি ধীরে ধীরে চালু করা হয়েছিল, তারা বিভিন্ন ব্রাউজারে এর প্রবর্তন উদযাপন করেছিল, তারপরে তারা নববর্ষ উদযাপন করেছিল, এবং তারপরে মেল্টডাউন... যার পরে তারা এই সিদ্ধান্তে পৌঁছেছিল যে সময় পরিমাপ মোটা বা মোটা, কিন্তু ভাগ করা স্মৃতি এবং একটি থ্রেড কাউন্টার বৃদ্ধি, এটা সব একই এটি বেশ সঠিকভাবে কাজ করবে. তাই আমরা শেয়ার করা মেমরির সাথে মাল্টিথ্রেডিং নিষ্ক্রিয় করেছি। মনে হচ্ছে তারা পরে এটিকে আবার চালু করেছে, কিন্তু, প্রথম পরীক্ষা থেকে এটি স্পষ্ট হয়ে গেছে, এটি ছাড়া জীবন আছে এবং যদি তাই হয়, আমরা মাল্টিথ্রেডিংয়ের উপর নির্ভর না করে এটি করার চেষ্টা করব।

দ্বিতীয় বৈশিষ্ট্যটি হল স্ট্যাকের সাথে নিম্ন-স্তরের ম্যানিপুলেশনের অসম্ভবতা: আপনি সহজভাবে নিতে পারবেন না, বর্তমান প্রসঙ্গ সংরক্ষণ করতে পারবেন এবং একটি নতুন স্ট্যাকের সাথে একটি নতুনটিতে স্যুইচ করতে পারবেন না। কল স্ট্যাক JS ভার্চুয়াল মেশিন দ্বারা পরিচালিত হয়। মনে হবে, সমস্যা কী, যেহেতু আমরা এখনও পূর্বের প্রবাহগুলি সম্পূর্ণরূপে ম্যানুয়ালি পরিচালনা করার সিদ্ধান্ত নিয়েছি? আসল বিষয়টি হল যে QEMU-তে ব্লক I/O প্রয়োগ করা হয় কোরোটিনের মাধ্যমে, এবং এখানেই নিম্ন-স্তরের স্ট্যাক ম্যানিপুলেশনগুলি কাজে আসবে। সৌভাগ্যবশত, Emscipten-এ ইতিমধ্যেই অ্যাসিঙ্ক্রোনাস অপারেশনের জন্য একটি প্রক্রিয়া রয়েছে, এমনকি দুটি: অ্যাসিনসিফাই и অনুবাদক. প্রথমটি জেনারেট করা জাভাস্ক্রিপ্ট কোডে উল্লেখযোগ্য ব্লোটের মাধ্যমে কাজ করে এবং এটি আর সমর্থিত নয়। দ্বিতীয়টি বর্তমান "সঠিক উপায়" এবং স্থানীয় দোভাষীর জন্য বাইটকোড প্রজন্মের মাধ্যমে কাজ করে। এটি অবশ্যই ধীরে ধীরে কাজ করে, তবে এটি কোডটি ফোলাবে না। সত্য, এই মেকানিজমের জন্য কোরোটিনগুলির জন্য সমর্থন স্বাধীনভাবে অবদান রাখতে হয়েছিল (এখানে ইতিমধ্যেই Asyncify-এর জন্য কোরোটিনগুলি লেখা ছিল এবং Emterpreter-এর জন্য প্রায় একই API এর বাস্তবায়ন ছিল, আপনাকে কেবল সেগুলিকে সংযুক্ত করতে হবে)।

এই মুহুর্তে, আমি এখনও কোডটিকে WASM-এ সংকলিত একটিতে বিভক্ত করতে পারিনি এবং Emterpreter ব্যবহার করে ব্যাখ্যা করেছি, তাই ব্লক ডিভাইসগুলি এখনও কাজ করে না (পরবর্তী সিরিজে দেখুন, যেমন তারা বলে...)। অর্থাৎ, শেষ পর্যন্ত আপনার এই মজার স্তরযুক্ত জিনিসটির মতো কিছু পাওয়া উচিত:

• ব্যাখ্যা করা ব্লক I/O। আচ্ছা, আপনি কি সত্যিই নেটিভ পারফরম্যান্স সহ অনুকরণ করা NVMe আশা করেছিলেন? 🙂
• স্থিরভাবে সংকলিত প্রধান QEMU কোড (অনুবাদক, অন্যান্য অনুকরণ করা ডিভাইস, ইত্যাদি)
• ডাইনামিক্যালি গেস্ট কোড WASM এ কম্পাইল করা হয়েছে

QEMU উৎসের বৈশিষ্ট্য

আপনি সম্ভবত ইতিমধ্যে অনুমান করেছেন, গেস্ট আর্কিটেকচার অনুকরণ করার কোড এবং হোস্ট মেশিন নির্দেশাবলী তৈরি করার কোড QEMU-তে আলাদা করা হয়েছে। প্রকৃতপক্ষে, এটি এমনকি একটু কৌশলী:

• গেস্ট আর্কিটেকচার আছে
• হল এক্সিলারেটরঅর্থাৎ, হার্ডওয়্যার ভার্চুয়ালাইজেশনের জন্য KVM Linux (সামঞ্জস্যপূর্ণ গেস্ট এবং হোস্ট সিস্টেমের জন্য), যেকোনো স্থানে জাস্ট-ইন-টাইম কোড জেনারেশনের জন্য TCG। QEMU 2.9 থেকে শুরু করে, HAXM হার্ডওয়্যার ভার্চুয়ালাইজেশন স্ট্যান্ডার্ডের জন্য সমর্থন দেখা যায় Windows (বিস্তারিত)
• যদি TCG হার্ডওয়্যার ভার্চুয়ালাইজেশনের পরিবর্তে ব্যবহার করা হয়, তাহলে প্রতিটি হোস্ট আর্কিটেকচারের পাশাপাশি সার্বজনীন দোভাষীর জন্য আলাদা কোড জেনারেশন সমর্থন রয়েছে।
• ... এবং এই সমস্ত কিছুর চারপাশে - অনুকরণ করা পেরিফেরাল, ইউজার ইন্টারফেস, মাইগ্রেশন, রেকর্ড-রিপ্লে ইত্যাদি।

যাইহোক, আপনি কি জানেন: QEMU শুধুমাত্র সম্পূর্ণ কম্পিউটারই নয়, হোস্ট কার্নেলে একটি পৃথক ব্যবহারকারীর প্রক্রিয়ার জন্য প্রসেসরকেও অনুকরণ করতে পারে, যা ব্যবহার করা হয়, উদাহরণস্বরূপ, বাইনারি যন্ত্রের জন্য AFL fuzzer দ্বারা। সম্ভবত কেউ JS থেকে QEMU এর অপারেশনের এই মোডটি পোর্ট করতে চান? 😉

বেশিরভাগ দীর্ঘস্থায়ী বিনামূল্যের সফ্টওয়্যারের মতো, QEMU কলের মাধ্যমে তৈরি করা হয় configure и make. ধরা যাক আপনি কিছু যোগ করার সিদ্ধান্ত নিয়েছেন: একটি TCG ব্যাকএন্ড, থ্রেড বাস্তবায়ন, অন্য কিছু। অটোকনফের সাথে যোগাযোগের সম্ভাবনায় খুশি/ভয়ঙ্কিত হওয়ার জন্য তাড়াহুড়ো করবেন না (যথাযথভাবে আন্ডারলাইন করুন) - আসলে, configure QEMU এর দৃশ্যত স্ব-লিখিত এবং কিছু থেকে উত্পন্ন হয় না।

WebAssembly

তাহলে এই জিনিসটিকে WebAssembly (ওরফে WASM) বলা হয় কি? এটি Asm.js-এর প্রতিস্থাপন, আর বৈধ জাভাস্ক্রিপ্ট কোড হওয়ার ভান করে না। বিপরীতে, এটি সম্পূর্ণরূপে বাইনারি এবং অপ্টিমাইজ করা হয়েছে, এবং এমনকি এটিতে একটি পূর্ণসংখ্যা লেখা খুব সহজ নয়: কম্প্যাক্টের জন্য, এটি বিন্যাসে সংরক্ষণ করা হয় এলইবি 128.

আপনি হয়তো Asm.js-এর রিলুপিং অ্যালগরিদম সম্পর্কে শুনেছেন - এটি হল "উচ্চ-স্তরের" প্রবাহ নিয়ন্ত্রণ নির্দেশাবলীর পুনরুদ্ধার (অর্থাৎ যদি-তাহলে-অন্যথায়, লুপ, ইত্যাদি), যার জন্য JS ইঞ্জিনগুলি ডিজাইন করা হয়েছে, থেকে নিম্ন-স্তরের LLVM IR, প্রসেসর দ্বারা নির্বাহিত মেশিন কোডের কাছাকাছি। স্বাভাবিকভাবেই, QEMU এর মধ্যবর্তী উপস্থাপনা দ্বিতীয়টির কাছাকাছি। মনে হবে এখানেই, বাইটকোড, যন্ত্রণার সমাপ্তি... এবং তারপরে ব্লক আছে, যদি-তাহলে-অন্যদিকে এবং লুপ!..

এবং এটি অন্য একটি কারণ কেন বাইনারিন দরকারী: এটি স্বাভাবিকভাবেই উচ্চ-স্তরের ব্লকগুলিকে গ্রহণ করতে পারে যা WASM-এ সংরক্ষণ করা হবে। কিন্তু এটি মৌলিক ব্লকের একটি গ্রাফ থেকে কোড তৈরি করতে পারে এবং তাদের মধ্যে স্থানান্তর করতে পারে। ঠিক আছে, আমি ইতিমধ্যে বলেছি যে এটি সুবিধাজনক C/C++ API এর পিছনে WebAssembly স্টোরেজ বিন্যাস লুকিয়ে রাখে।

TCG (ক্ষুদ্র কোড জেনারেটর)

টিসিজি মূলত ছিল C কম্পাইলারের জন্য ব্যাকএন্ড। তারপর, দৃশ্যত, এটি GCC-এর সাথে প্রতিদ্বন্দ্বিতা সহ্য করতে পারেনি, কিন্তু শেষ পর্যন্ত এটি হোস্ট প্ল্যাটফর্মের জন্য কোড জেনারেশন মেকানিজম হিসাবে QEMU-তে তার স্থান খুঁজে পেয়েছে। এছাড়াও একটি TCG ব্যাকএন্ড রয়েছে যা কিছু বিমূর্ত বাইটকোড তৈরি করে, যা অবিলম্বে দোভাষী দ্বারা কার্যকর করা হয়, কিন্তু আমি এই সময় এটি ব্যবহার এড়াতে সিদ্ধান্ত নিয়েছি। যাইহোক, সত্য যে QEMU তে ইতিমধ্যেই ফাংশনের মাধ্যমে উৎপন্ন টিবিতে রূপান্তর সক্ষম করা সম্ভব tcg_qemu_tb_exec, এটা আমার জন্য খুব দরকারী হতে পরিণত.

QEMU-তে একটি নতুন TCG ব্যাকএন্ড যোগ করতে, আপনাকে একটি সাবডিরেক্টরি তৈরি করতে হবে tcg/<имя архитектуры> (এক্ষেত্রে, tcg/binaryen), এবং এতে দুটি ফাইল রয়েছে: tcg-target.h и tcg-target.inc.c и প্রেসক্রিপশন এটা সব সম্পর্কে configure. আপনি সেখানে অন্যান্য ফাইল রাখতে পারেন, কিন্তু, আপনি এই দুটির নাম থেকে অনুমান করতে পারেন, তারা উভয়ই কোথাও অন্তর্ভুক্ত করা হবে: একটি নিয়মিত হেডার ফাইল হিসাবে (এটি অন্তর্ভুক্ত tcg/tcg.h, এবং এটি ইতিমধ্যেই ডিরেক্টরির অন্যান্য ফাইলে রয়েছে tcg, accel এবং শুধুমাত্র নয়), অন্যটি - শুধুমাত্র একটি কোড স্নিপেট হিসাবে tcg/tcg.c, কিন্তু এটির স্ট্যাটিক ফাংশনগুলিতে অ্যাক্সেস রয়েছে।

এটি কীভাবে কাজ করে তার বিস্তারিত তদন্তে আমি অনেক বেশি সময় ব্যয় করব বলে সিদ্ধান্ত নিয়ে, আমি কেবল এই দুটি ফাইলের "কঙ্কাল" অন্য ব্যাকএন্ড বাস্তবায়ন থেকে অনুলিপি করেছি, সততার সাথে লাইসেন্স শিরোনামে এটি নির্দেশ করে।

ফাইল tcg-target.h ফর্মে প্রধানত সেটিংস রয়েছে #define-s:

• টার্গেট আর্কিটেকচারে কতগুলি রেজিস্টার এবং কী প্রস্থ রয়েছে (আমাদের যতগুলি ইচ্ছা আছে, যতগুলি আমরা চাই ততগুলি আছে - "সম্পূর্ণ লক্ষ্য" আর্কিটেকচারে ব্রাউজার দ্বারা আরও দক্ষ কোডে কী তৈরি করা হবে তা নিয়ে প্রশ্নটি আরও বেশি। ...)
• হোস্ট নির্দেশাবলীর সারিবদ্ধকরণ: x86 তে, এমনকি TCI তেও, নির্দেশাবলী মোটেই সারিবদ্ধ নয়, তবে আমি কোড বাফারে মোটেও নির্দেশনা নয়, বাইনারিন লাইব্রেরি কাঠামোর দিকে নির্দেশক রাখব, তাই আমি বলব: 4 বাইট
• ব্যাকএন্ড কোন ঐচ্ছিক নির্দেশনা তৈরি করতে পারে - আমরা বাইনারিনে যা পাই তা আমরা অন্তর্ভুক্ত করি, এক্সিলারেটরকে বাকিগুলিকে আরও সহজে ভাঙতে দিন
• ব্যাকএন্ড দ্বারা অনুরোধ করা TLB ক্যাশের আনুমানিক আকার কত। আসল বিষয়টি হল কিউইএমইউতে সবকিছুই গুরুতর: যদিও সেখানে সহায়ক ফাংশন রয়েছে যা লোড/স্টোর সম্পাদন করে গেস্ট এমএমইউ (এটি ছাড়া আমরা এখন কোথায় থাকব?), তারা তাদের অনুবাদ ক্যাশে একটি কাঠামোর আকারে সংরক্ষণ করে, যার প্রক্রিয়াকরণ সরাসরি সম্প্রচার ব্লকে এম্বেড করা সুবিধাজনক। প্রশ্ন হল, এই কাঠামোর কোন অফসেট কমান্ডের একটি ছোট এবং দ্রুত ক্রম দ্বারা সবচেয়ে দক্ষতার সাথে প্রক্রিয়া করা হয়?
• এখানে আপনি এক বা দুটি সংরক্ষিত রেজিস্টারের উদ্দেশ্য পরিবর্তন করতে পারেন, একটি ফাংশনের মাধ্যমে টিবি কলিং সক্ষম করতে পারেন এবং ঐচ্ছিকভাবে কয়েকটি ছোট বর্ণনা করতে পারেন inline-এর মত ফাংশন flush_icache_range (কিন্তু এটি আমাদের ক্ষেত্রে নয়)

ফাইল tcg-target.inc.c, অবশ্যই, সাধারণত আকারে অনেক বড় হয় এবং এতে বেশ কিছু বাধ্যতামূলক ফাংশন থাকে:

• কোন নির্দেশাবলী কোন অপারেন্ডে কাজ করতে পারে তার উপর বিধিনিষেধ সহ প্রারম্ভিকতা। অন্য ব্যাকএন্ড থেকে স্পষ্টভাবে আমার দ্বারা অনুলিপি
• ফাংশন যা একটি অভ্যন্তরীণ বাইটকোড নির্দেশনা নেয়
• আপনি এখানে অক্জিলিয়ারী ফাংশন রাখতে পারেন, এবং আপনি স্ট্যাটিক ফাংশনগুলি থেকেও ব্যবহার করতে পারেন tcg/tcg.c

নিজের জন্য, আমি নিম্নলিখিত কৌশলটি বেছে নিয়েছিলাম: পরবর্তী অনুবাদ ব্লকের প্রথম শব্দগুলিতে, আমি চারটি পয়েন্টার লিখেছিলাম: একটি শুরু চিহ্ন (আশেপাশে একটি নির্দিষ্ট মান 0xFFFFFFFF, যা টিবি-র বর্তমান অবস্থা নির্ধারণ করে), প্রসঙ্গ, উৎপন্ন মডিউল এবং ডিবাগিংয়ের জন্য ম্যাজিক নম্বর। প্রথমে চিহ্ন বসানো হয়েছিল 0xFFFFFFFF - nযেখানে n - একটি ছোট ধনাত্মক সংখ্যা, এবং প্রতিবার এটি দোভাষীর মাধ্যমে কার্যকর করা হয়েছে 1 দ্বারা বৃদ্ধি পেয়েছে। যখন এটি পৌঁছেছে 0xFFFFFFFE, সংকলন ঘটেছিল, মডিউলটি ফাংশন টেবিলে সংরক্ষিত হয়েছিল, একটি ছোট "লঞ্চার" এ আমদানি করা হয়েছিল, যেখান থেকে সম্পাদন করা হয়েছিল tcg_qemu_tb_exec, এবং মডিউলটি QEMU মেমরি থেকে সরানো হয়েছে।

ক্লাসিকগুলিকে ব্যাখ্যা করার জন্য, "ক্র্যাচ, প্রজারের হৃদয়ের জন্য এই শব্দে কতটা জড়িত..."। যাইহোক, স্মৃতি কোথাও ফুটো ছিল. তাছাড়া, এটি QEMU দ্বারা পরিচালিত মেমরি ছিল! আমার কাছে একটি কোড ছিল যা পরবর্তী নির্দেশনা লেখার সময় (ভাল, অর্থাৎ একটি পয়েন্টার), যার লিঙ্কটি আগে এই জায়গায় ছিল তাকে মুছে ফেলেছিল, কিন্তু এটি সাহায্য করেনি। আসলে, সবচেয়ে সহজ ক্ষেত্রে, QEMU স্টার্টআপে মেমরি বরাদ্দ করে এবং সেখানে জেনারেট করা কোড লিখে। যখন বাফার ফুরিয়ে যায়, কোডটি ফেলে দেওয়া হয় এবং পরবর্তীটি তার জায়গায় লিখতে শুরু করে।

কোডটি অধ্যয়ন করার পরে, আমি বুঝতে পেরেছি যে ম্যাজিক নম্বরের কৌশলটি আমাকে প্রথম পাসে একটি অপ্রচলিত বাফারে কিছু ভুল মুক্ত করে গাদা ধ্বংসের ক্ষেত্রে ব্যর্থ না হওয়ার অনুমতি দিয়েছে। কিন্তু কে পরে আমার ফাংশন বাইপাস বাফার পুনর্লিখন? এমস্ক্রিপ্টেন ডেভেলপারদের পরামর্শ অনুযায়ী, যখন আমি একটি সমস্যায় পড়েছিলাম, আমি ফলাফল কোডটি আবার নেটিভ অ্যাপ্লিকেশনে পোর্ট করেছি, এটিতে মোজিলা রেকর্ড-রিপ্লে সেট করেছি... সাধারণভাবে, শেষ পর্যন্ত আমি একটি সহজ জিনিস বুঝতে পেরেছি: প্রতিটি ব্লকের জন্য, ক struct TranslationBlock এর বর্ণনা সহ। অনুমান করুন কোথায়... এটা ঠিক, বাফারে ব্লকের ঠিক আগে। এটি উপলব্ধি করে, আমি ক্রাচ (অন্তত কিছু) ব্যবহার করা ছেড়ে দেওয়ার সিদ্ধান্ত নিয়েছি এবং কেবল ম্যাজিক নম্বরটি ফেলে দিয়েছিলাম এবং অবশিষ্ট শব্দগুলিকে স্থানান্তরিত করেছিলাম struct TranslationBlock, একটি এককভাবে লিঙ্কযুক্ত তালিকা তৈরি করা যা অনুবাদ ক্যাশে রিসেট হলে দ্রুত অতিক্রম করা যায় এবং মেমরি খালি করা যায়।

কিছু ক্রাচ রয়ে গেছে: উদাহরণস্বরূপ, কোড বাফারে চিহ্নিত পয়েন্টার - তাদের মধ্যে কিছু সহজ BinaryenExpressionRef, অর্থাৎ, তারা যে অভিব্যক্তিগুলিকে রৈখিকভাবে জেনারেট করা বেসিক ব্লকে রাখা দরকার তা দেখে, অংশটি হল BB গুলির মধ্যে স্থানান্তরের শর্ত, অংশটি কোথায় যেতে হবে। ঠিক আছে, রিলোপারের জন্য ইতিমধ্যে প্রস্তুত ব্লক রয়েছে যা শর্ত অনুসারে সংযুক্ত করা দরকার। তাদের আলাদা করার জন্য, অনুমানটি ব্যবহার করা হয় যে সেগুলি কমপক্ষে চারটি বাইট দ্বারা সারিবদ্ধ, তাই আপনি নিরাপদে লেবেলের জন্য কমপক্ষে উল্লেখযোগ্য দুটি বিট ব্যবহার করতে পারেন, প্রয়োজন হলে আপনাকে এটি সরাতে মনে রাখতে হবে। যাইহোক, TCG লুপ থেকে প্রস্থান করার কারণ নির্দেশ করতে এই ধরনের লেবেলগুলি ইতিমধ্যেই QEMU-তে ব্যবহার করা হয়েছে।

Binaryen ব্যবহার করে

WebAssembly-এর মডিউলগুলিতে ফাংশন রয়েছে, যার প্রতিটিতে একটি বডি রয়েছে, যা একটি অভিব্যক্তি। এক্সপ্রেশনগুলি হল ইউনারী এবং বাইনারি অপারেশন, অন্যান্য এক্সপ্রেশনের তালিকা, নিয়ন্ত্রণ প্রবাহ ইত্যাদির সমন্বয়ে গঠিত ব্লক। আমি আগেই বলেছি, এখানে নিয়ন্ত্রণ প্রবাহ উচ্চ-স্তরের শাখা, লুপ, ফাংশন কল ইত্যাদির মতো সুনির্দিষ্টভাবে সংগঠিত হয়। ফাংশন আর্গুমেন্ট স্ট্যাকের উপর পাস করা হয় না, কিন্তু স্পষ্টভাবে, ঠিক JS মত. এছাড়াও গ্লোবাল ভেরিয়েবল আছে, কিন্তু আমি সেগুলি ব্যবহার করিনি, তাই আমি আপনাকে সেগুলি সম্পর্কে বলব না।

ফাংশনগুলির স্থানীয় ভেরিয়েবলও রয়েছে, শূন্য থেকে সংখ্যাযুক্ত, প্রকারের: int32 / int64 / float / double। এই ক্ষেত্রে, প্রথম n স্থানীয় ভেরিয়েবল হল ফাংশনে পাস করা আর্গুমেন্ট। অনুগ্রহ করে মনে রাখবেন যে যদিও এখানে সবকিছু নিয়ন্ত্রণ প্রবাহের ক্ষেত্রে সম্পূর্ণ নিম্ন-স্তরের নয়, পূর্ণসংখ্যাগুলি এখনও "স্বাক্ষরিত/আনসাইনড" বৈশিষ্ট্য বহন করে না: সংখ্যাটি কীভাবে আচরণ করে তা অপারেশন কোডের উপর নির্ভর করে।

সাধারণভাবে বলতে গেলে, Binaryen প্রদান করে সাধারণ সি-এপিআই: আপনি একটি মডিউল তৈরি করেন, তার মধ্যে এক্সপ্রেশন তৈরি করুন - ইউনারী, বাইনারি, অন্যান্য এক্সপ্রেশন থেকে ব্লক, নিয়ন্ত্রণ প্রবাহ ইত্যাদি। তারপরে আপনি একটি ফাংশন তৈরি করুন যার শরীর হিসাবে একটি অভিব্যক্তি। যদি আপনার, আমার মতো, একটি নিম্ন-স্তরের রূপান্তর গ্রাফ থাকে, তাহলে রিলোপার উপাদান আপনাকে সাহায্য করবে। যতদূর আমি বুঝতে পারি, একটি ব্লকে এক্সিকিউশন প্রবাহের উচ্চ-স্তরের নিয়ন্ত্রণ ব্যবহার করা সম্ভব, যতক্ষণ না এটি ব্লকের সীমানার বাইরে না যায় - অর্থাৎ, অভ্যন্তরীণ দ্রুত পাথ / ধীর করা সম্ভব বিল্ট-ইন TLB ক্যাশে প্রসেসিং কোডের ভিতরে পাথ ব্রাঞ্চিং, কিন্তু "বাহ্যিক" নিয়ন্ত্রণ প্রবাহে হস্তক্ষেপ না করার জন্য। আপনি যখন একটি রিলোপারকে মুক্ত করেন, তখন এর ব্লকগুলি মুক্ত হয়; যখন আপনি একটি মডিউল মুক্ত করেন, তখন এটিতে বরাদ্দ করা এক্সপ্রেশন, ফাংশন ইত্যাদি অদৃশ্য হয়ে যায় আখড়া.

যাইহোক, আপনি যদি কোনো দোভাষীর উদাহরণ অপ্রয়োজনীয় তৈরি এবং মুছে ফেলা ছাড়াই ফ্লাইতে কোড ব্যাখ্যা করতে চান, তাহলে এই যুক্তিটিকে একটি C++ ফাইলে রাখা এবং সেখান থেকে সরাসরি লাইব্রেরির সম্পূর্ণ C++ API পরিচালনা করা, রেডি- তৈরি মোড়ক

তাই আপনার প্রয়োজনীয় কোড জেনারেট করতে

// настроить глобальные параметры (можно поменять потом)
BinaryenSetAPITracing(0);

BinaryenSetOptimizeLevel(3);
BinaryenSetShrinkLevel(2);

// создать модуль
BinaryenModuleRef MODULE = BinaryenModuleCreate();

// описать типы функций (как создаваемых, так и вызываемых)
helper_type  BinaryenAddFunctionType(MODULE, "helper-func", BinaryenTypeInt32(), int32_helper_args, ARRAY_SIZE(int32_helper_args));
// (int23_helper_args приоб^Wсоздаются отдельно)

// сконструировать супер-мега выражение
// ... ну тут уж вы как-нибудь сами :)

// потом создать функцию
BinaryenAddFunction(MODULE, "tb_fun", tb_func_type, func_locals, FUNC_LOCALS_COUNT, expr);
BinaryenAddFunctionExport(MODULE, "tb_fun", "tb_fun");
...
BinaryenSetMemory(MODULE, (1 << 15) - 1, -1, NULL, NULL, NULL, NULL, NULL, 0, 0);
BinaryenAddMemoryImport(MODULE, NULL, "env", "memory", 0);
BinaryenAddTableImport(MODULE, NULL, "env", "tb_funcs");

// запросить валидацию и оптимизацию при желании
assert (BinaryenModuleValidate(MODULE));
BinaryenModuleOptimize(MODULE);

... যদি আমি কিছু ভুলে গিয়ে থাকি, দুঃখিত, এটি শুধুমাত্র স্কেলের প্রতিনিধিত্ব করার জন্য, এবং বিবরণ ডকুমেন্টেশনে রয়েছে।

এবং এখন ক্র্যাক-ফেক্স-পেক্স শুরু হয়, এরকম কিছু:

static char buf[1 << 20];
BinaryenModuleOptimize(MODULE);
BinaryenSetMemory(MODULE, 0, -1, NULL, NULL, NULL, NULL, NULL, 0, 0);
int sz = BinaryenModuleWrite(MODULE, buf, sizeof(buf));
BinaryenModuleDispose(MODULE);
EM_ASM({
  var module = new WebAssembly.Module(new Uint8Array(wasmMemory.buffer, $0, $1));
  var fptr = $2;
  var instance = new WebAssembly.Instance(module, {
      'env': {
          'memory': wasmMemory,
          // ...
      }
  );
  // и вот уже у вас есть instance!
}, buf, sz);

কিউইএমইউ এবং জেএস-এর বিশ্বগুলিকে কোনোভাবে সংযুক্ত করার জন্য এবং একই সময়ে সংকলিত ফাংশনগুলি দ্রুত অ্যাক্সেস করার জন্য, একটি অ্যারে তৈরি করা হয়েছিল (লঞ্চারে আমদানি করার জন্য ফাংশনগুলির একটি টেবিল), এবং তৈরি করা ফাংশনগুলি সেখানে স্থাপন করা হয়েছিল। দ্রুত সূচকটি গণনা করার জন্য, শূন্য শব্দ অনুবাদ ব্লকের সূচীটি প্রাথমিকভাবে এটি হিসাবে ব্যবহৃত হয়েছিল, কিন্তু তারপরে এই সূত্রটি ব্যবহার করে গণনা করা সূচকটি কেবল ক্ষেত্রের মধ্যে ফিট হতে শুরু করে struct TranslationBlock.

উপায় দ্বারা, ডেমো (বর্তমানে একটি অস্পষ্ট লাইসেন্স সহ) শুধুমাত্র ফায়ারফক্সে ভাল কাজ করে। ক্রোম ডেভেলপার ছিলেন কোনোভাবে প্রস্তুত নয় যে কেউ WebAssembly মডিউলগুলির এক হাজারেরও বেশি উদাহরণ তৈরি করতে চাইবে, তাই তারা প্রতিটির জন্য ভার্চুয়াল ঠিকানার স্থানের একটি গিগাবাইট বরাদ্দ করেছে...

এখন এ পর্যন্তই. কেউ আগ্রহী হলে সম্ভবত অন্য নিবন্ধ হবে. যথা, অন্তত অবশেষ মাত্র ব্লক ডিভাইস কাজ করে. ওয়েব অ্যাসেম্বলি মডিউলগুলির সংকলনকে অ্যাসিঙ্ক্রোনাস করাও বোধগম্য হতে পারে, যেমনটি জেএস বিশ্বে প্রথাগত, যেহেতু এখনও একটি দোভাষী রয়েছে যেটি নেটিভ মডিউল প্রস্তুত না হওয়া পর্যন্ত এই সমস্ত করতে পারে।

অবশেষে একটি ধাঁধা: আপনি একটি 32-বিট আর্কিটেকচারে একটি বাইনারি সংকলন করেছেন, কিন্তু কোডটি, মেমরি অপারেশনের মাধ্যমে, বাইনারিন থেকে, স্ট্যাকের কোথাও বা 2-বিট ঠিকানা স্থানের উপরের 32 গিগাবাইটের অন্য কোথাও উঠে যায়। সমস্যা হল যে বাইনারিনের দৃষ্টিকোণ থেকে এটি খুব বড় একটি ফলস্বরূপ ঠিকানা অ্যাক্সেস করছে। কিভাবে এই কাছাকাছি পেতে?

অ্যাডমিনের পথে

আমি শেষ পর্যন্ত এটা পরীক্ষা করে দেখিনি, কিন্তু আমার প্রথম চিন্তা ছিল, "যদি আমি ৩২-বিট ইনস্টল করি?" Linuxএরপর অ্যাড্রেস স্পেসের উপরের অংশটি কার্নেল দখল করবে। প্রশ্ন শুধু একটাই, এর কতটা অংশ দখল করা হবে: ১ জিবি নাকি ২ জিবি।

একটি প্রোগ্রামারের উপায়ে (অনুশীলনকারীদের জন্য বিকল্প)

ঠিকানা স্থানের শীর্ষে একটি বুদবুদ ফুঁকানো যাক। আমি নিজেই বুঝতে পারছি না কেন এটি কাজ করে - সেখানে ইতিমধ্যে একটি স্ট্যাক থাকতে হবে। কিন্তু "আমরা অনুশীলনকারী: সবকিছু আমাদের জন্য কাজ করে, কিন্তু কেউ জানে না কেন..."

// 2gbubble.c
// Usage: LD_PRELOAD=2gbubble.so <program>

#include <sys/mman.h>
#include <assert.h>

void __attribute__((constructor)) constr(void)
{
  assert(MAP_FAILED != mmap(1u >> 31, (1u >> 31) - (1u >> 20), PROT_NONE, MAP_ANONYMOUS | MAP_PRIVATE, -1, 0));
}

... এটা সত্য যে এটি ভ্যালগ্রিন্ডের সাথে সামঞ্জস্যপূর্ণ নয়, কিন্তু, ভাগ্যক্রমে, ভালগ্রিন্ড নিজেই খুব কার্যকরভাবে সবাইকে সেখান থেকে ঠেলে দেয় :)

সম্ভবত কেউ আমার এই কোডটি কীভাবে কাজ করে তার আরও ভাল ব্যাখ্যা দেবে ...

উত্স: www.habr.com