পাইথন কোডের 4 মিলিয়ন লাইন টাইপচেক করার পথ। অংশ 3

পাইথন কোডের জন্য টাইপ চেকিং সিস্টেম প্রয়োগ করার সময় ড্রপবক্স যে পথটি নিয়েছিল সে সম্পর্কে উপাদানের অনুবাদের তৃতীয় অংশটি আমরা আপনার দৃষ্টিতে উপস্থাপন করছি।

→ পূর্ববর্তী অংশ: প্রথম и দ্বিতীয়

টাইপ করা কোডের 4 মিলিয়ন লাইনে পৌঁছেছে

আরেকটি বড় চ্যালেঞ্জ (এবং অভ্যন্তরীণভাবে জরিপ করা ব্যক্তিদের মধ্যে দ্বিতীয় সবচেয়ে সাধারণ উদ্বেগ) ছিল ড্রপবক্সে টাইপ চেক দ্বারা আচ্ছাদিত কোডের পরিমাণ বৃদ্ধি। আমরা এই সমস্যাটি সমাধান করার জন্য বিভিন্ন পদ্ধতির চেষ্টা করেছি, স্বাভাবিকভাবে টাইপ করা কোডবেসের আকার বাড়ানো থেকে শুরু করে স্ট্যাটিক এবং ডাইনামিক স্বয়ংক্রিয় টাইপ ইনফারেন্সের উপর মাইপি টিমের প্রচেষ্টাকে ফোকাস করা পর্যন্ত। শেষ পর্যন্ত, দেখে মনে হচ্ছিল কোন সহজ বিজয়ী কৌশল ছিল না, কিন্তু আমরা অনেক পন্থা একত্রিত করে টীকাযুক্ত কোডের ভলিউমে দ্রুত বৃদ্ধি অর্জন করতে সক্ষম হয়েছি।

ফলস্বরূপ, আমাদের বৃহত্তম পাইথন সংগ্রহস্থলে (ব্যাকএন্ড কোড সহ) টীকাযুক্ত কোডের প্রায় 4 মিলিয়ন লাইন রয়েছে। স্ট্যাটিক কোড টাইপিংয়ের কাজটি প্রায় তিন বছরে শেষ হয়েছিল। Mypy এখন বিভিন্ন ধরনের কোড কভারেজ রিপোর্ট সমর্থন করে যা টাইপিং অগ্রগতি নিরীক্ষণ করা সহজ করে। বিশেষত, আমরা প্রকারের অস্পষ্টতা সহ কোডের উপর প্রতিবেদন তৈরি করতে পারি, যেমন, উদাহরণস্বরূপ, একটি প্রকারের সুস্পষ্ট ব্যবহার Any টীকাগুলিতে যা যাচাই করা যায় না, বা টাইপ টীকা নেই এমন তৃতীয় পক্ষের লাইব্রেরি আমদানি করার মতো জিনিসগুলির সাথে। ড্রপবক্সে টাইপ চেকিংয়ের নির্ভুলতা উন্নত করার একটি প্রকল্পের অংশ হিসাবে, আমরা একটি কেন্দ্রীভূত পাইথন সংগ্রহস্থলে কিছু জনপ্রিয় ওপেন সোর্স লাইব্রেরির জন্য টাইপ সংজ্ঞা (তথাকথিত স্টাব ফাইল) উন্নত করতে অবদান রেখেছি। টাইপশেড.

আমরা টাইপ সিস্টেমের নতুন বৈশিষ্ট্যগুলি প্রয়োগ করেছি (এবং পরবর্তী PEP তে প্রমিত) যা কিছু নির্দিষ্ট পাইথন প্যাটার্নের জন্য আরও সুনির্দিষ্ট প্রকারের অনুমতি দেয়। এর একটি উল্লেখযোগ্য উদাহরণ TypeDict, যা JSON-এর মতো অভিধানগুলির জন্য প্রকারগুলি সরবরাহ করে যেগুলির স্ট্রিং কীগুলির একটি নির্দিষ্ট সেট রয়েছে, প্রতিটির নিজস্ব ধরণের মান রয়েছে৷ আমরা টাইপ সিস্টেম প্রসারিত করতে থাকবে. আমাদের পরবর্তী পদক্ষেপটি হতে পারে পাইথনের সংখ্যাগত ক্ষমতার জন্য সমর্থন উন্নত করা।

টীকাযুক্ত কোডের লাইনের সংখ্যা: সার্ভার

টীকাযুক্ত কোডের লাইনের সংখ্যা: ক্লায়েন্ট

টীকাযুক্ত কোডের মোট লাইনের সংখ্যা

ড্রপবক্সে টীকাযুক্ত কোডের পরিমাণ বাড়ানোর জন্য আমরা যা করেছি তার প্রধান বৈশিষ্ট্যগুলির একটি সংক্ষিপ্ত বিবরণ এখানে রয়েছে:

টীকা কঠোরতা. আমরা ধীরে ধীরে নতুন কোড টীকা করার কঠোরতার জন্য প্রয়োজনীয়তা বৃদ্ধি করেছি। আমরা লিন্টার টিপস দিয়ে শুরু করেছি যা ইতিমধ্যে কিছু টীকাযুক্ত ফাইলগুলিতে টীকা যোগ করার পরামর্শ দিয়েছে। আমাদের এখন নতুন পাইথন ফাইল এবং বেশিরভাগ বিদ্যমান ফাইলে টাইপ টীকা প্রয়োজন।

রিপোর্ট টাইপ করা. আমরা দলগুলিকে তাদের কোডে টাইপ করার স্তরের উপর সাপ্তাহিক প্রতিবেদন পাঠাই এবং প্রথমে কী টীকা করা উচিত সে বিষয়ে পরামর্শ দিই।

মাইপির জনপ্রিয়করণ। আমরা ইভেন্টে mypy সম্পর্কে কথা বলি এবং টাইপ টীকা দিয়ে শুরু করতে সাহায্য করার জন্য দলগুলির সাথে কথা বলি।

ভোট। আমরা প্রধান সমস্যা চিহ্নিত করতে পর্যায়ক্রমিক ব্যবহারকারী সমীক্ষা পরিচালনা করি। আমরা এই সমস্যাগুলি সমাধানের জন্য অনেক দূর যেতে প্রস্তুত (এমনকি মাইপিকে দ্রুত করার জন্য একটি নতুন ভাষা তৈরি করা!)

কর্মক্ষমতা. আমরা ডেমন এবং mypyc ব্যবহার করে mypy-এর কর্মক্ষমতা ব্যাপকভাবে উন্নত করেছি। এটি টীকা প্রক্রিয়ার সময় উদ্ভূত অসুবিধাগুলিকে মসৃণ করার জন্য এবং প্রচুর পরিমাণে কোডের সাথে কাজ করতে সক্ষম হওয়ার জন্য করা হয়েছিল৷

সম্পাদকদের সাথে একীকরণ। আমরা ড্রপবক্সে জনপ্রিয় এডিটরগুলিতে মাইপি চালানো সমর্থন করার জন্য টুল তৈরি করেছি। এর মধ্যে রয়েছে PyCharm, Vim এবং VS কোড। এটি কোডটি টীকা করার এবং এর কার্যকারিতা পরীক্ষা করার প্রক্রিয়াটিকে ব্যাপকভাবে সরল করেছে। বিদ্যমান কোড টীকা করার সময় এই ধরনের ক্রিয়া সাধারণ।

স্ট্যাটিক বিশ্লেষণ। আমরা স্ট্যাটিক বিশ্লেষণ টুল ব্যবহার করে ফাংশন স্বাক্ষর অনুমান করার জন্য একটি টুল তৈরি করেছি। এই টুলটি শুধুমাত্র তুলনামূলকভাবে সহজ পরিস্থিতিতে কাজ করতে পারে, কিন্তু এটি আমাদের অনেক প্রচেষ্টা ছাড়াই আমাদের কোড টাইপ কভারেজ বাড়াতে সাহায্য করেছে।

তৃতীয় পক্ষের লাইব্রেরির জন্য সমর্থন। আমাদের অনেক প্রকল্প SQLAlchemy টুলকিট ব্যবহার করে। এটি পাইথনের গতিশীল ক্ষমতার সুবিধা নেয় যে PEP 484 প্রকারগুলি সরাসরি মডেল করতে অক্ষম। আমরা, PEP 561 অনুসারে, সংশ্লিষ্ট স্টাব ফাইল তৈরি করেছি এবং mypy এর জন্য একটি প্লাগইন লিখেছি (মুক্ত উৎস), যা SQLAlchemy সমর্থন উন্নত করে।

অসুবিধা আমরা সম্মুখীন

টাইপ করা কোডের 4 মিলিয়ন লাইনের পথ আমাদের জন্য সবসময় সহজ ছিল না। এই পথে আমরা অনেক গর্তের সম্মুখীন হয়েছি এবং বেশ কিছু ভুল করেছি। এই আমরা সম্মুখীন সমস্যার কিছু. আমরা আশা করি যে তাদের সম্পর্কে বলা অন্যদের অনুরূপ সমস্যা এড়াতে সাহায্য করবে।

অনুপস্থিত ফাইল. আমরা অল্প পরিমাণ ফাইল চেক করে আমাদের কাজ শুরু করেছি। এই ফাইলগুলিতে অন্তর্ভুক্ত নয় এমন কিছু চেক করা হয়নি। ফাইলগুলি স্ক্যানিং তালিকায় যুক্ত করা হয়েছিল যখন তাদের মধ্যে প্রথম টীকাগুলি উপস্থিত হয়েছিল৷ যদি যাচাইয়ের সুযোগের বাইরে অবস্থিত একটি মডিউল থেকে কিছু আমদানি করা হয়, তাহলে আমরা মানগুলির সাথে কাজ করার কথা বলছিলাম Any, যা মোটেও পরীক্ষা করা হয়নি। এটি টাইপিং নির্ভুলতার উল্লেখযোগ্য ক্ষতির দিকে পরিচালিত করে, বিশেষ করে মাইগ্রেশনের প্রাথমিক পর্যায়ে। এই পদ্ধতিটি এখনও পর্যন্ত আশ্চর্যজনকভাবে ভাল কাজ করেছে, যদিও একটি সাধারণ পরিস্থিতি হল যে পর্যালোচনার সুযোগে ফাইল যোগ করা কোডবেসের অন্যান্য অংশে সমস্যা প্রকাশ করে। সবচেয়ে খারাপ ক্ষেত্রে, যখন কোডের দুটি বিচ্ছিন্ন ক্ষেত্রগুলিকে একত্রিত করা হয়েছিল, যেখানে একে অপরের থেকে স্বাধীনভাবে, প্রকারগুলি ইতিমধ্যেই পরীক্ষা করা হয়েছিল, এটি প্রমাণিত হয়েছিল যে এই অঞ্চলগুলির প্রকারগুলি একে অপরের সাথে বেমানান। এর ফলে টীকাগুলিতে অনেক পরিবর্তন করার প্রয়োজন হয়েছিল। এখন পিছনে তাকালে, আমরা বুঝতে পারি যে আমাদের শীঘ্রই mypy এর টাইপ চেকিং এলাকায় মূল লাইব্রেরি মডিউল যোগ করা উচিত ছিল। এটি আমাদের কাজকে অনেক বেশি অনুমানযোগ্য করে তুলবে।

পুরানো কোড টীকা. আমরা যখন শুরু করি, তখন আমাদের কাছে বিদ্যমান পাইথন কোডের প্রায় 4 মিলিয়ন লাইন ছিল। এটা স্পষ্ট যে এই সমস্ত কোড টীকা করা একটি সহজ কাজ ছিল না. আমরা PyAnnotate নামে একটি টুল তৈরি করেছি যা পরীক্ষার সময় টাইপ তথ্য সংগ্রহ করতে পারে এবং সংগৃহীত তথ্যের উপর ভিত্তি করে আপনার কোডে টাইপ টীকা যোগ করতে পারে। যাইহোক, আমরা এই সরঞ্জামটির একটি বিশেষভাবে ব্যাপক গ্রহণ লক্ষ্য করিনি। তথ্য সংগ্রহের ধরন ধীর ছিল, এবং স্বয়ংক্রিয়ভাবে তৈরি করা টীকাগুলির জন্য প্রায়ই অনেকগুলি ম্যানুয়াল সম্পাদনা প্রয়োজন হয়। আমরা প্রতিবার কোড পর্যালোচনা করার সময় এই টুলটি স্বয়ংক্রিয়ভাবে চালানোর কথা ভেবেছিলাম, বা প্রকৃত নেটওয়ার্ক অনুরোধের কিছু ছোট ভলিউম বিশ্লেষণের ভিত্তিতে টাইপ তথ্য সংগ্রহ করার কথা ভেবেছিলাম, কিন্তু না করার সিদ্ধান্ত নিয়েছিলাম কারণ উভয় পদ্ধতি খুবই ঝুঁকিপূর্ণ ছিল।

ফলস্বরূপ, এটি লক্ষ করা যেতে পারে যে বেশিরভাগ কোড ম্যানুয়ালি তার মালিকদের দ্বারা টীকা করা হয়েছিল। এই প্রক্রিয়াটিকে সঠিক পথে পরিচালিত করার জন্য, আমরা বিশেষ করে গুরুত্বপূর্ণ মডিউল এবং ফাংশনগুলির উপর প্রতিবেদন তৈরি করি যা টীকা করা দরকার। উদাহরণস্বরূপ, একটি লাইব্রেরি মডিউলের জন্য টাইপ টীকা প্রদান করা গুরুত্বপূর্ণ যা শত শত জায়গায় ব্যবহৃত হয়। কিন্তু একটি পুরানো পরিষেবা যা একটি নতুন দিয়ে প্রতিস্থাপিত হচ্ছে তা আর টীকা দেওয়ার মতো গুরুত্বপূর্ণ নয়৷ আমরা লিগ্যাসি কোডের জন্য টাইপ টীকা তৈরি করতে স্ট্যাটিক বিশ্লেষণ ব্যবহার করে পরীক্ষা করছি।

চক্রাকার আমদানি। উপরে, আমি সাইক্লিক ইম্পোর্ট ("নির্ভরতা জট") সম্পর্কে কথা বলেছি, যার অস্তিত্ব মাইপিকে গতি বাড়ানো কঠিন করে তুলেছে। এই সাইক্লিক ইম্পোর্ট দ্বারা সৃষ্ট সমস্ত ধরণের ইডিয়মকে মাইপি সমর্থন করার জন্য আমাদের কঠোর পরিশ্রম করতে হয়েছিল। আমরা সম্প্রতি একটি প্রধান সিস্টেম রিডিজাইন প্রজেক্ট সম্পন্ন করেছি যা সার্কুলার ইম্পোর্ট সংক্রান্ত mypy-এর বেশিরভাগ সমস্যার সমাধান করেছে। এই সমস্যাগুলি আসলে প্রকল্পের প্রথম দিকের দিনগুলি থেকে উদ্ভূত হয়েছিল, আলোর থেকে ফিরে, শিক্ষামূলক ভাষা যা মাইপি প্রকল্পটি মূলত ফোকাস করেছিল। অ্যালোর সিনট্যাক্স সাইক্লিক ইম্পোর্ট কমান্ডের সাথে সমস্যার সমাধান করা সহজ করে তোলে। আধুনিক মাইপি তার আগের, সরল মনের বাস্তবায়ন থেকে কিছু সীমাবদ্ধতা উত্তরাধিকারসূত্রে পেয়েছে (যা Alore-এর জন্য খুবই উপযুক্ত ছিল)। পাইথন বৃত্তাকার আমদানির সাথে কাজ করা কঠিন করে তোলে, প্রধানত কারণ অভিব্যক্তি অস্পষ্ট। উদাহরণস্বরূপ, একটি অ্যাসাইনমেন্ট অপারেশন আসলে একটি টাইপ উপনাম সংজ্ঞায়িত করতে পারে। বেশিরভাগ আমদানি লুপ প্রক্রিয়া না হওয়া পর্যন্ত Mypy সবসময় এই ধরনের জিনিস সনাক্ত করতে সক্ষম হয় না। আলোরে এমন কোন অস্পষ্টতা ছিল না। সিস্টেম ডেভেলপমেন্টের প্রাথমিক পর্যায়ে নেওয়া দুর্বল সিদ্ধান্তগুলি অনেক বছর পরে প্রোগ্রামারদের কাছে একটি অপ্রীতিকর বিস্ময় উপস্থাপন করতে পারে।

ফলাফল: কোডের 5 মিলিয়ন লাইন এবং নতুন দিগন্তের পথ

মাইপি প্রকল্পটি অনেক দূর এগিয়েছে - প্রাথমিক প্রোটোটাইপ থেকে এমন একটি সিস্টেম যা 4 মিলিয়ন লাইনের প্রোডাকশন কোড প্রকার নিয়ন্ত্রণ করে। মাইপি বিকশিত হওয়ার সাথে সাথে পাইথনের টাইপ ইঙ্গিতগুলি প্রমিত করা হয়েছিল। আজকাল, পাইথন কোড টাইপ করার চারপাশে একটি শক্তিশালী ইকোসিস্টেম গড়ে উঠেছে। এটিতে লাইব্রেরি সমর্থনের জন্য একটি জায়গা রয়েছে, এতে আইডিই এবং সম্পাদকদের জন্য সহায়ক সরঞ্জাম রয়েছে, এতে বিভিন্ন ধরণের নিয়ন্ত্রণ ব্যবস্থা রয়েছে, যার প্রত্যেকটির নিজস্ব সুবিধা এবং অসুবিধা রয়েছে।

যদিও টাইপ চেকিং ইতিমধ্যেই ড্রপবক্সে দেওয়া আছে, আমি বিশ্বাস করি আমরা এখনও পাইথন কোড টাইপ করার প্রথম দিকে রয়েছি। আমি মনে করি টাইপ চেকিং প্রযুক্তিগুলি বিকশিত এবং উন্নত হতে থাকবে।

আপনি যদি আপনার বৃহৎ-স্কেল পাইথন প্রকল্পে টাইপ চেকিং ব্যবহার না করে থাকেন, তাহলে জেনে রাখুন যে স্ট্যাটিক টাইপিংয়ে যাওয়া শুরু করার জন্য এখনই খুব ভালো সময়। আমি তাদের সাথে কথা বলেছি যারা অনুরূপ পরিবর্তন করেছেন। তাদের কেউই আফসোস করেননি। টাইপ চেকিং পাইথনকে এমন একটি ভাষা তৈরি করে যা "নিয়মিত পাইথন" এর চেয়ে বড় প্রকল্পগুলির বিকাশের জন্য অনেক বেশি উপযুক্ত।

প্রিয় পাঠকগণ! আপনি কি আপনার পাইথন প্রকল্পগুলিতে টাইপ চেকিং ব্যবহার করেন?

উত্স: www.habr.com