পাইথন কোডের 4 মিলিয়ন লাইন টাইপচেক করার পথ। অংশ 1

ড্রপবক্স পাইথন কোড টাইপ কন্ট্রোলের সাথে কীভাবে ডিল করে সে সম্পর্কে উপাদানের অনুবাদের প্রথম অংশটি আজ আমরা আপনার নজরে আনছি।

ড্রপবক্স পাইথনে অনেক কিছু লিখে। এটি এমন একটি ভাষা যা আমরা অত্যন্ত ব্যাপকভাবে ব্যবহার করি - উভয় ব্যাকএন্ড পরিষেবা এবং ডেস্কটপ ক্লায়েন্ট অ্যাপ্লিকেশনের জন্য। আমরা Go, TypeScript এবং Rust অনেক ব্যবহার করি, কিন্তু Python আমাদের প্রধান ভাষা। আমাদের স্কেল বিবেচনা করে, এবং আমরা পাইথন কোডের লক্ষ লক্ষ লাইন সম্পর্কে কথা বলছি, এটি প্রমাণিত হয়েছে যে এই জাতীয় কোডের গতিশীল টাইপিং অপ্রয়োজনীয়ভাবে এর বোঝার জটিলতা তৈরি করেছে এবং শ্রম উত্পাদনশীলতাকে গুরুতরভাবে প্রভাবিত করতে শুরু করেছে। এই সমস্যাটি প্রশমিত করার জন্য, আমরা ধীরে ধীরে mypy ব্যবহার করে আমাদের কোডকে স্ট্যাটিক টাইপ চেকিং-এ রূপান্তর করা শুরু করেছি। এটি সম্ভবত পাইথনের জন্য সবচেয়ে জনপ্রিয় স্ট্যান্ড-অলোন টাইপ চেকিং সিস্টেম। Mypy একটি ওপেন সোর্স প্রকল্প, এর প্রধান বিকাশকারীরা ড্রপবক্সে কাজ করে।

ড্রপবক্স এই স্কেলে পাইথন কোডে স্ট্যাটিক টাইপ চেকিং বাস্তবায়নকারী প্রথম কোম্পানিগুলির মধ্যে একটি। Mypy আজকাল হাজার হাজার প্রকল্পে ব্যবহৃত হয়। এই সরঞ্জামটি, যেমন তারা বলে, "যুদ্ধে পরীক্ষিত" হয়েছে অসংখ্যবার। আমরা এখন যেখানে আছি সেখানে পৌঁছতে আমাদের অনেক দূর যেতে হয়েছিল। পথ ধরে অনেক ব্যর্থ প্রচেষ্টা এবং ব্যর্থ পরীক্ষা হয়েছে. এই অংশটি পাইথনে স্ট্যাটিক টাইপ চেকিংয়ের ইতিহাস বর্ণনা করে, আমার একাডেমিক গবেষণা প্রকল্পের অংশ হিসাবে এর পাথুরে শুরু থেকে আজ পর্যন্ত, যখন টাইপ চেক এবং টাইপ ইঙ্গিত অগণিত পাইথন বিকাশকারীদের মধ্যে সাধারণ হয়ে উঠেছে। এই প্রক্রিয়াগুলি এখন আইডিই এবং কোড বিশ্লেষকগুলির মতো বিভিন্ন সরঞ্জাম দ্বারা সমর্থিত।

→ দ্বিতীয় অংশ পড়ুন

টাইপ চেকিং কেন প্রয়োজন?

আপনি যদি কখনো ডাইনামিক্যালি টাইপ করা পাইথন ব্যবহার করে থাকেন, তাহলে আপনি একটু বিভ্রান্ত হতে পারেন যে কেন ইদানীং স্ট্যাটিক টাইপিং এবং মাইপি নিয়ে এত হট্টগোল হচ্ছে। অথবা এটা হতে পারে যে আপনি পাইথনকে এর গতিশীল টাইপিংয়ের কারণে অবিকল পছন্দ করেন এবং যা ঘটছে তা আপনাকে বিরক্ত করে। স্ট্যাটিক টাইপিং-এর মূল্যের চাবিকাঠি হল সিদ্ধান্তগুলির স্কেল: আপনার প্রকল্প যত বড় হবে, তত বেশি আপনি স্ট্যাটিক টাইপিংয়ের দিকে ঝুঁকবেন এবং শেষ পর্যন্ত, আপনার সত্যিই এটির প্রয়োজন হবে।

ধরা যাক একটি প্রকল্প কয়েক হাজার লাইনের আকারে পৌঁছেছে এবং দেখা যাচ্ছে যে বেশ কয়েকটি প্রোগ্রামার এতে কাজ করছে। এই ধরনের একটি প্রকল্প বিবেচনা করার সময়, আমাদের অভিজ্ঞতার উপর ভিত্তি করে, আমরা বলতে পারি যে এর কোড বোঝা বিকাশকারীর উত্পাদনশীলতা বজায় রাখার চাবিকাঠি হবে। টাইপ টীকা ব্যতীত, এটি বের করা কঠিন হতে পারে, উদাহরণস্বরূপ, কোন ফাংশনে কোন আর্গুমেন্টগুলি পাস করা উচিত, বা একটি নির্দিষ্ট ফাংশন কী ধরনের মান ফেরত দিতে পারে। এখানে সাধারণ প্রশ্ন রয়েছে যেগুলির উত্তর দেওয়া প্রায়শই টাইপ টীকা ব্যবহার না করে কঠিন হয়:

• এই ফাংশন ফিরে আসতে পারেন None?
• এই যুক্তি কি হওয়া উচিত? items?
• এট্রিবিউট টাইপ কি id: int তাই কি, str, বা হয়তো কিছু কাস্টম টাইপ?
• এই যুক্তি একটি তালিকা হতে হবে? এটাতে একটি tuple পাস করা সম্ভব?

আপনি যদি নিম্নলিখিত টাইপ-টীকাযুক্ত কোড স্নিপেটটি দেখেন এবং এই জাতীয় প্রশ্নের উত্তর দেওয়ার চেষ্টা করেন, তাহলে দেখা যাচ্ছে যে এটি একটি সহজ কাজ:

class Resource:
    id: bytes
    ...
    def read_metadata(self, 
                      items: Sequence[str]) -> Dict[str, MetadataItem]:
        ...

• read_metadata ফিরে আসে না Noneকারণ রিটার্ন টাইপ নয় Optional[…].
• যুক্তি items লাইনের একটি ক্রম। এটা কোন ক্রমে পুনরাবৃত্তি করা যাবে না.
• গুণ id বাইটের একটি স্ট্রিং।

একটি আদর্শ বিশ্বে, কেউ আশা করবে যে এই ধরনের সমস্ত সূক্ষ্মতা অন্তর্নির্মিত ডকুমেন্টেশনে (ডকস্ট্রিং) বর্ণনা করা হবে। কিন্তু অভিজ্ঞতা অনেক উদাহরণ প্রদান করে যে এই ধরনের ডকুমেন্টেশন প্রায়শই কোডে পরিলক্ষিত হয় না যার সাথে আপনাকে কাজ করতে হবে। এমনকি যদি এই ধরনের ডকুমেন্টেশন কোডে উপস্থিত থাকে, আপনি এর সম্পূর্ণ সঠিকতার উপর নির্ভর করতে পারবেন না। এই ডকুমেন্টেশনটি অস্পষ্ট, অস্পষ্ট এবং ভুল বোঝাবুঝির জন্য উন্মুক্ত হতে পারে। বড় দল বা বড় প্রকল্পে, এই সমস্যা অত্যন্ত তীব্র হতে পারে।

পাইথন প্রাথমিক বা মাঝামাঝি পর্যায়ের প্রজেক্টে পারদর্শী হলেও, কিছু সময়ে সফল প্রজেক্ট এবং কোম্পানি যারা পাইথন ব্যবহার করে তারা একটি গুরুত্বপূর্ণ প্রশ্নের সম্মুখীন হতে পারে: "আমাদের কি স্ট্যাটিকলি টাইপ করা ভাষায় সবকিছু পুনর্লিখন করা উচিত?"

মাইপির মতো টাইপ চেকিং সিস্টেমগুলি বিকাশকারীকে প্রকারগুলি বর্ণনা করার জন্য একটি আনুষ্ঠানিক ভাষা প্রদান করে এবং প্রোগ্রাম বাস্তবায়নের (এবং, ঐচ্ছিকভাবে, তাদের অস্তিত্বের জন্য পরীক্ষা করে) টাইপ ঘোষণার সাথে মেলে তা পরীক্ষা করে উপরের সমস্যার সমাধান করে। সাধারণভাবে, আমরা বলতে পারি যে এই সিস্টেমগুলি আমাদেরকে সাবধানে যাচাইকৃত ডকুমেন্টেশনের মতো কিছু সরবরাহ করে।

এই জাতীয় সিস্টেমগুলির ব্যবহারের অন্যান্য সুবিধা রয়েছে এবং সেগুলি সম্পূর্ণ অ-তুচ্ছ:

• টাইপ চেকিং সিস্টেম কিছু ছোটখাটো (এবং এত ছোট নয়) ত্রুটি সনাক্ত করতে পারে। একটি সাধারণ উদাহরণ হল যখন তারা একটি মান প্রক্রিয়া করতে ভুলে যায় None বা অন্য কোনো বিশেষ শর্ত।
• রিফ্যাক্টরিং কোডটি ব্যাপকভাবে সরলীকৃত কারণ টাইপ চেকার প্রায়শই আপনাকে বলে যে কোন কোডটি পরিবর্তন করতে হবে। একই সময়ে, আমাদের কোডের 100% পরীক্ষার কভারেজের উপর নির্ভর করার দরকার নেই, যা সাধারণত যে কোনও ক্ষেত্রেই অসম্ভব। কী ভুল তা বের করার জন্য আমাদের স্ট্যাক ট্রেস রিপোর্টের গভীরে খনন করার দরকার নেই।
• এমনকি বড় প্রকল্পেও, mypy প্রায়ই এক সেকেন্ডের ভগ্নাংশে একটি সম্পূর্ণ টাইপ চেক করতে পারে। এবং পরীক্ষা চালানোর জন্য সাধারণত কয়েক সেকেন্ড বা এমনকি মিনিট সময় লাগে। টাইপ চেকিং সিস্টেম প্রোগ্রামারকে তাৎক্ষণিক প্রতিক্রিয়া দেয় এবং তাকে তার কাজ দ্রুত করতে দেয়। শুধুমাত্র দ্রুত কোড পরীক্ষার ফলাফল পাওয়ার জন্য তাকে এখন আর ভঙ্গুর এবং ইউনিট পরীক্ষাগুলি বজায় রাখার জন্য কঠিন লিখতে হবে না যা বাস্তব সত্তাকে মক এবং প্যাচ দিয়ে প্রতিস্থাপন করে।

IDE এবং সম্পাদক যেমন PyCharm বা ভিজ্যুয়াল স্টুডিও কোড ডেভেলপারদের স্বয়ংক্রিয় কোড সমাপ্তি, ত্রুটি হাইলাইটিং এবং সাধারণভাবে ব্যবহৃত ভাষা নির্মাণের জন্য সমর্থন প্রদান করতে টাইপ টীকাগুলির ক্ষমতা ব্যবহার করে। এবং এইগুলি শুধুমাত্র কিছু সুবিধা যা টাইপিফিকেশন প্রদান করে। কিছু প্রোগ্রামারদের জন্য, এই সবই টাইপ করার পক্ষে প্রধান যুক্তি। এটি এমন কিছু যা বাস্তবায়নের পরপরই সুবিধা নিয়ে আসে। এই ধরনের ব্যবহারের ক্ষেত্রে mypy-এর মতো আলাদা টাইপ চেকিং সিস্টেমের প্রয়োজন হয় না, যদিও এটা লক্ষ করা উচিত যে mypy টাইপ টীকা এবং কোডের মধ্যে সামঞ্জস্য বজায় রাখতে সাহায্য করে।

Mypy ব্যাকগ্রাউন্ড

আমার ড্রপবক্সে যোগ দেওয়ার কয়েক বছর আগে, কেমব্রিজে, ইউকেতে মাইপি গল্পটি শুরু হয়েছিল। আমার ডক্টরাল গবেষণার অংশ হিসাবে, আমি স্ট্যাটিকালি টাইপ করা এবং গতিশীল ভাষাগুলিকে একীভূত করার বিষয়ে কাজ করেছি। আমি জেরেমি সিক এবং ওয়ালিদ তাহের ক্রমবর্ধমান টাইপিং সম্পর্কে একটি নিবন্ধের পাশাপাশি টাইপড র্যাকেট প্রকল্প দ্বারা অনুপ্রাণিত হয়েছি। আমি বিভিন্ন প্রকল্পের জন্য একই প্রোগ্রামিং ভাষা ব্যবহার করার উপায় খুঁজে বের করার চেষ্টা করেছি - ছোট স্ক্রিপ্ট থেকে কোডবেস পর্যন্ত অনেক মিলিয়ন লাইন সমন্বিত। একই সময়ে, আমি নিশ্চিত করতে চেয়েছিলাম যে কোনও স্কেলের একটি প্রকল্পে আমাকে খুব বেশি আপস করতে হবে না। এই সবগুলির একটি গুরুত্বপূর্ণ অংশ ছিল একটি টাইপ না করা প্রোটোটাইপ প্রকল্প থেকে একটি ব্যাপকভাবে পরীক্ষিত, স্ট্যাটিকভাবে টাইপ করা সমাপ্ত পণ্যে ধীরে ধীরে সরানোর ধারণা। এই ধারনাগুলি আজকাল বেশিরভাগ ক্ষেত্রে মঞ্জুর করা হয়, তবে 2010 সালে এটি একটি সমস্যা ছিল যা এখনও সক্রিয়ভাবে গবেষণা করা হচ্ছে।

টাইপ চেকিং এ আমার প্রাথমিক কাজ পাইথনের লক্ষ্য ছিল না। পরিবর্তে আমি একটি ছোট "হোমমেড" ভাষা ব্যবহার করেছি আলোর. আমরা কী সম্পর্কে কথা বলছি সে সম্পর্কে আপনাকে ধারণা দেওয়ার জন্য এখানে একটি উদাহরণ দেওয়া হল (টাইপ টীকা ঐচ্ছিক):

def Fib(n as Int) as Int
  if n <= 1
    return n
  else
    return Fib(n - 1) + Fib(n - 2)
  end
end

আপনার নিজস্ব ডিজাইনের একটি সরলীকৃত ভাষা ব্যবহার করা বৈজ্ঞানিক গবেষণায় ব্যবহৃত একটি সাধারণ পদ্ধতি। এটি তাই নয়, অন্তত কারণ এটি দ্রুত পরীক্ষা পরিচালনা করা সম্ভব করে তোলে এবং গবেষণার সাথে যা প্রাসঙ্গিক নয় তা সহজেই উপেক্ষা করা যায়। বাস্তব-জীবনের প্রোগ্রামিং ভাষাগুলি জটিল বাস্তবায়নের সাথে বড় আকারের ঘটনা হতে থাকে, যা পরীক্ষাকে ধীর করে দেয়। যাইহোক, একটি সরলীকৃত ভাষার উপর ভিত্তি করে যেকোন ফলাফল কিছুটা সন্দেহজনক, যেহেতু এই ফলাফলগুলি পাওয়ার ক্ষেত্রে গবেষকরা ভাষার ব্যবহারিক ব্যবহারের জন্য গুরুত্বপূর্ণ বিবেচনাগুলিকে ত্যাগ করেছেন।

Alore-এর জন্য আমার টাইপ চেকারটি খুব আশাব্যঞ্জক লাগছিল, কিন্তু আমি বাস্তব কোড দিয়ে পরীক্ষা করে এটি পরীক্ষা করতে চেয়েছিলাম যা আসলে Alore-এ লেখা হয়নি। সৌভাগ্যবশত আমার জন্য, আলোর ভাষাটি মূলত পাইথনের মত একই ধারণার উপর ভিত্তি করে ছিল। টাইপ চেকারটিকে পুনরায় ডিজাইন করা যথেষ্ট সহজ ছিল যাতে এটি পাইথন সিনট্যাক্স এবং শব্দার্থবিদ্যার সাথে কাজ করতে পারে। এটি আমাদের ওপেন সোর্স পাইথন কোডে টাইপ চেক করার চেষ্টা করার অনুমতি দেয়। আমি অ্যালোর কোডকে পাইথন কোডে রূপান্তর করার জন্য একটি ট্রান্সপিলারও লিখেছিলাম এবং আমার টাইপ চেকার কোড অনুবাদ করতে এটি ব্যবহার করেছি। এখন আমার কাছে পাইথনে লেখা একটি টাইপ চেকিং সিস্টেম ছিল যা পাইথনের একটি উপসেটকে সমর্থন করে, সেই ভাষার কিছু পরিবর্তন! (কিছু স্থাপত্যগত সিদ্ধান্ত যা আলোরের জন্য বোধগম্য ছিল তা পাইথনের জন্য খারাপভাবে উপযুক্ত ছিল; এটি এখনও মাইপি কোডবেসের কিছু অংশে স্পষ্ট।)

প্রকৃতপক্ষে, আমার টাইপ সিস্টেম দ্বারা সমর্থিত ভাষাটিকে এই মুহুর্তে পাইথন বলা যায় না: এটি পাইথন 3 এর টাইপ টীকা সিনট্যাক্সের কিছু সীমাবদ্ধতার কারণে পাইথনের একটি বৈকল্পিক ছিল।

এটি জাভা এবং পাইথনের মিশ্রণের মতো লাগছিল:

int fib(int n):
    if n <= 1:
        return n
    else:
        return fib(n - 1) + fib(n - 2)

সেই সময়ে আমার ধারনাগুলির মধ্যে একটি ছিল পাইথনের এই স্বাদকে সি, বা সম্ভবত JVM বাইটকোডে কম্পাইল করে কর্মক্ষমতা উন্নত করতে টাইপ টীকা ব্যবহার করা। আমি একটি প্রোটোটাইপ কম্পাইলার লেখার পর্যায়ে পৌঁছেছি, কিন্তু এই ধারণাটি পরিত্যাগ করেছি কারণ টাইপ চেকিং নিজেই বেশ দরকারী বলে মনে হচ্ছে।

আমি সান্তা ক্লারায় PyCon 2013 এ আমার প্রকল্প উপস্থাপনা শেষ করেছি। আমি গুইডো ভ্যান রোসামের সাথেও এই বিষয়ে কথা বলেছি, পাইথনের আজীবনের জন্য উপকারী একনায়ক। তিনি আমাকে আমার কাস্টম সিনট্যাক্স বাদ দিতে এবং স্ট্যান্ডার্ড পাইথন 3 সিনট্যাক্সের সাথে লেগে থাকতে রাজি করিয়েছিলেন। পাইথন 3 ফাংশন টীকা সমর্থন করে, তাই আমার উদাহরণটি নীচের মতো পুনরায় লেখা যেতে পারে, যার ফলে একটি সাধারণ পাইথন প্রোগ্রাম হয়:

def fib(n: int) -> int:
    if n <= 1:
        return n
    else:
        return fib(n - 1) + fib(n - 2)

আমাকে কিছু আপস করতে হয়েছিল (প্রথমে, আমি উল্লেখ করতে চাই যে এই কারণেই আমি আমার নিজের সিনট্যাক্স আবিষ্কার করেছি)। বিশেষ করে, Python 3.3, সেই সময়ের ভাষার সবচেয়ে সাম্প্রতিক সংস্করণ, পরিবর্তনশীল টীকা সমর্থন করে না। আমি ইমেলের মাধ্যমে গুইডোর সাথে এই জাতীয় টীকাগুলির জন্য বিভিন্ন সিনট্যাকটিক বিকল্প নিয়ে আলোচনা করেছি। আমরা ভেরিয়েবলের জন্য টাইপ মন্তব্য ব্যবহার করার সিদ্ধান্ত নিয়েছি। এটি লক্ষ্য অর্জন করেছে, কিন্তু একটু কষ্টকর লাগছিল (পাইথন 3.6 আমাদের একটি সুন্দর সিনট্যাক্স দিয়েছে):

products = []  # type: List[str]  # Eww

টাইপ মন্তব্যগুলি পাইথন 2 সমর্থন করার জন্যও দরকারী, যেটিতে টাইপ টীকাগুলির জন্য অন্তর্নির্মিত সমর্থন নেই:

f fib(n):
    # type: (int) -> int
    if n <= 1:
        return n
    else:
        return fib(n - 1) + fib(n - 2)

দেখা গেল যে এই (এবং অন্যান্য) সমঝোতাগুলি সত্যিই গুরুত্বপূর্ণ নয় - স্ট্যাটিক টাইপিংয়ের সুবিধার অর্থ হল যে ব্যবহারকারীরা শীঘ্রই কম-নিখুঁত সিনট্যাক্স সম্পর্কে ভুলে গেছেন। যেহেতু পাইথন কোড যা নিয়ন্ত্রিত প্রকারগুলি আর বিশেষ সিনট্যাক্স ব্যবহার করে না, বিদ্যমান পাইথন সরঞ্জাম এবং কোড প্রক্রিয়াগুলি স্বাভাবিকভাবে কাজ করতে থাকে, যা ডেভেলপারদের জন্য নতুন টুল শিখতে অনেক সহজ করে তোলে।

আমি আমার সিনিয়র থিসিস শেষ করার পরেও গুইডো আমাকে ড্রপবক্সে যোগ দিতে রাজি করেছিল। এখান থেকেই মাইপির ইতিহাসের সবচেয়ে মজার জিনিস শুরু হয়।

চলবে…

প্রিয় পাঠকগণ! আপনি যদি পাইথন ব্যবহার করেন, তাহলে অনুগ্রহ করে আমাদের বলুন এই ভাষায় আপনি যে প্রকল্পগুলি তৈরি করেন তার স্কেল সম্পর্কে।

উত্স: www.habr.com