پیرودونکي VDI غوښتل. ما واقعیا د SimpliVity + VDI Citrix مجازی ډیسټاپ ترکیب ته وکتل. د ټولو آپریټرانو لپاره، د ښار دفتر کارمندانو، او داسې نور. یوازې د مهاجرت په لومړۍ څپې کې پنځه زره کاروونکي شتون لري، او له همدې امله دوی د بار ازموینې ټینګار وکړ. VDI کولی شي ورو پیل کړي، دا کولی شي په آرامۍ سره پریوځي - او دا تل د چینل سره د ستونزو له امله نه پیښیږي. موږ په ځانګړي توګه د VDI لپاره خورا پیاوړی ټیسټ کڅوړه اخیستې او زیربنا یې بار کړې تر هغه چې دا په ډیسکونو او پروسیسر کې خورا دروند وي.
نو، موږ به د پیچلي VDI ازموینو لپاره پلاستيکي بوتل او LoginVSI سافټویر ته اړتیا ولرو. موږ دا د 300 کاروونکو لپاره جوازونو سره لرو. بیا موږ د HPE SimpliVity 380 هارډویر په یوه بسته کې واخیست چې په هر سرور کې د اعظمي کارونکي کثافت دندې لپاره مناسب و ، د ښه نظارت سره مجازی ماشینونه پرې کړل ، په Win10 کې یې د دفتر سافټویر نصب کړ او ازموینه یې پیل کړه.
راځئ چې لاړ شه
سيستم
دوه HPE SimpliVity 380 Gen10 نوډونه (سرورونه). په هر یو کې:
- 2x Intel Xeon Platinum 8170 26c 2.1Ghz.
- RAM: 768GB، 12 x 64GB LRDIMMs DDR4 2666MHz.
- د لومړني ډیسک کنټرولر: د HPE سمارټ سري P816i-a SR Gen10.
- هارډ ډرایو: 9 x 1.92 TB SATA 6Gb/s SSD (په RAID6 7+2 ترتیب کې، د بیلګې په توګه دا د HPE SimpliVity شرایطو کې منځنی ماډل دی).
- د شبکې کارتونه: 4 x 1Gb Eth (د کارونکي ډیټا)، 2 x 10Gb Eth (SimpliVity او vMotion backend).
- د تخریب / کمپریشن لپاره په هر نوډ کې ځانګړي جوړ شوي FPGA کارتونه.
نوډونه د 10Gb ایترنیټ له لارې یو له بل سره وصل دي په مستقیم ډول د بهرني سویچ پرته ، کوم چې د SimpliVity بیکینډ په توګه کارول کیږي او د NFS له لارې د مجازی ماشین ډیټا لیږدولو لپاره. په کلستر کې د مجازی ماشین ډیټا تل د دوه نوډونو تر مینځ عکس العمل کیږي.
نوډونه د Vmware vSphere کلستر کې یوځای شوي چې د vCenter لخوا اداره کیږي.
د ازموینې لپاره، د ډومین کنټرولر او د Citrix ارتباط بروکر ګمارل شوي. د ډومین کنټرولر، بروکر او vCenter په جلا کلستر کې ځای پر ځای شوي دي.
د ازموینې زیربنا په توګه ، 300 مجازی ډیسټاپونه په وقف شوي - بشپړ کاپي ترتیب کې ځای په ځای شوي ، د بیلګې په توګه ، هر ډیسټاپ د مجازی ماشین اصلي عکس بشپړ کاپي دی او د کاروونکو لخوا رامینځته شوي ټول بدلونونه خوندي کوي.
هر مجازی ماشین 2vCPU او 4GB رام لري:
د ازموینې لپاره اړین سافټویر په مجازی ماشینونو کې نصب شوی و:
- وینډوز 10 (64-bit)، نسخه 1809.
- اډوب ریډر XI.
- د Citrix مجازی تحویلي اجنټ 1811.1.
- Doro PDF 1.82.
- جاوا 7 تازه 13.
- د مایکروسافټ دفتر پروفیشنل پلس 2016.
د نوډونو ترمنځ - همغږي نقل. په کلستر کې هر ډیټا بلاک دوه کاپي لري. دا دی، اوس په هر نوډ کې د معلوماتو بشپړ سیټ شتون لري. د درې یا ډیرو نوډونو کلستر سره، د بلاکونو کاپي په دوه مختلف ځایونو کې دي. کله چې نوی VM رامینځته کړئ ، اضافي کاپي په یو کلستر نوډونو کې رامینځته کیږي. کله چې یو نوډ ناکام شي ، ټول VMs چې دمخه په دې کې روان و په اتوماتيک ډول په نورو نوډونو کې بیا پیل کیږي چیرې چې دوی عکسونه لري. که یو نوډ د اوږدې مودې لپاره ناکام شي، نو د بې ځایه کیدو تدریجي بیا رغونه پیل کیږي، او کلستر بیرته N + 1 ته بیرته راځي.
د معلوماتو توازن او ذخیره کول پخپله د SimpliVity د سافټویر ذخیره کولو کچې کې پیښیږي.
مجازی ماشینونه د مجازی کولو کلستر چلوي، کوم چې دوی د سافټویر ذخیره کې هم ځای په ځای کوي. میزونه پخپله د معیاري ټیمپلیټ سره سم اخیستل شوي: د تمویل کونکو او عملیاتي افسرانو میزونه د ازموینې لپاره راغلي (دا دوه مختلف ټیمپلیټونه دي).
ازمايښت
د ازموینې لپاره، د LoginVSI 4.1 سافټویر ټیسټ سویټ کارول شوی و. د LoginVSI کمپلیکس، د کنټرول سرور او د ازموینې اړیکو لپاره 12 ماشینونه لري، په جلا فزیکي کوربه کې ځای پرځای شوي.
ازموینه په دریو حالتونو کې ترسره شوه:
د بنچمارک حالت - د بار کولو قضیې 300 د پوهې کارکونکي او 300 د ذخیره کولو کارګران.
معیاري حالت - د بار قضیه 300 د بریښنا کارکونکي.
د دې لپاره چې د بریښنا کارکونکي کار وکړي او د بار تنوع زیات کړي، د اضافي بریښنا کتابتون فایلونو کتابتون د LoginVSI کمپلیکس کې اضافه شوی. د پایلو د تکرار کیدو ډاډ ترلاسه کولو لپاره ، د ازموینې بنچ ټول تنظیمات د ډیفالټ په توګه پاتې شوي.
د پوهې او بریښنا کارکونکي ازموینې د کاروونکو ریښتیني کاري بار انډول کوي چې په مجازی کاري سټیشنونو کې کار کوي.
د ذخیره کولو کارمندانو ازموینه په ځانګړي ډول د ډیټا ذخیره کولو سیسټمونو ازموینې لپاره رامینځته شوې؛ دا د ریښتیني کاري بارونو څخه لرې دی او ډیری یې کارونکي پکې شامل دي چې د مختلف اندازو فایلونو لوی شمیر سره کار کوي.
د ازموینې په جریان کې ، کارونکي په هرو 48 ثانیو کې د نږدې یو کارونکي په نرخ کې د 10 دقیقو لپاره د کار سټیشنونو ته ننوځي.
پایلې
د LoginVSI ازموینې اصلي پایله د VSImax میټریک دی ، کوم چې د کارونکي لخوا پیل شوي مختلف دندو د اجرا کولو وخت څخه ترتیب شوی. د مثال په توګه: په نوټ پیډ کې د فایل خلاصولو وخت ، په 7-زپ کې د فایل کمپریس کولو وخت ، او داسې نور.
د میټریک محاسبې تفصيلي توضیحات د دې لپاره په رسمي اسنادو کې شتون لري .
په بل عبارت، LoginVSI یو عادي بار نمونه تکراروي، په دفتر سویټ کې د کاروونکي عملونه سمول، د PDF لوستل، او داسې نور، او مختلف ځنډونه اندازه کوي. د ځنډ یوه مهمه کچه شتون لري "هرڅه ورو کیږي، کار کول ناشونی دی")، مخکې لدې چې دا په پام کې ونیول شي چې د کاروونکو اعظمي شمیر ته ندی رسیدلی. که د ځواب وخت د دې "هرڅه ورو دی" حالت څخه 1 ms ګړندی وي ، نو سیسټم په نورمال ډول کار کوي ، او ډیر کارونکي اضافه کیدی شي.
دلته اصلي میترونه دي:
میټریکونه
اقدامات ترسره کړي
تفصیلي د
بار شوي اجزا
N.S.L.D.
د متن د پرانیستلو وخت
فایل 1 KB وزن لري
نوټ پیډ خلاصیږي او
یو تصادفي 1 KB سند خلاصوي چې له حوض څخه کاپي شوی
سرچینې
CPU او I/O
NFO
د خبرو اترو د پرانیستلو وخت
په نوټ پیډ کې کړکۍ
د VSI-Notepad فایل خلاصول [Ctrl+O]
CPU، RAM او I/O
ZHC*
د لوړ فشار شوي زپ فایل رامینځته کولو وخت
محلي کمپریشن
تصادفي 5MB .pst فایل له دې څخه کاپي شوی
د سرچینو حوض
CPU او I/O
ZLC*
د ضعیف فشار شوي زپ فایل رامینځته کولو وخت
محلي کمپریشن
تصادفي 5MB .pst فایل له دې څخه کاپي شوی
د سرچینو حوض
زه / ای
سی پی یو
لوی محاسبه کول
د تصادفي معلوماتو لړۍ
د لوی صف جوړول
تصادفي ډاټا چې په ان پټ/آؤټ پټ ټایمر کې به وکارول شي (I/O ټایمر)
سی پی یو
کله چې ازموینه ترسره کیږي، د VSIbase بنسټیز میټریک په پیل کې محاسبه کیږي، کوم چې سرعت ښیي چې په سیسټم کې د بار کولو پرته دندې ترسره کیږي. د دې پر بنسټ، د VSImax حد ټاکل شوی، کوم چې د VSIbase + 1ms سره برابر دی.
د سیسټم فعالیت په اړه پایلې د دوه میټریکونو پراساس رامینځته کیږي: VSIbase، کوم چې د سیسټم سرعت ټاکي، او د VSImax حد، کوم چې د کاروونکو اعظمي شمیر ټاکي چې سیسټم یې د پام وړ تخریب پرته اداره کولی شي.
300 د پوهې کارکونکي بنچمارک
د پوهې کارکونکي هغه کاروونکي دي چې په منظمه توګه حافظه، پروسیسر او IO د مختلفو کوچنیو چوټو سره پورته کوي. سافټویر د غوښتنې دفتر کاروونکو د کاري بار تقلید کوي ، لکه څنګه چې دوی په دوامداره توګه یو څه ته مخه کوي (PDF ، جاوا ، د دفتر سویټ ، د عکس لید ، 7-زپ). لکه څنګه چې تاسو له صفر څخه تر 300 پورې کاروونکي اضافه کړئ، د هر یو لپاره ځنډ په تدریجي ډول زیاتیږي.
د VSImax احصایې ډاټا:
VSIbase = 986ms، د VSI حد ته ندی رسیدلی.
د SimpliVity څارنې څخه د ذخیره کولو سیسټم بار احصایې:
د دې ډول بار سره، سیسټم کولی شي د زیاتیدونکي بار سره مقاومت وکړي په عمل کې هیڅ ډول تخریب سره. هغه وخت چې دا د کارونکي دندو بشپړولو لپاره اخلي په اسانۍ سره وده کوي، د سیسټم غبرګون وخت د ازموینې په جریان کې نه بدلیږي او د لیکلو لپاره تر 3 ms پورې او د لوستلو لپاره تر 1 ms پورې دی.
پایله: د 300 پوهه کاروونکي په اوسني کلستر کې پرته له کومې ستونزې کار کوي او په یو بل کې مداخله نه کوي، د pCPU/vCPU نظارت له 1 څخه تر 6 پورې رسیږي. ټول ځنډونه په مساوي توګه وده کوي لکه څنګه چې بار زیاتیږي، مګر ټاکل شوي حد ته ندي رسیدلي.
د ذخیره کولو 300 کارګران بینچمارک
دا هغه کاروونکي دي چې په ترتیب سره د 30 څخه تر 70 پورې په دوامداره توګه لیکي او لوستل کوي. دا ازموینه د تجربې لپاره نوره ترسره شوه. د VSImax احصایې ډاټا:
VSIbase = 1673، د VSI حد 240 کاروونکو ته رسیدلی.
د SimpliVity څارنې څخه د ذخیره کولو سیسټم بار احصایې:
دا ډول بار په اصل کې د ذخیره کولو سیسټم فشار ازموینه ده. کله چې دا اجرا شي، هر کاروونکي ډیسک ته د مختلفو اندازو ډیری تصادفي فایلونه لیکي. پدې حالت کې ، دا لیدل کیدی شي کله چې د ځینې کاروونکو لپاره د یو ټاکلي بار حد څخه تیریږي ، د فایلونو لیکلو لپاره د دندو بشپړولو لپاره وخت ډیریږي. په ورته وخت کې ، د ذخیره کولو سیسټم ، پروسیسر او د کوربه حافظې بار د پام وړ بدلون نه کوي ، نو اوس مهال دا ناشونې ده چې دقیقا معلومه کړئ چې د ځنډ لامل څه دی.
د دې ازموینې په کارولو سره د سیسټم فعالیت په اړه پایلې یوازې په نورو سیسټمونو کې د ازموینې پایلو سره پرتله کیدی شي ، ځکه چې دا ډول بارونه مصنوعي او غیر واقعیت لري. په هرصورت، په ټولیزه توګه ازموینه ښه شوه. هرڅه تر 210 غونډو پورې ښه روان وو، او بیا عجيب ځوابونه پیل شول، کوم چې د VSI د ننوتلو پرته بل چیرته نه و تعقیب شوي.
۳۰۰ د برښنا کارکوونکي
دا هغه کاروونکي دي چې د CPU، حافظې او لوړ IO سره مینه لري. دا "د بریښنا کارونکي" په منظمه توګه پیچلي دندې د اوږدې مودې سره پرمخ وړي، لکه د نوي سافټویر نصب کول او د لوی آرشیفونو خلاصول. د VSImax احصایې ډاټا:
VSIbase = 970، د VSI حد ته ندی رسیدلی.
د SimpliVity څارنې څخه د ذخیره کولو سیسټم بار احصایې:
د ازموینې په جریان کې ، د پروسیسر بار حد د سیسټم نوډونو څخه یو ته رسیدلی و ، مګر دا د دې په عملیاتو کې د پام وړ اغیزه نه درلوده:
په دې حالت کې، سیسټم کولی شي د فعالیت د پام وړ تخریب پرته د زیاتیدونکي بار سره مقاومت وکړي. هغه وخت چې دا د کارونکي دندو بشپړولو لپاره اخلي په اسانۍ سره وده کوي، د سیسټم غبرګون وخت د ازموینې په جریان کې نه بدلیږي او د لیکلو لپاره تر 3 ms پورې او د لوستلو لپاره تر 1 ms پورې دی.
منظمې ازموینې د پیرودونکي لپاره کافي نه وې، او موږ نور هم لاړ: موږ د VM ځانګړتیاوې زیاتې کړې (د VCPUs شمیر د زیاتوالي او ډیسک اندازې ارزولو لپاره) او اضافي بار یې اضافه کړ.
کله چې د اضافي ازموینو ترسره کول، لاندې موقف ترتیب کارول کیده:
300 مجازی ډیسټاپونه په 4vCPU، 4GB RAM، 80GB HDD ترتیب کې ځای پرځای شوي.
د ازموینې ماشینونو څخه یو ترتیب کول:
ماشینونه په وقف شوي - بشپړ کاپي اختیار کې ځای په ځای شوي:
د 300 پوهه کارګران بینچمارک د څارنې سره 12
د VSImax احصایې ډاټا:
VSIbase = 921 ms، د VSI حد ته نه و رسیدلی.
د SimpliVity څارنې څخه د ذخیره کولو سیسټم بار احصایې:
ترلاسه شوي پایلې د پخواني VM ترتیب ازموینې ته ورته دي.
300 د بریښنا کارکونکي د 12 څارنې ګډون سره
د VSImax احصایې ډاټا:
VSIbase = 933، د VSI حد ته ندی رسیدلی.
د SimpliVity څارنې څخه د ذخیره کولو سیسټم بار احصایې:
د دې ازموینې په جریان کې ، د پروسیسر بار حد هم رسیدلی و ، مګر دا په فعالیت باندې د پام وړ اغیزه نه درلوده:
ترلاسه شوي پایلې د تیرو تشکیلاتو ازموینې ته ورته دي.
که تاسو د 10 ساعتونو لپاره بار چلوئ نو څه پیښیږي؟
اوس راځئ وګورو چې ایا د "جمع کولو اغیز" به وي او په پرله پسې ډول د 10 ساعتونو لپاره ازموینې پرمخ بوځي.
د اوږدې مودې ازموینې او د برخې توضیحات باید د دې حقیقت په هدف وي چې موږ غوښتل وګورو چې ایا د اوږدې مودې بار لاندې د ټراس سره کومه ستونزه رامینځته کیږي.
د 300 پوهې کارکونکي بنچمارک + 10 ساعته
سربیره پردې ، د 300 پوهه کارمندانو د بار قضیه ازموینه شوې ، وروسته د 10 ساعتونو لپاره د کارونکي کار.
د VSImax احصایې ډاټا:
VSIbase = 919 ms، د VSI حد ته نه و رسیدلی.
د VSImax تفصيلي احصایې ډاټا:
ګراف ښیې چې د ټول ازموینې په جریان کې د فعالیت تخریب شتون نلري.
د SimpliVity څارنې څخه د ذخیره کولو سیسټم بار احصایې:
د ذخیره کولو سیسټم فعالیت په ټوله ازموینه کې ورته پاتې کیږي.
د مصنوعي بار اضافه کولو سره اضافي ازموینې
پیرودونکي وغوښتل چې ډیسک ته وحشي بار اضافه کړي. د دې کولو لپاره ، د کارونکي په هر مجازی ماشین کې د ذخیره کولو سیسټم کې دنده اضافه شوې ترڅو په ډیسک کې مصنوعي بار چل کړي کله چې کارونکي سیسټم ته ننوځي. بار د fio یوټیلیټ لخوا چمتو شوی و، کوم چې تاسو ته اجازه درکوي د IOPS شمیره په ډیسک کې بار محدود کړئ. په هر ماشین کې، د 22 IOPS 70٪ / 30٪ تصادفي لوستلو / لیکلو مقدار کې د اضافي بار پیل کولو لپاره دنده په لاره اچول شوې وه.
د 300 پوهه کارکونکي بنچمارک + 22 IOPS د هر کارونکي
په لومړنیو ازموینو کې، fio وموندل شو چې په مجازی ماشینونو کې د پام وړ CPU سر پورته کړي. دا د کوربه توب د چټک CPU اوورلوډ لامل شو او په ټولیز ډول د سیسټم عملیات خورا اغیزمن کړل.
کوربه CPU بار:
په ورته وخت کې، د ذخیره کولو سیسټم ځنډ هم په طبیعي توګه زیات شوی:
د کمپیوټري ځواک نشتوالی د 240 کاروونکو شاوخوا جدي شو:
د ترلاسه شویو پایلو له امله، پریکړه وشوه چې د ازموینې ترسره کولو لپاره چې د CPU لږ شدت درلود.
د 230 دفتر کارکونکي بنچمارک + 22 IOPS د هر کارونکي
په CPU کې د بار کمولو لپاره، د دفتر کارمندانو د بار ډول غوره شوی و، او په هره ناسته کې د مصنوعي بار 22 IOPS هم اضافه شوي.
ازموینه د 230 غونډو پورې محدوده وه ترڅو د اعظمي CPU بار څخه ډیر نشي.
ازموینه د کاروونکو سره د 10 ساعتونو لپاره روانه وه ترڅو د اعظمي بار ته نږدې د اوږدې مودې عملیاتو پرمهال د سیسټم ثبات چیک کړي.
د VSImax احصایې ډاټا:
VSIbase = 918 ms، د VSI حد ته نه و رسیدلی.
د VSImax تفصيلي احصایې ډاټا:
ګراف ښیې چې د ټول ازموینې په جریان کې د فعالیت تخریب شتون نلري.
د CPU بار احصایې:
کله چې دا ازموینه ترسره کول، د کوربه CPU بار تقریبا اعظمي و.
د SimpliVity څارنې څخه د ذخیره کولو سیسټم بار احصایې:
د ذخیره کولو سیسټم فعالیت په ټوله ازموینه کې ورته پاتې کیږي.
د ازموینې په جریان کې د ذخیره کولو سیسټم باندې بار د 6/500 په تناسب کې نږدې 60 IOPS و (40 IOPS لوستل، 3 IOPS لیکل)، چې په هر کارځای کې نږدې 900 IOPS دی.
د ځواب وخت په اوسط ډول د لیکلو لپاره 3 ms او د لوستلو لپاره تر 1 ms پورې.
نتیجه
کله چې د HPE SimpliVity زیربنا کې د ریښتیني بارونو انډول کول ، پایلې ترلاسه شوې چې د سیسټم وړتیا تاییدوي چې لږترلږه د 300 بشپړ کلون ماشینونو مجازی ډیسټاپونو ملاتړ کولو لپاره د SimpliVity نوډونو جوړه جوړه. په ورته وخت کې، د ذخیره کولو سیسټم غبرګون وخت د ټولې ازموینې په اوږدو کې په مناسبه کچه ساتل شوی و.
موږ د پلي کولو دمخه د اوږدو ازموینو چلند او د حلونو پرتله کولو څخه ډیر متاثره یو. موږ کولی شو ستاسو د کاري بارونو لپاره فعالیت هم و ازموئ که تاسو وغواړئ. د نورو هایپر کنورډ حلونو په شمول. یاد شوی پیرودونکي اوس په موازي ډول په بل حل کې ازموینې پای ته رسوي. د دې اوسنی زیربنا په ساده ډول د کمپیوټرونو بیړۍ ده، په هر کاري ځای کې یو ډومین او سافټویر. له ازموینو پرته VDI ته تلل یقینا خورا ستونزمن دي. په ځانګړې توګه، دا ستونزمنه ده چې د VDI فارم ریښتینې وړتیاوې پوه شي پرته له دې چې اصلي کاروونکو ته یې مهاجرت وکړي. او دا ازموینې تاسو ته اجازه درکوي په چټکۍ سره د یو ځانګړي سیسټم ریښتیني وړتیاوې ارزونه وکړئ پرته لدې چې عادي کاروونکو ته اړتیا ولري. دا هغه ځای دی چې دا مطالعه له کوم ځای څخه راغلې ده.
دویمه مهمه لاره دا ده چې پیرودونکي سمدلاسه د مناسب اندازې کولو لپاره ژمن وي. دلته تاسو کولی شئ یو اضافي سرور وپیرئ او فارم اضافه کړئ، د بیلګې په توګه، د 100 کاروونکو لپاره، هر څه د کاروونکي په قیمت کې د وړاندوینې وړ دي. د مثال په توګه، کله چې دوی 300 نور کاروونکي اضافه کولو ته اړتیا لري، دوی به پوه شي چې دوی په یوه ټاکل شوي ترتیب کې دوه سرورونو ته اړتیا لري، د دې پرځای چې د دوی ټول زیربنا نوي کولو بیا غور وکړي.
د HPE SimpliVity فدراسیون امکانات په زړه پوري دي. سوداګري په جغرافیه کې جلا ده، نو دا معنی لري چې په لرې دفتر کې خپل جلا VDI هارډویر نصب کړئ. په SimpliVity فدراسیون کې، هر مجازی ماشین د مهال ویش سره سم نقل شوی دی چې د جغرافیایي پلوه د لیرې پرتو کلسترونو ترمنځ په چټکۍ سره او په چینل کې بار کولو پرته د نقل کولو وړتیا لري - دا د خورا ښه کچې یو جوړ شوی بیک اپ دی. کله چې د سایټونو ترمینځ د VMs نقل کول ، چینل لږترلږه د امکان تر حده کارول کیږي ، او دا د یو واحد کنټرول مرکز او د غیر متمرکز ذخیره کولو سایټونو په شتون کې د خورا په زړه پورې DR آرکیټیکچرونو رامینځته کول امکان لري.
دا ټول په ګډه دا ممکنه کوي چې مالي اړخ په خورا تفصیل سره ارزونه وکړي، او د شرکت د ودې په پالنونو کې د VDI لګښتونه لوړ کړي، او پوه شي چې حل به څومره ژر تادیه کړي او دا به څنګه کار وکړي. ځکه چې کوم VDI یو حل دی چې په نهایت کې ډیری سرچینې خوندي کوي ، مګر په ورته وخت کې ، ډیری احتمال پرته د لګښت مؤثر فرصت پرته د کارولو 5-7 کلونو کې دننه بدل کړئ.
په عموم کې، که تاسو کومه پوښتنه لرئ چې د تبصرې لپاره نه وي، ما ته د بریښنالیک له لارې ولیکئ [ایمیل خوندي شوی].
سرچینه: www.habr.com