دا مقاله لا دمخه د لوړ سرعت ډیټا کمپریشن موضوع کې دویمه ده. لومړۍ مقاله یو کمپرسور تشریح کړ چې د 10 GB/sec په سرعت سره کار کوي. د هر پروسیسر کور (لږترلږه کمپریشن، RTT-Min).
دا کمپرسور لا دمخه د ذخیره کولو میډیا ډمپونو د لوړ سرعت کمپریشن او د کریپټوګرافي ځواک لوړولو لپاره د عدلي نقل کونکو تجهیزاتو کې پلي شوی؛ دا د مجازی ماشینونو عکسونو او د RAM سویپ فایلونو عکسونو کمپریس کولو لپاره هم کارول کیدی شي کله چې دوی په تیز سرعت کې خوندي کوي. SSD ډرایو.
لومړۍ مقاله د HDD او SSD ډیسک ډرایو (منځنۍ کمپریشن ، RTT-Mid) د پام وړ ښه شوي ډیټا کمپریشن پیرامیټونو سره د بیک اپ کاپيونو کمپریس کولو لپاره د کمپریشن الګوریتم پراختیا هم اعلان کړه. تر اوسه پورې، دا کمپرسور په بشپړه توګه چمتو دی او دا مقاله د دې په اړه ده.
یو کمپرسور چې د RTT-میډ الګوریتم پلي کوي د کمپریشن تناسب چمتو کوي چې د معیاري آرشیفونو لکه WinRar، 7-Zip سره پرتله کیږي، په تیز رفتار حالت کې کار کوي. په ورته وخت کې، د دې عملیاتي سرعت لږ تر لږه د لوړ شدت ترتیب دی.
د ډیټا بسته کولو / خلاصولو سرعت یو مهم پیرامیټر دی چې د کمپریشن ټیکنالوژیو پلي کولو ساحه ټاکي. دا امکان نلري چې څوک به د 10-15 میګابایټ په فی ثانیه کې د ټیرابایټ ډیټا کمپریشن کولو فکر وکړي (دا په ریښتیا د معیاري کمپریشن حالت کې د آرشیف سرعت دی) ، ځکه چې دا به د بشپړ پروسیسر بار سره نږدې شل ساعته وخت ونیسي. .
له بلې خوا، ورته ټیرابایټ په هر ثانیه کې د 2-3 ګیګابایټ په ترتیب سره په لسو دقیقو کې کاپي کیدی شي.
له همدې امله، د لوی حجم معلوماتو کمپریشن مهم دی که چیرې دا په داسې سرعت کې ترسره شي چې د ریښتینې ان پټ/آؤټ پوټ سرعت څخه ټیټ نه وي. د عصري سیسټمونو لپاره دا په هر ثانیه کې لږترلږه 100 میګابایټ دی.
عصري کمپرسور کولی شي دا ډول سرعت یوازې په "چټک" حالت کې تولید کړي. دا پدې اوسني حالت کې دی چې موږ به د دودیز کمپرسورونو سره د RTT-Mid الګوریتم پرتله کړو.
د نوي کمپریشن الګوریتم مقایسه ازموینه
د RTT-Mid کمپرسور د ازموینې پروګرام د یوې برخې په توګه کار کاوه. په ریښتیني "کاري" غوښتنلیک کې دا خورا ګړندی کار کوي ، دا په هوښیارۍ سره ملټي ریډینګ کاروي او "نورمال" کمپیلر کاروي ، نه C#.
څرنګه چې په مقایسه ازموینه کې کارول شوي کمپرسورونه په مختلفو اصولو او د ډیټا کمپرس مختلف ډولونو باندې جوړ شوي دي، د ازموینې د معقولیت لپاره، "په روغتون کې د منځنۍ تودوخې" اندازه کولو طریقه کارول شوې ...
د وینډوز 10 عملیاتي سیسټم سره د منطقي ډیسک د سکټور لخوا د سکټور ډمپ فایل رامینځته شوی؛ دا د مختلف ډیټا جوړښتونو خورا طبیعي ترکیب دی چې واقعیا په هر کمپیوټر کې شتون لري. د دې فایل کمپریشن کول به تاسو ته اجازه درکړي چې د نوي الګوریتم کمپریشن سرعت او درجې په عصري آرشیفونو کې کارول شوي خورا پرمختللي کمپرسورونو سره پرتله کړئ.
دلته د ډمپ فایل دی:
د ډمپ فایل د PTT-Mid، 7-zip، او WinRar کمپرسورونو په کارولو سره کمپریس شوی و. WinRar او 7-zip کمپرسور اعظمي سرعت ته ټاکل شوي.
کمپرسور چلول 7 - زپ:
دا پروسیسر 100٪ باروي، پداسې حال کې چې د اصلي ډمپ لوستلو اوسط سرعت شاوخوا 60 میګابایټ / ثانیه دی.
کمپرسور چلول ونرار:
وضعیت ورته دی، د پروسیسر بار نږدې 100٪ دی، د ډمپ اوسط لوستلو سرعت شاوخوا 125 میګابایټ / ثانیه دی.
لکه څنګه چې په تیرو قضیه کې، د آرشیور سرعت د پروسیسر وړتیاو لخوا محدود دی.
د کمپرسور ازموینې برنامه اوس روانه ده RTT- منځنی:
سکرین شاټ ښیې چې پروسیسر په 50٪ کې بار شوی او پاتې وخت بې کاره دی ، ځکه چې د کمپریس شوي ډیټا اپلوډ کولو لپاره هیڅ ځای شتون نلري. د ډیټا اپلوډ ډیسک (ډیسک 0) تقریبا په بشپړ ډول بار شوی. د ډیټا لوستلو سرعت (ډیسک 1) خورا ډیر توپیر لري، مګر په اوسط ډول له 200 میګابایټس / سیک څخه ډیر.
د کمپرسور سرعت پدې حالت کې د ډیسک 0 ته د کمپریس شوي ډیټا لیکلو وړتیا لخوا محدود دی.
اوس د پایله شوي آرشیف کمپریشن تناسب:
دا لیدل کیدی شي چې RTT-Mid کمپرسور د کمپریشن غوره دنده ترسره کړې؛ هغه آرشیف چې دا یې رامینځته کړی د WinRar آرشیف څخه 1,3 ګیګابایټ کوچنی او د 2,1z آرشیف څخه 7 ګیګابایټ کوچنی و.
د آرشیف په جوړولو کې مصرف شوي وخت:
- 7-زپ - 26 دقیقې 10 ثانیې؛
- WinRar - 17 دقیقې 40 ثانیې؛
- RTT-مینځ - 7 دقیقې 30 ثانیې.
په دې توګه، حتی یو ازموینه، غیر مطلوب برنامه، د RTT-میډ الګوریتم په کارولو سره، د دې توان درلود چې دوه نیم ځله ګړندی آرشیف رامینځته کړي، پداسې حال کې چې آرشیف د خپلو سیالانو په پرتله د پام وړ کوچنی و.
هغه څوک چې د سکرین شاټونو باور نلري کولی شي خپل صداقت پخپله وګوري. د ازموینې برنامه په کې شتون لري ، ډاونلوډ او چیک کړئ.
مګر یوازې د AVX-2 ملاتړ سره پروسیسرونو کې ، د دې لارښوونو ملاتړ پرته کمپرسور کار نه کوي ، او په زړو AMD پروسیسرونو کې الګوریتم مه ازموئ ، دوی د AVX لارښوونو پلي کولو کې ورو دي ...
د کمپریشن طریقه کارول کیږي
الګوریتم د بایټ ګرانولریت کې د تکرار متن ټوټو د شاخص کولو لپاره میتود کاروي. د کمپریشن دا طریقه له ډیرې مودې راهیسې پیژندل شوې وه، مګر کارول شوې نه وه ځکه چې د سمون عملیات د اړینو سرچینو له مخې خورا ګران وو او د لغت جوړولو په پرتله ډیر وخت ته اړتیا درلوده. نو د RTT-میډ الګوریتم د "راتلونکي بیرته" حرکت کولو کلاسیک مثال دی ...
د PTT کمپرسور یو ځانګړی تیز رفتار میچ لټون سکینر کاروي، کوم چې موږ ته اجازه راکوي چې د کمپریشن پروسې ګړندی کړو. یو پخپله جوړ شوی سکینر، دا "زما زړه راښکونکی ..." دی، "دا خورا ګران دی، ځکه چې دا په بشپړ ډول په لاس جوړ شوی دی" (په جمع کولو کې لیکل شوی).
د میچ لټون سکینر د دوه کچې احتمالي سکیم سره سم رامینځته شوی: لومړی ، د میچ د "نښې" شتون سکین کیږي ، او یوازې وروسته له دې چې پدې ځای کې "نښه" وپیژندل شي ، د ریښتیني میچ موندلو پروسه پیل کیږي.
د میچ لټون کړکۍ غیر متوقع اندازه لري، د پروسس شوي ډیټا بلاک کې د انټروپي درجې پورې اړه لري. په بشپړ ډول د تصادفي (غیر متقابل) ډیټا لپاره دا د میګابایټ اندازه لري ، د تکرار سره ډیټا لپاره دا تل د میګابایټ څخه لوی وي.
مګر ډیری عصري ډیټا فارمیټونه د نه منلو وړ دي او د دوی له لارې د سرچینې ژور سکینر چلول بې ګټې او ضایع دي ، نو سکینر دوه عملیاتي حالتونه کاروي. لومړی، د سرچینې متن برخې د احتمالي تکرارونو سره پلټل کیږي؛ دا عملیات د احتمالي میتود په کارولو سره هم ترسره کیږي او په چټکۍ سره ترسره کیږي (د 4-6 ګیګابایټ / ثانیه سرعت سره). هغه ساحې چې احتمالي میچونه لري بیا د اصلي سکینر لخوا پروسس کیږي.
د شاخص کمپریشن خورا مؤثره ندی، تاسو باید د شاخصونو سره نقل شوي ټوټې ځای په ځای کړئ، او د شاخص سرې د پام وړ د کمپریشن تناسب کموي.
د کمپریشن تناسب د زیاتوالي لپاره، نه یوازې د بایټ تارونو بشپړ میچونه شاخص شوي، بلکې جزوي یې هم، کله چې تار کې میچ شوي او غیر مطابقت لرونکي بایټونه شامل وي. د دې کولو لپاره، د شاخص په بڼه کې د میچ ماسک ساحه شامله ده چې د دوه بلاکونو سره سمون لرونکي بایټونه په ګوته کوي. حتی د لوی کمپریشن لپاره، شاخص کول په اوسني بلاک کې د څو جزوي سره سمون لرونکي بلاکونو سپر کولو لپاره کارول کیږي.
دې ټولو دا ممکنه کړه چې په PTT-میډ کمپرسور کې د کمپریشن تناسب ترلاسه کړي چې د لغت میتود په کارولو سره رامینځته شوي کمپرسورونو سره پرتله کیږي ، مګر ډیر ګړندی کار کوي.
د نوي کمپریشن الګوریتم سرعت
که کمپرسور د کیچ حافظې په ځانګړي کارولو سره کار کوي (په هر تار کې 4 میګابایټ ته اړتیا ده)، نو د عملیاتي سرعت د 700-2000 میګابایټ / ثانیو پورې وي. د هر پروسیسر کور، د ډیټا ډول پورې اړه لري چې فشارول کیږي او د پروسیسر عملیاتي فریکونسۍ پورې لږ تړاو لري.
د کمپرسور د څو تارونو پلي کولو سره، اغیزمن اندازه کولو وړتیا د دریمې کچې کیچ اندازې لخوا ټاکل کیږي. د مثال په توګه، د "بورډ" کې د 9 میګابایټ کیچ حافظې درلودل، د دوه څخه زیات کمپریشن تارونو په لاره اچولو کې هیڅ معنی نشته؛ سرعت به له دې څخه زیات نشي. مګر د 20 میګابایټ کیچ سره ، تاسو دمخه پنځه کمپریشن تارونه چلولی شئ.
همچنان ، د رام ځنډ یو مهم پیرامیټر کیږي چې د کمپرسور سرعت ټاکي. الګوریتم OP ته تصادفي لاسرسی کاروي ، چې ځینې یې د کیچ حافظې ته نه راځي (شاوخوا 10٪) او دا باید بې کاره وي ، د OP څخه ډیټا ته انتظار باسي ، کوم چې د عملیاتو سرعت کموي.
د پام وړ د کمپرسور سرعت او د ډیټا ان پټ/آؤټ پټ سیسټم عملیات اغیزه کوي. د I/O بلاک څخه OP ته غوښتنې د CPU څخه ډیټا غوښتنه کوي، کوم چې د کمپریشن سرعت هم کموي. دا ستونزه د لپټاپونو او ډیسټاپونو لپاره د پام وړ ده؛ د سرورونو لپاره دا د خورا پرمختللي سیسټم بس لاسرسي کنټرول واحد او څو چینل رام له امله لږ مهم دی.
په مقاله کې د متن په اوږدو کې موږ د کمپریشن په اړه خبرې کوو؛ ډیکمپریشن د دې مقالې له ساحې بهر پاتې دی ځکه چې "هر څه په چاکلیټ پوښل شوي". ډیکمپریشن خورا ګړندی دی او د I/O سرعت لخوا محدود دی. په یوه تار کې یو فزیکي کور په اسانۍ سره د 3-4 GB/sec د پیک کولو سرعت چمتو کوي.
دا د ډیکمپریشن پروسې په جریان کې د میچ لټون عملیاتو نشتوالي له امله دی ، کوم چې د پروسیسر اصلي سرچینې "خوري" او د کمپریشن پرمهال کیچ حافظه.
د کمپریس شوي ډیټا ذخیره کولو اعتبار
لکه څنګه چې د سافټویر ټول ټولګي نوم چې د ډیټا کمپریشن (آرشیور) کاروي وړاندیز کوي ، دوی د معلوماتو د اوږدې مودې ذخیره کولو لپاره ډیزاین شوي ، نه د کلونو لپاره ، مګر د پیړیو او زریزې ...
د ذخیره کولو په جریان کې، د ذخیره کولو رسنۍ ځینې معلومات له لاسه ورکوي، دلته یو مثال دی:
دا "انلاګ" معلوماتو کیریر زر کاله زوړ دی، ځینې ټوټې ورکې شوې، مګر په عمومي توګه معلومات د "لوستلو وړ" دي ...
د دوی لپاره د عصري ډیجیټل ډیټا ذخیره کولو سیسټمونو او ډیجیټل میډیا مسؤل جوړونکو څخه هیڅ یو د 75 کلونو څخه ډیر لپاره د بشپړ ډیټا خوندیتوب تضمین نه وړاندې کوي.
او دا یوه ستونزه ده، مګر ځنډول شوې ستونزه، زموږ اولادونه به یې حل کړي ...
د ډیجیټل ډیټا ذخیره کولو سیسټمونه کولی شي ډاټا له 75 کلونو وروسته له لاسه ورکړي، په ډاټا کې غلطۍ هر وخت ښکاره کیدی شي، حتی د دوی د ثبت کولو په وخت کې، دوی هڅه کوي چې دا تحریفونه د بې ځایه کیدو په کارولو سره کم کړي او د غلطۍ اصالح کولو سیسټمونو سره سم کړي. د بې ځایه کیدو او سمون سیسټمونه تل له لاسه تللي معلومات بیرته نشي بحالولی، او که دوی وکړي، هیڅ تضمین شتون نلري چې د بیا رغونې عملیات په سمه توګه بشپړ شوي.
او دا هم یوه لویه ستونزه ده، خو ځنډول شوې نه، بلکې اوسنۍ ستونزه ده.
عصري کمپرسورونه چې د ډیجیټل ډیټا آرشیف کولو لپاره کارول کیږي د لغت میتود مختلف تعدیلاتو باندې رامینځته شوي ، او د داسې آرشیفونو لپاره به د معلوماتو یوې برخې له لاسه ورکول یوه وژونکې پیښه وي؛ حتی د داسې حالت لپاره رامینځته شوی اصطلاح شتون لري - یو "مات شوی" آرشیف ...
د قاموس کمپریشن سره په آرشیف کې د معلوماتو ذخیره کولو ټیټ اعتبار د کمپریس شوي ډیټا جوړښت سره تړاو لري. په داسې آرشیف کې معلومات د سرچینې متن نه لري، په قاموس کې د ننوتلو شمیره هلته زیرمه کیږي، او لغت پخپله د اوسني فشار شوي متن لخوا په متحرک ډول بدل شوی. که چیرې د آرشیف ټوټه ورکه یا فاسد شي، د ټول آرشیف ټول وروستي ننوتل د منځپانګې یا په لغت کې د ننوتلو اوږدوالي له مخې نشي پیژندل کیدی، ځکه چې دا روښانه نده چې د لغت د ننوتلو شمیره د څه سره مطابقت لري.
د داسې "مات شوي" آرشیف څخه د معلوماتو بیرته راګرځول ناممکن دي.
د RTT الګوریتم د کمپریس شوي ډیټا ذخیره کولو خورا معتبر میتود پراساس دی. دا د ټوټې تکرار لپاره د محاسبې شاخص میتود کاروي. د کمپریشن دا طریقه تاسو ته اجازه درکوي چې د ذخیره کولو په منځ کې د معلوماتو د تحریف پایلې کمې کړي، او په ډیری قضیو کې په اتوماتيک ډول د معلوماتو ذخیره کولو په وخت کې رامینځته شوي تحریفونه سم کړي.
دا د دې حقیقت له امله دی چې د شاخص کمپریشن په قضیه کې د آرشیف فایل دوه ساحې لري:
- د سرچینې متن ساحه د تکرار برخې سره له هغې څخه لرې شوې؛
- د شاخص ساحه.
د شاخص ساحه، کوم چې د معلوماتو د بیا رغونې لپاره خورا مهم دی، په اندازې کې لوی نه دی او د اعتبار وړ معلوماتو ذخیره کولو لپاره نقل کیدی شي. له همدې امله، حتی که د سرچینې متن یا د شاخص سرې یوه ټوټه له لاسه ورکړي، نور ټول معلومات به پرته له کومې ستونزې بحال شي، لکه څنګه چې په انځور کې د "انلاګ" ذخیره کولو وسیله سره.
د الګوریتم نیمګړتیاوې
پرته له زیانونو هیڅ ګټه نشته. د شاخص کمپریشن طریقه د لنډو تکرار ترتیبونو کمپرس نه کوي. دا د شاخص میتود محدودیتونو له امله دی. شاخصونه لږ تر لږه 3 بایټس په اندازې کې دي او کیدای شي تر 12 بایټ پورې اندازه وي. که چیرې تکرار د شاخص په پرتله د کوچني اندازې سره مخ شي چې دا تشریح کوي ، نو دا په پام کې نه نیول کیږي ، مهمه نده چې دا ډول تکرارونه په کمپریس شوي فایل کې څومره ځله کشف شوي.
د دودیز لغت کمپریشن میتود په مؤثره توګه د لنډ اوږدوالي ډیری تکرارونه فشاروي او له همدې امله د شاخص کمپریشن په پرتله لوړ کمپریشن تناسب ترلاسه کوي. ریښتیا ، دا په مرکزي پروسیسر کې د لوړ بار له امله ترلاسه شوی؛ د دې لپاره چې د لغت میتود د شاخص میتود په پرتله خورا مؤثره ډیټا کمپریس پیل کړي ، دا باید د ډیټا پروسس کولو سرعت په ریښتیني کې په هر ثانیه کې 10-20 میګابایټ ته راټیټ کړي. د بشپړ CPU بار سره کمپیوټري تاسیسات.
دا ډول ټیټ سرعت د عصري ډیټا ذخیره کولو سیسټمونو لپاره د منلو وړ ندي او د عملي په پرتله ډیر "اکادمیک" علاقه لري.
د معلوماتو کمپریشن کچه به د RTT الګوریتم (RTT-Max) په راتلونکي ترمیم کې د پام وړ لوړه شي ، کوم چې دمخه د پراختیا په حال کې دی.
نو، د تل په څیر، د دوام لپاره ...
سرچینه: www.habr.com