MIT инженерлер тобу маалыматтар менен эффективдүү иштөө үчүн объектке багытталган эс иерархиясын иштеп чыгышкан. Макалада биз анын кантип уюштурулганын түшүнөбүз.
/ /PD
Белгилүү болгондой, заманбап процессорлордун өндүрүмдүүлүгүнүн өсүшү эстутумга жетүү учурунда күтүү убактысынын тийиштүү түрдө төмөндөшү менен коштолбойт. Жылдан жылга көрсөткүчтөрдүн өзгөрүшүнүн айырмасы 10 эсеге чейин жетиши мүмкүн (). Натыйжада, колдо болгон ресурстарды толук пайдаланууга мүмкүндүк бербеген жана маалыматтарды иштеп чыгууну жайлаткан тоскоолдук пайда болот.
Аткаруу жазасы декомпрессия кечигүү деп аталат. Кээ бир учурларда, даяр маалыматтарды декомпрессиялоо процессордун 64 циклине чейин созулушу мүмкүн.
Салыштыруу үчүн: калкыма чекиттүү сандарды кошуу жана көбөйтүү он циклден ашык эмес. Маселе, эс тутум белгиленген өлчөмдөгү маалымат блоктору менен иштейт, ал эми тиркемелер ар кандай типтеги маалыматтарды камтыган жана бири-биринен өлчөмү боюнча айырмаланган объекттер менен иштешет. Маселени чечүү үчүн MIT инженерлери маалыматтарды иштетүүнү оптималдаштырган объектиге багытталган эс иерархиясын иштеп чыгышкан.
Технология кантип иштейт
Чечим үч технологияга негизделген: Hotpads, Zippads жана COCO кысуу алгоритми.
Хотпаддар – бул скретчпад регистр эс тутумунун программалык камсыздоо иерархиясы (). Бул регистрлер пад (под) деп аталат жана алардын үчөө бар - L1ден L3кө чейин. Алар ар кандай өлчөмдөгү объекттерди, метаберилиштерди жана көрсөткүчтөрдүн массивдерин сакташат.
Негизи, архитектура кэш системасы, бирок объекттер менен иштөө үчүн курчутылган. Объект жайгашкан аянтчанын деңгээли анын канчалык көп колдонулганына жараша болот. Эгерде деңгээлдердин бири "ашып кетсе", система Java же Go тилдериндеги "таштанды жыйноочуларга" окшош механизмди иштетет. Кайсы объекттер башкаларга караганда азыраак колдонулганын талдап, аларды автоматтык түрдө деңгээлдердин ортосунда жылдырат.
Zippads Hotpads негизинде иштейт - иерархиянын акыркы эки деңгээлине кирген же андан чыккан маалыматтарды архивдер жана ачат - L3 тактасы жана негизги эс. Биринчи жана экинчи аянтчаларда маалыматтар өзгөрүүсүз сакталат.
Zippads объекттерди 128 байтка чейин кысып турат. Чоңураак объекттер бөлүктөргө бөлүнүп, алар эстутумдун ар кандай аймактарына жайгаштырылат. Иштеп чыгуучулар жазгандай, бул ыкма эффективдүү колдонулган эстутумдун коэффициентин жогорулатат.
Объекттерди кысуу үчүн COCO (Cross-Object Compression) алгоритми колдонулат, аны кийинчерээк талкуулайбыз, бирок система аны менен иштей алат. же . COCO алгоритми дифференциалдык кысуунун бир варианты болуп саналат (). Ал объекттерди "базага" салыштырат жана кайталанган биттерди жок кылат - төмөндөгү диаграмманы караңыз:
MIT инженерлеринин айтымында, алардын объектиге багытталган эс иерархиясы классикалык ыкмаларга караганда 17% тезирээк. Ал өзүнүн структурасы боюнча заманбап колдонмолордун архитектурасына алда канча жакын, ошондуктан жаңы методдун потенциалы бар.
Биринчиден, чоң маалыматтар жана машина үйрөнүү алгоритмдери менен иштеген компаниялар технологияны колдоно башташы мүмкүн. Дагы бир потенциалдуу багыт булут платформалары. IaaS провайдерлери виртуалдаштыруу, сактоо системалары жана эсептөө ресурстары менен эффективдүү иштей алышат.
Биздин кошумча булактарыбыз жана булактарыбыз:
Source: www.habr.com