1С-те біз компания жұмысын ұйымдастыру үшін өз әзірлемелерімізді кеңінен қолданамыз. Сондай-ақ, . Құжаттарды басқарудан басқа (аты айтып тұрғандай) ол заманауи -жүйе (Enterprise Content Management - корпоративтік мазмұнды басқару) кең ауқымды функционалдығы бар - пошта, қызметкерлердің жұмыс күнтізбелері, ресурстарға ортақ қолжетімділікті ұйымдастыру (мысалы, жиналыс бөлмелерін брондау), уақытты бақылау, корпоративтік форум және т.б.
Мыңнан астам қызметкер 1С-де құжат айналымын пайдаланады. Деректер базасы қазірдің өзінде әсерлі болды (11 миллиард жазба), яғни ол мұқият күтім мен қуатты жабдықты қажет етеді.
Біздің жүйе қалай жұмыс істейді, дерекқорды жүргізу кезінде біз қандай қиындықтарға тап боламыз және оларды қалай шешеміз (біз MS SQL серверін ДҚБЖ ретінде қолданамыз) - біз сізге мақалада айтамыз.
1С өнімдері туралы бірінші рет оқып жатқандар үшін.
1C:Document Flow – бұл бизнес-қосымшаларды әзірлеуге арналған құрылым – 1C:Enterprise платформасы негізінде іске асырылған қолданбалы шешім (конфигурация).
«1C: Document Flow 8» (қысқартылған DO) кәсіпорындағы құжаттармен жұмысты автоматтандыруға мүмкіндік береді. Қызметкерлердің өзара әрекеттесуінің негізгі құралдарының бірі электрондық пошта болып табылады. Поштадан басқа, DO басқа да мәселелерді шешеді:
- Уақытты қадағалау
- Қызметкерлердің жұмыста болмауын қадағалау
- Курьерлер/тасымалдау үшін өтініштер
- Қызметкерлердің жұмыс күнтізбелері
- Корреспонденцияны тіркеу
- Қызметкерлердің контактілері (мекенжай кітапшасы)
- Корпоративтік форум
- Бөлмені брондау
- Оқиғаны жоспарлау
- CRM
- Файлдармен ұжымдық жұмыс (файл нұсқаларын сақтай отырып)
- және басқалар.
Біз құжатты басқаруға кіреміз (жергілікті орындалатын қолданба) Windows, Linux, macOS, (браузерлерден) және - жағдайға байланысты.
Құжат ағынына қосылған басқа өніміміздің арқасында - – біз тікелей Document Flow-те мессенджердің функционалдығын аламыз – чаттар, аудио және бейне қоңыраулар (соның ішінде қазір ерекше маңызды бола бастаған топтық қоңыраулар, соның ішінде мобильді клиенттен), жылдам файл алмасу және оңайлататын чат боттарын жазу мүмкіндігі. жүйесімен жұмыс істеу. Өзара әрекеттесу жүйесін пайдаланудың тағы бір артықшылығы (басқа хабаршылармен салыстырғанда) нақты Document Flow нысандарына - құжаттарға, оқиғаларға және т.б. байланысты контекстік талқылауларды жүргізу мүмкіндігі болып табылады. Яғни, өзара әрекеттесу жүйесі мақсатты қолданбамен терең интеграцияланған және жай ғана «бөлек түйме» ретінде әрекет етпейді.
Біздің DO-дағы әріптер саны қазірдің өзінде 100 миллионнан асты, ал жалпы ДҚБЖ-да 11 миллиардтан астам жазба бар. Жалпы алғанда, жүйе шамамен 30 ТБ жадты пайдаланады: дерекқор көлемі 7,5 ТБ, ұжымдық жұмысқа арналған файлдар бөлек сақталады және тағы 21 ТБ алады.
Егер нақтырақ сандар туралы айтатын болсақ, мұнда қазіргі уақытта әріптер мен файлдардың саны:
- Шығыс хаттар – 14,7 млн.
- Кіріс хаттар – 85,4 млн.
- Файл нұсқалары – 70,8 млн.
- Ішкі құжаттар – 30,6 мың.
DO-да тек пошта мен файлдар ғана емес. Төменде басқа есеп объектілері бойынша көрсеткіштер берілген:
- Жиналыс залдарын брондау – 52 126
- Апталық есептер – 153 940
- Күнделікті есептер – 628 153
- Мақұлдау визалары – 11 821
- Кіріс құжаттары – 79 677
- Шығыс құжаттары – 28 357
- Пайдаланушының жұмыс күнтізбелеріндегі оқиғалар туралы жазбалар – 168 228
- Курьерлерге өтініш – 21 883
- контрагенттер – 81 029
- Контрагенттермен жұмыс жазбалары – 45 632
- Контрагенттердің байланыс тұлғалары – 41 795
- Оқиғалар – 10 243
- Жобалар – 6 320
- Қызметкерлердің міндеттері – 245 980
- Форумдағы жазбалар – 26 282
- Чат хабарламалары – 891 095
- Бизнес-процестер – 109 056. Қызметкерлер арасындағы өзара әрекеттестік процестер – бекіту, орындау, қарау, тіркеу, қол қою және т.б. Біз процестердің ұзақтығын, циклдар санын, қатысушылардың санын, қайтарулар санын, мерзімдерді өзгертуге сұраныстардың санын өлшейміз. Және бұл ақпарат кәсіпорында қандай процестер болып жатқанын түсіну және қызметкерлердің бірлескен жұмысының тиімділігін арттыру үшін талдау үшін өте пайдалы.
Осының бәрін қандай жабдықта өңдейміз?
Бұл сандар тапсырмалардың әсерлі көлемін көрсетеді, сондықтан біз ішкі еншілес кәсіпорындардың қажеттіліктері үшін жеткілікті өнімді жабдықтарды бөлу қажеттілігіне тап болдық. Қазіргі уақытта оның сипаттамалары келесідей: 38 ядро, 240 ГБ жедел жады, 26 ТБ дискілер. Міне серверлер кестесі:
Алдағы уақытта жабдықтың қуаттылығын арттыруды жоспарлап отырмыз.
Сервер жүктемесі қалай жүріп жатыр?
Желілік белсенділік біз үшін немесе тұтынушыларымыз үшін ешқашан проблема болған емес. Әдетте, әлсіз нүкте процессор мен дискілер болып табылады, өйткені бәрі қазірдің өзінде жад жетіспеушілігімен қалай күресуге болатынын біледі. Міне, ресурс мониторынан біздің серверлеріміздің скриншоттары, бізде ешқандай қорқынышты жүктеме жоқ, ол өте қарапайым.
Мысалы, төмендегі скриншотта CPU жүктемесі 23% болатын SQL серверін көреміз. Және бұл өте жақсы көрсеткіш (салыстыру үшін: егер жүктеме 70% жақындаса, онда қызметкерлер жұмыста айтарлықтай баяулауды байқайды).
Екінші скриншот 1C: Enterprise платформасы жұмыс істейтін қолданба серверін көрсетеді - ол тек пайдаланушы сеанстарына қызмет етеді. Мұнда процессордың жүктемесі сәл жоғары - 38%, ол тегіс және тыныш. Кейбір дискілерді жүктеу бар, бірақ бұл қолайлы.
Үшінші скриншот басқа 1С: Enterprise серверін көрсетеді (бұл екіншісі, бізде кластерде олардың екеуі бар). Алдыңғысы ғана пайдаланушыларға қызмет етеді, ал роботтар бұл жерде жұмыс істейді. Мысалы, олар поштаны, маршруттық құжаттарды қабылдайды, мәліметтермен алмасады, құқықтарды есептейді және т.б. Барлық осы фондық әрекеттер шамамен 90-100 фондық жұмысты орындайды. Және бұл сервер өте ауыр жүктелген - 88%. Бірақ бұл адамдарға әсер етпейді және ол Document Management жасауы тиіс барлық автоматтандыруды жүзеге асырады.
Өнімділікті өлшеу үшін қандай көрсеткіштер бар?
Біздің еншілес компанияларда өнімділік көрсеткіштерін өлшеуге және әртүрлі көрсеткіштерді есептеуге арналған маңызды ішкі жүйеміз бар. Бұл жүйеде не болып жатқанын, ненің нашарлап, ненің жақсарып жатқанын қазіргі уақытта да, тарихи тұрғыдан да түсіну үшін қажет. Бақылау құралдары – метрика және уақыт өлшемдері – «1С: Құжат ағыны 8» стандартты жеткізіліміне енгізілген. Көрсеткіштер іске асыру кезінде теңшеуді талап етеді, бірақ механизмнің өзі стандартты болып табылады.
Көрсеткіштер – белгілі бір уақыт нүктелеріндегі әртүрлі бизнес көрсеткіштерінің өлшемдері (мысалы, поштаны жеткізудің орташа уақыты 10 минут).
Көрсеткіштердің бірі дерекқордағы белсенді пайдаланушылар санын көрсетеді. Күндізгі уақытта олардың орташа есеппен 1000-1400-і бар. График скриншот жасау кезінде дерекқорда 2144 белсенді пайдаланушы болғанын көрсетеді.
Мұндай 30-дан астам әрекет бар, тізім қысқартылған.тізім
- Жүйеге кіру
- Шығу
- Пошта жүктелуде
- Объектінің жарамдылығын өзгерту
- Қол жеткізу құқықтарын өзгерту
- Процестің тақырыбын өзгерту
- Нысанның жұмыс тобын өзгерту
- Жинақтың құрамын өзгерту
- Файлды өзгерту
- Файлды импорттау
- Пошта арқылы жіберу
- Файлдарды жылжыту
- Тапсырманы қайта бағыттау
- Электрондық қолтаңбаға қол қою
- Мәліметтер бойынша іздеу
- Толық мәтінді іздеу
- Файлды қабылдау
- Процесті үзу
- шолу
- Шифрды шешу
- Құжаттарды тіркеу
- Сканерлеу
- Жою белгісін алу
- Объектіні құру
- Дискіге сақтау
- Процестің басталуы
- Пайдаланушы журналының жазбаларын жою
- Электрондық қолтаңбаны жою
- Жою белгісін орнату
- Шифрлау
- Қалтаны экспорттау
Өткен аптада біздің орташа пайдаланушы белсенділігіміз бір жарым есе өсті (графикте қызыл түспен көрсетілген) - бұл қызметкерлердің көпшілігінің қашықтан жұмысқа ауысуымен байланысты (белгілі оқиғаларға байланысты). Сондай-ақ белсенді пайдаланушылар саны 3 есеге өсті (скриншотта көк түспен көрсетілген), өйткені қызметкерлер ұялы телефондарды белсенді пайдалана бастады: әрбір ұялы клиент серверге қосылым жасайды. Қазіргі уақытта орта есеппен әрбір қызметкерде серверге 2 қосылым бар.
Біз үшін, әкімшілер ретінде, бұл өнімділік мәселелеріне мұқият болу және жағдайдың нашарлағанын көру керек деген сигнал. Бірақ біз мұны басқа параметрлер негізінде қарастырамыз. Мысалы, ішкі маршруттау үшін поштаны жеткізу уақыты қалай өзгереді (төмендегі скриншотта көк түспен көрсетілген). Биылға дейін құбылмалы болғанын көріп отырмыз, бірақ қазір тұрақты – біз үшін бұл жүйеде бәрі реттелгендігінің көрсеткіші.
Біз үшін тағы бір қолданылатын көрсеткіш - пошта серверінен хаттарды жүктеп алудың орташа күту уақыты (скриншотта қызыл түспен көрсетілген). Дөрекі сөзбен айтқанда, хат біздің қызметкерге жеткенше интернетте қанша уақыт қалқып тұрады. Скриншот бұл уақыттың соңғы кездері өзгермегенін көрсетеді. Оқшауланған өсулер бар - бірақ олар кешігумен емес, пошта серверлерінде уақыт жоғалту фактісімен байланысты.
Немесе, мысалы, басқа метрика (скриншотта көк түспен көрсетілген) – қалтадағы әріптерді жаңарту. Пошта қалтасын ашу өте кең таралған операция және оны тез орындау керек. Біз оның қаншалықты жылдам орындалатынын өлшейміз. Бұл көрсеткіш әрбір клиент үшін өлшенеді. Сіз компанияның жалпы суретін де, динамикасын да көре аласыз, мысалы, жеке қызметкер үшін. Скриншот көрсеткендей, осы жылға дейін метрика теңгерімсіз болды, содан кейін біз бірқатар жақсартулар жасадық, ал қазір ол нашарлап жатқан жоқ - график тегіс дерлік.
Көрсеткіштер негізінен жүйенің әрекетіндегі кез келген өзгерістерге жылдам жауап беру үшін жүйені бақылауға арналған әкімші құралы болып табылады. Скриншот жылдағы ішкі қосалқы көрсеткіштерді көрсетеді. Графиктердегі секіріс бізге ішкі еншілес компанияларды дамыту бойынша тапсырмалар берілгеніне байланысты.
Мұнда тағы бірнеше метриканың тізімі берілген (кесінді астында).
Көрсеткіштер
- Пайдаланушы әрекеті
- Белсенді пайдаланушылар
- Белсенді процестер
- Файлдар саны
- Файл өлшемі (МБ)
- Құжаттар саны
- Алушыларға жіберілетін объектілердің саны
- Контрагенттердің саны
- Аяқталмаған тапсырмалар
- Соңғы 10 минут ішінде пошта серверінен электрондық хаттарды жүктеп алудың орташа күту уақыты
- Сыртқы деректер буфері: файлдар саны
- Ағымдағы күннен кешіктірілген шекара
- Ұзын кезек
- Операциялық кезек
- Сыртқы бағыттау бойынша өңделмеген есептік жазбаның жасы
- Ішкі маршруттауды қабылдау кезегінің өлшемі (ұзын кезек)
- Ішкі маршруттауды қабылдау кезегінің өлшемі (жылдам кезек)
- Ішкі маршруттау арқылы поштаны жеткізу уақыты (ұзын кезек)
- Ішкі маршруттау арқылы поштаны жеткізу уақыты (жылдам кезек)
- Сыртқы маршруттау арқылы поштаны жеткізу уақыты (орташа)
- Құжаттардың саны Брондау
- Құжаттар саны болмауы
- Құжаттар саны «Контрагентпен жұмыс жазбасы»
- Пошта Қалтадағы әріптерді жаңарту
- Пошта Хат картасын ашу
- Пошта Хатты қалтаға тасымалдау
- Пошта Қалталар бойынша шарлау
Біздің жүйе тәулік бойы 150-ден астам индикаторларды өлшейді, бірақ олардың барлығын жылдам бақылау мүмкін емес. Олар кейбір тарихи тұрғыдан кейінірек пайдалы болуы мүмкін және сіз бизнес үшін ең маңыздыларына назар аудара аласыз.
Іске асырудың бірінде, мысалы, тек 5 көрсеткіш таңдалды. Тұтынушы көрсеткіштердің ең аз жиынтығын құру мақсатын қойды, бірақ сонымен бірге ол негізгі жұмыс сценарийлерін қамтитындай етіп қойды. Қабылдау актісіне 150 көрсеткішті енгізу негізсіз болар еді, өйткені кәсіпорынның өзінде қандай көрсеткіштер қолайлы деп есептелетінін келісу қиын. Және олар осы 5 индикатор туралы білетін және оларды жобаны іске асыру басталғанға дейін жүйеге ұсынып қойған, соның ішінде конкурстық құжаттамаға: картаны ашу уақыты 3 секундтан аспайды, файлмен тапсырманы орындау уақыты №. 5 секундтан астам және т.б. Біздің еншілес компанияларда тапсырыс берушінің техникалық сипаттамаларынан бастапқы сұранысты өте анық көрсететін көрсеткіштер бар.
Бізде өнімділік өлшемдерінің профильдік талдауы да бар. Тиімділік көрсеткіштері – әрбір орындалатын операцияның ұзақтығын жазу (мәліметтер базасына хат жазу, пошта серверіне хат жіберу және т.б.). Мұны тек техниктер пайдаланады. Біз өз бағдарламамызда көптеген тиімділік көрсеткіштерін жинақтаймыз. Қазіргі уақытта біз профильдерге бөлінген шамамен 1500 негізгі операцияны өлшейміз.
Біз үшін ең маңызды профильдердің бірі - «Тұтынушы тұрғысынан поштаның негізгі көрсеткіштерінің тізімі». Бұл профиль, мысалы, келесі көрсеткіштерді қамтиды:
- Пәрменді орындау: Тег бойынша таңдаңыз
- Пішінді ашу: Тізім пішіні
- Пәрменді орындау: Қалта бойынша таңдаңыз
- Оқу аймағында әріпті көрсету
- Таңдаулы қалтаға хатты сақтау
- Мәліметтер бойынша әріптерді іздеу
- Хат құру
Кейбір бизнес индикаторының метрикасының тым үлкен болғанын көрсек (мысалы, белгілі бір пайдаланушыдан хаттар өте ұзақ уақыт келе бастады), біз оны анықтап, техникалық операциялар уақытын өлшеуге көшеміз. Бізде «Пошта серверіндегі хаттарды мұрағаттау» техникалық операциясы бар - біз бұл операцияның уақыты соңғы кезеңде асып кеткенін көреміз. Бұл операция, өз кезегінде, басқа операцияларға ыдырайды - мысалы, пошта серверімен байланыс орнату. Біз қандай да бір себептермен кенеттен өте үлкен болып кеткенін көреміз (бізде бір айдың барлық өлшемдері бар - біз өткен аптада 10 миллисекунд болғанын салыстыра аламыз, ал қазір ол 1000 миллисекунд). Және біз мұнда бір нәрсе бұзылғанын түсінеміз - оны түзету керек.
Осындай үлкен дерекқорды қалай сақтаймыз?
Біздің ішкі DO шынымен жұмыс істейтін жоғары жүктемелі жобаның мысалы болып табылады. Оның деректер базасының техникалық ерекшеліктеріне тоқталайық.
Үлкен дерекқор кестелерін қайта құрылымдау қанша уақытты алады?
SQL сервері кестелерді ретке келтіріп, мерзімді техникалық қызмет көрсетуді қажет етеді. Жақсы түрде, бұл күніне кемінде бір рет, тіпті жоғары сұранысқа ие үстелдер үшін жиі жасалуы керек. Бірақ егер деректер базасы үлкен болса (және біздің жазбалар саны 11 миллиардтан асты), онда оған күтім жасау оңай емес.
Біз 6 жыл бұрын кестені қайта құрылымдадық, бірақ кейін ол көп уақытты талап ете бастады, сондықтан біз енді түнгі интервалдарға сәйкес келмейтін болдық. Және бұл әрекеттер SQL серверін қатты жүктегендіктен, ол басқа пайдаланушыларға тиімді қызмет көрсете алмайды.
Сондықтан, қазір түрлі айла-амалдарды қолдануға тура келеді. Мысалы, біз бұл процедураларды толық деректер жиынында орындай алмаймыз. 500000 жолды жаңарту үлгісіне жүгінуіңіз керек - бұл 14 минутты алады. Ол кестедегі барлық деректер бойынша статистиканы жаңартпайды, бірақ жарты миллион жолды таңдайды және оларды бүкіл кесте үшін пайдаланатын статистиканы есептеу үшін пайдаланады. Бұл қандай да бір болжам, бірақ біз оны жасауға мәжбүрміз, өйткені нақты кесте үшін бүкіл миллиард жазбалар бойынша статистиканы жинау қолайсыз ұзақ уақытты алады.
Біз сондай-ақ басқа техникалық қызмет көрсету операцияларын жартылай етіп оңтайландырдық.
ДҚБЖ жүргізу әдетте күрделі міндет болып табылады. Қызметкерлер арасында белсенді өзара әрекеттесу жағдайында деректер қоры тез өседі және әкімшілерге оны жүргізу қиынға соғады - статистиканы жаңарту, дефрагментациялау, индекстеу. Мұнда біз әртүрлі стратегияларды қолдануымыз керек, біз мұны қалай жасау керектігін жақсы білеміз, бізде тәжірибе бар, біз оны бөлісе аламыз.
Мұндай көлемдермен сақтық көшірме қалай жүзеге асырылады?
ДҚБЖ-ның толық сақтық көшірмесі күніне бір рет түнде, қадам сайын сағат сайын орындалады. Сондай-ақ, файл каталогы күн сайын жасалады және ол файл қоймасының қосымша сақтық көшірмесінің бөлігі болып табылады.
Толық сақтық көшірме жасау үшін қанша уақыт қажет?
Қатты дискіге толық сақтық көшірме жасау үш сағатта, ішінара сақтық көшірме бір сағатта аяқталады. Таспаға жазу ұзағырақ уақытты алады (кеңседен тыс сақталған арнайы кассетаға резервтік көшірме жасайтын арнайы құрылғы; тасымалданатын көшірме таспаға жасалады, ол, мысалы, сервер бөлмесі өртеніп кетсе, сақталады). Сақтық көшірме дәл сол серверде жасалады, оның параметрлері жоғары болды - процессордың 20% жүктемесі бар SQL сервері. Сақтық көшірме жасау кезінде, әрине, жүйе әлдеқайда нашарлайды, бірақ ол әлі де жұмыс істейді.
Депликация бар ма?
Файлдар бар, біз оны өзіміз тексереміз және жақында ол Құжаттарды басқарудың жаңа нұсқасына қосылады. Біз сондай-ақ контрагентті қайталау механизмін сынап жатырмыз. ДҚБЖ деңгейінде жазбалардың қайталануы жоқ, өйткені бұл қажет емес. 1С: Кәсіпорын платформасы ДҚБЖ-да объектілерді сақтайды және олардың үйлесімділігіне тек платформа жауап бере алады.
Тек оқуға арналған түйіндер бар ма?
Оқу түйіндері жоқ (оқу үшін кез келген деректерді алуды қажет ететіндерге қызмет көрсететін арнайы жүйе түйіндері). DO жеке BI түйініне қоюға арналған есеп жүйесі емес, бірақ JSON пішімінде хабарламалар алмасатын әзірлеу бөлімі үшін бөлек түйін бар, және типтік репликация уақыты бірліктер мен ондаған секундтарды құрайды. Түйін әлі де кішкентай, оның шамамен 800 миллион жазбасы бар, бірақ ол тез өсіп келеді.
Жоюға белгіленген электрондық пошталар мүлдем жойылмайды ма?
Әзірше емес. Бізде базаны жеңілдету міндеті жоқ. Жоюға белгіленген әріптерге сілтеме жасау қажет болған бірнеше күрделі жағдайлар болды, оның ішінде 2009 ж. Сондықтан әзірше барлығын сақтауды жөн көрдік. Бірақ мұның құны негізсіз болған кезде, жою туралы ойланамыз. Бірақ, егер із қалмас үшін дерекқордан бөлек хатты толығымен алып тастау қажет болса, мұны арнайы сұрау арқылы жасауға болады.
Неліктен оны сақтау керек? Сізде ескі құжаттарға қол жеткізу статистикасы бар ма?
Статистика жоқ. Дәлірек айтқанда, ол пайдаланушы журналы түрінде, бірақ ол ұзақ сақталмайды. Бір жылдан асқан жазбалар хаттамадан өшіріледі.
Бес, тіпті он жыл бұрынғы ескі хат-хабарларды алу қажет болған жағдайлар болды. Және бұл әрқашан бос қызығушылықтан емес, күрделі іскерлік шешімдер қабылдау үшін жасалды. Хат алмасу тарихы болмаса, қате іскерлік шешім қабылданатын жағдай болды.
Құжаттардың құндылығы сақтау мерзіміне қарай қалай бағаланады және жойылады?
Қағаз құжаттары үшін бұл басқалар сияқты әдеттегі дәстүрлі жолмен жасалады. Біз мұны электронды құрылғылар үшін жасамаймыз - олар өздері үшін қалдырсын. Отыратын жер осында. Артықшылықтары бар. Барлығы жақсы.
Қандай даму перспективалары бар?
Қазір біздің DO 30-ға жуық ішкі мәселелерді шешеді, олардың кейбірін мақаланың басында келтірдік. DL сонымен қатар серіктестеріміз үшін жылына екі рет өткізетін конференцияларды дайындау үшін қолданылады: бүкіл бағдарлама, барлық есептер, барлық параллель бөлімдер, залдар - мұның бәрі DL-де теріліп, содан кейін одан жүктеледі және басып шығарылған бағдарлама жасалады.
DO үшін қазірдің өзінде шешіп жатқандарынан басқа тағы бірнеше міндеттер бар. Бүкіл компанияның тапсырмалары бар, ал ерекше және сирек кездесетіні бар, олар тек белгілі бір бөлімге қажет. Оларға көмектесу керек, бұл 1С ішінде жүйені пайдаланудың «географиясын» кеңейтуді білдіреді - қолдану аясын кеңейту, барлық бөлімдердің мәселелерін шешу. Бұл өнімділік пен сенімділік үшін ең жақсы сынақ болар еді. Мен жүйенің триллиондаған жазбалар, петабайттар ақпаратпен жұмыс істейтінін көргім келеді.
Ақпарат көзі: www.habr.com