Lẹhin ọdun kan ati idaji ti idagbasoke, Apache Software Foundation tu silẹ , Syeed ọfẹ fun siseto sisẹ pinpin ti awọn iwọn nla ti data nipa lilo apẹrẹ , ninu eyiti iṣẹ-ṣiṣe ti pin si ọpọlọpọ awọn ajẹkù lọtọ ti o kere ju, ọkọọkan eyiti o le ṣe ifilọlẹ lori ipade iṣupọ lọtọ. Ibi ipamọ ti o da lori Hadoop le gba ẹgbẹẹgbẹrun awọn apa ati ni awọn exabytes ti data ninu.
Hadoop pẹlu imuse ti Hadoop Distributed Filesystem (HDFS), eyiti o pese afẹyinti data laifọwọyi ati pe o jẹ iṣapeye fun awọn ohun elo MapReduce. Lati rọrun iraye si data ni ibi ipamọ Hadoop, ibi ipamọ data HBase ati SQL-ede ẹlẹdẹ ti ni idagbasoke, eyiti o jẹ iru SQL fun MapReduce, awọn ibeere eyiti o le ṣe afiwe ati ṣiṣẹ nipasẹ ọpọlọpọ awọn iru ẹrọ Hadoop. A ṣe ayẹwo ise agbese na bi iduroṣinṣin patapata ati ṣetan fun iṣẹ ile-iṣẹ. Hadoop ti lo ni itara ni awọn iṣẹ akanṣe ile-iṣẹ nla, pese awọn agbara ti o jọra si pẹpẹ Google Bigtable/GFS/MapReduce, lakoko ti Google ti ni ifowosi. Hadoop ati awọn iṣẹ akanṣe Apache miiran ni ẹtọ lati lo awọn imọ-ẹrọ ti o bo nipasẹ awọn itọsi ti o ni ibatan si ọna MapReduce.
Hadoop wa ni ipo akọkọ laarin awọn ibi ipamọ Apache ni awọn ofin ti nọmba awọn iyipada ti o ṣe ati karun ni awọn ofin ti iwọn codebase (bii awọn laini koodu 4 miliọnu). Awọn imuse pataki Hadoop pẹlu Netflix (diẹ sii ju awọn iṣẹlẹ bilionu 500 fun ọjọ kan ti wa ni ipamọ), Twitter (iṣupọ ti awọn ile itaja 10 ẹgbẹrun awọn nodes diẹ sii ju zettabyte ti data ni akoko gidi ati awọn ilana diẹ sii ju awọn akoko 5 bilionu fun ọjọ kan), Facebook (iṣupọ kan). ti 4 ẹgbẹrun awọn apa ile itaja diẹ sii ju 300 petabytes ati pe o n pọ si lojoojumọ nipasẹ 4 PB fun ọjọ kan).
akọkọ ni Apache Hadoop 3.3:
- Atilẹyin ti a ṣafikun fun awọn iru ẹrọ ti o da lori faaji ARM.
- Imuse ti awọn kika (Awọn buffers Protocol), ti a lo fun serializing data eleto, ti ni imudojuiwọn lati tu silẹ 3.7.1 nitori opin igbesi-aye ti eka protobuf-2.5.0.
- Awọn agbara ti asopo S3A ti pọ si: atilẹyin fun ijẹrisi nipa lilo awọn ami-ami ti ṣafikun (), atilẹyin ilọsiwaju fun awọn idahun caching pẹlu koodu 404, iṣẹ ṣiṣe S3guard pọ, ati igbẹkẹle iṣiṣẹ pọ si.
- Awọn iṣoro pẹlu yiyi laifọwọyi ti ni ipinnu ni eto faili ABFS.
- Ṣe afikun atilẹyin abinibi fun eto faili Tencent Cloud COS fun iraye si ibi ipamọ ohun COS.
- Ṣe afikun atilẹyin ni kikun fun Java 11.
- Awọn imuse ti HDFS RBF (Router-based Federation) ti ni idaduro. Awọn iṣakoso aabo ti ni afikun si HDFS Router.
- Ṣafikun iṣẹ ipinnu DNS fun alabara lati pinnu awọn olupin nipasẹ DNS nipasẹ awọn orukọ agbalejo, gbigba ọ laaye lati ṣe laisi atokọ gbogbo awọn ogun ninu awọn eto.
- Atilẹyin iṣeto ifilọlẹ ifilọlẹ nipasẹ oluṣakoso oluşewadi ti aarin (ResourceManager), pẹlu agbara lati pin kaakiri awọn apoti ti o ṣe akiyesi ẹru ti ipade kọọkan.
- Ṣafikun YARN ti o ṣee ṣe (Sibẹ Oludunadura Oro orisun miiran) itọsọna ohun elo.
orisun: opennet.ru