વિતરિત ડેટા પ્રોસેસિંગ Apache Hadoop 3.3 માટે પ્લેટફોર્મનું પ્રકાશન

વિકાસના દોઢ વર્ષ પછી, અપાચે સોફ્ટવેર ફાઉન્ડેશન પ્રકાશિત પ્રકાશન અપાચે હડુપ 3.3.0, દાખલાનો ઉપયોગ કરીને ડેટાના મોટા જથ્થાના વિતરિત પ્રક્રિયાને ગોઠવવા માટેનું એક મફત પ્લેટફોર્મ નકશો/ઘટાડો, જેમાં કાર્યને ઘણા નાના અલગ ટુકડાઓમાં વિભાજિત કરવામાં આવે છે, જેમાંથી દરેકને અલગ ક્લસ્ટર નોડ પર લોન્ચ કરી શકાય છે. Hadoop-આધારિત સ્ટોરેજ હજારો નોડ્સને ફેલાવી શકે છે અને તેમાં એક્સાબાઇટ ડેટાનો સમાવેશ થાય છે.

Hadoop માં Hadoop ડિસ્ટ્રિબ્યુટેડ ફાઇલસિસ્ટમ (HDFS) ના અમલીકરણનો સમાવેશ થાય છે, જે આપમેળે ડેટા બેકઅપ પ્રદાન કરે છે અને MapReduce એપ્લિકેશન્સ માટે ઑપ્ટિમાઇઝ કરવામાં આવે છે. Hadoop સ્ટોરેજમાં ડેટાની ઍક્સેસને સરળ બનાવવા માટે, HBase ડેટાબેઝ અને SQL જેવી ભાષા પિગ વિકસાવવામાં આવી છે, જે MapReduce માટે એક પ્રકારનું SQL છે, જેની ક્વેરીઝને ઘણા Hadoop પ્લેટફોર્મ દ્વારા સમાંતર અને પ્રક્રિયા કરી શકાય છે. પ્રોજેક્ટનું મૂલ્યાંકન સંપૂર્ણપણે સ્થિર અને ઔદ્યોગિક કામગીરી માટે તૈયાર છે. Hadoopનો ઉપયોગ મોટા ઔદ્યોગિક પ્રોજેક્ટ્સમાં સક્રિયપણે થાય છે, જે Google Bigtable/GFS/MapReduce પ્લેટફોર્મ જેવી જ ક્ષમતાઓ પ્રદાન કરે છે, જ્યારે Google સત્તાવાર રીતે સોંપેલ Hadoop અને અન્ય Apache પ્રોજેક્ટ્સને MapReduce પદ્ધતિથી સંબંધિત પેટન્ટ દ્વારા આવરી લેવામાં આવતી તકનીકોનો ઉપયોગ કરવાનો અધિકાર છે.

Hadoop અપાચે રિપોઝીટરીઝમાં કરવામાં આવેલા ફેરફારોની સંખ્યાના સંદર્ભમાં પ્રથમ ક્રમે છે અને કોડબેઝના કદ (લગભગ 4 મિલિયન કોડની લાઇન)ની દ્રષ્ટિએ પાંચમા ક્રમે છે. મુખ્ય Hadoop અમલીકરણમાં Netflix (દરરોજ 500 બિલિયનથી વધુ ઇવેન્ટ્સ સ્ટોર કરવામાં આવે છે), ટ્વિટર (10 હજાર નોડ્સનું ક્લસ્ટર રીઅલ ટાઇમમાં એક ઝેટાબાઇટ કરતાં વધુ ડેટા સ્ટોર કરે છે અને દરરોજ 5 બિલિયનથી વધુ સત્રોની પ્રક્રિયા કરે છે), ફેસબુક (એક ક્લસ્ટર) નો સમાવેશ થાય છે. 4 હજાર નોડ્સ 300 થી વધુ પેટાબાઇટ્સનો સંગ્રહ કરે છે અને તે દરરોજ 4 PB દ્વારા વધી રહ્યો છે).

મુખ્ય ફેરફાર Apache Hadoop 3.3 માં:

• ARM આર્કિટેક્ચર પર આધારિત પ્લેટફોર્મ માટે ઉમેરાયેલ સપોર્ટ.
• ફોર્મેટનું અમલીકરણ પ્રોટોબફ (પ્રોટોકોલ બફર્સ), સ્ટ્રક્ચર્ડ ડેટાને સીરીયલાઇઝ કરવા માટે વપરાતા, પ્રોટોબફ-3.7.1 શાખાના જીવન ચક્રના અંતને કારણે 2.5.0 રિલીઝ કરવા માટે અપડેટ કરવામાં આવ્યા છે.
• S3A કનેક્ટરની ક્ષમતાઓ વિસ્તૃત કરવામાં આવી છે: ટોકન્સનો ઉપયોગ કરીને પ્રમાણીકરણ માટે સમર્થન ઉમેરવામાં આવ્યું છે (પ્રતિનિધિમંડળ ટોકન), કોડ 404 સાથે કેશીંગ પ્રતિસાદો માટે સુધારેલ સમર્થન, S3guard કામગીરીમાં વધારો અને ઓપરેશનલ વિશ્વસનીયતામાં વધારો થયો છે.
• ABFS ફાઇલ સિસ્ટમમાં સ્વચાલિત ટ્યુનિંગની સમસ્યાઓ ઉકેલાઈ ગઈ છે.
• COS ઑબ્જેક્ટ સ્ટોરેજને ઍક્સેસ કરવા માટે Tencent Cloud COS ફાઇલ સિસ્ટમ માટે મૂળ સમર્થન ઉમેર્યું.
• Java 11 માટે સંપૂર્ણ સમર્થન ઉમેર્યું.
• HDFS RBF (રાઉટર-આધારિત ફેડરેશન) નું અમલીકરણ સ્થિર થયું છે. HDFS રાઉટરમાં સુરક્ષા નિયંત્રણો ઉમેરવામાં આવ્યા છે.
• હોસ્ટના નામો દ્વારા DNS દ્વારા સર્વર્સને નિર્ધારિત કરવા માટે ક્લાયંટ માટે DNS રિઝોલ્યુશન સેવા ઉમેરવામાં આવી છે, જે તમને સેટિંગ્સમાં બધા હોસ્ટને સૂચિબદ્ધ કર્યા વિના કરવાની મંજૂરી આપે છે.
• ઉમેરાયેલ લોન્ચ શેડ્યૂલિંગ આધાર તકવાદી કન્ટેનર દરેક નોડના ભારને ધ્યાનમાં લેતા કન્ટેનર વિતરિત કરવાની ક્ષમતા સહિત કેન્દ્રિય સંસાધન વ્યવસ્થાપક (રિસોર્સ મેનેજર) દ્વારા.
• શોધયોગ્ય યાર્ન (હજી અન્ય સંસાધન વાટાઘાટકાર) એપ્લિકેશન ડિરેક્ટરી ઉમેરવામાં આવી.

સોર્સ: opennet.ru