ગૂગલે મેજિકા 1.0 રિલીઝ કર્યું છે, જે ફાઇલ સામગ્રીના પ્રકારોને ઓળખવા માટે એક ટૂલકીટ છે.

ગૂગલે મેજિકા 1.0 રિલીઝ કર્યું છે, જે ફાઇલ ડેટા વિશ્લેષણના આધારે ફાઇલ સામગ્રી પ્રકારોને ઓળખવા માટે રચાયેલ ટૂલકીટ છે. મેજિકા પ્રોગ્રામિંગ ભાષાઓ, કમ્પ્રેશન પદ્ધતિઓ, ઇન્સ્ટોલેશન પેકેજો, એક્ઝિક્યુટેબલ કોડ, માર્કઅપ પ્રકારો અને ઑડિઓ, વિડિઓ, દસ્તાવેજ અને છબી ફોર્મેટ્સને સચોટ રીતે ઓળખી શકે છે. સંકળાયેલ ટૂલકીટ અને મશીન લર્નિંગ મોડેલ અપાચે 2.0 લાઇસન્સ હેઠળ લાઇસન્સ પ્રાપ્ત છે. રસ્ટ, પાયથોન, જાવાસ્ક્રિપ્ટ/ટાઇપસ્ક્રિપ્ટ અને ગો માટે બાઇન્ડિંગ્સ ઉપલબ્ધ છે.

મેજિકા એ સમાન પ્રોજેક્ટ્સથી અલગ છે જે મશીન લર્નિંગ પદ્ધતિઓનો ઉપયોગ કરીને સામગ્રીના આધારે MIME પ્રકાર નક્કી કરે છે, ઉચ્ચ પ્રદર્શન અને શોધ ચોકસાઈ. આ મોડેલને 100 મિલિયન ઉદાહરણ ફાઇલો (3 TB થી વધુ ડેટાસેટ કદ) પર Keras ફ્રેમવર્કનો ઉપયોગ કરીને તાલીમ આપવામાં આવી હતી અને ઓછામાં ઓછી 99% ચોકસાઈ સાથે 200 ડેટા પ્રકારોની ઓળખને સપોર્ટ કરે છે. આ મોડેલ ONNX ફોર્મેટમાં કમ્પાઇલ કરવામાં આવ્યું છે અને તેનું કદ ફક્ત થોડા મેગાબાઇટ્સ છે. ડીપ મશીન લર્નિંગ પદ્ધતિઓના ઉપયોગથી મેન્યુઅલી વ્યાખ્યાયિત નિયમો પર આધારિત Google ની અગાઉ ઉપયોગમાં લેવાતી સિસ્ટમની તુલનામાં શોધ ચોકસાઈમાં 50% વધારો શક્ય બન્યો.

Google પર, સુરક્ષા તપાસ અને પાલન તપાસ દરમિયાન Gmail, ડ્રાઇવ, કોડ ઇનસાઇટ અને સેફ બ્રાઉઝિંગ સેવાઓમાં ફાઇલોનું વર્ગીકરણ કરવા માટે સિસ્ટમનો ઉપયોગ થાય છે. ચોક્કસ વિશ્લેષકો ચલાવતા પહેલા Magika ને VirusTotal અને abuse.ch પ્લેટફોર્મમાં પ્રાથમિક ફિલ્ટરિંગ સ્તર તરીકે સંકલિત કરવામાં આવે છે. Google ના ઇન્ફ્રાસ્ટ્રક્ચરમાં તૈનાત Magika રૂપરેખાંકન પ્રતિ સેકન્ડમાં અનેક મિલિયન ફાઇલો અને દર અઠવાડિયે અનેક સો અબજ ફાઇલોને સ્કેન કરે છે. મોડેલ લોડ કર્યા પછી, એક જ CPU કોર પર પરીક્ષણ કરવામાં આવે ત્યારે અનુમાન સમય 5 ms છે. શોધ સમય ફાઇલ કદથી વર્ચ્યુઅલ રીતે સ્વતંત્ર છે.

તમારા પ્રોજેક્ટ્સમાં મેજિકાનો ઉપયોગ કરવા માટે, અમે કમાન્ડ-લાઇન યુટિલિટી, પાયથોન, રસ્ટ અને ગો માટે પેકેજો અને એક જાવાસ્ક્રિપ્ટ લાઇબ્રેરી તૈયાર કરી છે જે બ્રાઉઝરમાં અથવા Node.js પ્રોજેક્ટ્સમાં ચાલી શકે છે. કમાન્ડ-લાઇન ઇન્ટરફેસ અને API બેચ મોડ ઓપરેશન્સને સપોર્ટ કરે છે, જે તમને એક જ વિનંતીમાં બહુવિધ ફાઇલોને સ્કેન કરવાની મંજૂરી આપે છે. સમગ્ર ડિરેક્ટરી માટે રિકર્સિવ સ્કેન મોડ અને ભૂલ સહિષ્ણુતા (ઉચ્ચ આત્મવિશ્વાસ, મધ્યમ આત્મવિશ્વાસ અને શ્રેષ્ઠ અનુમાન) ને સમાયોજિત કરવા માટે ત્રણ આગાહી મોડ્સ છે.

આ પ્રોજેક્ટ શરૂઆતમાં પાયથોનમાં વિકસાવવામાં આવ્યો હતો, પરંતુ 1.0 રિલીઝની તૈયારી દરમિયાન, કન્ટેન્ટ ટાઇપ ડિટેક્શન એન્જિનને રસ્ટમાં ફરીથી લખવામાં આવ્યું હતું, જે જરૂરી સ્તરની કોડ સુરક્ષા જાળવી રાખીને ઉચ્ચ પ્રદર્શન પ્રાપ્ત કરે છે. ONNX રનટાઇમ ફ્રેમવર્કનો ઉપયોગ મશીન લર્નિંગ મોડેલ ચલાવવા માટે થાય છે, અને ટોકિયો લાઇબ્રેરીનો ઉપયોગ સમાંતર, અસુમેળ વિનંતી પ્રક્રિયા માટે થાય છે. MacBook Pro (M4) પર, એન્જિનનું પ્રદર્શન તેને પ્રતિ સેકન્ડ આશરે 1000 ફાઇલો પર પ્રક્રિયા કરવાની મંજૂરી આપે છે.

નવા એન્જિન ઉપરાંત, 1.0 રિલીઝમાં ફેરફારોમાં સપોર્ટેડ પ્રકારોની સંખ્યા લગભગ 100 થી 200 સુધી વધારવાનો સમાવેશ થાય છે; રસ્ટમાં લખેલા નવા કમાન્ડ-લાઇન ક્લાયંટનો ઉમેરો; રૂપરેખાંકન ફાઇલો અને કોડ જેવા ટેક્સ્ટ ફોર્મેટ શોધવામાં સુધારેલી ચોકસાઇ; અને અન્ય પ્રોજેક્ટ્સ સાથે તેમના એકીકરણને સરળ બનાવવા માટે પાયથોન અને ટાઇપસ્ક્રિપ્ટ મોડ્યુલોને ફરીથી કાર્યરત કરવામાં આવ્યા છે. સપોર્ટેડ નવા સામગ્રી પ્રકારોમાં મશીન લર્નિંગ અને AI માં ઉપયોગમાં લેવાતા ફોર્મેટનો સમાવેશ થાય છે; સ્વિફ્ટ, કોટલિન, ટાઇપસ્ક્રિપ્ટ, ડાર્ટ, સોલિડિટી (સોલિડિટી), વેબ એસેમ્બલી અને ઝિગ પ્રોગ્રામિંગ ભાષાઓ; ડેવઓપ્સ ઘટકો (ડોકરફાઇલ્સ, TOML, હાશીકોર્પ, બેઝલ બિલ્ડ ફાઇલો અને YARA નિયમો); SQLite ડેટાબેઝ; ઓટોકેડ ફાઇલો (dwg, dxf), એડોબ ફોટોશોપ (psd), અને ફોન્ટ્સ (woff, woff2). C++ અને C, JavaScript અને ટાઇપસ્ક્રિપ્ટમાં કોડ વિભાજન સુધારવામાં આવ્યું છે.

સોર્સ: opennet.ru