Mozilla Whisperfile સ્પીચ રેકગ્નિશન ટૂલકિટ વિકસાવે છે

મોઝિલા વ્હીસ્પરફાઈલ સ્પીચ રેકગ્નિશન ટૂલકીટ વિકસાવી રહી છે, જેમાં ઓપનએઆઈ દ્વારા વિકસિત અને ઓપન સોર્સ વ્હીસ્પર મશીન લર્નિંગ મોડલના સ્વતંત્ર, ઉચ્ચ-પ્રદર્શન અમલીકરણનો સમાવેશ થાય છે. ટૂલકીટ whisper.cpp પર આધારિત છે, જે જ્યોર્જી ગેર્ગનોવ (llama.cpp ના લેખક) દ્વારા બનાવવામાં આવેલ વ્હીસ્પર મોડેલનું C/C++ અમલીકરણ છે. કોડ C++ માં લખાયેલ છે અને MIT લાયસન્સ હેઠળ વિતરિત કરવામાં આવે છે.

વ્હીસ્પરફાઇલ મોઝિલા ઓચો ટીમ દ્વારા વિકસાવવામાં આવી રહી છે અને તે લામાફાઇલ પ્રોજેક્ટને પૂરક બનાવે છે, જે મોટા મશીન લર્નિંગ લેંગ્વેજ મોડેલ્સ (LLM) ચલાવવા માટે યુનિવર્સલ એક્ઝિક્યુટેબલ્સ બનાવવા માટે રચાયેલ છે. લામાફાઇલની જેમ, વ્હીસ્પરફાઇલ પ્રોજેક્ટ તમને મશીન લર્નિંગ મોડેલ પરિમાણો સાથે GGUF ફાઇલ પર આધારિત એક્ઝિક્યુટેબલ ફાઇલ જનરેટ કરવાની મંજૂરી આપે છે જે AMD64 અને ARM64 પ્રોસેસર્સ સાથે હાર્ડવેર પર વિવિધ ઓપરેટિંગ સિસ્ટમ્સ પર ચાલી શકે છે. કમ્પાઇલ કરેલ કોડ સ્ટાન્ડર્ડ C લાઇબ્રેરી કોસ્મોપોલિટન સાથે લિંક કરી શકે છે, જે તમને એપ્લિકેશન બિલ્ડ્સ બનાવવાની મંજૂરી આપે છે જે ચાલે છે Linux, ફ્રીબીએસડી, macOS, ઓપનબીએસડી, નેટબીએસડી અને Windows.

જ્યારે તમે એક્ઝિક્યુટેબલ ફાઇલ ચલાવો છો, ત્યારે wav, mp3, ogg અથવા flac ફોર્મેટમાં સ્પીચ ઑડિઓ સાથેની ફાઇલ ઇનપુટ પેરામીટર તરીકે પસાર થાય છે, અને માન્ય ટેક્સ્ટને આઉટપુટ તરીકે સાચવવામાં આવે છે. વ્યવહારમાં, પ્રોજેક્ટનો ઉપયોગ વિડિઓઝ માટે ટેક્સ્ટ કૅપ્શન્સ જનરેટ કરવા, વૉઇસ અને વિડિઓ કૉલ્સનો લોગ બનાવવા, રેકોર્ડ કરેલી વૉઇસ સામગ્રીને ટેક્સ્ટમાં રૂપાંતરિત કરવા અને વૉઇસ ઇનપુટ ગોઠવવા જેવી સમસ્યાઓ ઉકેલવા માટે થઈ શકે છે. Whisperfile નો ઉપયોગ કરીને, આવા કાર્યો બાહ્ય સેવાઓનો આશરો લીધા વિના સ્થાનિક સિસ્ટમ પર ઉકેલી શકાય છે.

વધુમાં, તે HTTP સર્વર તરીકે કામ કરવાનું સમર્થન કરે છે જે વેબ API દ્વારા વાણી ઓળખની વિનંતીઓ પર પ્રક્રિયા કરે છે. GPU અને AVX સૂચનાઓનો ઉપયોગ મોડેલ સાથે કામને ઝડપી બનાવવા માટે કરી શકાય છે. ટૂલકીટ આત્મવિશ્વાસના સ્કોર્સને પણ આઉટપુટ કરી શકે છે, જેનાથી તમે ઓળખી શકાય તેવા શબ્દોને તમે કેટલી સચોટ રીતે ઓળખો છો તેના આધારે રંગીન કરી શકો છો.

ઉપયોગમાં લેવાયેલ વ્હીસ્પર મોડેલને 680 હજાર કલાકના ભાષણ ડેટા પર તાલીમ આપવામાં આવી હતી, જેમાં વિવિધ વિષય વિસ્તારો અને ભાષાઓ (અંગ્રેજીમાં 2/3 ડેટા) આવરી લેવામાં આવી હતી. મૉડલ ઉચ્ચારિત ભાષણને ઓળખવામાં, ટેકનિકલ કલકલને ઓળખવામાં, સ્વચાલિત ભાષા શોધને સમર્થન આપવા માટે સારું છે અને પૃષ્ઠભૂમિ અવાજની હાજરીમાં કામ કરી શકે છે. અંગ્રેજીમાં ભાષણ માટે, સિસ્ટમ માનવીય ઓળખની નજીક સ્વચાલિત ઓળખની વિશ્વસનીયતા અને સચોટતાનું સ્તર દર્શાવે છે. ભાષણને ટેક્સ્ટમાં ટ્રાન્સક્રિપ્ટ કરવા ઉપરાંત, મોડેલનો ઉપયોગ ભાષણને અન્ય ભાષામાં અનુવાદિત કરવા માટે પણ થઈ શકે છે.

સોર્સ: opennet.ru