జనవరి 24న, ఇంటెల్ ఇంజనీర్లు ప్రముఖ ఓపెన్ సోర్స్ ఆర్టిఫిషియల్ ఇంటెలిజెన్స్ టూల్‌కిట్ OpenVINO 2023.3కి ఒక ప్రధాన నవీకరణను విడుదల చేశారు. ఇది కొత్త ఎమరాల్డ్ రాపిడ్స్ మరియు మెటియోర్ లేక్ ప్రాసెసర్‌లకు, అలాగే జనరేటివ్ ఆర్టిఫిషియల్ ఇంటెలిజెన్స్ (GenAI) మరియు లార్జ్ లాంగ్వేజ్ మోడల్స్ (LLM) కోసం ఇతర ఇంటెల్ హార్డ్‌వేర్ మెరుగుదలలకు పూర్తి మద్దతును అందిస్తుంది.
OpenVINO 2023.3 C/C++ పెద్ద భాషా మోడల్ పైప్‌లైన్ యొక్క స్థానిక నమూనాలను ప్రదర్శించడానికి మరియు Mistral, Zephyr, ChatGLM3 మరియు ఇతరులతో సహా అదనపు మోడల్‌లను పరీక్షించడానికి OpenVINO Gen AI రిపోజిటరీని పరిచయం చేసింది. Torch.compile ఇప్పుడు పూర్తిగా OpenVINOతో అనుసంధానించబడింది.
పెద్ద భాషా మోడల్‌కు మద్దతును మెరుగుపరచడానికి, INT4 కంప్రెషన్ మోడల్ ఫార్మాట్‌కు Intel Xeon ప్రాసెసర్‌లు, అలాగే Intel కోర్ మరియు Intel iGPU ప్రాసెసర్‌లలో మద్దతు ఉంది. CPUలు మరియు GPUలు రెండింటిలోనూ మెరుగైన ట్రాన్స్‌ఫార్మర్-ఆధారిత LLM పనితీరు, హగ్గింగ్ ఫేస్ మోడల్‌ల కోసం సరళీకృత ఆప్టిమైజేషన్‌లు మరియు మరిన్ని.
సూచన కోసం, OpenVINO అనేది అనేక రకాల వీడియో సిస్టమ్‌లలో ఉపయోగించడానికి అధిక-పనితీరు గల పరిష్కారాల అభివృద్ధిని వేగవంతం చేయడంలో డెవలపర్‌లు మరియు డేటా విశ్లేషకులకు సహాయపడే ఓపెన్, ఉచిత సాధనాల సమితి. ఈ సమగ్ర సాధనాల సమితి పూర్తి స్థాయి కంప్యూటర్ విజన్ సొల్యూషన్‌లకు మద్దతు ఇస్తుంది, లోతైన అభ్యాస విస్తరణలను క్రమబద్ధీకరిస్తుంది మరియు బహుళ ఇంటెల్ ప్లాట్‌ఫారమ్‌లలో సులభంగా అమలు చేయడాన్ని ప్రారంభిస్తుంది. OpenVINO ముఖాన్ని గుర్తించడం, వస్తువులను స్వయంచాలకంగా గుర్తించడం, వచనం మరియు ప్రసంగం, ఇమేజ్ ప్రాసెసింగ్ మరియు మరిన్నింటితో సహా అనేక రకాల సమస్యలను కూడా పరిష్కరిస్తుంది.
మూలం: linux.org.ru