24. jaanuaril vabastasid Intel'i insenerid avatud lähtekoodiga tehisintellekti tööriistade komplekti OpenVINO 2023.3 suure uuenduse. See tagab täieliku toe uutele Emerald Rapids ja Meteor Lake protsessoritele ning muudele Intel'i riistvarauuendustele generatiivse tehisintellekti (GenAI) ja suurte keelemudelite (LLM) jaoks.
OpenVINO 2023.3 esitleb OpenVINO Gen AI hoidlat, et demonstreerida oma C/C++ suurt keelemudelit konveierite näidiseid ja testida täiendavaid mudeleid, sealhulgas Mistral, Zephyr, ChatGLM3 ja teisi. Torch.compile on nüüd täielikult integreeritud OpenVINO'ga.
Suure keelemudeli toe laiendamiseks toetatakse INT4 mudeli tihendamisformaat Intel Xeon protsessoritel, samuti Intel Core ja Intel iGPU'del. LLM-i töötluse tõhusus on tublisti paranenud nii kesk- kui ka graafikaprotsessorite puhul, samuti on lihtsustatud optimiseerimist Hugging Face mudelite jaoks ja palju muud.
Teabe jaoks: OpenVINO on avatud tasuta tööriistade kompleks, mis aitab arendajatel ja andmeanalüütikutel kiirendada kõrge jõudlusega lahenduste väljatöötamist erinevatele visuaalsüsteemidele. See ulatuslik tööriistade komplekt toetab kogu arvutinägemise lahenduste valikut, optimeerib süvaõppe rakendamist ja tagab lihtsa täitmise erinevatel Intel'i platvormidel. Samuti lahendab OpenVINO mitmesuguseid ülesandeid, sealhulgas näotuvastust, objekti automaatset tuvastamist, teksti ja kõne töötlemist, piltide töötlemist ja palju muud.
Allikas: linux.org.ru
