I te Hanuere 24, i tukuna e nga miihini a Intel tetahi whakahoutanga nui ki te kete taputapu mohio-a-ringa tuwhera OpenVINO 2023.3. Ka whakarato tautoko katoa mo nga kaiwhakatikatika Emerald Rapids me Meteor Lake hou, tae atu ki etahi atu taputapu whakanikonikotanga a Intel mo te whakangao mohio hangai (GenAI) me nga tauira reo nui (LLM).
Ko te OpenVINO 2023.3 he whakauru i te whare putunga OpenVINO Gen AI hei whakaatu i nga tauira taketake o te paipa tauira reo nui C/C++ me te whakamatautau i etahi atu tauira tae atu ki a Mistral, Zephyr, ChatGLM3 me etahi atu. Torch.compile kua tino whakaurua ki a OpenVINO.
Hei whakarei ake i te tautoko mo te tauira reo nui, ka tautokohia te whakatakotoranga tauira INT4 compression model i runga i nga kaitukatuka Intel Xeon, tae atu ki nga tukatuka Intel Core me Intel iGPU. Kua pai ake te mahi LLM e pa ana ki te hurihanga i runga i nga PTM me nga GPU, nga arotautanga ngawari mo nga tauira Hugging Face, me etahi atu.
Mo te tohutoro, ko OpenVINO he huinga taputapu tuwhera, kore utu e awhina ana i nga kaiwhakawhanake me nga kaitätari raraunga ki te whakatere i te whakawhanaketanga o nga otinga tino mahi hei whakamahi i nga momo punaha ataata. Ko tenei huinga taputapu matawhānui e tautoko ana i te whānuitanga o nga otinga whakakitenga rorohiko, ka whakamaarama i nga whakatakotoranga ako hohonu, ka taea te mahi ngawari puta noa i nga papaaho Intel maha. Ka whakatauhia e OpenVINO nga momo raru maha, tae atu ki te rapu kanohi, te mohio aunoa o nga taonga, te tuhinga me te korero, te tukatuka whakaahua me te maha atu.
Source: linux.org.ru