ఆర్టిఫిషియల్ ఇంటెలిజెన్స్ రంగంలో పబ్లిక్ ప్రాజెక్ట్లను అభివృద్ధి చేసే OpenAI ప్రాజెక్ట్, నిర్దిష్ట డేటాను ప్రాసెస్ చేస్తున్నప్పుడు మెషీన్ లెర్నింగ్ లాంగ్వేజ్ మోడల్లలో నిర్మాణాల క్రియాశీలతను విశ్లేషించడానికి రూపొందించబడిన ట్రాన్స్ఫార్మర్ డీబగ్గర్ను ప్రచురించింది. సాంప్రదాయ డీబగ్గర్ల వలె, ట్రాన్స్ఫార్మర్ డీబగ్గర్ మోడల్ అవుట్పుట్, ట్రేసింగ్ మరియు నిర్దిష్ట కార్యాచరణను అడ్డుకోవడం ద్వారా దశల వారీ నావిగేషన్కు మద్దతు ఇస్తుంది. సాధారణంగా, ట్రాన్స్ఫార్మర్ డీబగ్గర్ ఒక నిర్దిష్ట అభ్యర్థనకు ప్రతిస్పందనగా ఒక భాష మోడల్ ఒక టోకెన్కు బదులుగా మరొక టోకెన్ను ఎందుకు ప్రదర్శిస్తుందో లేదా అభ్యర్థనలో నిర్దిష్ట టోకెన్లపై మోడల్ ఎందుకు ఎక్కువ శ్రద్ధ చూపుతుందో అర్థం చేసుకోవడానికి మిమ్మల్ని అనుమతిస్తుంది. కోడ్ పైథాన్లో వ్రాయబడింది మరియు MIT లైసెన్స్ క్రింద పంపిణీ చేయబడుతుంది.
కూర్పు క్రింది భాగాలను కలిగి ఉంటుంది:
- న్యూరాన్ వ్యూయర్ అనేది MLP న్యూరాన్లు, అటెన్షనల్ ఫోసిస్ మరియు హిడెన్ ఆటోఎన్కోడర్ రిప్రజెంటేషన్ల వంటి వ్యక్తిగత మోడల్ భాగాల ద్వారా నావిగేటర్.
- యాక్టివేషన్ సర్వర్ అనేది సర్వర్ బ్యాకెండ్, ఇది అన్వయించబడిన మోడల్తో పరస్పర చర్య చేస్తుంది మరియు డీబగ్గర్ కోసం డేటాను తిరిగి పొందుతుంది.
- మోడల్స్ అనేది GPT-2 భాషా నమూనాలు మరియు వాటిలో ఉపయోగించే ఆటోఎన్కోడర్లతో పరస్పర చర్య చేయడానికి ఒక లైబ్రరీ, ఇది యాక్టివేషన్లను అడ్డగించడానికి హ్యాండ్లర్ల ప్రత్యామ్నాయాన్ని అందిస్తుంది.
- MLP న్యూరాన్లు, అటెన్షనల్ ఫోసిస్ మరియు ఆటోఎన్కోడర్ల గుప్త ప్రాతినిధ్యాల కోసం డేటాసెట్లను యాక్టివేట్ చేయడానికి ఉదాహరణలు.
మూలం: opennet.ru
