Vokenization: هغه ژبه چې AI یې لیدلی شي

• لیکونکی:
• د لیکوال نوم

  Quantumrun وړاندوینه
• ښايي 9، 2023

د طبیعي ژبې پروسس کول (NLP) د مصنوعي استخباراتو (AI) سیسټمونو ته وړتیا ورکړې چې د کلمو په پوهیدو او د احساساتو سره د شرایطو سره مطابقت کولو سره د انسان وینا زده کړي. یوازینی زیان دا دی چې دا NLP سیسټمونه په بشپړ ډول د متن پراساس دي. Vokenization د دې ټولو بدلولو په اړه دی.

د غږیز کولو شرایط

د متن پر بنسټ د ماشین زده کړې (ML) دوه پروګرامونه اکثرا د AI روزنې لپاره کارول کیږي ترڅو د انسان ژبه پروسس او پوه شي: د OpenAI تولیدي پری روزل شوي ټرانسفارمر 3 (GPT-3) او د ګوګل BERT (د ټرانسفارمرونو څخه دوه اړخیزه انکوډر نمایندګي). د AI په اصطلاح کې، هغه کلمې چې د NLP روزنې کې کارول کیږي د ټوکن په نوم یادیږي. د شمالي کارولینا پوهنتون (UNC) څیړونکو ولیدل چې د متن پراساس روزنیز پروګرامونه محدود دي ځکه چې دوی نشي کولی "وګوري"، پدې معنی چې دوی نشي کولی بصری معلومات او ارتباط ونیسي. 

د مثال په توګه، که څوک د GPT-3 څخه پوښتنه وکړي چې د پسونو رنګ څه دی، سیسټم به اکثرا "تور" ځواب ورکړي حتی که دا روښانه سپینه وي. دا ځواب ځکه دی چې د متن پر بنسټ سیسټم به دا د سم رنګ پیژندلو پر ځای د "تور پسونو" اصطلاح سره شریک کړي. د ټوکنونو (voken) سره د لیدونو په یوځای کولو سره، د AI سیسټمونه کولی شي د شرایطو هولیسټیک پوهه ولري. Vokenization Vokens د ځان تر څارنې لاندې NLP سیسټمونو کې مدغم کوي، دوی ته اجازه ورکوي چې "عام احساس" ته وده ورکړي.

د ژبې موډلونو او د کمپیوټر لید ادغام کومه نوې مفکوره نه ده، او دا د AI په څیړنه کې د چټک پراخیدو ساحه ده. د دې دوه ډوله AI ترکیب د دوی انفرادي ځواک ګټه پورته کوي. د ژبې ماډلونه لکه GPT-3 د غیر څارل شوي زده کړې له لارې روزل شوي، کوم چې دوی ته اجازه ورکوي چې په اسانۍ سره اندازه کړي. په مقابل کې، د عکس ماډلونه لکه د اعتراض پیژندنې سیسټمونه کولی شي مستقیم له واقعیت څخه زده کړي او د متن لخوا چمتو شوي خلاصون باندې تکیه نه کوي. د مثال په توګه، د انځور ماډل کولی شي د انځور په لیدلو سره پوه شي چې پسه سپینه ده.

ګډوډي اغیزې

د غږ کولو پروسه خورا ساده ده. Vokens د ژبې ټکنونو ته د اړونده یا اړونده عکسونو په ورکولو سره رامینځته کیږي. بیا، الګوریتمونه (vokenizer) د غیر څارل شوي زده کړې له لارې د غږونو تولید لپاره ډیزاین شوي (هیڅ واضح پیرامیټرې/قوانین نلري). عام احساس AI د غږ کولو له لارې روزل شوي کولی شي خبرې اترې وکړي او ستونزې په ښه توګه حل کړي ځکه چې دوی د شرایطو ډیر ژور پوهه لري. دا طریقه بې ساري ده ځکه چې دا نه یوازې د ژبې ټکنونو وړاندوینه کوي بلکې د عکس ټیکونو وړاندوینه هم کوي، دا هغه څه دي چې د BERT دودیز ماډلونه نشي کولی.

د مثال په توګه، د روبوټیک معاونین به وکولی شي عکسونه وپیژني او پروسې په ښه توګه پرمخ بوځي ځکه چې دوی کولی شي "وګوري" هغه څه چې دوی ته اړتیا لري. د مصنوعي استخباراتو سیسټمونه چې د مینځپانګې لیکلو لپاره روزل شوي د دې وړتیا ولري چې مقالې رامینځته کړي چې ډیر انساني غږ کوي ، د نظرونو سره چې د ګډوډ جملو پرځای ښه جریان لري. د NLP غوښتنلیکونو پراخه لاسرسي ته په پام سره ، غږ کول کولی شي د غوره فعالیت کولو چټ بوټونو ، مجازی معاونینو ، آنلاین طبي تشخیصونو ، ډیجیټل ژباړونکو او نور ډیر څه لامل شي.

سربیره پردې ، د لید او ژبې زده کړې ترکیب د طبي عکس اخیستنې غوښتنلیکونو کې شهرت ترلاسه کوي ، په ځانګړي توګه د اتوماتیک طبي عکس تشخیص لپاره. د مثال په توګه، ځینې څیړونکي د دې طریقې سره د راډیوګراف انځورونو سره د متن توضیحاتو سره تجربه کوي، چیرې چې سیمانټیک قطع کول د وخت ضایع کیدی شي. د غږیز کولو تخنیک کولی شي دا نمایندګۍ ته وده ورکړي او د متن معلوماتو په کارولو سره اتوماتیک طبي عکس العمل ته وده ورکړي.

د غږولو لپاره غوښتنلیکونه

د غږولو لپاره ځینې غوښتنلیکونه کېدای شي پدې کې شامل وي:

• هوښیار چیټ بوټونه چې کولی شي د سکرین شاټونو ، عکسونو او ویب پا toې مینځپانګې پروسس کړي. د پیرودونکي ملاتړ چیټ بوټونه ، په ځانګړي توګه ، ممکن د محصولاتو او خدماتو دقیق وړاندیز کولو وړتیا ولري.
• ډیجیټل ژباړونکي چې کولی شي عکسونه او ویډیوګانې پروسس کړي او دقیق ژباړه چمتو کړي چې کلتوري او وضعیت شرایط په پام کې ونیسي.
• د ټولنیزو رسنیو بوټ سکینرونه د دې وړتیا لري چې د عکسونو ، سرلیکونو ، او نظرونو یوځای کولو سره ډیر هولیسټیک احساساتي تحلیل ترسره کړي. دا غوښتنلیک د مینځپانګې اعتدال کې ګټور کیدی شي چې د زیان لرونکي عکسونو تحلیل ته اړتیا لري.
• د کمپیوټر لید او د NLP ماشین زده کړې انجینرانو او ډیټا ساینس پوهانو لپاره د کار فرصتونو زیاتوالی.
• د دې AI سیسټمونو رامینځته کول پیل کوي ترڅو دوی سوداګریز کړي یا د سوداګرۍ لپاره دودیز حلونه چمتو کړي.

د نظر ورکولو لپاره پوښتنې

• تاسو نور څنګه فکر کوئ چې غږ کول به بدل شي چې موږ څنګه د روبوټونو سره تعامل کوو؟
• غږ کول څنګه بدلولی شي چې موږ څنګه سوداګرۍ ترسره کوو او زموږ د ګیجټونو (سمارټ فونونو او سمارټ وسایلو) سره اړیکه ونیسو؟