Vokenization: Te reo ka kitea e AI

• Mō te Author:
• Ingoa Kaituhi

  Quantumrun Foresight
• Kia 9, 2023

Ko te tukatuka reo maori (NLP) kua taea e nga punaha mohio (AI) te ako i te korero a te tangata ma te mohio ki nga kupu me te whakataurite i te horopaki ki te karekau. Ko te mea iti ko enei punaha NLP he mea hanga-tuhi noa. Kua tata te Vokenization ki te huri i nga mea katoa.

Te horopaki Vokenization

E rua nga kaupapa ako miihini-a-tuhi (ML) e whakamahia ana ki te whakangungu AI ki te tukatuka me te mohio ki te reo tangata: OpenAI's Generative Pre-trained Transformer 3 (GPT-3) me Google's BERT (Bidirectional Encoder Representations from Transformers). I roto i nga kupu a AI, ko nga kupu e whakamahia ana i roto i te whakangungu NLP ka kiia he tohu. I kitea e nga Kairangahau mai i te Whare Wananga o North Carolina (UNC) he iti noa nga kaupapa whakangungu i runga i te tuhinga na te mea kaore e taea e ratou te "kite," ko te tikanga kaore e taea e ratou te hopu korero ataata me te whakawhitiwhiti korero. 

Hei tauira, ki te patai tetahi ki a GPT-3 he aha te tae o te hipi, ka whakautuhia e te punaha he "pango" ahakoa he maamaa te ma. Ko tenei whakautu na te mea ka honoa e te punaha-tuhituhi ki te kupu "hipi pango" hei utu mo te tautuhi i te tae tika. Ma te whakauru i nga tirohanga me nga tohu (voken), ka taea e nga punaha AI te maarama ki te katoa o nga kupu. Ko te Vokenization te whakauru i nga vokens ki roto i nga punaha NLP e tirotirohia ana e ia ano, ka taea e ratou te whakawhanake i te "whakaaro mohio."

Ko te whakauru i nga tauira reo me te tirohanga rorohiko ehara i te kaupapa hou, a he waahi tere haere i roto i te rangahau AI. Ko te whakakotahitanga o enei momo AI e rua ka kaha ake o raatau kaha. Ko nga tauira reo penei i te GPT-3 e whakangungua ana ma te ako kore e tirotirohia, e taea ai e ratou te awhatatia ngawari. He rereke, ka taea e nga tauira atahanga penei i nga punaha tohu taonga te ako mai i te mooni me te kore e whakawhirinaki ki te tangohanga e whakaratohia ana e te tuhinga. Hei tauira, ka mohio nga tauira ahua he ma te hipi ma te titiro ki tetahi pikitia.

Pānga whakararuraru

Ko te tukanga o te vokenization he tino ngawari. Ka hangaia nga Vokens ma te tautapa i nga whakaahua e tika ana, e whai kiko ana ranei ki nga tohu reo. Na, ka hangaia nga algorithms (vokenizer) ki te whakaputa i nga vokens ma te ako kore e tirotirohia (kaore he tawhā/ture). Ka taea e te mohio mohio AI whakangungua na roto i te vokenization te korero me te whakaoti rapanga pai ake na te mea he hohonu ake to raatau mohiotanga ki te horopaki. He ahurei tenei huarahi na te mea ehara i te mea e tohu ana i nga tohu reo engari e tohu ana i nga tohu ahua, he mea kaore e taea e nga tauira BERT tuku iho te mahi.

Hei tauira, ka taea e nga kaiawhina karetao te mohio ki nga whakaahua me te whakatere i nga tukanga pai ake na te mea ka taea e ratou te "kite" nga mea e hiahiatia ana mo ratou. Ka taea e nga punaha mohio mohio kua whakangungua ki te tuhi i nga korero ka taea te hanga tuhinga e tangi ake ana i te tangata, me nga whakaaro e rere pai ake ana, kaua ki nga rerenga korero. Ma te whakaaro ki te whanuitanga o nga tono NLP, ka taea e te vokenization te arahi ki nga chatbots pai ake te mahi, nga kaiawhina mariko, nga taatai ​​rongoa ipurangi, nga kaiwhakamaori mamati, me era atu.

Hei taapiri, ko te whakakotahitanga o te tirohanga matakite me te ako reo kei te rongonui haere i roto i nga tono atahanga rongoa, otira mo te tātari whakaahua rongoa aunoa. Hei tauira, kei te whakamatautau etahi o nga kairangahau i tenei huarahi ki runga i nga whakaahua reo irirangi me nga whakaahuatanga tuhinga e hono ana, i reira ka pau te wa o te wahanga oro. Ka taea e te tikanga vokenization te whakarei ake i enei whakaaturanga me te whakapai ake i nga whakaahua rongoa aunoa ma te whakamahi i nga korero tuhinga.

Nga tono mo te whakangao

Ko etahi o nga tono mo te whakaputanga ka uru pea:

• Ko nga chatbots mohio ka taea te tukatuka i nga whakaahua, pikitia, me nga ihirangi paetukutuku. Ka taea e nga chatbots tautoko kiritaki, ina koa, te tohu tika i nga hua me nga ratonga.
• Ko nga kaiwhakamaori matihiko ka taea te tukatuka whakaahua me nga ataata me te whakarato i te whakamaoritanga tika e whai whakaaro ana ki te horopaki ahurea me te horopaki.
• Ka taea e nga kaitirotiro bot pāpāho pāpori te whakahaere i te tātaritanga kare-a-roto katoa ma te whakakotahi i nga whakaahua, nga tapanga, me nga korero. Ka whai hua tenei tono i roto i te whakaōrite i te ihirangi me te tātari o nga whakaahua kino.
• Te whakanui ake i nga waahi mahi mo te tirohanga rorohiko me nga miihini ako miihini NLP me nga kaiputaiao raraunga.
• Ko nga whakaoho e hanga ana i runga i enei punaha AI ki te hokohoko i a raatau, ki te whakarato otinga motuhake mo nga umanga.

Nga patai hei korero

• He aha atu ki to whakaaro ka huri te vokenization ki te mahi tahi me nga karetao?
• Me pehea e taea ai e te vokenization te whakarereke i to taatau whakahaere pakihi me te taunekeneke ki a maatau taputapu (waea atamai me nga taputapu atamai)?