Vokenization: Puo eo AI e ka e bonang

• Author:
• Lebitso la sengoli

  Quantumrun Ponelopele
• E se eka 9, 2023

Tlhaho ea puo ea tlhaho (NLP) e nolofalelitse litsamaiso tsa bohlale ba maiketsetso (AI) ho ithuta puo ea motho ka ho utloisisa mantsoe le ho hokahanya moelelo le maikutlo. Taba e mpe feela ke hore litsamaiso tsena tsa NLP li thehiloe feela ka mongolo. Vokenization e mothating oa ho fetola seo sohle.

Boemo ba Vokenization

Mananeo a mabeli a ho ithuta ka mochine (ML) a atisa ho sebelisoa ho koetlisa AI ho sebetsana le ho utloisisa puo ea batho: OpenAI's Generative Pre-trained Transformer 3 (GPT-3) le Google's BERT (Bidirectional Encoder Representations from Transformers). Ka mantsoe a AI, mantsoe a sebelisitsoeng thupelong ea NLP a bitsoa tokens. Bafuputsi ba Univesithi ea North Carolina (UNC) ba hlokometse hore mananeo a koetliso a thehiloeng mangolong a na le moeli hobane ha a khone ho "bona," ho bolelang hore ha a khone ho nka tlhahisoleseling le puisano. 

Ka mohlala, haeba motho a botsa GPT-3 hore na 'mala oa linku ke ofe, hangata tsamaiso e tla araba "e ntšo" le haeba e le tšoeu e hlakileng. Karabelo ena e bakoa ke hore mokhoa oa mongolo o tla o amahanya le lentsoe "linku tse ntšo" ho fapana le ho khetholla 'mala o nepahetseng. Ka ho kenyelletsa lipono tse nang le li-tokens (voken), litsamaiso tsa AI li ka ba le kutloisiso e felletseng ea mantsoe. Vokenization e kenyelletsa li-voken ho litsamaiso tse ikemetseng tsa NLP, tse ba lumellang hore ba hlaolele "kutloisiso e tloaelehileng."

Ho kopanya mefuta ea lipuo le pono ea khomphutha ha se mohopolo o mocha, hape ke sebaka se ntseng se hola ka potlako lipatlisisong tsa AI. Motsoako oa mefuta ena e 'meli ea AI e phahamisa matla a bona ka bomong. Mehlala ea lipuo tse kang GPT-3 e koetlisoa ka ho ithuta ho sa laoleheng, e leng ho ba lumellang ho hola habonolo. Ka lehlakoreng le leng, mehlala ea litšoantšo joalo ka lits'ebetso tsa temoho ea ntho e ka ithuta ka kotloloho ho tsoa 'neteng' me ha e itšetlehe ka khutsufatso e fanoeng ke mongolo. Ka mohlala, mehlala ea litšoantšo e ka lemoha hore nku e tšoeu ka ho sheba setšoantšo.

Tšusumetso e senyang

Mokhoa oa ho vokenization o bonolo haholo. Li-Voken li entsoe ka ho fana ka litšoantšo tse tsamaellanang kapa tse loketseng ho li-tokens tsa puo. Joale, li-algorithms (vokenizer) li etselitsoe ho hlahisa li-vokens ka thuto e sa laoleheng (ha ho na litekanyetso / melao e hlakileng). AI ea kelello e koetlisitsoeng ka vokenization e ka buisana le ho rarolla mathata hamolemo hobane ba na le kutloisiso e tebileng ea moelelo oa taba. Mokhoa ona o ikhethile hobane ha o bolele esale pele matšoao a puo feela empa hape o bolela esale pele li-tokens tsa litšoantšo, e leng ntho eo mehlala ea setso ea BERT e sa khoneng ho e etsa.

Mohlala, bathusi ba liroboto ba tla khona ho lemoha litšoantšo le ho tsamaisa lits'ebetso hantle hobane ba khona ho "bona" ​​se hlokoang ho bona. Litsamaiso tsa bohlale ba maiketsetso tse koetliselitsoeng ho ngola litaba li tla khona ho etsa lingoliloeng tse utloang eka ke motho, tse nang le mehopolo e phallang hamolemo, ho fapana le lipolelo tse sa kopaneng. Ha ho nahanoa ka phihlello e pharalletseng ea lits'ebetso tsa NLP, vokenization e ka lebisa ho li-chatbots tse sebetsang hantle, bathusi ba sebele, tlhahlobo ea bongaka ea inthaneteng, bafetoleli ba dijithale le tse ling.

Ho feta moo, motsoako oa pono le ho ithuta puo o ntse o tsebahala haholo lits'ebetsong tsa litšoantšo tsa bongaka, haholo-holo bakeng sa tlhahlobo ea setšoantšo sa bongaka. Ka mohlala, bafuputsi ba bang ba leka mokhoa ona litšoantšong tsa radiograph tse nang le litlhaloso tsa mongolo tse tsamaeang le eona, moo karohano ea semantic e ka jang nako. Mokhoa oa vokenization o ka ntlafatsa lits'oants'o tsena mme oa ntlafatsa litšoantšo tsa bongaka tse ikemetseng ka ho sebelisa tlhaiso-leseling ea mongolo.

Likopo tsa ho vokenization

Likopo tse ling tsa ho vokenization li ka kenyelletsa:

• Li-chatbots tse hlakileng tse ka sebetsanang le li-screenshots, linepe le litaba tsa webosaete. Li-chatbots tsa tšehetso ea bareki, haholoholo, li ka khona ho khothaletsa lihlahisoa le lits'ebeletso ka nepo.
• Bafetoleli ba dijithale ba ka sebetsanang le litšoantšo le lifitio le ho fana ka phetolelo e nepahetseng e nahanang ka maemo a setso le maemo.
• Mecha ea litaba ea sechaba ea bot scanner e khona ho etsa tlhahlobo e akaretsang ea maikutlo ka ho kopanya litšoantšo, litlhaloso le maikutlo. Sesebelisoa sena se ka thusa ho lekanyetsa litaba tse hlokang tlhahlobo ea litšoantšo tse kotsi.
• Ho eketsa menyetla ea mesebetsi bakeng sa pono ea khomphutha le lienjineri tsa ho ithuta ka mochini oa NLP le bo-ramahlale ba data.
• Lits'ebetso tse qalang ho aha lits'ebetsong tsena tsa AI ho li rekisa kapa ho fana ka tharollo e ikhethileng bakeng sa likhoebo.

Lipotso tseo u ka fanang ka maikutlo ho tsona

• U nahana hore vokenization e tla fetola joang tsela eo re sebelisanang le liroboto ka eona?
• Vokenization e ka fetola joang tsela eo re tsamaisang khoebo ka eona le ho sebelisana le lisebelisoa tsa rona (li-smartphone le lisebelisoa tse bohlale)?