Vokenization: Basa sing bisa dideleng AI

• Babagan Author:
• Jeneng panganggit

  Quantumrun Foresight
• Muga 9, 2023

Pangolahan basa alami (NLP) wis ngaktifake sistem intelijen buatan (AI) kanggo sinau wicara manungsa kanthi ngerti tembung lan cocog konteks karo sentimen. Siji-sijine kekurangan yaiku sistem NLP iki mung adhedhasar teks. Vokenization bakal ngganti kabeh.

Konteks vokenisasi

Rong program machine learning (ML) basis teks asring digunakake kanggo nglatih AI kanggo ngolah lan mangerteni basa manungsa: OpenAI's Generative Pre-trained Transformer 3 (GPT-3) lan Google BERT (Bidirectional Encoder Representations from Transformers). Ing terminologi AI, tembung sing digunakake ing latihan NLP diarani token. Peneliti saka Universitas North Carolina (UNC) mirsani yen program latihan adhedhasar teks diwatesi amarga padha ora bisa "ndeleng," tegese padha ora bisa njupuk informasi visual lan komunikasi. 

Contone, yen ana sing takon GPT-3 apa wedhus wedhus, sistem bakal kerep mangsuli "ireng" sanajan cetha putih. Tanggepan iki amarga sistem basis teks bakal digandhengake karo istilah "wedhus ireng" tinimbang ngenali werna sing bener. Kanthi nggabungake visual kanthi token (voken), sistem AI bisa duwe pemahaman sakabehe babagan istilah. Vokenization nggabungake voken menyang sistem NLP sing diawasi dhewe, supaya bisa ngembangake "akal sehat."

Nggabungake model basa lan visi komputer dudu konsep anyar, lan minangka lapangan sing berkembang kanthi cepet ing riset AI. Kombinasi saka rong jinis AI iki nggunakake kekuwatan individu. Model basa kaya GPT-3 dilatih liwat pembelajaran sing ora diawasi, sing ngidini ukurane gampang. Ing kontras, model gambar kaya sistem pangenalan obyek bisa langsung sinau saka kasunyatan lan ora gumantung ing abstraksi sing diwenehake dening teks. Contone, model gambar bisa ngerteni yen wedhus putih kanthi ndeleng gambar.

Dampak gangguan

Proses vokenisasi cukup gampang. Vokens digawe kanthi menehi gambar sing cocog utawa cocog karo token basa. Banjur, algoritma (vokenizer) dirancang kanggo ngasilake voken liwat pembelajaran sing ora diawasi (ora ana parameter / aturan sing jelas). Akal sehat AI sing dilatih liwat vokenisasi bisa komunikasi lan ngrampungake masalah kanthi luwih apik amarga duwe pangerten konteks sing luwih jero. Pendekatan iki unik amarga ora mung prédhiksi token basa nanging uga prédhiksi token gambar, yaiku sing model BERT tradisional ora bisa dilakoni.

Contone, asisten robot bakal bisa ngenali gambar lan navigasi proses luwih apik amarga bisa "ndeleng" apa sing dibutuhake. Sistem intelijen buatan sing dilatih kanggo nulis konten bakal bisa nggawe artikel sing muni luwih manungsa, kanthi ide sing luwih apik, tinimbang ukara sing ora nyambung. Ngelingi jangkauan aplikasi NLP sing akeh, vokenisasi bisa nyebabake chatbots sing luwih apik, asisten virtual, diagnosa medis online, penerjemah digital, lan liya-liyane.

Kajaba iku, kombinasi sesanti lan sinau basa dadi populer ing aplikasi pencitraan medis, khusus kanggo diagnosis gambar medis otomatis. Contone, sawetara peneliti nyoba pendekatan iki ing gambar radiograf kanthi deskripsi teks sing diiringi, ing ngendi segmentasi semantik bisa ngentekake wektu. Teknik vokenisasi bisa nambah perwakilan kasebut lan nambah pencitraan medis otomatis kanthi nggunakake informasi teks.

Aplikasi kanggo vokenization

Sawetara aplikasi kanggo vokenization bisa uga kalebu:

• Chatbots intuisi sing bisa ngolah gambar, gambar, lan konten situs web. Chatbots dhukungan pelanggan, utamane, bisa menehi rekomendasi produk lan layanan kanthi akurat.
• Penerjemah digital sing bisa ngolah gambar lan video lan menehi terjemahan akurat sing nimbang konteks budaya lan situasional.
• Pemindai bot media sosial bisa nindakake analisis sentimen sing luwih holistik kanthi nggabungake gambar, katrangan, lan komentar. Aplikasi iki bisa migunani ing moderasi konten sing mbutuhake analisis gambar sing mbebayani.
• Nambah kesempatan kerja kanggo visi komputer lan insinyur pembelajaran mesin NLP lan ilmuwan data.
• Startups mbangun sistem AI iki kanggo komersialisasi utawa menehi solusi khusus kanggo bisnis.

Pitakonan kanggo komentar

• Kepiye carane vokenisasi bakal ngganti cara kita sesambungan karo robot?
• Kepiye vokenisasi bisa ngganti cara kita nindakake bisnis lan sesambungan karo gadget kita (smartphone lan piranti cerdas)?