Algoritma menyasarkan orang: Apabila mesin dihidupkan terhadap minoriti

• Pengarang
• Nama pengarang

  Quantumrun Foresight
• Februari 8, 2023

Tidak dinafikan bahawa sistem pengecaman muka boleh digunakan dengan baik, seperti membantu mencari kanak-kanak yang hilang dan mengesan penderaan, apabila dilatih dengan betul. Walau bagaimanapun, dalam beberapa kes berprofil tinggi, algoritma yang menggerakkan sistem pengecaman muka ini sedang dilatih menggunakan data daripada populasi yang terdedah tanpa persetujuan mereka.

Algoritma menyasarkan konteks orang

Sistem pengecaman imej, seperti teknologi pengecaman muka (FRT), mencabar untuk dibangunkan kerana algoritma yang mendorongnya memerlukan set data yang besar untuk mendapatkan hasil yang tepat. Sebagai contoh, Set Data Pertemuan Berbilang merangkumi dua koleksi foto yang luas: mereka yang tidak melakukan sebarang jenayah dan individu yang telah meninggal dunia. Set data mengandungi lebih banyak bahagian imej yang menampilkan orang daripada kumpulan minoriti berbanding populasi umum. Jika penguatkuasa undang-undang menggunakan data ini untuk melatih algoritma, ia berkemungkinan menghasilkan hasil yang berat sebelah. 

Banyak imej digunakan tanpa persetujuan orang yang bergambar, terutamanya kanak-kanak. Program Analitis Imej Eksploitasi Kanak-kanak telah digunakan sejak 2016 oleh pembangun teknologi pengecaman muka untuk menguji set data mereka. Program ini mengandungi gambar bayi melalui remaja, yang kebanyakannya menjadi mangsa paksaan, penderaan dan serangan seksual, seperti yang dinyatakan dalam dokumentasi projek.

Menurut kajian 2019 oleh laman berita Slate, program Ujian Pengesahan Pengecaman Wajah AS sangat bergantung pada imej kanak-kanak yang telah menjadi mangsa pornografi kanak-kanak, pemohon visa AS (terutamanya mereka dari Mexico), dan orang yang pernah ditangkap sebelum ini. dan kemudian meninggal dunia. Beberapa imej datang daripada kajian Jabatan Keselamatan Dalam Negeri (DHS) di mana pekerja DHS menangkap gambar pengembara tetap untuk tujuan penyelidikan. Selain itu, orang yang gambar mereka digunakan terutamanya dalam program ini telah disyaki melakukan aktiviti jenayah.

Kesan yang mengganggu

China juga telah menggunakan algoritma FRT untuk menyasarkan golongan minoriti, khususnya masyarakat Islam Uyghur. Pada 2021, BBC melaporkan bahawa sistem kamera yang menggunakan AI dan pengecaman muka untuk mengesan emosi telah diuji ke atas Uyghur di Xinjiang. Pengawasan adalah aktiviti harian untuk rakyat yang tinggal di wilayah tersebut. Kawasan itu juga merupakan rumah kepada "pusat pendidikan semula" (dipanggil kem tahanan keselamatan tinggi oleh kumpulan hak asasi manusia), di mana dianggarkan satu juta orang telah ditahan.

Jika tiada peraturan kerajaan yang betul, sesiapa sahaja boleh digunakan sebagai subjek ujian untuk industri pengecaman muka. Detik-detik rakyat yang paling terdedah mungkin dirakam dan kemudian dieksploitasi oleh sektor kerajaan yang sepatutnya melindungi orang ramai. Selain itu, beberapa set data dikeluarkan kepada umum, membenarkan warganegara atau syarikat persendirian memuat turun, menyimpan dan menggunakannya. 

Adalah mustahil untuk memberitahu berapa banyak sistem komersial bergantung pada data ini, tetapi ia adalah amalan biasa yang dilakukan oleh banyak projek akademik. Bias antara set data sumber menimbulkan isu apabila perisian mesti "dilatih" untuk tugas khususnya (contohnya, untuk mengenal pasti wajah) atau "diuji" untuk prestasi. Disebabkan beberapa peristiwa di mana orang ramai didiskriminasi kerana warna kulit mereka atau ciri lain, terdapat banyak permintaan untuk peraturan yang lebih baik mengenai cara sistem pembelajaran mesin (ML) ini dilatih. Menurut Analytics Insight, hanya Belgium dan Luxembourg telah mengharamkan FRT sepenuhnya di wilayah mereka.

Implikasi algoritma yang menyasarkan orang

Implikasi yang lebih luas daripada algoritma yang menyasarkan orang mungkin termasuk: 

• Kumpulan hak asasi manusia melobi kerajaan masing-masing untuk mengehadkan penggunaan FRT, termasuk akses kepada imej.
• Kerajaan bekerjasama untuk mencipta piawaian global yang akan menentukan dengan jelas cara alat FRT akan dilatih dan digunakan.
• Peningkatan saman terhadap syarikat yang menggunakan data latihan haram daripada kumpulan minoriti.
• Sesetengah negara melanjutkan pelaksanaan algoritma FRT mereka untuk memantau dan mengawal populasi masing-masing.
• Alat AI yang lebih berat sebelah yang menyasarkan kumpulan etnik tertentu, orientasi seksual dan gabungan agama. 

Soalan untuk diulas

• Apakah beberapa cara algoritma digunakan untuk menyasarkan kumpulan tertentu dalam komuniti anda, jika ada?
• Bagaimana lagi AI boleh digunakan untuk menindas atau mengeksploitasi populasi yang terdedah?