امتیاز دهی به افراد آسیب پذیر: زمانی که فناوری در برابر جوامع قرار می گیرد

• نویسنده:
• نام نویسنده

  آینده نگاری کوانتوم ران
• فوریه 14، 2024

خلاصه بینش

نقش رو به گسترش هوش مصنوعی (AI) در بخش‌هایی مانند اشتغال و مراقبت‌های بهداشتی می‌تواند جوامع آسیب‌پذیر را در معرض سوگیری و شیوه‌های امتیازدهی غیراخلاقی قرار دهد. اتکای فزاینده به هوش مصنوعی در مناطق حیاتی بر نیاز به داده های متنوع و مقررات سختگیرانه برای جلوگیری از تبعیض تاکید می کند. این روند تقاضای رو به رشد برای شفافیت، انصاف در برنامه های کاربردی هوش مصنوعی و تغییر رویکردهای عمومی و دولتی به حاکمیت فناوری را برجسته می کند.

امتیاز دهی به بافت افراد آسیب پذیر

در سال های اخیر، هوش مصنوعی به طور فزاینده ای در بخش های مختلف، به ویژه اشتغال، مراقبت های بهداشتی و اجرای پلیس استفاده شده است. تا سال 2020، بیش از نیمی از مدیران استخدام در ایالات متحده از نرم افزارهای الگوریتمی و ابزارهای هوش مصنوعی در استخدام استفاده می کردند، روندی که همچنان رو به رشد بوده است. الگوریتم‌هایی که این پلتفرم‌ها و سیستم‌ها را نیرو می‌دهند، از انواع داده‌ها، از جمله اطلاعات صریح از نمایه‌ها، داده‌های ضمنی استنتاج شده از اقدامات کاربر، و تجزیه و تحلیل رفتاری استفاده می‌کنند. با این حال، این تعامل پیچیده داده ها و تصمیم گیری الگوریتمی، خطر سوگیری را معرفی می کند. به عنوان مثال، زنان اغلب مهارت‌های خود را در رزومه کمتر نشان می‌دهند، و زبان جنسیتی خاص می‌تواند بر نحوه ارزیابی الگوریتم مناسب بودن نامزد تأثیر بگذارد. 

در مراقبت‌های بهداشتی، اگر داده‌های مورد استفاده برای آموزش این الگوریتم‌ها متنوع نباشد، می‌تواند منجر به تشخیص اشتباه یا توصیه‌های درمانی نامناسب، به‌ویژه برای گروه‌هایی شود که کمتر ارائه شده‌اند. نگرانی دیگر حفظ حریم خصوصی و امنیت داده ها است، زیرا داده های مراقبت های بهداشتی بسیار حساس هستند. در پلیس، هوش مصنوعی در اشکال مختلفی مانند الگوریتم های پلیس پیش بینی، فناوری تشخیص چهره و سیستم های نظارتی مورد استفاده قرار می گیرد. چندین مطالعه نشان داده اند که افراد رنگین پوست اغلب به اشتباه توسط این سیستم های تشخیص چهره شناسایی می شوند.

چشم انداز نظارتی برای رسیدگی به این چالش ها در حال تحول است. تلاش‌های قانونی، مانند قانون پاسخگویی الگوریتمی 2022، با هدف کاهش تعصب الگوریتمی با الزام شرکت‌ها به انجام ارزیابی‌های تاثیر سیستم‌های هوش مصنوعی در حوزه‌های تصمیم‌گیری حیاتی است. با این حال، پرداختن به موضوع سوگیری در فرآیندهای استخدام مبتنی بر هوش مصنوعی، مستلزم تلاش‌های هماهنگ از سوی چندین ذینفع است. توسعه دهندگان فناوری باید از شفافیت و انصاف در الگوریتم های خود اطمینان حاصل کنند، شرکت ها باید محدودیت های این ابزارها را بپذیرند و به آنها رسیدگی کنند، و سیاست گذاران باید مقرراتی را اجرا کنند که از اقدامات تبعیض آمیز محافظت کند. 

تاثیر مخرب

تأثیر بلندمدت امتیاز دهی به افراد آسیب پذیر، عمدتاً از طریق سیستم هایی مانند امتیازدهی اعتباری و استخدام الگوریتمی، می تواند به طور قابل توجهی بر تحرک اجتماعی و نابرابری اقتصادی تأثیر بگذارد. نمرات اعتباری که برای تعیین اعتبار مالی ضروری است، اغلب افراد با پیشینه های اقتصادی-اجتماعی پایین را به ضرر می رساند. با گذشت زمان، این چرخه ای را تداوم می بخشد که در آن افراد محروم با چالش های بیشتری در دسترسی به خدمات مالی ضروری روبرو می شوند.

تأثیر سیستم‌های امتیازدهی جانبدارانه می‌تواند منجر به طرد اجتماعی گسترده‌تر شود و بر مسکن، اشتغال و دسترسی به خدمات ضروری تأثیر بگذارد. افرادی که نمرات کمتری دارند یا افرادی که به طور غیرمنصفانه توسط الگوریتم‌های مغرضانه ارزیابی می‌شوند، ممکن است تأمین مسکن یا شغل را دشوار بدانند و نابرابری‌های اجتماعی موجود را تقویت کنند. این سناریو بر نیاز به سیستم‌های امتیازدهی عادلانه‌تر تأکید می‌کند که به جای تکیه بر نقاط داده محدود، زمینه وسیع‌تر زندگی فرد را در نظر می‌گیرد.

شرکت‌ها، به‌ویژه شرکت‌هایی که در بخش‌های مالی و استخدامی فعالیت می‌کنند، ممکن است ناخواسته با تکیه بر این سیستم‌های مغرضانه به طبقه‌بندی اجتماعی کمک کنند. در همین حال، دولت‌ها با چالش اطمینان از همگامی قوانین با پیشرفت‌های فناوری برای محافظت از جمعیت‌های آسیب‌پذیر مواجه هستند. آنها باید شفافیت و پاسخگویی را در سیستم های امتیازدهی ارتقا دهند یا خطر از دست دادن اعتماد شهروندان به نهادها و برنامه های دولتی را به همراه داشته باشند.

پیامدهای امتیازدهی به افراد آسیب پذیر

پیامدهای گسترده تر امتیازدهی به افراد آسیب پذیر ممکن است شامل موارد زیر باشد: 

• مدل‌های امتیازدهی اعتباری پیشرفته با ترکیب داده‌های جایگزین، منجر به بهبود دسترسی به محصولات مالی برای جوامعی که از لحاظ تاریخی ضعیف هستند.
• دولت ها مقررات سخت گیرانه تری را در مورد ابزارهای استخدام مبتنی بر هوش مصنوعی اجرا می کنند و از شیوه های اشتغال عادلانه تر در سراسر صنایع اطمینان می دهند.
• افزایش آگاهی عمومی و حمایت از هوش مصنوعی مغرضانه، که منجر به استقرار فناوری شفاف تر و پاسخگوتر می شود.
• شرکت ها در حال تجدید نظر در استراتژی های استخدام خود، به طور بالقوه کاهش تعصب ناخودآگاه و ترویج تنوع در محل کار.
• توسعه صنایع جدید و نقش‌های شغلی با تمرکز بر هوش مصنوعی اخلاقی و حسابرسی الگوریتم، که به تنوع بازار کار کمک می‌کند.
• افزایش سرمایه گذاری در تحقیقات هوش مصنوعی برای پرداختن به تعصب و انصاف، که منجر به پیشرفت های تکنولوژیکی می شود که به نفع طیف وسیع تری از جامعه است.

سوالاتی که باید در نظر گرفته شود

• چگونه ممکن است ادغام مجموعه داده های متنوع تر در الگوریتم های هوش مصنوعی درک ما از عدالت و برابری اجتماعی را تغییر دهد؟
• چگونه افراد می توانند به طور فعال در توسعه شیوه های هوش مصنوعی اخلاقی در زندگی روزمره و محل کار خود مشارکت داشته باشند یا بر آن تأثیر بگذارند؟