AI TRiSM: Garantindo que a IA permaneça ética

• Autor:
• Nome do autor

  Previsão Quantumrun
• 20 de outubro de 2023

Resumo do insight

Em 2022, a empresa de pesquisa Gartner introduziu o AI TRiSM, que significa AI Trust, Risk, and Security Management, para garantir a governança e a confiabilidade dos modelos de IA. A estrutura consiste em cinco pilares: explicabilidade, operações de modelo, detecção de anomalias de dados, resistência a ataques adversários e proteção de dados. O relatório destaca que a má gestão dos riscos da IA ​​pode levar a perdas significativas e violações de segurança. A implementação do AI TRiSM requer uma equipe multifuncional de jurídico, conformidade, TI e análise de dados. A estrutura visa construir uma cultura de “IA responsável”, com foco em preocupações éticas e legais, e provavelmente influenciará tendências de contratação, regulamentações governamentais e considerações éticas em IA.

Contexto AI TRiSM

De acordo com o Gartner, existem cinco pilares do AI TriSM: explicabilidade, operações de modelo (ModelOps), detecção de anomalias de dados, resistência a ataques adversários e proteção de dados. Com base nas projeções do Gartner, as organizações que implementarem esses pilares testemunharão um aumento de 50% no desempenho do seu modelo de IA em relação à adoção, aos objetivos de negócios e à aceitação dos usuários até 2026. Além disso, as máquinas alimentadas por IA representarão 20% da força de trabalho mundial. e contribuir com 40 por cento da produtividade económica global até 2028.

As conclusões da pesquisa do Gartner sugerem que muitas organizações implementaram centenas ou milhares de modelos de IA que os executivos de TI não conseguem compreender ou interpretar. As organizações que não gerem adequadamente os riscos relacionados com a IA são significativamente mais propensas a encontrar resultados desfavoráveis ​​e violações. Os modelos podem não funcionar conforme pretendido, levando a violações de segurança e privacidade e danos financeiros, individuais e à reputação. A implementação imprecisa da IA ​​também pode fazer com que as organizações tomem decisões de negócios equivocadas.

Para implementar com sucesso o AI TRiSM, é necessária uma equipe multifuncional de pessoal jurídico, de conformidade, segurança, TI e análise de dados. O estabelecimento de uma equipa ou grupo de trabalho dedicado com representação adequada de cada área de negócio envolvida no projeto de IA também produzirá resultados óptimos. Também é essencial garantir que cada membro da equipa compreenda claramente as suas funções e responsabilidades, bem como as metas e objetivos da iniciativa AI TRiSM.

Impacto disruptivo

Para tornar a IA segura, o Gartner recomenda várias etapas vitais. Primeiro, as organizações precisam de compreender os riscos potenciais associados à IA e como mitigá-los. Este esforço requer uma avaliação de risco abrangente que considere não apenas a tecnologia em si, mas também o seu impacto nas pessoas, nos processos e no ambiente.

Em segundo lugar, as organizações precisam de investir na governação da IA, que inclui políticas, procedimentos e controlos para gerir os riscos da IA. Esta estratégia inclui garantir que os sistemas de IA sejam transparentes, explicáveis, responsáveis ​​e cumpram as leis e regulamentos relevantes. Além disso, a monitorização e auditoria contínuas dos modelos de IA são cruciais para identificar e mitigar quaisquer riscos potenciais que possam surgir ao longo do tempo. Finalmente, as organizações precisam de desenvolver uma cultura de segurança da IA, promovendo a sensibilização, a educação e a formação entre os funcionários e as partes interessadas. Estas etapas incluem formação sobre a utilização ética da IA, os riscos associados à IA e como identificar e comunicar problemas ou preocupações. 

Esses esforços provavelmente resultarão em mais empresas construindo seus departamentos de IA Responsável. Este quadro de governação emergente aborda os obstáculos legais e éticos relacionados com a IA, documentando a forma como as organizações os abordam. O quadro e as iniciativas associadas pretendem eliminar a ambiguidade para evitar consequências negativas não intencionais. Os princípios de uma estrutura de IA Responsável concentram-se em projetar, desenvolver e usar IA de maneiras que beneficiem os funcionários, forneçam valor aos clientes e impactem positivamente a sociedade.

Implicações da IA ​​TRiSM

Implicações mais amplas do AI TRiSM podem incluir: 

• À medida que o AI TRiSM se torna cada vez mais importante, as empresas terão de contratar trabalhadores mais qualificados e com conhecimentos nesta área, tais como analistas de segurança de IA, gestores de risco e especialistas em ética.
• Novas considerações éticas e morais, como a necessidade de transparência, justiça e responsabilização na utilização de sistemas de IA.
• Inovações aumentadas por IA que são seguras, confiáveis ​​e confiáveis.
• Aumento da pressão para que a regulamentação governamental proteja indivíduos e organizações dos riscos associados aos sistemas de IA.
• Um maior foco em garantir que os sistemas de IA não sejam tendenciosos contra grupos ou indivíduos específicos.
• Novas oportunidades para aqueles com habilidades em IA e potencialmente substituindo aqueles que não as possuem.
• Maior consumo de energia e capacidade de armazenamento de dados para dados de treinamento constantemente atualizados.
• Mais empresas sendo multadas por não adotarem padrões globais de IA responsável.

Questões a considerar

• Se você trabalha com IA, como sua empresa está treinando seus algoritmos para serem éticos?
• Quais são os desafios de construir sistemas de IA responsáveis?