파비오 로리아

우리의 실수로부터 (또한) 배우는 기계 부메랑 효과: 우리가 AI에게 우리의 잘못을 가르치면 AI가 우리에게 되돌려주는... 배가된 부메랑 효과!

2025년 4월 13일
소셜 미디어에 공유

일부 최근 연구 에서는 인공지능 모델에 존재하는 편견과 인간 사고의 편견 사이에 '양방향' 관계가 있다는 흥미로운 현상을 강조했습니다.

이러한 상호 작용은 다음과 같은 메커니즘을 생성합니다. 양방향으로 인지 왜곡을 증폭시키는 메커니즘을 만듭니다..

이 연구에 따르면 AI 시스템은 학습 데이터에서 인간의 편견을 물려받을 뿐만 아니라 구현 시 이를 강화하여 사람들의 의사 결정 과정에 영향을 미칠 수 있습니다. 따라서 제대로 관리하지 않으면 초기 편견이 점점 더 커질 위험이 있는 사이클이 만들어집니다.

이러한 현상은 특히 다음과 같은 중요한 부문에서 두드러집니다:

이러한 영역에서는 인간 작업자와 자동화 시스템 간의 반복적인 상호작용을 통해 작은 초기 편향이 증폭되어 점차 결과의 상당한 차이.

편견의 기원

인간의 생각

인간의 마음은 자연스럽게 판단에 체계적인 오류를 일으킬 수 있는 '사고의 지름길'을 사용합니다. "이중 사고"을 구분합니다:

  • 빠르고 직관적인 사고(고정관념에 빠지기 쉬운)
  • 느리고 성찰적인 사고(편견을 바로잡을 수 있음)

예를 들어, 의료 분야에서 의사들은 초기 가설에 너무 많은 비중을 두고 반대되는 증거는 무시하는 경향이 있습니다. '확증 편향'이라고 불리는 이 현상은 과거 진단 데이터로 학습된 AI 시스템에 의해 복제되고 증폭됩니다.

AI 모델에서

머신 러닝 모델은 주로 세 가지 채널을 통해 편견을 지속시킵니다:

  1. 과거 불평등을 반영하는 불균형한 훈련 데이터
  2. 보호되는 속성(예: 성별 또는 민족)을 포함하는 특성 선택
  3. 이미 왜곡된 인간의 의사 결정과 상호작용으로 인한 피드백 루프

One 2024 UCL 연구 에 따르면 사람들의 감정적 판단을 학습한 얼굴 인식 시스템은 얼굴을 '슬픈'으로 분류하는 경향이 4.7%에 달했으며, 이후 사용자와의 상호작용에서 이러한 경향이 11.3%로 증폭된 것으로 나타났습니다.

서로를 증폭시키는 방법

채용 플랫폼의 데이터 분석에 따르면 인간과 알고리즘이 협업할 때마다 상호 강화된 피드백 메커니즘을 통해 성별 편향성이 8~14% 증가하는 것으로 나타났습니다.

인사 전문가가 이미 과거 편견의 영향을 받은 후보자 목록을 AI로부터 받으면, 이후 상호작용(예: 면접 질문 선택 또는 성과 평가)을 통해 모델의 왜곡된 표현이 강화됩니다.

2025년에 47개의 연구를 메타 분석한 결과, 세 차례의 인간과 인공지능의 협업이 의료, 대출, 교육 등의 분야에서 인구통계학적 격차를 1.7~2.3배까지 증가시킨 것으로 나타났습니다.

편견을 측정하고 완화하기 위한 전략

머신러닝을 통한 정량화

Dong 등(2024)이 제안한 편향성 측정 프레임워크는 보호 대상 그룹 간의 의사결정 패턴의 차이를 분석하여 '절대적 진실' 라벨 없이도 편향성을 감지할 수 있게 해줍니다.

인지적 개입

UCL 연구진이 개발한 '알고리즘 미러' 기술은 관리자에게 과거 선택이 AI 시스템에 의해 이루어졌을 때 어떤 모습일지 보여줌으로써 승진 결정에서 성별 편향을 41% 줄였습니다.

특히 IA 지원과 자율적 의사 결정을 번갈아 사용하는 훈련 프로토콜은 임상 진단 연구에서 편견 전이의 영향을 17%에서 6%로 줄여주는 것으로 입증되었습니다.

사회에 대한 시사점

인간의 편견과의 상호작용을 고려하지 않고 AI 시스템을 구현하는 조직은 법적 및 운영상의 위험이 증폭될 수 있습니다.

고용 차별 소송을 분석한 결과, 알고리즘이 내린 결정의 흔적이 차별적 영향에 대한 명확한 증거를 제공하기 때문에 AI 지원 채용 프로세스는 기존 인간 주도의 소송에 비해 원고 승소율을 28% 높인 것으로 나타났습니다.

자유와 효율성을 존중하는 인공 지능을 향해

알고리즘 왜곡과 선택의 자유 제한 사이의 상관관계는 개인의 책임과 시장 효율성 보호라는 관점에서 기술 개발을 재고할 것을 요구합니다. 인공지능이 기회를 제한하는 것이 아니라 기회를 확대하는 도구가 될 수 있도록 하는 것이 중요합니다.

유망한 방향은 다음과 같습니다:

  • 편향되지 않은 알고리즘 개발을 장려하는 시장 솔루션
  • 자동화된 의사 결정 프로세스의 투명성 향상
  • 다양한 기술 솔루션 간의 경쟁을 촉진하는 규제 완화

책임감 있는 업계의 자율 규제와 사용자의 선택의 자유가 결합되어야만 기술 혁신이 자신의 기술을 시험해보고자 하는 모든 사람들에게 번영과 기회의 원동력이 될 수 있습니다.

파비오 로리아

CEO & 설립자 | Electe

Electe CEO인 저는 중소기업이 데이터에 기반한 의사 결정을 내릴 수 있도록 돕고 있습니다. 저는 비즈니스 세계의 인공 지능에 대해 글을 쓰고 있습니다.

가장 인기 있는
최신 뉴스 구독 신청하기

받은 편지함에서 주간 뉴스와 인사이트를 받아보세요
. 놓치지 마세요!

감사합니다! 제출이 접수되었습니다!
양식을 제출하는 동안 문제가 발생했습니다.