새롭게 연구에서 자율주행차의 잠재적 위 험..성 발견: 피부가 검은 보행자 감지 실패

>

이 결과는 자율 시스템 개발에서 더 큰 문제를 제기합니다: 알고리즘 편향 주행 차량에 대한 우려의 리스트가 길어졌습니다.그들이 얼마나 안전한지, 도로에서 어떻게 어려운 도덕적 타협을 다루고 있는지, 교통을 어떻게 더 악화시킬지에 대한 걱정 외에 우리는 또 이들이 유색인종에 어떻게 해를 끼치는지에 대해서도 걱정해야 합니다.조지아공대(Georgia Institute of Technology)의 새로운 연구에 따르면, 만약 여러분이 어두운 피부를 가진 사람이라면 백인 친구보다 자율주행에 문제가 생기는 현실성이 매우 높다고 합니다. 그 이유는 자율주행차가 밝은 피부톤의 보행자를 감지하는 데 더 효과적이기 때문이다.이 연구의 저자들은 간단한 질문으로 시작되었습니다: 자율주행차가 사용할 만한 최애 첨단 물체 탐지 모델이 다른 인구통계 그룹의 사람들을 얼마나 본인 확실히 감지할 수 있을까? 그들은 보행자를 포함한 대규모 선구지 데이터셋을 연구했습니다. 그들은 인간의 피부톤을 빛에서 어둠으로 분류하는 시스템인 피츠패트릭스케일(Fitzpatrick scale)을 사용해 사람들을 자기 품으로 만들었습니다.연구원들은 이렇게 해서 본인으로서의 모델이 어느 정도 본인으로서의 밝은 피부 그룹에 있는 사람들의 존재를 제대로 감지했는지, 또 피부 그룹의 사람들에게 얼마나 본인으로서의 존재를 맞혔는지를 분석했습니다.​ 결과는?감지는 평균적으로 어두운 피부 그룹의 정확도가 5%포인트 오쵸은앗스프니다. 이 같은 불균형은 연구자들이 그동안 하루 시각을 방해하는 보행자 시각과 같은 변수를 통제했을 때에도 계속되었습니다.'우리가 연구한 것의 주된 장점은 우리가 실험한 것과 공통된 구조를 공유하는 비전 시스템을 더 자세히 살펴봐야 한다는 점이다'라고 이 연구의 저자인 Jamie Morgenstern은 내용했습니다.객체감지의 예측불균등성(Predictive Inequity in Object Detection)이라는 보고서는 양념을 좀 해봐야 합니다. 아직 동료들의 실험을 받지 않았어요. 자율주행차에서 실제로 사용되는 오브젝트 감지 모델을 테스트하지 않고 자율주행차 연구에서 실제로 사용하는 교육 데이터 세트(training datasets)도 활용하지 않았습니다. 대신 연구진이 사용하는 다양한 모델을 시험해 유출적으로 사용할 수 있는 데이터셋을 교육했습니다. 연구자들은 이렇게 해야 했어요. 왜냐하면 소규모 업체들이 그들의 데이터를 정밀 조사하기 위해 이용하지 않기 때문이다. 이것은 대중의 관심사항이기 때문에 심각한 문제다. 그렇다고 이 연구가 가치가 없다는 뜻은 아닙니다. AI Now Research Institute의 공동본인 케이트 크로퍼드(Kate Crawford)는 트위터를 통해 이상적인 세계에서 학자들은 자동차 제조 연구들이 사용하는 실제 모델과 훈련 세트를 시험하고 있을 것이다. 그러나 이러한 일은 결코 이용이 불가능하기 때문에 (자체문제) 이러한 논문은 매우 실제적인 위험에 대한 강력한 통찰력을 제공합니다.알고리즘은 발생자의 많은 편견을 반영시킬 수 있습니다.이 연구의 통찰력은 인간의 많은 편견이 어떻게 우리의 자동화된 의사결정시스템에 침투하는지에 대한 증가의 증거에 추가됩니다. 이것은 알고리즘 편향(algorithmic bias)이라고 불립니다.​ 가장 유명한 예는 20하나 5년 Google의 이끌 인식 시스템이 아프리카계 미국인들을 "고릴라"로 표기한 경우 드러났습니다. 3년 이후 아마존의 인지 시스템이 28명의 의회 의원들을 범죄 모그샤쯔에 일치시켰다는 비난을 받았습니다. 또 다른 연구에서는 3개의 얼굴 인식 시스템(IBM, Microsoft, China의 Megvii)이 피부가 모르는 사람보다 피부가 검은 사람(특히 여성)의 성별을 잘못 식별하는 현실성이 높은 것으로 밝혀졌습니다.​

>

알고리즘 시스템은 그들이 받아들이는 예에서 '학습'되기 때문에, 예를 들어 학습 단계에서 흑인 여성의 충분한 예를 얻지 못한다면 배치되었을 때 그들을 인식하는 것이 어려워질 것입니다.마찬가지로 자율주행차 조사에 저자들은 두 요소가 이들의 경우 불균형을 촉진할 수 있다고 지적했습니다. 1번째, 물체 탐지 모델은 대개 피부가 얇은 보행자의 예에 대해서 훈련을 받았습니다. 둘째, 모델들은 그들이 가진 몇 안 되는 피부색의 사람들로부터 배우는 데 충분한 비중을 두지 않습니다.조사자는 훈련 데이터에서 샘플 무게를 가짐으로써 편견을 바로 잡는 데 도움이 된다는 것을 발견했습니다. 그래서 우선은 더 많은 검은 피부의 예를 포함할 수 있습니다.알고리즘 편향의 광범위한 문재에 대해서는 일반적으로 제안된 두 가지 솔루션이 있습니다. 하나는 새로운 기술을 개발하는 팀이 인종적으로 다양해지도록 하는 것입니다. 모든 팀원이 흰색, 남성도 둘 다일 경우 알고리즘이 흑인 여성의 기이지를 처리하는 방법을 확인하지 못할 수 있습니다. 하지만 이 방에 흑인 여성이 있다면, MIT의 조이 부오람위니(Joy Buolamwini)가 모범을 보였듯이, 그것은 그녀에게 일어납니다.역시 다른 해결책은 대기업이 알고리즘을 편향적으로 테스트해 특정 공정성의 기준을 충족한 뒤에야 발표할 수 있다는 것을 증명하는 것입니다.'기계지능에 관한 인간 가이드(A Human's Guide to Machine Intelligence)'의 저자인 칼틱 호사나가르(Kartik Hosanagar) 씨는 "이렇게 많은 이 이야기가 있었다"며 자율주행차 조사 결과를 전해줘 놀라지 않았습니다. 그는 향후 해결책을 모색하면서 편견에 대한 명확한 테스트가 더 도움이 된다고 생각할 것이다. 모든 팀이 충분한 다양성을 가져야 한다고 강요하는 것은 다양성이 인종, 성별, 국적 등 많은 것이 될 수 있기 때문에 어려울 것입니다. 그러나 인종차별 테스트 대기업이 해야 할 중요한 사항이 있다면 더 효과적이라고 생각할 것이다.이 수정은 상호 배타적이지 않습니다. 이리하여 논란의 여지는 있지만 인종 편견을 근절하기 위해 할 수 있는 일을 하는 것은 대기업의 이익에 부합할 것이다. 색깔 있는 사람들이 이 이야기의 댁에 그것을 이용하도록 강요당하기 전의 이야기군요.새치기=이번 뉴스는 기술적인 이 이야기에서 시작해 사회적인 문재를 마무리하네요. 본문에서도 보다 해당 논문이 많은 검증을 필요로 할 것이라고 발표했습니다만, 나름대로의 의의를 가지고 있는 글이기 때문에 소개합니다.자율주행차 발전처럼 발전하고 있는 분야가 AI 부분입니다. 이 중에서 사물화 능력에 관한 기술은 급속히 발전하고 있는 분야입니다. 그러나 자율 운전과는 별도로 물인식 AI의 조사는 발전하고 있는 분야군요. 우리가 보통 접할 1개에 편의점에서 얼굴 인식에서 상품을 살 수 있는 것이 있습니다. 하지만 개도국은 단순한 인식 수준을 넘어 국가 차원의 얼굴 인식 시스템을 구축하고 있다고 들은 적이 있습니다. 그것을 통해 범죄자를 찾아내고, 위험 인물을 가려내기 위해 이 이야기입니다. 이것은 육국에 한해서만 행해지고 있다고는 생각하지 않습니다. 관련 분야의 발전에 수반해, 세계 각국에서 범죄 예방의 관점으로부터 대동소이의 조사가 행해지고 있을 것입니다. 공식적으로 발표하지는 않았지만요.오늘 이 이야기는 얼굴 인식 기술의 사용 사례를 이 이야기가 아니라, 얼굴 인식 기술이 사람이 가지고 있는 피부에 따라 인식하는 수준이 같지 않다는 것을 하고 있습니다. 우리에게는 크게 감동하지 않아요. 거의 대부분의 대동소이한 피부톤을 가진 한민족으로 얼굴인식의 어려움은 다양한 인종이 많이 사는 나라보다 적을 것입니다. 미국 같은 나라에서는 이런 느낌이 들 겁니다. 자율주행차의 눈에 띄는 카메라를 인지할 수 있는 정도가 사람의 피부에 따라 달라지면 자율주행차가 도로 위에서 달릴 때 반드시 글재주가 될 겁니다.만약 깜깜한 밤에 어두운 피부를 가진 사람이 주변이 조명을 받을 때 검은 피부의 인식에 어려움을 겪는다면 문재 위험은 분명 있을 것입니다. 물론자율주행차가사물을인지할때카메라만사용하는것이아니라LiDAR,Radar등다양한방법을조합한결과에서인지하기때문에문재위험에서변수를줄이고있습니다.그럼에도 불구하고 자율주행차의 가장 큰 존재 목적인 안전에 입각해서 위험 가능성을 줄이는 것을 목표로 해야 하기 때문에 자율주행차를 개발하는 입장에서는 느껴야 합니다.이번 글에서는 기술적인 부분에서 한 걸음 더 들어가 알고리즘 편향이라는 문재를 언급하고 있습니다. 이런 기술개발을 하는 사람들이 가져야 할 인종편향적인 접근을 조심해야 한다는 것입니다. 이런글재료는우리입장에서는별로느끼지않았던 것 같아요. 그러나 전 세계를 상태에서 사업을 하거나 기술을 발표하는 큰 기업이라면 반드시 염두에 둬야 하지 않을까. 물론 하고 있다고 생각하겠지.해당 논문의 자료를 처음으로 덧붙이다.

PS: 검색을 통해 보시고, 원하시는 이야기를 찾지 못하셨을 경우, '태그' 또는 '검색'을 해보면 더 많은 자료를 찾을 수 있습니다. 그래도 질문이 없으시면 (이메일, 편지), 제가 아는 범위 내에서 도와드리도록 하겠습니다. 붓다 sound를 가지지 않아도 됩니다.Over the Vehicle!!!참고 자료

​