[OK AI ⑦] 보고 듣고 평가한다…AI가 만든 ‘감시의 일상’

얼굴·동선·말투까지 데이터로…기록하던 감시가 ‘판단’으로 진화
안전·효율 명분 아래 채용·노동 관리로 확산…오류 책임은 불분명
EU는 감정인식·생체추적 제한…한국은 고영향 AI 규율에 머물러

[마이데일리 = 박성규 기자] 배달 라이더 김씨가 앱의 ‘운행 시작’ 버튼을 누른다. 주문 수락 여부와 이동 경로, 도착 시간, 고객 평점이 실시간으로 쌓인다. 주문 하나를 거절하거나 도착이 늦어지면 다음 일감 배정에도 영향을 받을 수 있어 그는 수시로 앱을 체크하며 배달에 나선다. 사람 관리자는 보이지 않지만 화면 속 알고리즘 상사가 하루 종일 그를 지켜보며 평가하고 있다는 생각이 들기 때문이다.

인공지능(AI)이 사람을 보는 데서 그치지 않고 판단하기 시작했다. 얼굴과 동선, 말투와 업무 속도를 데이터로 바꿔 위험도와 성과를 점수화하는 방식이다. 안전과 효율을 내세운 기술이 공공서비스와 채용, 노동 현장으로 확산하면서 AI 감시는 기록을 넘어 판단과 통제의 문제로 번지고 있다.

13일 AI 업계에 따르면 국내에서도 지능형 폐쇄회로(CC)TV와 얼굴인식, AI 면접, 업무 모니터링 등 자동화된 평가 기술의 활용이 빠르게 늘고 있다. 문제는 당사자가 어떤 정보가 수집됐고, 왜 그런 판단을 받았는지 알기 어렵다는 점이다.

◇ 기록하던 CCTV, 사람을 분류하기 시작

기존 CCTV가 사건 이후 영상을 확인하는 기록 장치였다면, 지능형 CCTV는 쓰러짐과 배회, 침입, 군중 밀집 등을 실시간으로 감지한다. 얼굴과 차량번호를 인식해 저장된 정보와 대조하는 것도 가능하다. 지방자치단체들은 범죄 예방과 재난 대응을 위해 관련 기술을 확대하고 있다.

인천국제공항의 ‘스마트패스’도 얼굴 정보를 미리 등록하면 출국장과 일부 탑승구를 얼굴인식으로 통과하도록 지원한다. 편의성은 높지만 얼굴처럼 바꾸기 어려운 생체정보의 수집 범위와 보관 기간을 어디까지 허용할 것인지는 과제로 남는다.

카메라 밖에서도 감시는 이뤄진다. 국가정보원은 중국 생성형 AI 서비스 딥시크가 키보드 입력 패턴을 수집하고 대화 기록을 외부 서버와 주고받는 기능을 갖췄다고 밝혔다. 개인정보보호 당국은 국내 앱 신규 다운로드를 일시 중단시키고 개인정보 처리 체계 개선을 요구했다. AI에 입력한 질문과 행동 자체가 새로운 데이터로 축적될 수 있다는 의미다.

◇ 채용하고 배차하고 점수 매기는 ‘AI 상사’

AI 감시는 노동 현장으로도 확산하고 있다. 채용 과정에서는 이력서와 답변을 분석해 직무 적합도를 산출하고, 입사 이후에는 접속 시간과 작업량, 응답 속도, 고객 평가 등을 토대로 성과를 측정한다.

AI 면접은 평가 효율을 높일 수 있지만 지원자는 어떤 언어나 행동이 점수에 반영됐는지 알기 어렵다. 해외에서는 얼굴 표정과 목소리로 성격과 감정을 추정하던 채용 서비스가 과학적 타당성과 차별 논란으로 해당 기능을 중단하기도 했다.

플랫폼 노동에서는 알고리즘이 사실상 관리자로 작동한다. 앱이 주문과 이동 경로를 배정하고 수락률, 배달 속도, 이용자 평점을 바탕으로 다음 업무 기회를 결정한다. 창고와 콜센터, 사무실에서도 상품 처리 속도와 통화 내용, 화면 사용 기록 등을 분석해 생산성을 측정한다.

문제는 처리량과 속도처럼 측정하기 쉬운 지표만 성과로 인정될 수 있다는 점이다. 창의성과 동료 지원, 감정 노동처럼 숫자로 환산하기 어려운 기여는 빠질 수 있고, 낮은 점수를 받아도 판단 과정이 공개되지 않으면 반박하기 어렵다.

◇ 유럽은 금지선…한국은 규율 공백

유럽연합(EU)은 AI 감시가 기본권을 침해할 수 있다고 보고 일부 사용을 제한했다. EU AI법은 직장과 학교에서 사람의 감정을 추론하는 AI를 원칙적으로 금지하고, 생체정보만으로 범죄 가능성을 예측하거나 사회적 점수를 매기는 행위도 제한한다. 공공장소의 실시간 원격 생체인식은 예외적인 법 집행 목적에만 허용한다.

한국은 올해 시행된 AI 기본법을 통해 채용과 대출 심사, 의료 등 국민의 권리와 안전에 큰 영향을 주는 분야를 ‘고영향 AI’로 규율하기 시작했다. 사업자에게 위험 관리와 이용자 고지, 설명 가능성 확보 등의 책임을 부과하는 방식이다.

다만 직장 내 감정인식이나 AI 기반 노동 감시를 일률적으로 금지하지는 않는다. 얼굴과 음성 등 생체정보는 개인정보보호법의 적용을 받지만, AI가 여러 데이터를 결합해 성향과 위험도, 생산성을 추론하는 과정까지 당사자가 파악하기는 쉽지 않다.

한 AI업계 관계자는 “AI 감시의 핵심은 기술의 정확도보다 사용 범위와 통제 장치에 있다”며 “무엇을 볼 수 있느냐보다 어디까지 보지 않을지, 잘못된 판단에 어떻게 이의를 제기할지를 먼저 정해야 한다”고 말했다.

박성규 기자 psk@mydaily.co.kr
- ⓒ마이데일리(www.mydaily.co.kr). 무단전재&재배포 금지 -