AI가 '알아서' 일하는 에이전틱 AI 시대⋯"정보 승인·책임 기준 세워야"

[아이뉴스24 최효경 기자] 인공지능(AI)이 단순히 질문에 답하는 수준을 넘어 외부 서비스와 연결해 업무를 처리하는 '에이전틱 AI'로 진화하면서 AI가 어디까지 스스로 행동할 수 있는 지와 사고 발생 시 누가 책임질 지의 문제가 중요한 쟁점으로 떠올랐다.

에이전틱 AI가 개인정보를 처리할 때 정보 변경·외부 전송처럼 피해가 발생할 수 있는 업무는 사람이 최종 승인하고, 사고가 나면 AI 개발사·서비스 사업자·외부 도구 제공사 가운데 누가 책임질 지를 미리 정해야 한다는 제언이 나왔다.

김병필 KAIST 교수는 23일 서울 중구 은행회관에서 열린 개인정보보호위원회 'AI 프라이버시 민·관 정책협의회' 2차 전체회의에서 '에이전틱 AI의 프라이버시 이슈'를 주제로 발제하며 이같이 밝혔다.

김 교수는 지난 7월부터 약 한 달 반 동안 국내외 AI 개발·도입 기관 15곳을 대상으로 조사를 실시해 도출한 소프트웨어 개발, 사내 지식 검색, 고객 지원 등 AI 에이전트 활용 사례를 소개했다.

김 교수는 "조사 결과 거래·결제, 개인정보 변경, 외부 전송, 권한 변경처럼 영향이 큰 업무는 사람이 최종 승인하는 방식이 일반적이었다"고 설명했다. 에이전틱 AI가 스스로 일을 하더라도 실질적 피해로 이어질 수 있는 단계에서는 결국 사람 개입이 필요하다는 것이다.

김 교수는 "복수 응답 조사에서 제도 적용이 불확실한 쟁점으로는 '참여 주체의 지위와 책임 귀속'이 8개 기관으로 가장 많이 꼽혔다"며 "이용자 권한을 AI에 어디까지 넘길 수 있는지에 대한 우려도 7개 기관에서 나왔다"고 말했다.

AI가 생성·결합한 정보의 이용 목적, 대화 기록과 장기 메모리의 보관·파기 기준도 각각 6개 기관이 문제로 지적했다. AI가 여러 서비스와 도구를 오가며 일을 처리할수록 개인정보 처리 주체와 책임 소재는 흐려질 수 있기 때문이다.

김 교수는 "가이드라인이 단순히 위험을 경고하는 데 그쳐서는 안 된다"며 "AI가 사람 승인 없이 처리할 수 있는 업무의 범위와 유형, 기록·추적 정보와 메모리의 보관·삭제 기준, 개발사·서비스 사업자·외부 도구 제공사 사이의 책임 분담을 구체적으로 제시해야 한다"고 제언했다.

이번 조사에서는 최소 권한 부여, 2단계 인증, 샌드박스 운영, 상용화 전 보안성 검토 등이 실무 현장에서 안전장치로 활용되고 있는 것으로 나타났다. AI 모델이 개인정보 접근이나 외부 반출 여부를 직접 판단하지 않고, 별도의 권한·정책 시스템이 통제하도록 설계한 사례도 제시됐다.

김 교수는 "에이전틱 AI에 일률적인 규칙을 강제하기보다는 서비스의 자율성과 위험 수준에 따라 적용하는 원칙 기반·위험 기반 가이드라인이 필요하다"며 "연쇄적인 정보 처리 구조 안에서 누가 개인정보 처리자로서 지위를 갖고, 책임 주체 역할을 할 것인지, 외부 모델이나 도구를 자율적으로 호출하는 경우에 개인정보 처리 근거는 무엇인지 구체적으로 논의해야 한다"고 강조했다.

개인정보위는 이날 논의와 실태조사 결과를 반영해 올해 말 '가칭 에이전틱 인공지능 개인정보 처리 안내서'를 마련할 계획이다. 권창현 민간 공동의장은 "사업자의 책임 있는 혁신과 정보주체의 실효적인 권리 보호가 조화를 이룰 수 있게 되기를 기대한다"고 말했다.