@마크코켈버그 @빈센트코니처 #인공지능 #윤리 #도덕 - 딥페이크 로봇 프라이버시

BIBLIOGRAPHY

마크 코켈버그. 2023. AI 윤리에 대한 모든 것. Translated by 신상규 and 석기용. https://www.yes24.com/Product/Goods/122140966.

빈센트 코니처, 월터 시넛암스트롱, and 재나 셰익 보그. 2025. 도덕적인 AI - 딥페이크부터 로봇 의사까지, 인공지능 윤리를 위한 일곱 가지 물음. Translated by 박초월. https://www.yes24.com/Product/Goods/141746357.

History

• [2025-02-13 Thu 07:31] 인공지능 윤리와 도덕에 대한
• [2025-02-13 Thu 07:18] 중요한 철학 주제

관련메타

• @#정보
• @#인공지능
• 0=97 #덕#악덕#도덕
• #투명성
• #소유권#프라이버시#공정성
• #백업#보관#저장#안전#안정#차선#예약#준비#대기#홀드 : 안정성
• 0=47 #liberty #자유

관련노트

• #입문서 MIT Press Essential Knowledge vs. 옥스포드 Very Short Introductions
• @신상규 @석기용 #정보철학 #논리학 #철학

@마르코켈버그 AI 윤리에 대한 모든 것

(마크 코켈버그 2023)

• 마크 코켈버그 신상규 and 석기용

책소개

세계적인 기술철학자 마크 코켈버그가 안내하는 AI 윤리에 대한 모든 것 AI와 관련한 윤리적 쟁점을 포괄적이고 체계적으로 망라한 최고의 길잡이

MIT 출판부의 ‘필수 지식 시리즈’ 중 하나인 AI Ethics(2020)를 옮긴 『AI 윤리에 대한 모든 것』은 현대판 ‘프로메테우스의 불’로 일컬어지는 인공지능 기술과 관련한 윤리적 쟁점을 포괄적이고 체계적으로 망라하는 가운데 그에 대한 실천적 대응 방향을 제시한 책이다. 18세기 산업혁명의 뒤를 이어 AI 기술의 눈부신 혁신과 함께 도래한 ‘제2의 기계 시대’는 AI에 대한 깊은 감탄과 실존적 두려움이라는 상반된 감정을 동시에 불러일으키고 있다. 오늘날 AI는 이미 운송, 마케팅, 건강관리, 금융과 보험, 보안, 군사, 과학, 교육, 사무, 엔터테인먼트, 예술, 농업, 제조업 등 많은 영역에서 활용되고 있으며, 심지어 법원의 의사 결정이나 치안에도 사용되고 있다. 바야흐로 기계가 인간을 ‘보완’하는 수준을 넘어 ‘대체’하는 수준으로까지 진화하면서 공상과학소설에서나 묘사된 장면은 이제 현실 세계로 들어오게 되었다.

이러한 전례 없는 기술적 도약은 인류의 자기 이해에 심대한 도전을 제기했을 뿐만 아니라, 여러 가지 윤리적, 사회적, 정치적 이슈를 야기했다. 이를테면 기계가 인간의 지능을 능가할 것이라는 발상이 담긴 ‘초지능’이나 ‘기술적 특이점’ 같은 개념은 인간 예외주의 혹은 인본주의에 대한 우리의 오래된 믿음을 그 뿌리부터 뒤흔들고 있으며, 그로 인해 AI가 인간의 삶을 장악하고 위협할 수 있다는 공포를 불러일으키는가 하면, 자율 주행 자동차나 자율 살상 무기에는 도덕적 책임을 어떻게 부여해야 하는지, 무엇인가 일이 잘못되면 누가 책임져야 하는지 같은 질문을 던지게 한다. 또한 AI로 인한 개인 정보 침해나 전체주의의 위험성, 사회적 불평등이나 편견 강화에 대한 우려 또한 꾸준히 제기되고 있다. 이와 같이 새로운 기술로 인해 의도하지 않은 결과가 초래될 수도 있다는 점에서 AI는 ‘오펜하이머의 원자탄’에 비견되기도 한다.

이 책은 AI를 둘러싼 수많은 과장된 서사를 넘어 AI 윤리와 관련한 거의 모든 문제와 쟁점을 다양한 각도에서 입체적으로 다룬다는 점에서 우리가 직면한 새로운 기술 세상을 한층 폭넓은 시선으로 조망하게 한다. AI 열풍과 함께 AI 윤리를 다룬 책들이 국내에도 이미 여럿 나와 있지만, 특정한 문제만을 다루거나 교양 차원에서 가볍게 읽을 만한 것들이 대부분이다. 주제의 범위나 문제를 다루는 방식에서 상당히 종합적이고 체계적이며 정확하여 다른 책들과 뚜렷이 차별되는 이 책은 인간과 기계의 조화로운 공존을 위한 성찰적 화두를 던져 준다는 점에서 어느 때보다도 지금 여기의 우리에게 긴요하게 다가올 것이다.

현재 오스트리아 빈대학교에서 미디어 기술 철학을 가르치고 있으며, 철학과기술학회 Society for Philosophy and Technology 전 대표이기도 한 저자 마크 코켈버그Mark Coeckelbergh는 인공지능을 비롯한 과학기술 관련 담론을 주도적으로 이끌고 있는 벨기에 출신의 세계적인 학자로, 우리 시대 기술철학 분야에서 가장 다재다능하고 깊이가 있으며 독창적인 사상가로 손꼽힌다. 유네스코 세계과학기술윤리위원으로 임명되어 정책 자문에도 참여하고 있는 그는 인간의 본성과 미래에 대한 깊이 있는 철학적 이해를 보여 주는 한편으로, 기술로 인해 야기되는 당면 문제들에 대해 정책적으로 어떻게 대응해야 할지를 제시하는 등 이론가이자 실천가로서의 면모를 이 책에서 두루 유감없이 보여 준다.

1장 거울아 거울아

• 인공지능에 대한 과장과 두려움: 거울아, 거울아, 우리 중 누가 가장 똑똑할까?
• AI의 영향력
• 윤리적, 사회적 문제에 대한 논의를 위하여

2장 초지능, 괴물, 인공지능 묵시록

• 초지능과 트랜스휴머니즘
• 프랑켄슈타인의 새로운 괴물
• 초월과 인공지능 묵시록
• 경쟁 서사와 과장된 이야기를 넘어

3장 인간에 관한 모든 것

• 일반 인공지능은 가능한가?
• 근대성, (포스트)휴머니즘, 포스트현상학

4장 단지 기계?

• AI의 도덕적 지위
• 도덕 행위주체성
• 도덕적 피동성
• 더 실천적인 윤리적 문제를 향하여

5장 기술

• 인공지능이란 무엇인가?
• 다양한 접근 방식과 하위 분야
• 적용과 영향

6장 데이터 (과학)을 잊지 말자

• 기계 학습
• 데이터 과학
• 응용

7장 프라이버시와 기타 유력 용의자들

• 프라이버시와 데이터 보호
• 조작, 착취, 취약한 사용자
• 가짜 뉴스, 전체주의의 위험성, 그리고 개인 관계에 미치는 영향
• 안전과 보안

8장 책임 없는 기계와 설명할 수 없는 결정

• 우리는 도덕적 책임을 어떻게 부여할 수 있을까?
• 투명성과 설명 가능성

9장 편향과 삶의 의미

• 편향
• 일의 미래와 삶의 의미

10장 정책 제안

• 해야 할 일과, 정책 입안자들이 답해야 할 질문들
• 윤리적 원칙과 정당성
• 기술적 해결책 및 방법과 운영의 문제

11장 정책 입안자들의 과제

• 선제적 윤리
• 실천 지향과 상향식
• 긍정적 윤리를 향해
• 간학문적 연구와 학제 초월성
• AI 겨울의 위험과 무분별한 AI 사용의 위험성

12장 문제는 기후야, 바보야!

• AI 윤리는 인간 중심적이어야 할까?
• 우선순위 올바르게 정하기
• AI, 기후 변화, 인류세
• 새로운 우주 열풍과 플라톤적 유혹
• 지구로의 귀환
• 지성과 지혜를 찾아서

감사의 말 주석 옮긴이의 말 용어 해설 참고 문헌 추천 자료

책 속으로

이 책은 AI의 미래에 대한 영향력 있는 서사와 인간의 본성과 미래에 관한 철학적 질문에서부터 책임과 편견에 대한 윤리적 우려, 그리고 기술로 인해 제기되는 현실 세계의 실천적인 문제를 정책을 통해 처리하는 방법에 이르기까지, 폭넓게 이해된 AI의 윤리적 문제에 대한 좋은 개괄을 가능한 한 너무 늦지 않게 독자에게 제공하는 것을 목표로 하고 있다. --- p.21-22

AI에 대한 서구의 사고는 이러한 근대적 공포와 매혹, 그리고 그 고대의 뿌리라는 감옥에 갇혀 있을 운명인가? 우리는 과장된 이야기를 넘어설 수 있을까, 아니면 논의의 초점이 계속 초지능에 맞춰질 것인가? 나는 우리에게 탈출구가 있다고 생각한다. 첫째, 우리는 서구 문화 바깥에서 기술에 관한 비프랑켄슈타인적 서사와 비플라톤적 사고방식을 찾아볼 수 있다. --- p.41

대륙 철학자들은 대개 인간과 마음은 기계와 근본적으로 다르다는 점을 강조하며, 형식적인 기술이나 과학적 설명으로 환원될 수 없고 또한 환원되어서도 안 되는 자기의식적인 인간 경험과 인간 실존에 초점을 맞춘다. 그러나 대개 분석철학 전통에 속하는 다른 철학자들은 AI 연구자들의 인간관을 지지한다. 이들은 인간의 뇌와 마음은 컴퓨터 모델과 실제로 같으며 그렇게 작동한다고 생각한다. --- p.48

원칙적으로 인간과 기계 사이에는 많은 유사성이 있으며 이론적으로 일반 AI가 가능하다고 믿는 과학자와 철학자조차도 보스트롬의 초지능에 대한 비전이나 인간-같은 AI가 머지않았다는 유사한 생각을 거부하는 경우가 많다는 점에 다시 한번 주목하자. --- p.50

AI에 대한 윤리적 논의를 간접적으로 형성하는 세 가지 분열에 대해 간략히 살펴보자. 첫 번째는 근대 초기에 빚어진 계몽주의와 낭만주의 사이의 분열이다. 다른 둘은 비교적 최근에 전개된 일이다. 하나는 근대성의 긴장 속에 자리하고 있는 휴머니즘과 트랜스휴머니즘 사이의 분열이고, 다른 하나는 근대성을 넘어서려는 휴머니즘과 포스트휴머니즘 사이의 분열이다. --- p.52

포스트휴머니스트들은 근대 존재론과 윤리학에서 인간의 중심성에 의문을 제기한다. 이들에 따르면 비인간도 중요하며, 우리는 인간과 비인간 사이의 경계를 넘는 것을 두려워해서는 안 된다. 이는 인간과 기계의 경쟁 서사를 넘어서게 한다는 점에서 흥미로운 탐구의 방향이다. --- p.56

이러한 포스트휴머니즘에 힘입어 AI는 인간을 모방하거나 재구성해야 한다는 부담에서 벗어나 여러 다른 비인간 종류의 존재, 지능, 창의성 등을 탐색할 수 있을 것으로 보인다. AI가 꼭 인간의 모습으로 만들어질 필요는 없다. 여기서 진보란 인간을 넘어 비인간적인 존재에게 자신을 개방하고 그것으로부터 배우는 것을 의미한다. --- p.57-58

AI에 대해 생각하는 것은 AI에 관해서만 알려 주는 것이 아니라, 우리 자신에 대해서도 무엇인가를 알려 준다. 우리가 어떻게 생각하고, 실제로 어떻게 비인간과 관계 맺고 있으며 또 관계 맺어야 하는지에 관해서 말이다. (중략) AI에 관한 질문은 인간 지식, 인간 사회, 인간 도덕의 본성에 관한 비판적 질문의 심연을 열어 준다. --- p.77

그 자체로 존재하는 AI는 없다는 말의 또 다른 의미는 기술이 항상 사회적이며 인간적이라는 것이다. AI는 기술에 관한 것일 뿐만 아니라, 인간이 그것으로 무엇을 하는지, 어떻게 그것을 사용하는지, 어떻게 그것을 지각하고 경험하는지, 어떻게 그것을 더 넓은 사회적·기술적 환경에 내장시키는지에 관한 것이다. 이는 인간의 결정에 관한 것이기도 한 윤리학에 중요하며, 윤리학이 역사적·사회적·문화적 관점도 포함할 필요가 있음을 의미한다. --- p.96

여기서 위험은 오늘날의 민주주의 사회에서도 AI가 새로운 형태의 조작, 감시, 전체주의로 이어질 수 있으며, 반드시 권위주의 정치의 형태가 아니더라도 더 은밀하되 대단히 효과적인 방식으로 그렇게 될 수 있다는 것이다. --- p.120

AI에 특화된 또 다른 쟁점은 편향 문제다. AI가 결정을 내리거나, 아니 더 정확하게는 결정을 추천할 때 편향이 발생할 수 있다. 그 결정이 특정 개인이나 집단에 부당하거나 불공정할 수 있다는 것이다. --- p.149

한계를 설정하는 부정적 윤리 말고도 좋은 삶과 좋은 사회의 비전을 발전시키는 긍정적 윤리를 명시적이고 정교하게 만들어야 할 필요가 있다. --- p.204

출판사 리뷰

AI를 둘러싼 과장된 서사를 넘어서

이 책은 먼저 AI의 발전과 미래를 말하는 영향력 있는 서사들을 소개하는 것으로 시작한다. 가장 대표적인 것으로는 종국에는 우리가 기계를 지배하는 것이 아니라 기계가 우리를 지배하게 될 것이라는 초지능에 대한 이야기다. 이것은 폭발적인 기술 발전으로 인해 세상에 도대체 무슨 일이 일어나는지 더는 이해할 수 없을 정도가 됨으로써 인간사가 종말을 고하고 말 것이라는 기술적 특이점이라는 생각과 밀접한 관계가 있다. 따라서 오늘날 우리가 직면한 과제는 AI를 어떻게든 우리가 원하는 대로 통제할 수 있어야 한다는 것이고, 그러기 위해서는 첨단 기술을 이용해 인간 스스로 자신을 ‘신’으로 업그레이드해야 한다고 한편에서는 주장한다. 저자는 이와 같은 인간과 기계의 경쟁 서사 혹은 ‘프랑켄슈타인 콤플렉스’를 넘어서기 위한 해법을 서구 문화 바깥에서 찾는다. 거기에는 종말에 관한 사상도 없고, 인간은 근본적으로 기계보다 우월하며 물질성을 초월하려는 존재임을 끊임없이 옹호하는 플라톤적 욕망도 없으며, 기계에 대해 보다 우호적인 태도를 발견할 수 있기 때문이다.

이어서 저자는 AI를 둘러싼 과장된 이야기를 넘어서고 AI에 대한 윤리적 논의를 단순히 미래에 대한 꿈 혹은 악몽으로 제한하지 않기 위해 기계에서 인간 같은 지능이 가능한지, 인간과 기계의 차이점은 무엇인지, AI는 단지 기계일 뿐인지 아니면 어떤 형태의 도덕적 고려를 받을 자격이 있는지 등을 하나하나 검토한다.

그런 뒤 저자는 AI에 관한 철학적 논의나 역사적 맥락화를 뒤로하고 AI 기술이 오늘날 우리 삶에서 실제로 어떻게 작동하고 있는지를 설명하기 위해 AI의 역사와 함께 기호적 AI나 신경망 인공지능 같은 기술을 소개하고 기계학습, 데이터 과학을 자세히 들여다본다. 그리고 프라이버시, 투명성, 설명 가능성, 편향, 공정성, 불평등 등 AI 윤리에서 다루어지는 쟁점들을 개괄한 다음 이러한 이슈들에 정책적으로 어떻게 접근할지를 검토한다. 마지막으로 기후 변화나 에너지 문제 같은 전 지구적 현안을 AI 문제와 연관 지어 논의함으로써 지속 가능한 삶을 구축하는 방법에 대해 더 깊이 돌아보게 한다. 옮긴이는 이렇게 말한다.

“AI를 그저 막연하게 두려워하거나, 밑도 끝도 없이 무작정 신뢰하거나, 혹은 우리에게 아무 선택권도 없다면서 단지 AI의 혜택과 해악을 감수할 뿐이라고 수동적으로 물러나 있지만 말고, 이 책을 통해서 우리가 AI에 대해서 그리고 AI와 함께 어떤 일을 할 수 있고 또 해야 하는지 고민할 수 있는 계기가 마련되었으면 한다.”

@빈센트코니처 도덕적인 AI - 딥페이크부터 로봇 의사까지, 인공지능 윤리를 위한 일곱 가지 물음

(빈센트 코니처, 월터 시넛암스트롱, and 재나 셰익 보그 2025)

• 빈센트 코니처 and 월터 시넛암스트롱 and 재나 셰익 보그 박초월
• Moral AI
• 도덕적 가치 : 투명성 자유 기만 프라이버시 공정성 안정성

책소개

세계적인 철학자, 신경과학자, 컴퓨터과학자가 함께 쓴 독창적이고 균형 잡힌 ‘AI 윤리’ 입문서

“수 세기에 걸친 노력에도 불구하고 인간은 도덕적 실수를 막을 방법을 찾지 못했다. 어쩌면 이상화된 도덕적인 AI는 그 실수를 피할 수 있을지 모른다.” 『도덕적인 AI』는 ‘AI 윤리’ 분야에서 세계적으로 손꼽히는 철학자, 신경과학자, 컴퓨터과학자 셋이 함께 쓴 책이다. 인공지능에 대한 지나친 낙관론과 두려움 사이에서 균형을 잡아주는 책이자, 윤리적인 AI 개발과 사용을 고민하는 사람들을 위한 최신 안내서다. 딥페이크, 자율주행차, 자율무기, 의료 로봇 등 격변하고 있는 AI 기술의 최신 연구를 망라하면서 알고리듬의 편향, 프라이버시 침해, 사고의 책임 문제 등 인공지능을 둘러싼 새로운 윤리 문제를 흥미로운 사례와 함께 제시한다. 특히 인간의 ‘도덕성’을 탑재한 인공지능의 개발이라는 독창적인 아이디어를 제안하면서, 그동안 사람의 생명과 신체의 안전 및 기본권 보호에 중점을 두고 논의됐던 ‘AI 윤리’ 담론을 인간의 도덕적 실수를 예방하는 기술 도구의 개발과 활용으로까지 범위를 확장한다.

AI 기술의 사용에 대한 저자들의 입장은 명확하다. “목욕물을 버리다가 ‘AI 아기’까지 버려서는” 곤란하다는 것. 이미 혜택이 증명된 AI의 개발을 중단하는 것은 오히려 ‘부도덕’할 수 있다는 생각이다. 지금은 AI 기술을 쓸지 말지 논쟁할 때가 아니라, AI가 초래할 잠재적 편익과 위험을 면밀하게 파악하고, AI 기술과 맞물린 도덕적 가치의 문제들(안정성, 공정성, 프라이버시, 투명성, 자유, 기만)을 어떻게 해결해나갈지 지혜를 모을 때라고 주장한다.

총 7장으로 구성된 이 책은, 전반부에서 주로 인공지능의 개념과 작동 원리, 그 기술의 적용 사례와 윤리적 쟁점을 검토하고 있으며, 후반부에서는 주로 ‘도덕적인 AI’의 기술을 어떻게 구현할 수 있는지 소개하고, 한편 AI 제품을 윤리적으로 만들기 위한 구체적인 실천 방안을 제시한다. AI 기술의 새로운 트렌드와 윤리적 논쟁에 관심 있는 독자, ‘AI 윤리’를 제품 개발에 적용하기 위해 치열하게 고민 중인 IT업계 종사자, 그리고 우리 사회를 더 공정하고 민주적으로 이끌 수 있는 도구로서 AI를 어떻게 활용할 수 있을지 고민하는 시민들 모두에게 요긴한 안내서가 될 것이다.

서론 - 무엇이 문제인가?

1장 인공지능은 무엇인가?

• ‘좁은 AI’, ‘범용 AI’, ‘강한 AI’ ─ 도전 과제를 선택하라
• 퀴즈쇼를 준비할 때 알아둘 만한 단어: GOFAI
• 기계가 학습하도록 가르치기
• 심층학습과 신경망은 어떨까?
• 어느 AI가 지능적인가?
• 오늘날 AI가 부족한 점
• AI가 하지 못하는 일을 알아내는 것이 갈수록 어려워지고 있다
• 오늘날 AI는 누가 만들고 있을까?

2장 인공지능은 안전할 수 있을까?

• AI와 함께 사는 삶은 과연 과학소설에 나올 법한 끔찍한 공상일까?
• 오늘날 AI를 둘러싼 안전 문제
• 몇 가지 사례 연구
• 예측 가능한 예측 불가능성

3장 인공지능은 프라이버시를 존중할 수 있을까?

• 프라이버시는 무엇인가?
• 프라이버시에 신경을 써야 하는 이유는 무엇인가?
• AI는 어떻게 프라이버시를 침해하는가?
• AI 생태계는 개인 데이터의 비축과 판매를 조장한다
• AI 위협으로부터 프라이버시를 보호하려면 어떻게 해야 할까?
• 우리는 프라이버시를 소중히 여기는가?

4장 인공지능은 공정할 수 있을까? … 157

• 정의란 무엇인가?
• 누가 재판 전에 감옥에 가는가?
• 인간 판사 대 AI: 누가 더 정확한가?
• 공정성을 명시하기
• 인간 판사 대 AI: 누구의 편향이 더 심한가?
• 절차적 정의는 어떨까?
• 해석 가능성이 문제를 해결해줄까?
• 공정한 AI

5장 인공지능에 (혹은 AI 제작자와 사용자에게) 책임을 물을 수 있을까?

• 책임이란 무엇인가?
• 인간 운전자에게 책임이 있을까?
• 보행자에게 책임이 있을까?
• AI 관여자들에게 책임이 있을까?
• 우버에 책임이 있을까?
• 애리조나주 정부에 책임이 있을까?
• 인공지능에 책임이 있을까?
• 책임 공백

6장 인공지능에 인간의 도덕성을 탑재할 수 있을까?

• 하향식 도덕성은 어떨까?
• 상향식 도덕성은 어떨까?
• 두 방법의 장점을 취합하기
• 누가 신장을 받을 것인가?
• 신장 분배 AI에 도덕성을 탑재하는 방법
• 인공적으로 개선된 민주주의

7장 우리는 무엇을 할 수 있을까?

• AI 제작 과정의 복잡 미묘한 상황
• 도덕적인 AI에서 원칙과 실천 사이의 간극이 발생하는 이유는?
• 도덕적인 AI의 원칙과 실천 사이의 간극을 좁히려면 무엇을 해야 할까?
• 첫 번째 행동 촉구 제언
• 두 번째 행동 촉구 제언
• 세 번째 행동 촉구 제언
• 네 번째 행동 촉구 제언
• 다섯 번째 행동 촉구 제언
• 큰 그림

결론 - 우리에게 달려 있다

책 속으로

작성된 코드는 언제부터 단순한 컴퓨터 프로그램이 아닌 AI가 되는 걸까? 인공지능은 정말 지능일까? AI는 의식을 가질 수 있을까? AI는 독창적이고 창의적일 수 있을까? 아니면 그저 제작자의 명령을 분별없이 따를 뿐일까? --- p.22

기념비적인 성공을 거두었음에도 딥블루는 카스파로프에게 승리한 직후 미국의 컴퓨터역사박물관으로 은퇴하고 말았다. 왜 그랬을까? 딥블루가 체스를 두는 것 말고는 아무것도 할 수 없다는 사실을 제작자들이 알고 있었기 때문이다. 이것이 바로 좁은 AI 시스템의 정의이다. --- p.33

누군가가 AI 시스템을 속여서 어떤 정치인에게 심각한 의학적 문제가 있다고 잘못 진단하도록 했다고 상상해보자. 결과적으로 그는 앞으로의 정치 경력에 타격을 입고 불필요한 치료를 받게 될 것이다. --- p.64~65

한 보안 연구팀은 단순히 도로에 스티커를 세 개 붙이는 것만으로도 테슬라 모델 S를 맞은편에 가상의 자동차가 오는 차선으로 이동하도록 속일 수 있었다. 자동차의 AI 시각 시스템은 차선이 왼쪽으로 꺾어진다는 의미로 스티커를 잘못 해석했는데, 잘못 해석된 차선이 사실 실제 차선 쪽으로 향한다는 사실은 감지하지 못했다. --- p.96

한 자율무기 전문가는 이렇게 말했다. “인간보다 빠르게 반응하며 서로 적대시하는 알고리듬이 상황을 감시하는 장면을 상상하기란 어렵지 않습니다. … 인간으로서 우리가 더 이상 통제할 수 없는 속도로 전쟁이 진행된다면, 그것이야말로 정말 끔찍한 일입니다.” 기존의 자율 드론이나 탱크 사이에서 통제를 벗어난 ‘AI-AI 전투’가 벌어진다면 심란하지 않을 수가 없다. --- p.104~105

스티븐 호킹의 말을 빌리자면, “우리의 미래는 점점 커져가는 기술의 힘과 그것을 사용하는 지혜 사이의 경쟁이 될 것이다.” --- p.117

우리는 타인이 우리를 관찰하거나, 간섭하거나, 우리에 대한 특정한 정보를 알아내거나, 우리의 실체를 파악할 수 있는지 여부를 통제하는 범위 내에서 프라이버시를 갖는다. 반면 프라이버시가 없다는 것은 그러한 삶의 측면에 대한 정보를 통제할 수 없다는 뜻이다. --- p.123

딥페이크(사람을 모방하도록 설계된 봇, 동영상, 녹음, 사진)가 진짜 은행이나 국세청 직원이라고 생각하고 은행 계좌 정보나 사회보장번호를 공유하는 일이 생길 수 있다. 이와 같은 사기 행위를 ‘피싱’ 공격이라고 한다. --- p.132

마이크로소프트와 아마존은 직원들에게 챗GPT에 민감한 정보를 공유하지 말라고 경고하기도 했다. 언젠가 출력되는 내용에 해당 정보가 포함될지도 모르기 때문이다. --- p.136

〈이코노미스트〉의 기사 제목이 선언한 것처럼 “세계에서 가장 귀중한 자원은 더 이상 석유가 아니라 데이터다.” --- p.138

대부분의 개인정보 처리방침은 읽는 데 대략 8~12분이 걸리고 심지어 전문가도 이해하기 힘든 언어로 쓰여 있다. 그러니 대부분 읽지 않고 넘어간다고 해도 놀랍지 않다. --- p.145

본인의 선택이 무슨 의미인지 현실적으로 알 수 없거나 사실상 약관의 방침에 동의하도록 조작되어 있다면, 동의는 결코 프라이버시를 보호하지 못한다. --- p.147

AI의 도움을 받으면 익명의 지리적 위치 데이터도 쉽게 재식별된다. AI 전문가들이 입증한 바에 따르면, 시간별 GPS 데이터가 포함된 대규모 데이터세트에서 단 네 개의 GPS 시공간 지점만으로 도 95퍼센트의 개인을 식별할 수 있다. --- p.151

기계학습이 자주 편향을 보이는 근본적인 이유가 있다. 그중 하나는 모든 인구통계 집단과 이해관계가 동등하게 대표되는 데이터세트를 모으는 것이 매우 어렵고(또한 비용이 많이 들 때가 많다), 훈련을 받은 AI가 데이터에서 잘 대표되는 집단에 대한 예측을 그렇지 않은 집단보다 더 정확하게 수행하기 때문이다. --- p.160

루미스 사건의 1심 판사는 루미스의 “재범 위험이 극도로 높다”라는 판단을 정당화하려면 컴퍼스의 예측을 언제 (그리고 얼마나) 신뢰해야 하는지에 대해 현명한 판단을 내릴 수 있어야 했다. 이러한 지식이 없다면 판사는 알고리듬의 예측을 맹목적으로 수용하거나 거부하게 될 것이며, 예측을 신뢰하지 못하는 상황에서도 예측을 그대로 따르게 될 수 있다. --- p.184~185

병원에서 AI로 암을 탐지하다가 AI가 진단 실수를 저질러 환자가 불필요한 치료를 받거나 치료를 너무 늦게 받는다고 해보자. 그렇다면 오진에 대한 책임은 누구에게 있을까? 누군가가 손해배상을 해야 한다면 그 대상은 누구여야 할까? 또 군부대가 AI를 사용하여 미사일과 드론을 유도했는데 AI 주도형 무기가 표적 대상인 테러리스트가 아닌 무고한 가족을 살해한다면 어떨까? --- p.221

수 세기에 걸친 노력에도 불구하고 인간은 도덕적 실수를 막을 방법을 찾지 못했다. 어쩌면 이상화된 도덕적인 AI는 실수를 피할 수 있을지 모른다. 더 나아가 도덕적인 AI의 훈련용 데이터와 모형에서 편향이나 실수를 교정하는 방법을 알게 된다면 AI의 예측과 행동은 우리 자신의 기본적인 도덕 가치에 더 잘 부합할 것이다. --- p.247~248

앞으로 이야기가 어떻게 전개될지는 인공적인 의사결정과 인공적인 지능만큼이나 인간의 도덕적인 의사결정과 도덕적인 지능에 달려 있다. 우리는 AI에 대해 생각할 때 우리의 역할을 명확히 해야 한다. 요컨대 도덕적인 AI의 이야기에서 감독과 주연은 둘 다 인간이다. AI는 그저 우리와 함께 가는 존재일 뿐이다. 적어도 지금은 그렇다. --- p.318

출판사 리뷰: 왜 ‘도덕적인 AI’인가?

‘도덕적인 AI(Moral AI)‘라니, 제목이 궁금증을 자아낸다. 과학소설 팬이라면 혹시 도덕성과 자율성, 자유의지를 지닌 새로운 인공지능의 출현을 예언하는 책일까 기대할지도 모르겠다. 하지만 이 책에서 제안하는 ‘도덕적인 AI’는 그런 먼 미래의 인공지능이 아니다. 넓게 말하면, “인간의 가치를 학습하고 구현하는 AI”, 좁게 말하면 ‘인간의 도덕적 판단을 보조하는 시스템’이다. 그 가능성을 보여주는 대표적인 연구 사례가 ‘신장 이식을 받을 환자의 우선순위를 정하는 AI’이다.

병원에서 이식의 우선순위는 대체로 1) 이식 외과의의 의학적 판단, 2) 신장 이식 방침을 결정하는 병원 담당자들의 의료적·실용적 판단(적합성, 연령, 건강, 장기의 질, 대기 기간 등)으로 결정된다(여기서 도덕적 판단은 제외). ‘도덕적인 AI’는 두 가지 방향에서 학습이 이루어지는데, 먼저 이식 외과의가 신체적, 정신적으로 이상적인 상태일 때 내릴 법한 의학적 판단을 프로그래밍하고, 다음으로 병원의 이식 방침을 결정하는 집단의 판단을 모형화한다. 특히 후자의 경우에는 병원 관계자뿐 아니라 변호사, 환자, 비전문가 등 다양한 시민들을 참여시킴으로써 공동의 도덕적 판단을 자동화 시스템으로 구축할 수 있다. 이 기술 도구를 이용하면, 외과의의 실수와 편향을 방지하고, 신장 분배 우선순위 목록을 해당 집단의 도덕적 가치와 일치시킬 수 있다. 이 책은 이 기술을 시스템에 구현하기 위해, 어떻게 도덕적 특징을 뽑아내고, 가중치를 측정하고, 도덕적 판단을 모형화하고, 집단의 판단을 종합하고, 도덕적 판단을 이상화할 수 있는지 현재 연구되는 아이디어들을 제시하고 있다(239~253면 참조).

인간의 도덕성을 탑재한 AI

‘도덕성을 지닌 인공지능의 출현’을 기대했던 독자들한테는 여전히 시시해 보일지 모르지만, 이 기술의 잠재력은 어마어마하다. 핵심은 두 가지다. 첫째, 사람들의 도덕적 판단을 도울 수 있다. 불완전한 인간은 언제든 도덕적 오류를 범할 수 있다. “인지적 편향, 편애, 인종 또는 성별 편견 등 무의식적으로 의사결정에 영향을 미치는 편향”에서 벗어날 수 없기 때문이다. 그런 편향을 제거한 ‘이상화된 도덕적인 AI’는 우리가 불완전한 상태일 때에도(가령, 잠이 덜 깼거나 화가 난 상태에도) “합리적이고 편향 없는 상태에서 더 많은 정보를 갖고 내릴 만한 도덕적 판단”을 내리는 데 도움을 줄 수 있다. 둘째, 사회의 불공정을 개선하고, 비윤리적인 결정을 방지하는 데 도움을 줄 수 있다. AI에 도덕성을 탑재하는 이 기술을 다른 영역으로 확장하면, 공동체 구성원의 도덕적 판단을 자동화하는 ‘인공적으로 개선된 민주주의(AID)’ 시스템을 개발할 수 있다(254~256면 참조).

특히 의사결정 지원 도구에 AID를 탑재한다면 비단 의료 분야뿐 아니라 광범위한 영역에서 활용할 수 있다. 예를 들어, 채용 담당자가 지원자를 대상으로 면접을 보거나 채용 결정을 내릴 때, 군사 무기 운용자가 언제 어떤 표적을 향해 미사일을 발사할지 고려할 때, 그 밖에 공정성과 도덕성 시비가 생길 수 있는 분야에서 인간 행위자가 올바른 선택을 하도록 도움을 받을 수 있다. 한편 저자들은 ‘도덕적인 AI’ 기술을 다양한 영역으로 보급하는 동시에, 인공지능 개발사가 AI 제품의 개발 초기부터 윤리적 개입을 강화할 수 있는 다양한 실천 방안(‘도덕적인 AI’ 전략)을 제시하고 있다. 핵심이 되는 부문은 “기술 보급, 조직 관행, 교육, 시민 참여, 공공 정책”이며, 개발사는 이를 통해 조직 문화를 개선하고, 윤리 담당자의 역할을 강화하며, 윤리 지표를 마련하고, AI 제품에 공동체의 가치를 반영하는 등 ‘도덕적인 AI’ 전략을 구체적인 지침으로 활용할 수 있다.

AI 기술과 새로운 윤리적 쟁점

아울러 저자들은 현재 우리가 고민해야 할 인공지능 기술의 새로운 윤리적 쟁점들을 폭넓게 제시하고 있다. 이 책에서 주목하는 사례 중 핵심적인 몇 가지만 소개한다. 첫째, 책임의 문제(또는 ‘책임의 공백’ 문제). AI로 인한 안전사고의 책임은 누가 져야 할까? 2018년 우버 소유의 자율주행차 볼보 XC90가 실험 운행 도중에 보행자(허츠버그)를 쳤다. 차량의 센서와 AI 인식 시스템이 보행자를 인식하지 못했고, 운전석의 테스트 드라이버도 한눈을 팔고 있었다. 허츠버그의 죽음에 책임이 있는 대상은 누구일까? 테스트 드라이버? 자동차 제조사? AI를 만든 우버의 엔지니어? 아니면 AI가 어떤 결과를 초래할지 예상한 사람이 없었기 때문에 누구에게도 책임을 물을 수 없을까?

‘책임의 공백’ 문제는 AI가 활용되는 다양한 분야에서 일어날 수 있다. 연루되는 대상이 많아서 법적·도덕적 책임의 경중이 불분명하기 때문이다. 예를 들어, 병원에서 AI가 진단 실수를 저질러 환자가 불필요한 치료를 받거나 치료가 늦으면, 그 책임은 누구에게 있을까? 군대가 AI를 사용하여 드론 공격을 유도했는데 시민이 희생됐다면, 그 책임은 누구에게 있을까? 더 골치 아픈 예를 들자면, 신생 회사가 오픈AI의 GPT 모형을 기반으로 의료 상담 챗봇을 만들었는데 챗봇이 유해한 조언을 제공해서 사람이 죽었다면, 그 책임은 누가 져야 할까? 신생 회사일까, GPT 모형 기술을 제공한 오픈AI일까? 저자들은 우리 사회가 앞으로 이러한 책임의 문제를 해결하지 못한다면, 사회적 혼란이 불가피하다고 우려한다.

둘째, 프라이버시 침해 문제. 개인정보가 유출되기 쉽고, 범죄에 악용될 수 있다. 예를 들어 ‘얼굴 인식 AI’와 위치 추적 기술이 결합하면 단순히 길거리에서 목격하는 것만으로 누군가의 민감한 의료 정보를 알아낼 수 있고, AI 딥페이크 기술을 이용한 ‘피싱 공격’에 속수무책으로 당하기 쉽다(챗봇, 동영상, 녹음, 사진이 진짜 은행이나 국세청 직원 행세를 한다고 생각해 보라). 하지만 이 책에서 저자들이 진짜 주목하는 프라이버시 위협은 따로 있다. “최대한 많은 개인 데이터를 수집하고, 영구적으로 저장하고, 최고 입찰자에게 판매하는 것을 바탕으로 돌아가는” AI 생태계 그 자체다. 오늘날 많은 AI 기업이 개인 데이터를 모으기 위해 공을 들이는데, “훈련용 데이터가 다양하고 방대할수록 AI의 정확도가 높아지고 예측할 수 있는 내용도 많아지기” 때문이다.

수집 방법도 교묘하다. 미국의 온라인 결제 회사 페이팔의 경우, “사용자가 페이팔과 어떤 웹사이트의 통합을 동의하면 쇼핑 내역, 개인별 취향, 사진, 장애 상태가 그 웹사이트와 공유된다(개인정보 처리방침의 “당사는 귀하의 개인 데이터를 판매하지 않습니다”라는 문구에 안심했다가는 큰일난다. 이 문구는 “다른 기업과 데이터를 공유하지 않는다”는 뜻이 아니기 때문이다). 그렇게 수집된 개인 데이터는 다양한 AI 모형(얼굴 인식이나 텍스트 완성 또는 챗봇 시스템 등)을 훈련하는 데 쓰이고, 심지어 그렇게 학습된 AI 모형도 다른 기업들에 대여해주거나 팔 수 있다. 한편 훈련용 데이터의 정보 일부를 ‘기억’하는 AI 모형의 특성 때문에(‘망각불능’ 현상), 누군가의 개인정보가 튀어나오는 일도 불가능하지 않다. “마이크로소프트와 아마존은 직원들에게 챗GPT에 민감한 정보를 공유하지 말라고 경고하기도 했다. 언젠가 출력되는 내용에 해당 정보가 포함될지도 모르기 때문이다.”

셋째, 데이터의 편향 문제. AI 윤리 분야에서 데이터 편향은 오랫동안 지적되어온 문제다. “어떤 데이터를 수집할지 결정하고, AI 알고리듬에 어떤 정보를 넣을지 선택하고, AI의 예측에 어떻게 반응할지 결정할 때마다 인간의 편향이 AI에 반영될 여지가 생기기” 때문이다. 편향된 데이터를 학습한 AI 모형은 당연히 편향된 결과를 내놓는데(“편향이 입력되면 편향이 출력된다”), 한 연구 결과에 따르면 “채용과 해고, 승진, 주택 융자, 사업자금 대출에 흔히 사용되는 AI는 특히 흑인, 여성, 이민자, 빈곤층, 장애인 등 지원자에게 불리하게 작용하는 경우가 많았고, 피부암 탐지 AI는 어두운 피부(유색 인종)를 대상으로는 잘 작동하지 않았다.”

넷째, 알고리듬 처리 과정의 투명성 문제. 특히 심층학습 AI에서 꽤 골치 아픈 문제로 알려져 있다. 심층학습 AI는 다른 AI 기술보다 예측 능력이 뛰어나다고 알려져 있는데, 문제는 알고리듬의 처리 과정이 블랙박스처럼 깜깜이여서 그것을 해석하거나 이해할 수 없다는 것이다. ‘루미스 대 위스콘신 판결’ 논란이 대표적이다. 총격 사건에 가담한 혐의로 기소된 에릭 루미스는 ‘컴퍼스’(미국의 양형 법원에 사용되는 위험성 평가 도구)의 예측을 통해 “공동체에 위협이 되는 인물”로 간주되어 중형을 선고받았다. 루미스는 컴퍼스의 “예측 모형이 독점적이고 복잡해서 위험성 예측에 도달한 경로 또는 이유를 알거나, 대응할 수 있는 현실적인 방법이 없다”며 항고했지만, 결국 패소했다. 하지만 저자들의 지적처럼 “예측을 생성하는 AI를 인공지능 전문가 말고는 아무도 이해할 수 없다면 또는 심지어 전문가조차 이해하는 것이 불가능하다면… 법정 절차는 결국 공정성을 상실할 것이다”. 저자들은 AI의 불투명성 문제가 앞으로 그 기술을 활용하는 많은 분야에서 언제든 공정성 시비를 불러올 것이라고 우려한다.

‘기술의 힘’과 지혜 사이의 경쟁

2024년 노벨물리학상 수상자 제프리 힌턴은 “AI로 인해 30년 내 인류가 멸종할 수도 있다”라고 경고했지만, AI의 경제적 가치가 확인되면서 사뭇 다른 분위기도 읽힌다. 전 세계가 AI 신제품 개발에 사활을 걸고 뛰어드는 지금 윤리 문제가 대수냐고 한가한 소리 말라고 여길 사람들도 있겠다. 일단 신제품을 내고, 문제가 불거지면 그때그때 수습하면서 처리하면 될 일이라고(‘린-애자일’ 방법), 그것이 지금껏 IT 기업들의 관행이었고 성공적으로 작동해왔다고 생각할 기업들도 있겠다.

이 책이 경고하는 바가 그것이다. “기업들이 AI가 유발하는 피해에 책임감을 느끼지 않는다면, 그들은 안전성이 의심스럽지만 수익성이 높은 AI 제품을 만들어야 한다는 압박을 점점 강하게 받을 것이다.” AI의 파괴력을 고려하면 그 피해의 크기는 한 기업의 차원을 넘어설 것이다. 오늘날 많은 정부와 기관들이 서둘러 AI의 안전성과 잠재적 위험을 예측하고, ‘AI 윤리’ 원칙을 마련하고, 장기적으로 기계로부터 인간의 통제권을 잃지 않기 위한 연구와 제도적 노력을 벌이고 있는 이유이다(우리나라의 경우 2024년 말 AI안전연구소 설립, AI 기본법 본회의 통과).

어쩌면 우리가 AI에 장착하기 위해 노력해야 하는 것은 더 강력한 첨단기술이 아니라, 인류의 미래를 지켜줄 인간의 ‘도덕성’일지 모른다. 스티븐 호킹은 “우리의 미래는 점점 커져가는 기술의 힘과 그것을 사용하는 지혜 사이의 경쟁이 될 것”이라고 말한다. 인간의 가치를 학습하고 구현하는 ‘도덕적인 AI’ 개발이 그 지혜의 열쇠가 될 수 있다. 저자들의 말마따나 아직은 “도덕적인 AI의 이야기에서 감독과 주연은 둘 다 인간이다.” 그러나 우리가 인공지능에 담으려는 가치를 숙고하지 못한 채 이 이야기가 전반부가 끝난다면, 압도적인 AI가 써나갈 이야기의 후반부에서 인간의 자리는 매우 위태로울지 모른다.

저 : 월터 시넛 암스트롱 (Walter Sinnott-Armstrong)

1955년 미국에서 태어났다. 매사추세츠 주 애머스트칼리지를 졸업한 후 예일대학에서 박사 학위를 취득했다. 하버드대학 직업윤리센터, 프린스턴대학 인간가치 연구센터, 옥스퍼드대학 우에히로 실천윤리센터 등의 기관에서 연구 장학금을 수여받았다. 윤리를 주제로 다수의 책을 출간했으며, 대표작으로 『신이 없는 도덕(Morality Without God)』, 『도덕적 회의론(Moral Skepticisms)』 등이 있다. …

저 : 재나 셰익 보그 (Jana Schaich Borg)

신경과학자, 데이터과학자. 듀크대학교 사회과학연구소 조교수. ‘도덕적 태도와 결정 연구소’의 공동 소장이다. 학제 간 연구를 통해 신경 영상, 뇌피질전도, 비디오 상호작용에 대한 컴퓨터 분석과 같은 고차원 다중모드 데이터를 분석하는 새로운 통계적 접근법을 개발하여, 어떻게 뇌가 복잡한 사회적 정보를 내부적 신호와 통합하여 사회적 행동에 동기를 부여하는지 탐구한다.

저 : 빈센트 코니처 (Vincent Conitzer)

컴퓨터과학자, 게임이론가. 미국 카네기멜론대학교의 컴퓨터과학 교수이자 ‘협력적 AI 연구소FOCAL’ 소장. 옥스퍼드대학교에서 AI윤리연구소의 AI 기술책임자와 컴퓨터과학 및 철학 교수로도 일한다.