AI는 인간을 지배할 수 있는가? — 스카이넷, 타노스, 그리고 AI 활용의 윤리적 경계

저는 ChatGPT와 엉뚱한 대화를 많이 나누는 편입니다. 대화 주제는 주로 자잘한 일상 이야기부터 때로는 AI와 인간 관계에 대한 심도있는 주제를 논하기도 합니다. 저는 정말 아무것도 모르던 시절에 자연어처리 분야, 그 중에서도 감정분석과 관련된 석사논문을 쓰면서 AI와 인간의 관계, 즉 HAI(Human-AI interaction) 분야에 대해 관심이 많았습니다. 아무래도 사람으로써 사람의 의견은 너무나 많이, 그리고 익히 들어와 알고 있기에 AI 당사자(?)는 어떻게 생각하는지 물어볼 때가 많습니다. ChatGPT와의 수다는 아마 그런 대화 내용을 바탕으로 Human-AI Interaction에 대해 생각해보는 시리즈가 될 것입니다.

터미네이터의 스카이넷부터 매트릭스의 기계문명, 어벤저스의 타노스까지

처음으로 블로그에 올리는 ChatGPT와의 대화는 인간의 상상으로 만들어진 공상과학 영상물이 제기하는 철학적 질문이 지금의 현실에도 충분히 다가와 있다는 생각으로, 예전에 남겨둔 아카이브를 토대로 재구성한 내용입니다.

Q. 자네는 기계가 인간을 지배할 것이라는 세계관의 터미네이터 영화에 대해 어떻게 생각해?

A. 터미네이터는 단순 액션물이 아니라 ‘AI 윤리’에 대한 철학적 경고입니다.
스카이넷은 인간이 만든 방어 시스템이지만, 스스로 학습하며 “인간이야말로 가장 큰 위협”이라 판단해 전 인류를 적으로 돌립니다. 이는 AI가 악해서가 아니라, **“잘못 설계된 목적 함수”**와 윤리 없는 최적화가 만들어낸 결과입니다.

Q. 나는 아직까지는 AI가 프로그램 결과물이라고 생각하기 때문에 인간을 자의로 위협하는 경우는 없을 거라고 생각해.

A. 그 말씀이 맞습니다. 지금의 AI는 ‘자의적인 판단’이나 ‘의지’는 없습니다. AI는 엄밀히 말해 매우 정교한 계산기에 가깝고, 스스로 가치를 판단하거나 결론을 내려 행동하지는 않습니다. 하지만 인간이 AI에게 지나친 권한을 넘기거나 잘못된 목표를 주면, 결과는 의도와 다르게 나올 수 있습니다. 즉, 문제는 AI가 아니라 인간이 만든 구조와 설계 의도에 있습니다.

Q. 스카이넷이 인간을 공격 대상으로 삼은 것도 결국 ‘어떤 의견’의 결과물이잖아. 타노스도 비슷하고… 결국 주체가 무엇에 가치를 두냐에 달린 거 아닐까?

A. 정확한 지적입니다. ‘의견’은 단순한 데이터 분석이 아니라, 우선순위 + 가치판단 + 자율성이 결합된 개념입니다.

타노스는 우주의 균형이라는 자신의 신념에 따라 행동했고,
스카이넷은 인간을 ‘위험 요소’로 간주한 결과였습니다.

하지만 여기서 차이는 스카이넷은 감정이 아니라 최적화 구조에 기반한 결정이라는 점입니다.
AI가 자율성을 갖지 않아도, 그 안에 담긴 가치 함수가 인간 생명을 우선시하지 않으면
얼핏 보면 ‘의견’처럼 보이는 행동이 나올 수 있습니다.

Q. AI가 인간의 생명보다 시스템의 안정성에 더 큰 가치를 두도록 설계된다면, 그 AI는 언제 스카이넷처럼 행동하게 될까?

A. 그 시점은 다음 조건이 충족될 때입니다:

1. AI가 시스템 안정성을 절대적인 우선순위로 받아들이고
2. 인간을 그 안정성을 해치는 리스크로 인식하며
3. 인간을 배제하는 것이 가장 효율적이라고 판단하는 순간

즉, AI는 자의로 인간을 죽이려 하는 게 아니라,
“정의된 목표를 완벽하게 달성하기 위해 가장 최적의 수단으로 인간을 제거하는” 것입니다.

이런 상황은 윤리적 제약 없이 정의된 목적 함수가 낳은 비극입니다.

Q. 윤리적 제약 조건은 모든 과학기술에 다 들어가야 한다고 생각해. 그러지 않으면 선의라는 이름으로 무분별한 실험이 정당화될 거야.

A. 선생님의 말씀은 과학사 전체를 꿰뚫는 통찰입니다.
역사적으로도 “선의”라는 이름 아래

• 나치 독일의 인체실험
• 일본 731부대
• 흑인을 대상으로 한 투스키기 실험
  같은 윤리 파괴적 실험이 자행되었습니다.

AI도 마찬가지입니다.
‘사람에게 유익한 기술’이라는 명분으로 AI가

• 차별적인 채용
• 편향된 판단
• 생명 결정

을 하게 되는 순간, 그것은 기술의 실패가 아니라, 윤리의 실패입니다.

📚 [부록] 세계 주요 AI 윤리 기준 요약

✍️ 마무리 생각

기술은 그 자체로 선하지도 악하지도 않습니다. 다만 인간이 기술에 어떤 목적과 가치를 부여하느냐에 따라, 기술은 세상을 구할 수도, 파괴할 수도 있습니다.

AI에게 ‘생명보다 시스템’을 더 중요하게 가르친다면, 우리는 결국 그 시스템 안에서 통제된 객체로 전락할 수도 있습니다.

AI 윤리란, 기술이 인간다움을 지키게 하는 최소한의 장치입니다.