# Singer on AI, Transhumanism, and Ethics

> 효율적 이타주의 운동은 초기에 피터 싱어의 영향을 많이 받았으나(The most good you can do) 장기주의를 비롯한 몇몇 움직임들은 싱어가 생각했던 효율적 이타주위에서 다소 벗어난 것으로 보인다.

<효율적 이타주의> 운동은 초기에 [피터 싱어](https://wiki.g15e.com/pages/Peter%20Singer.txt)의 영향을 많이 받았으나(<The most good you can do>) <장기주의>를 비롯한 몇몇 움직임들은 싱어가 생각했던 효율적 이타주위에서 다소 벗어난 것으로 보인다.

## 싱어의 입장들

일단 싱어 본인이 <2019년>에 명시적으로 장기주의에 대한 다소 비판적 평가를 밝힌 바 있다.(참고: [Is AI Safety 'Rather Speculative Long-Termism'?](https://oxfordpoliticalreview.com/2019/08/25/is-ai-safety-rather-speculative-long-termism/))

<2018년> [Singularity Weblog와의 인터뷰](https://www.singularityweblog.com/peter-singer/)에서도 인터뷰어의 지속적인 유도심문에도 불구하고 소위 'AI 위기'는 [기후 위기](https://wiki.g15e.com/pages/Climate%20crisis.txt)나 기아 문제에 비해 시급하지 않다거나, 'AI 위기'가 실존하는 문제인지에 대해 회의적이라는 등 싱어 본인의 입장을 반복적으로 표명한다.

<최승준>님 덕에 좀 더 최근(<2021년>)에 피터 싱어가 장기주의에 대해 좀 더 분명하게 비판적 입장을 밝힌 글도 발견했다.

https://www.project-syndicate.org/commentary/ethical-implications-of-focusing-on-extinction-risk-by-peter-singer-2021-10

2022년에는 <Will MacAskill>의 저서 <What We Owe the Future>를 추천하는 트윗을 썼는데, 내용이 미묘하다. 공리주의와 효율적 이타주의에 대한 책이라서 추천하지만 모든 내용(아마도 장기주의?)에 동의할 필요는 없다는 말.

> <Will MacAskill>'s <What We Owe the Future> has just been published. **You don't have to agree with everything in it** to think that this is an important book. Good to see it getting a lot of well-deserved media attention that raises the profile of effective altruism and utilitarianism.
>
> --[2022년 8월 18일 트윗](https://x.com/PeterSinger/status/1560129638286135296)

## 장기주의의 종차별

나는 장기주의자들이 표명하는 <공리주의>가 싱어가 이해하고 설명하는 공리주의 개념에 부합하는지도 잘 모르겠다(참고: [공리주의: 짧은 소개](https://wiki.g15e.com/pages/Utilitarianism%20-%20A%20very%20short%20introduction.txt)). <제레미 벤담>과 마찬가지로 싱어도 인간이라는 종에게 특별한 지위를 부여하지 않는 반면 장기주의자들의 관심사는 인간 종의 번영에 지나치게 초점을 두기 때문이다.

아마 싱어의 기준으로는 장기주의자들의 입장은 [종차별](https://wiki.g15e.com/pages/Speciesism.txt)에 가까운 게 아닌가 싶다. '만약 인간보다 우월한 AI가 나타나서 공리주의 관점에서 인간의 멸종이 바람직하다라고 판단을 내린다면 어쩌겠느냐'는 질문에 대해 싱어는 '가능성이 매우 희박하다고 보지만 만약 정말 그런 일이 벌어졌고 그 판단이 정확하다고 가정한다면, 결론을 수용해야 한다'고 답한다. 싱어는 인간 종의 행복에 특별히 더 많은 가치를 두지 않기 때문. 심지어 인간이 AI의 그러한 결론에 저항한다면 이는 부도덕하다고도 말한다(출처: 위 "Singularity Weblog 인터뷰).

다음은 <2024년 1월>의 영상. 25분부터 AI와 동물 윤리에 대해 짧게 언급한다(대부분의 AI 윤리 관련 논의가 동물을 고려하지 않는다고 비판). 마치기 직전에 장기주의에 대해 말하는데, <초인공지능>이 아주 빠르게 개발될 것 같지 않고 지금 당장 초인공지능에 대한 대응책을 연구하는 게 시급해보이지는 않는다고 말한다. 예상대로다.

[Exploring Effective Altruism at Congreso Futuro 2024](https://www.youtube.com/watch?v=QGi5bkR56JA)

## AI, 트랜스휴머니즘 등에 대한 입장

싱어는 2024년에도 Singularity Weblog와 인터뷰를 한다.

([Philosopher Peter Singer on AI, Transhumanism and Ethics](https://www.youtube.com/watch?v=tcs9p5b5jWw))

다음은 일부 메모:

- 14:00 <트랜스휴머니즘>에 일부 공감. 변화에는 리스크가 따르겠으나 [진화](https://wiki.g15e.com/pages/Evolution.txt)가 이상적 상태를 설계했다고 볼 수도 없으니.
- 14:50 가장 큰 꿈이 뭐냐고 했더니 고통 없는, 최소한의 고통만 존재하는 세상이라고 대답. 방법 중 하나로 대체육, 식물성 식재료 등을 언급.
- 17:00 가장 큰 두려움은 [기후 위기](https://wiki.g15e.com/pages/Climate%20crisis.txt). 장기주의와 다른 느낌.
- 18:20 AI 위기는 [기후 위기](https://wiki.g15e.com/pages/Climate%20crisis.txt)에 비해 시급하지 않다고 생각. AI가 충분히 똑똑해지기까지 50-100년 정도는 걸릴 것 같다. 그 사이에 더 생각할 시간이 있지 않겠나. 매우 가능성이 희박하고 나는 그렇게 믿지 않지만 굳이 가설적으로 만약 매우 똑똑한 AI가 인간 멸종이 [공리주의](https://wiki.g15e.com/pages/Utilitarianism.txt)에 부합한다고 제대로correctly 판단한다고 생각해보라 했으니 말하자면, 결론을 수용할 것 같다. 꼭 인간이라는 종이 행복해야한다고 생각하지 않는다. 만약 인간들이 이에 저항하는 단체 행동을 한다면 이는 부도덕한 행동이라고 본다.
- 29:30 기아 문제도 중요하다고 봄. 다행이 줄고 있기는 하지만 여전히 큰 문제.
- 34:30 <효율적 이타주의> 얘기 시작.
- 43:00 트랜스휴머니즘에 아무 문제 없다고 했는데(??) 좀 더 말해달라 → 나는 유전자 조작 등으로 인간이 더 도덕적이고 사려깊게 행동하도록 개선enhance하는 방법에 대해 논의하는 걸 피하지 않는다. 인간은 개선의 여지가 있다. 아이를 때리는 사람을 봤을 때 감정적으로 격한 반응을 하지만, <탄소> 배출을 보면서는 그같은 반응이 좀처럼 일지 않는다.
- 51:00 더 지능이 높다고 더 도덕적일거라 기대할 수는 없지 않느냐고 하자(아마 AI 리스크를 말하고 싶었을 것), 싱어는 지능이 높으면 더 도덕적일 경향성이 있을거라고 말함. 반성적 사고, 감정을 억제하는 이성적 사고 등에 능하기 때문.
- 55:00 전문가들은 10-20년 내에 <특이점>이 온다고들 하는데 입장을 바꿀 생각이 없나? 동료 <닉 보스트롬>도 동의했는데? → 작년에 <DeepMind>, [Microsoft](https://wiki.g15e.com/pages/Microsoft.txt) 등 온갖 업계 전문가와 윤리학자가 모여서 폭넓은 논의를 했는데 왜 AI takeover에 대한 주제는 없냐고 물었더니 다들 웃더라. 아직 그 근처에도 못갔다고 말함. 난 전문가가 아니라 모르겠고 그냥 다른 전문가들의 말을 듣고 그렇게 생각하는 것.