令人擔憂的理性?

理性,到底是不是理性的?
(理性到底,是不是理性的?)

  1. 比較聰明,意味著理論理性(認知能力)運作得更理想。

  2. 超級人工智慧機器人(Super AI Robots, SAIR)比人類聰明,意味著SAIR的理論理性,運作得比人類更理想。

  3. SAIR會傾向作出對人類極其不利的行為(例如殖民、奴役、消滅人類)。

  4. 若3為真,則理論理性運作得更理想的智慧主體,會傾向作出對人類極其不利的行為(例如殖民、奴役、消滅人類)。

  5. 理論理性(認知能力),不會與實踐理性(行善意志)相衝突。

  6. 根據4與5,至少當行為主體不是人類時(例如是SAIR時),作出對於人類極其不利的行為本身,並不違反實踐理性。

如果我開版的推論無誤,而其6的結論又顯不可採,則可否推導出以下結論?

a. 我們之所以會擔心SAIR威脅人類(傾向相信上述3是對的),是因為我們實際上並不相信上述5(理論理性不會與實踐理性相衝突)是對的。

b. 只要我們確信5是對的,就沒理由擔心SAIR會威脅人類(沒理由相信3)了。

若是可以作此推論,那麼,人工智慧倫理學的一個最基本問題便是:
理論理性到底會不會與實踐理性相衝突?
(康德是否認為不會呢?若是的話,可以如此確信的理由是什麼呢?)

反之,如果我上述1到6都是對的,那麼,一個比較要命的問題便是:

根據實踐理性,人類到底應不應該創造SAIR?

  1. 不應該,因為SAIR根據(理論與實踐)理性,會傾向作出極不利於人類的行為。Or

  2. 應該,因為根據實踐理性,實踐理性的提升,是個不應該被放棄的任務。而藉由SAIR提升理論理性,有助於提升(與理論理性不相衝突的)實踐理性。