If Artificial Superintelligence Were to Cause Our Extinction, Would That Be So Bad?

Abstract

This article examines whether human extinction brought about by a “value-misaligned” artificial superintelligence (ASI) would be bad, and for what reasons. The question, I contend, is deceptively complex. I proceed by outlining the three main positions within Existential Ethics, i.e., the study of the ethical and evaluative implications of human extinction. These are equivalence views, further-loss views, and pro-extinctionist views. I then show how exponents of each view would evaluate a scenario in which humanity goes extinct due to ASI. Although there are some points of agreement, these three positions diverge in significant ways, most of which have not been adequately explored in the philosophical literature.

Keywords:

• human extinction,
• existential ethics,
• artificial superintelligence

Résumé

Cet article examine si l’extinction de l’humanité provoquée par une super intelligence artificielle (SIA) aux valeurs divergentes serait néfaste, et pour quelles raisons. La question, selon moi, est faussement complexe. Je commence par présenter les trois principales positions de l’éthique existentielle, c’est-à-dire l’étude des implications éthiques et évaluatives de l’extinction de l’humanité. Il s’agit des points de vue de l’équivalence, des points de vue de la perte future et des points de vue pro-extinctionnistes. Je montre ensuite comment les tenants de chaque point de vue évalueraient un scénario dans lequel l’humanité s’éteindrait à cause de SIA. Bien qu’il y ait des points d’accord, ces trois positions divergent de manière significative, la plupart d’entre elles n’ayant pas été suffisamment explorées dans la littérature philosophique.

Mots-clés :

• extinction humaine,
• éthique existentielle,
• super intelligence artificielle