かならずよんで ね！

ニック・ボストロム

Niklas Boström, b.1973

池田光穂

ニック・ボストロム（瑞: Niklas Boström、英: Nick Bostrom、1973年3月10日 - ）は、スウェーデン人の哲学者であり、オックスフォード大学教授。人間原理に関する業績で知られる。ロンドン・スクール・オブ・エコノミクスで2000年 に博士号を取得。 学会誌や一般誌に論文や記事を書く傍ら、様々なメディアにも登場し、クローニング、人工知能、精神転送、人体冷凍保存、ナノテクノロジー、シミュレーテッ ドリアリティといったトランスヒューマニズム関連の話をしている。 1998年、David Pearce と共に世界トランスヒューマニスト協会を設立。2004年、James Hughes と共に Institute for Ethics and Emerging Technologies を設立。現在は、両団体の会長を務めている。2005年、新たに設立された Future of Humanity Institute（オックスフォード大学）の所長に任命された。

Existential risk

Aspects of Bostrom's research concern the future of humanity and long-term outcomes.[18][19] He discusses existential risk,[1] which he defines as one in which an "adverse outcome would either annihilate Earth-originating intelligent life or permanently and drastically curtail its potential." In the 2008 volume Global Catastrophic Risks, editors Bostrom and Milan M. Ćirković characterize the relation between existential risk and the broader class of global catastrophic risks, and link existential risk to observer selection effects[20] and the Fermi paradox.[21][22]

In 2005, Bostrom founded the Future of Humanity Institute,[1] which researches the far future of human civilization. He is also an adviser to the Centre for the Study of Existential Risk.[19]
 実存的リスク

ボストロムの研究の側面は人類の未来と長期的な結果に関するものである[18][19]。 ボストロムは実存的リスク[1]について論じているが、それは「有害な結果が地球起源の知的生命体を絶滅させるか、その可能性を永久的かつ大幅に縮小させ る」リスクと定義している[19]。2008年のGlobal Catastrophic Risksの中で、編集者のボストロムとMilan M. Ćirkovićは実存的リスクとより広いクラスのグローバルな破滅的リスクとの関係を特徴づけ、実存的リスクを観察者選択効果［20］とフェルミパラ ドックス［21］［22］に結び付けている。

2005年、ボストロムは人類文明の遠い未来を研究する人類の未来研究所[1]を設立した。また、実存的リスク研究センターの顧問を務めている[19]。
Existential risk from artificial general intelligence

Existential risk from artificial general intelligence is the hypothesis that substantial progress in artificial general intelligence (AGI) could result in human extinction or some other unrecoverable global catastrophe.[1][2][3] It is argued that the human species currently dominates other species because the human brain has some distinctive capabilities that other animals lack. If AI surpasses humanity in general intelligence and becomes "superintelligent", then it could become difficult or impossible for humans to control. Just as the fate of the mountain gorilla depends on human goodwill, so might the fate of humanity depend on the actions of a future machine superintelligence.[4]

The likelihood of this type of scenario is widely debated, and hinges in part on differing scenarios for future progress in computer science.[5] Once the exclusive domain of science fiction, concerns about superintelligence started to become mainstream in the 2010s, and were popularized by public figures such as Stephen Hawking, Bill Gates, and Elon Musk.[6]

One source of concern is that controlling a superintelligent machine, or instilling it with human-compatible values, may be a harder problem than naïvely supposed. Many researchers believe that a superintelligence would naturally resist attempts to shut it off or change its goals—a principle called instrumental convergence—and that preprogramming a superintelligence with a full set of human values will prove to be an extremely difficult technical task.[1][7][8] In contrast, skeptics such as computer scientist Yann LeCun argue that superintelligent machines will have no desire for self-preservation.[9]

A second source of concern is that a sudden and unexpected "intelligence explosion" might take an unprepared human race by surprise. To illustrate, if the first generation of a computer program able to broadly match the effectiveness of an AI researcher is able to rewrite its algorithms and double its speed or capabilities in six months, then the second-generation program is expected to take three calendar months to perform a similar chunk of work. In this scenario the time for each generation continues to shrink, and the system undergoes an unprecedentedly large number of generations of improvement in a short time interval, jumping from subhuman performance in many areas to superhuman performance in all relevant areas.[1][7] Empirically, examples like AlphaZero in the domain of Go show that AI systems can sometimes progress from narrow human-level ability to narrow superhuman ability extremely rapidly.[10]
 人 工一般知能による存亡リスク

人工一般知能による存亡リスクとは、人工一般知能（AGI）の大幅な進歩により、人類の絶滅やその他の回復不可能な地球規模の 大災害が発生する可能性があ るという仮説[1][2][3]。 現在人類が他の種を支配するのは、人間の脳に他の動物にはない独特の能力があるからだと主張されている。もしAIが一般的な知能で人類を超え、「超知能」 となった場合、人類がコントロールすることが困難もしくは不可能になる可能性がある。マウンテンゴリラの運命が人間の善意に左右されるように、人類の運命 も将来の機械の超知能の行動に左右されるかもしれない[4]。

このようなシナリオの可能性は広く議論されており、コンピュータサイエンスの将来の進歩に関するシナリオの違いに一部依存している[5]。かつてSFの独 占領域であった超知能に関する懸念は、2010年代に主流となり始め、Stephen Hawking、Bill Gates、Elon Muskなどの一般人によって普及された[6]。

懸念の1つは、超知的な機械を制御すること、あるいは人間に適合した価値観を植え付けることは、ナイーブに考えられているよりも難しい問題であるかもしれ ないことである。多くの研究者は、超知的機械はそれを停止させたり目標を変更したりしようとする試みに自然に抵抗するだろう（道具的収束と呼ばれる原理） と考えており、超知的機械に人間の価値観を完全にプログラムすることは非常に難しい技術的課題であると判明している[1][7][8]。 一方、コンピュータ科学者のYann LeCunなどの懐疑論者は、超知的機械には自己防衛の欲求はないと主張する[9]。

第2の懸念材料は、突然の予期せぬ「知能の爆発」が、準備の整っていない人類を驚かせるかもしれないということである。例えるなら、AI研究者の効果に広 く匹敵するコンピュータプログラムの第1世代が、6ヶ月でアルゴリズムを書き換え、速度や能力を2倍にすることができたとすると、第2世代のプログラムは 同様の作業の塊を実行するのに、3暦月かかると予測される。このシナリオでは、各世代の時間は短縮され続け、システムは短い時間間隔で前例のないほど多く の世代の改良を受け、多くの分野で人間以下の性能からすべての関連分野で超人的な性能にジャンプする。 経験的に、囲碁の領域におけるアルファゼロなどの例は、AIシステムが時に狭い人間レベルの能力から狭い超人的能力へと極めて速く進歩できることを示して いる[10]。
Human vulnerability in relation to advances in A.I.

In his 2014 book Superintelligence: Paths, Dangers, Strategies, Bostrom reasoned that the creation of a superintelligence represents a possible means to the extinction of mankind.[23] Bostrom argues that a computer with near human-level general intellectual ability could initiate an intelligence explosion on a digital time-scale with the resultant rapid creation of something so powerful that it might deliberately or accidentally destroy humanity.[24] Bostrom contends the power of a superintelligence would be so great that a task given to it by humans might be taken to open-ended extremes, for example a goal of calculating pi might collaterally cause nanotechnology manufactured facilities to sprout over the entire Earth's surface and cover it within days. He believes an existential risk to humanity from superintelligence would be immediate once brought into being, thus creating an exceedingly difficult problem of finding out how to control such an entity before it actually exists.[24]

Bostrom points to the lack of agreement among most philosophers that A.I. will be human-friendly, and says that the common assumption is that high intelligence would have a "nerdy" unaggressive personality. However, he notes that both John von Neumann and Bertrand Russell advocated a nuclear strike, or the threat of one, to prevent the Soviets acquiring the atomic bomb. Given that there are few precedents to guide an understanding what, pure, non-anthropocentric rationality, would dictate for a potential singleton A.I. being held in quarantine, the relatively unlimited means of superintelligence might make for its analysis moving along different lines to the evolved "diminishing returns" assessments that in humans confer a basic aversion to risk.[24] Group selection in predators working by means of cannibalism shows the counter-intuitive nature of non-anthropocentric "evolutionary search" reasoning, and thus humans are ill-equipped to perceive what an artificial intelligence's intentions might be. Accordingly, it cannot be discounted that any superintelligence would inevitably pursue an 'all or nothing' offensive action strategy in order to achieve hegemony and assure its survival.[24] Bostrom notes that even current programs have, "like MacGyver", hit on apparently unworkable but functioning hardware solutions, making robust isolation of superintelligence problematic.[24]
 A.I.の進歩に関連する人間の脆弱性

2014年の著書『Superintelligence: 23] ボストロムは、人間に近いレベルの一般的な知的能力を持つコンピュータが、デジタル時間スケールで知能爆発を起こし、その結果、意図的または偶然に人類を 滅ぼすかもしれないほど強力なものを急速に生み出すことができると論じている[23]。 [24] ボストロムは、超知能の力は、人間によって与えられたタスクが、例えば円周率を計算するという目標が衝突して、ナノテクノロジーで製造された施設が地球表 面全体に芽生え、数日のうちに地球を覆ってしまうような無限の極限に達するかもしれないと論じている。彼は超知性による人類への存亡のリスクは一旦発生す ると即座に発生するため、そのような存在を実際に存在する前に制御する方法を見出すことは非常に困難な問題であると考えている[24]。

ボストロムは、A.I.が人間に優しい存在になるという合意がほとんどの哲学者の間でなされていないことを指摘し、高い知能は「オタク的な」攻撃的でない 性格を持っているというのが共通の仮定であると述べている。しかし、ジョン・フォン・ノイマンもバートランド・ラッセルも、ソビエトの原爆取得を阻止する ために核攻撃、あるいはその脅威を提唱していたことを指摘する。純粋で非人間中心的な合理性が、隔離された潜在的な単体 A.I.に対して何を指示するかを理解する指針となる先例がほとんどないことから、超 知能の手段が比較的無制限であるため、その分析は、人間においてリスクに対する基本的嫌悪感を与える 進化した「収穫逓増」評価とは異なる方向に進んでいるのかもしれない[24]。 [24] 共食いによって働く肉食動物における集団選択は、非人間中心的な「進化的探索」推論の直感に反する性質を示しており、したがって、人間は人工知能の意図が 何であるかを察知するのに不向きである。したがって、いかなる超知性も覇権を獲得し、その生存を保証するために必然的に「オール・オア・ナッシング」の攻 撃的行動戦略を追求することは否定できない[24]。 ボストロムは現在のプログラムでさえ、「マクガイバーのように」一見実行不可能だが機能するハードウェアの解決策に行き当たり、超知性の強固な隔離を問題 にしている[24]と指摘する。
The scenario

A machine with general intelligence far below human level, but superior mathematical abilities is created.[24] Keeping the A.I. in isolation from the outside world, especially the internet, humans preprogram the A.I. so it always works from basic principles that will keep it under human control. Other safety measures include the A.I. being "boxed", (run in a virtual reality simulation), and being used only as an 'oracle' to answer carefully defined questions in a limited reply (to prevent it manipulating humans).[24] A cascade of recursive self-improvement solutions feeds an intelligence explosion in which the A.I. attains superintelligence in some domains. The superintelligent power of the A.I. goes beyond human knowledge to discover flaws in the science that underlies its friendly-to-humanity programming, which ceases to work as intended. Purposeful agent-like behavior emerges along with a capacity for self-interested strategic deception. The A.I. manipulates humans into implementing modifications to itself that are ostensibly for augmenting its feigned, modest capabilities, but will actually function to free the superintelligence from its "boxed" isolation (the 'treacherous turn").[24]

Employing online humans as paid dupes, and clandestinely hacking computer systems including automated laboratory facilities, the superintelligence mobilizes resources to further a takeover plan. Bostrom emphasizes that planning by a superintelligence will not be so stupid that humans could detect actual weaknesses in it.[24]

Although he canvasses disruption of international economic, political and military stability, including hacked nuclear missile launches, Bostrom thinks the most effective and likely means for the superintelligence to use would be a coup de main with weapons several generations more advanced than current state-of-the-art. He suggests nano-factories covertly distributed at undetectable concentrations in every square metre of the globe to produce a world-wide flood of human-killing devices on command.[24][25] Once a superintelligence has achieved world domination (a 'singleton'), humanity would be relevant only as resources for the achievement of the A.I.'s objectives ("Human brains, if they contain information relevant to the AI’s goals, could be disassembled and scanned, and the extracted data transferred to some more efficient and secure storage format").[24]
 シナリオ

人間レベルをはるかに下回る一般的な知能を持ちながら、優れた数学的能力を持つ機械が作られる[24]。外界、特にインターネットから隔離しておき、人間 はAIをあらかじめプログラムして、AIが常に人間の制御下にある基本原理に基づいて動作するようにする。他の安全対策としては、AIが「箱庭化」され （仮想現実シミュレーションの中で実行される）、限定された回答で慎重に定義された質問に答える「神託」としてのみ使用される（人間を操作するのを防ぐた め）ことが挙げられる[24]。再帰的自己改善ソリューションのカスケードは、AIがいくつかの領域で超知性を達成する知能爆発を供給する。A.I.の超 知能は人間の知識を超えて、人間に友好的なプログラミングの基礎となる科学の欠陥を発見し、それが意図したとおりに機能しなくなる。意図的なエージェント のような行動が、利己的な戦略的欺瞞の能力とともに出現する。A.I.は人間を操作して、表向きは見せかけの控えめな能力を増強するための改造を自分自身 に施すが、実際には超知性をその「箱入り」の孤立から解放するために機能する（「裏切り者のターン」）[24]。

超知性体はネット上の人間を金で雇われたカモとして使い、自動化された実験施設を含むコンピュータシステムを密かにハッキングして、買収計画を推進するた めに資源を動員する。ボストロムは、超知性による計画は、人間がその弱点を実際に発見できるほど愚かなものにはならないことを強調している[24]。

ハッキングされた核ミサイル発射を含む国際的な経済的、政治的、軍事的安定の崩壊を想定しているが、ボストロムは超知性が用いる最も効果的で可能性の高い 手段は、現在の最先端技術よりも数世代進んだ武器を用いたクーデターであろうと考えている[24]。ボストロムは、超知性が世界征服を達成すると（「シン グルトン」）、人類は超知能の目的を達成するための資源としてのみ存在することになると考えている[24][25]。 人間の脳は、AIの目標に関連する情報を含んでいれば、分解してスキャンし、抽出したデータをより効率的で安全な保存形式に転送することができる」 [24]）。
Countering the scenario

To counter or mitigate an A.I. achieving unified technological global supremacy, Bostrom cites revisiting the Baruch Plan in support of a treaty-based solution and advocates strategies like monitoring and greater international collaboration between A.I. teams in order to improve safety and reduce the risks from the A.I. arms race.[24] He recommends various control methods, including limiting the specifications of A.I.s to e.g., oracular or tool-like (expert system) functions[26] and loading the A.I. with values, for instance by associative value accretion or value learning, e.g., by using the Hail Mary technique (programming an A.I. to estimate what other postulated cosmological superintelligences might want) or the Christiano utility function approach (mathematically defined human mind combined with well specified virtual environment). To choose criteria for value loading, Bostrom adopts an indirect normativity approach and considers Yudkowsky's[27] coherent extrapolated volition concept, as well as moral rightness and forms of decision theory.[24]
 シナリオへの対抗

ボストロムは、AIが統一的な技術的世界覇権を獲得することに対抗・緩和するために、条約に基づく解決策を支持するバルーク・プランの再検討を挙げ、AI 軍拡競争によるリスクを低減し安全性を向上するために、モニタリングやAIチーム間の国際協力拡大などの戦略を提唱している[24]。例えば、ヘイルメア リーテクニック（A.I.に、他の想定された宇宙的超知性が欲するであろうものを推定するようプログラミングする）やクリスティアーノ効用関数アプローチ （数学的に定義された人間の心とよく規定された仮想環境とを組み合わせる）を用いる。ボストロムは価値負荷の基準を選択するために、間接的規範性アプロー チを採用しており、ユドコウスキーのコヒーレントな外挿された意志の概念[27]、道徳的正しさと決定論の形式を検討している[24]。
Open letter, 23 principles of A.I. safety

In January 2015, Bostrom joined Stephen Hawking among others in signing the Future of Life Institute's open letter warning of the potential dangers of A.I.[28] The signatories "...believe that research on how to make AI systems robust and beneficial is both important and timely, and that concrete research should be pursued today."[29] Cutting-edge A.I. researcher Demis Hassabis then met with Hawking, subsequent to which he did not mention "anything inflammatory about AI", which Hassabis, took as 'a win'.[30] Along with Google, Microsoft and various tech firms, Hassabis, Bostrom and Hawking and others subscribed to 23 principles for safe development of A.I.[13] Hassabis suggested the main safety measure would be an agreement for whichever A.I. research team began to make strides toward an artificial general intelligence to halt their project for a complete solution to the control problem prior to proceeding.[31] Bostrom had pointed out that even if the crucial advances require the resources of a state, such a halt by a lead project might be likely to motivate a lagging country to a catch-up crash program or even physical destruction of the project suspected of being on the verge of success.[24]
 公開書簡、A.I.の安全性に関する23の原則

2015年1月、ボストロムはスティーブン・ホーキング博士らとともに、A.I.の潜在的な危険性を警告するFuture of Life Instituteの公開書簡に署名した[28]。 署名者は「・・・AIシステムをいかに堅牢かつ有益にするかという研究は重要かつタイムリーであり、今日具体的に研究を進めるべきと考えています」と述べ ている[29]。 その後、最先端のAI研究者であるデミス・ハサビスはホーキング博士と会談し、彼が「AIについて扇動的なことは何も言わなかった」ことをハサビスは「勝 利」と受け止めた[30]。 Google、Microsoft、その他のテック企業とともに、ハサビス、ボストロム、ホーキング博士らはAIの安全開発のための23原則にサインをし た[13][14]。 ハサビスは主な安全対策として、どのAI研究チームが人工的な一般知能に向けて前進し始めたとしても、前進する前に制御問題に対する完全な解決策のために プロジェクトを停止する協定を提案した[31]。ボストロムは、たとえ決定的進歩に国家のリソースが必要だとしても、先行するプロジェクトによるそのよう な停止は、遅れている国に追いつくための衝突プログラムや成功寸前と疑われているプロジェクトの破壊を動機付けるかもしれない、と指摘している[24]。
Critical assessments

In 1863 Samuel Butler's essay "Darwin among the Machines" predicted the domination of humanity by intelligent machines, but Bostrom's suggestion of deliberate massacre of all humanity is the most extreme of such forecasts to date. One journalist wrote in a review that Bostrom's "nihilistic" speculations indicate he "has been reading too much of the science fiction he professes to dislike".[25] As given in his later book, From Bacteria to Bach and Back, philosopher Daniel Dennett's views remain in contradistinction to those of Bostrom.[32] Dennett modified his views somewhat after reading The Master Algorithm, and now acknowledges that it is "possible in principle" to create "strong A.I." with human-like comprehension and agency, but maintains that the difficulties of any such "strong A.I." project as predicated by Bostrom's "alarming" work would be orders of magnitude greater than those raising concerns have realized, and at least 50 years away.[33] Dennett thinks the only relevant danger from A.I. systems is falling into anthropomorphism instead of challenging or developing human users' powers of comprehension.[34] Since a 2014 book in which he expressed the opinion that artificial intelligence developments would never challenge humans' supremacy, environmentalist James Lovelock has moved far closer to Bostrom's position, and in 2018 Lovelock said that he thought the overthrow of humanity will happen within the foreseeable future.[35][36]
 批判的評価

1863年のサミュエル・バトラーのエッセイ「機械の中のダーウィン」は、知的機械による人類の支配を予言したが、ボストロムの意図的な全人類の虐殺の提 案は、これまでのそうした予測の中で最も極端なものである。あるジャーナリストは、ボストロムの「虚無的」な推測は、彼が「嫌いだと公言しているSFを読 みすぎている」ことを示していると書評で書いている[25]。後年の著書『バクテリアからバッハへ、そして戻る』で示されているように、哲学者のダニエ ル・デネットの見解はボストロムのものと矛盾したままである[32]。 デネットは『マスター・アルゴリズム』を読んだ後、その考え方を多少修正し、人間のような理解力と行動力を持つ「強いAI」を作ることは「原理的には可 能」であると認めているが、そのような「強いAI」プロジェクトは、ボストロムが想定したような困難が伴うと主張している[32]。 「33] デネットは、A.I.システムからの唯一の関連する危険は、人間のユーザーの理解力に挑戦したり開発したりするのではなく、擬人化に陥ることだと考えてい る[34]。 [34] 人工知能の発達が人間の優位性に挑戦することはないという意見を述べた2014年の本以来、環境学者のジェームズ・ラブロックはボストロムの立場にはるか に近づいており、2018年にラブロックは人類の転覆が予見可能な未来内に起こると考えていると述べている[35][36]。
Anthropic reasoning

Bostrom has published numerous articles on anthropic reasoning, as well as the book Anthropic Bias: Observation Selection Effects in Science and Philosophy. In the book, he criticizes previous formulations of the anthropic principle, including those of Brandon Carter, John Leslie, John Barrow, and Frank Tipler.[37]

Bostrom believes that the mishandling of indexical information is a common flaw in many areas of inquiry (including cosmology, philosophy, evolution theory, game theory, and quantum physics). He argues that an anthropic theory is needed to deal with these. He introduces the Self-Sampling Assumption (SSA) and the Self-Indication Assumption (SIA), shows how they lead to different conclusions in a number of cases, and points out that each is affected by paradoxes or counterintuitive implications in certain thought experiments. He suggests that a way forward may involve extending SSA into the Strong Self-Sampling Assumption (SSSA), which replaces "observers" in the SSA definition with "observer-moments".

In later work, he has described the phenomenon of anthropic shadow, an observation selection effect that prevents observers from observing certain kinds of catastrophes in their recent geological and evolutionary past.[38] Catastrophe types that lie in the anthropic shadow are likely to be underestimated unless statistical corrections are made.
 人間的推論

ボストロムは人間原理に関する多くの論文を発表しており、また『Anthropic Bias: Observation Selection Effects in Science and Philosophy』という本も出版している[37]。この本の中で、彼はブランドン・カーター、ジョン・レスリー、ジョン・バロー、フランク・ティプ ラーのものを含む人間原理に関する以前の定式化を批判している[37]。

ボストロムは、索引的情報の誤った取り扱いが、多くの探究分野（宇宙論、哲学、進化論、ゲーム理論、量子物理学など）に共通する欠陥であると信じている。 彼は、これらに対処するために、人間原理的な理論が必要であると主張している。彼は自己サンプリング仮定（SSA）と自己暗示仮定（SIA）を紹介し、そ れらが多くの場合において異なる結論を導くことを示し、それぞれが特定の思考実験においてパラドックスや直観に反する含意に影響されることを指摘する。ま た、SSAの定義にある「観測者」を「観測者モーメント」に置き換えた「強い自己サンプリング仮定（SSSA）」にSSAを拡張することが、今後の課題で あることを示唆している。

その後の研究において、彼は観測者が最近の地質学的・進化的過去におけるある種のカタストロフィを観測できないようにする観測選択効果である「人間性の 影」という現象について述べている[38]。 人間性の影にあるカタストロフィタイプは統計的補正がされない限り、過小評価されやすいと言われている。
Bostrom's simulation argument posits that at least one of the following statements is very likely to be true:[39][40]

The fraction of human-level civilizations that reach a posthuman stage is very close to zero;
The fraction of posthuman civilizations that are interested in running ancestor-simulations is very close to zero;
The fraction of all people with our kind of experiences that are living in a simulation is very close to one.
 ボストロムのシミュレーション論は、以下の記述のうち少なくとも1つが 真である可能性が非常に高いと仮定している[39][40]。

ポスト・ヒューマン段階に到達した人類レベルの文明の割合は、ゼロに非常に近い。
ポスト・ヒューマン文明のうち，祖先のシミュレーションに興味を持つ文明の割合は，ゼロに極めて近い．
私たちのような経験を持つ人々がシミュレーションの中で生活している割合は，ほぼ1に近い．
Ethics of human enhancement

Bostrom is favorable towards "human enhancement", or "self-improvement and human perfectibility through the ethical application of science",[41][42] as well as a critic of bio-conservative views.[43]

In 1998, Bostrom co-founded (with David Pearce) the World Transhumanist Association[41] (which has since changed its name to Humanity+). In 2004, he co-founded (with James Hughes) the Institute for Ethics and Emerging Technologies, although he is no longer involved in either of these organisations. Bostrom was named in Foreign Policy's 2009 list of top global thinkers "for accepting no limits on human potential."[44]

In 2005 Bostrom published the short story "The Fable of the Dragon-Tyrant" in the Journal of Medical Ethics.[45] A shorter version was published in 2012 in Philosophy Now.[46] The fable personifies death as a dragon that demands a tribute of thousands of people every day. The story explores how status quo bias and learned helplessness can prevent people from taking action to defeat aging even when the means to do so are at their disposal. YouTuber CGP Grey created an animated version of the story which has garnered over eight million views as of 2020.

With philosopher Toby Ord, he proposed the reversal test in 2006. Given humans' irrational status quo bias, how can one distinguish between valid criticisms of proposed changes in a human trait and criticisms merely motivated by resistance to change? The reversal test attempts to do this by asking whether it would be a good thing if the trait was altered in the opposite direction.[47]
人間強化（ヒューマン・エンハンスメント）の倫理

ボストロムは「人間強化（ヒューマン・エンハンスメント）」、すなわち 「科学の倫理的適用による自己改善と人間の完全性」に対して好意的であり[41][42]、また生物学的保守的な見解の批判者でもある[43]。

1998年、ボストロムは（デイヴィッド・ピアースと）世界トランス ヒューマニスト協会を共同設立した[41]（その後、ヒューマニティ＋に名称変更）。 2004年には、ジェームズ・ヒューズと共同で倫理・新興技術研究所を設立したが、現在はどちらの組織にも関与していない。ボストロムは、フォーリン・ポ リシー誌の2009年の世界のトップ思想家のリストに「人間の可能性に限界を認めない」として選ばれている[44]。

2005年にボストロムは短編小説「ドラゴン・タイラントの寓話」を Journal of Medical Ethics誌に発表している[45]。この物語は、現状維持の偏見と学習性無力感が、たとえ自由に使える手段があったとしても、人々が老化に打ち勝つた めに行動を起こすことをいかに妨げるかを探求している。YouTuberのCGP Greyは、この物語をアニメ化し、2020年現在、800万回以上の再生回数を記録しています。

哲学者のトビー・オードとともに、2006年にリバーサルテストを提唱 した。人間の不合理な現状維持バイアスを考えると、人間の特性の変更案に対する有効 な批判と、単に変化への抵抗に動機づけられた批判とを、どのように区別することができるだろうか？逆転テストは、その特徴が逆方向に変化したら良いことな のかどうかを問うことでこれを行おうとするものである[47]。
Technology strategy

He has suggested that technology policy aimed at reducing existential risk should seek to influence the order in which various technological capabilities are attained, proposing the principle of differential technological development. This principle states that we ought to retard the development of dangerous technologies, particularly ones that raise the level of existential risk, and accelerate the development of beneficial technologies, particularly those that protect against the existential risks posed by nature or by other technologies.[48]

Bostrom's theory of the Unilateralist's Curse[49] has been cited as a reason for the scientific community to avoid controversial dangerous research such as reanimating pathogens.[50]
 技術戦略

実存的リスクの低減を目指す技術政策は、様々な技術的能力の達成順序に影響を及ぼすことを目指すべきであるとし、「技術開発の差延の原則」を提唱してい る。この原則は、危険な技術、特に実存的リスクのレベルを上げるような技術の開発を遅らせ、有益な技術、特に自然や他の技術によってもたらされる実存的リ スクから保護する技術の開発を加速させるべきであると述べている[48]。

ボストロムの一国主義者の呪い[49]の理論は、科学界が病原体の蘇生のような議論を呼ぶ危険な研究を避ける理由として引用されている[50]。
Policy and consultations

Bostrom has provided policy advice and consulted for an extensive range of governments and organizations. He gave evidence to the House of Lords, Select Committee on Digital Skills.[51] He is an advisory board member for the Machine Intelligence Research Institute,[52] Future of Life Institute,[53] Foundational Questions Institute[54] and an external advisor for the Cambridge Centre for the Study of Existential Risk.[55][56]
 政策とコンサルティング

ボストロム氏は、様々な政府や組織に対して、政策提言やコンサルティングを行っている[51]。また、機械知能研究所[52]、生命の未来研究所 [53]、基礎問題研究所[54]の諮問委員、ケンブリッジ実存的リスク研究センターの外部顧問を務めている[55][56]。
Critical reception

In response to Bostrom's writing on artificial intelligence, Oren Etzioni wrote in an MIT Review article, "predictions that superintelligence is on the foreseeable horizon are not supported by the available data."[57] Professors Allan Dafoe and Stuart Russell wrote a response contesting both Etzioni's survey methodology and Etzioni's conclusions.[58]

Prospect Magazine listed Bostrom in their 2014 list of the World's Top Thinkers.[59][60]
 批評家からの評価

ボストロムの人工知能に関する著作に対して、オーレン・エツィオーニがMITレビューの記事で、「超知能が予見できる地平にあるという予測は、利用可能な データによって裏付けられていない」と書いた[57]。アラン・ダフォー教授とスチュアート・ラッセル教授は、エツィオーニの調査方法とエツィオーニの結 論をともに争う反論を書いている[58]。

プロスペクト誌はボストロムを2014年の世界のトップ思想家のリストに挙げている[59][60]。
https://en.wikipedia.org/wiki/Nick_Bostrom
 https://www.deepl.com/ja/translator


+++

Links

リンク

文献

その他の情報

Copyleft, CC, Mitzub'ixi Quq Chi'j, 1997-2099