Intelligence in Scientific Research
Intelligence in Scientific Research
What is the role of intelligence in science?（https://betterwithout.ai/intelligence-in-science） の一連のページの引用と翻訳とコメンタリーより。
| The plausibility of
Transformative AI may derive from an implicit belief in The Scientific
Method: a rational recipe that reliably results in knowledge. Obsolete,
but still influential philosophical theories of science imagine it
consists of deduction (reasoning about more-or-less formal theories)
and induction (relating data and theories). Those are feasible to
automate. In fact, software already has superhuman powers of
rationality. Theorem provers (deduction engines) and statistical
packages (induction engines) can tackle problems much too large for
people, and make no mistakes. Mathematica, a scientific analysis
package, knows hundreds of formal methods and gargantuan quantities of
specific facts, and can solve in seconds problems that previously
required months of human work. Would a super-Mathematica radically accelerate science? I doubt it. Later in this chapter, we’ll see why deduction and induction are only small parts of scientific activity. There is no Scientific Method, so we can’t automate one. No one can explain how or why science works in general, nor how to do it. Philosophers of science proposed various theories in the first half of the twentieth century, but none of them survived comparison with specific instances of good, real-world scientific work. By about 1980, it became clear that there can be no such theory.1 Different sciences work quite differently. Further, each science involves many dissimilar types of cognition and action, which contribute in qualitatively different ways. Major breakthroughs often result from doing science conceptually differently. Conforming to the ritual norms of a scientific community does not itself engender discovery. Innovative intellectual work addresses the unknown, and so cannot be routinized, ritualized, rationalized, or reduced to any defined method. “Intelligence” is often thought of as the ability to solve well-specified problems using more-or-less formal methods; i.e., technical rationality. According to popular understanding, you have to be unusually intelligent to be a scientist, and superintelligent people are better at it, like Einstein. Presumably that means it consists of difficult thinking, like in an undergraduate science class, where you learn some formal manipulation methods and get tested on whether you can apply them on paper. This is also pretty much what IQ tests measure. Since most people are bad at that stuff, and even the most “intelligent” humans can’t do it all that fast or reliably, maybe science would go a lot faster if we automated it. That might be true if solving well-specified puzzles was science’s bottleneck, but in most fields it’s not. Science classes are almost perfectly dissimilar to scientific research. (We’ll see why soon.) So what is the role of intelligence in science, technology, and material progress, anyway? Human innate intelligence presumably didn’t suddenly increase around the time of the Scientific Revolution, so this is not obvious. A standard Scary AI argument is that we are more intelligent than chimpanzees, and humans are much better at science than chimpanzees, so something more intelligent than us would be much better at science again. But we weren’t much better than chimpanzees at science until recently. Chimpanzees’ cognitive abilities are partly just different from ours; less social, in particular. It is culture and the social coordination of work that has made us superior in the past few thousand years, and dramatically more so in the past few hundred. So maybe we need better scientific culture and social coordination, more than IQs of 14,000.2 Getting software to get perfect scores on IQ tests is probably easy and uninteresting. The tasks are similar to formal problem solving (technical rationality), which—I will suggest—is a prerequisite for innovation, but dissimilar to critical aspects of it.3 We don’t know how much extra scientific ability you get from extra intelligence. Maybe an IQ of 14,000 would make you only a little better at science, even though you’d be unimaginably better at the pointless puzzles IQ tests throw at you. That might be consistent with science being mostly not bottlenecked by unsolved formal problems. https://betterwithout.ai/intelligence-in-science |
変革的AIの説得力は、「科学的方法」に対する暗黙の信念に由来してい
るのかもしれない。科学的方法は、演繹法（多かれ少なかれ形式的な理論についての推論）と帰納法（データと理論の関連付け）から構成されると、時代遅れで
はあるが、今でも影響力のある科学哲学の理論では考えられている。これらは自動化が可能である。実際、ソフトウェアはすでに超人的な合理性を持っている。
定理証明器（演繹エンジン）や統計パッケージ（帰納法エンジン）は、人間には大きすぎる問題に取り組み、間違いを犯しません。科学的分析パッケージである
Mathematica
は，何百もの形式的手法と膨大な量の特定の事実を知っており，以前は何ヶ月もかけて人間が解く必要があった問題を数秒で解くことができます． スーパー Mathematica は科学を劇的に加速するのだろうか？私はそうは思わない．この章の後の方で、なぜ演繹と帰納が科学的活動のほんの一部でしかないのかがわかるだろう。 科学的方法は存在しないので，それを自動化することはできない。科学が一般的にどのように機能するのか、なぜ機能するのか、どうすれば機能するのか、誰も説明 できない。20世紀前半、科学哲学者たちはさまざまな理論を提唱したが、そのどれもが、優れた現実の科学活動の具体例との比較に耐えうるも のではなかった。1980年頃には、そのような理論は存在し得ないことが明らかになった（→「科学革命の構造」「暗黙知」「ギルバート・ライル」）。 科学によって、その仕組みはまったく異なる。さらに、各科学は多くの異なるタイプの認識と行動を伴い、それらは質的に異なる方法で貢献する。大きなブレー クスルーは、科学を概念的に異なる方法で行うことによってもたらされることが多い。科学コミュニティの儀礼的規範に従うこと自体が発見を生むわけではな い。革新的な知的作業は未知の領域に取り組むものであり、ルーティン化したり、儀式化したり、合理化したり、定義された方法に還元したりすることはできな い（→「分裂生成」「科学研究におけるアナキズム」）。 「知性」とは、多かれ少なかれ形式的な方法を用いて、十分に特定された 問題を解決する能力、すなわち技術的合理性と考えられることが多い。一般的な理解によれば、科学者になるには並外れた知性が必要であり、ア インシュタインのように超知的な人ほどそれが優れている。おそらくそれは、学部の科学の授業のように、形式的な操作方法を学び、それを紙の上で応用できる かどうかをテストされるような、難しい思考から成り立っているということだろう。これはIQテストで測られるものとほぼ同じだ。ほとんどの人はこのような ことが苦手で、最も「知的」な人間でさえ、それほど速く、確実にできないのだから、自動化すれば科学はもっと速く進むかもしれない。 よく特定されたパズルを解くことが科学のボトルネックになっているのであればそうかもしれないが、ほとんどの分野ではそうではない。科学の授業は、科学研 究とはほとんど完全に似て非なるものだ。(その理由はすぐにわかるだろう）。 では、科学、技術、物質的進歩における知能の役割とは何だろうか？人間が生まれながらに持っている知能は、科学革命の頃に突然増大したわけではないだろう から、これは明らかではない。標準的な怖いAIの議論では、私たちはチンパンジーよりも知能が高く、人間はチンパンジーよりも科学が得意である。しかし、 私たちは最近までチンパンジーよりも科学が得意ではなかった。チンパンジーの認知能力は、私たちとは異なる部分もある。過去数千年、そして過去数百年で劇 的に我々を優秀にしたのは、文化と仕事の社会的調整である。つまり、IQ14,000よりも、科学的な文化や社会的協調性の向上が必要なのだ2。 IQテストで満点を取るためのソフトウェアを作るのは、おそらく簡単で面白くない。その作業は、イノベーションの前提条件である形式的な問題解決（技術的 合理性）に似ているが、イノベーションの重要な側面とは異なっている。 知能が高いほど科学的能力が向上するのかはわからない。IQが14,000もあれば、IQテストに出題されるような無意味なパズルは想像を絶するほど得意 になるとしても、科学は少ししか得意にならないかもしれない。それは、科学が未解決の形式的問題によってボトルネックにされることはほとんどないというこ とと矛盾しないかもしれない。 |
| These are shockingly
understudied topics. I’ve found only one systematic investigation of
extreme intelligence, the Study of Mathematically Precocious Youth, and
it did not ask the relevant question: how are these people thinking?
What specifically do they do differently or better than others? Yes,
they can visualize rotating geometrical shapes—a typical IQ test
problem—but that is rarely a key to success in itself. Studies of great scientists mainly describe what they achieved (and maybe what else was going on in their lives), but not how. Intellectual biographies of single scientists sometimes illuminate their modes of thought, but these are scarce. Comparisons or syntheses are scarcer, and systematic investigations non-existent. Can whatever it is that great scientists do be taught? I know of no systematic investigations of these topics. They could form a focus area for the discipline of Progress Studies.1 Later in this chapter I’ll suggest a class of human cognitive activities (“meta-rationality”) that seem key to innovation. These are dissimilar to technical rationality (problem solving), although that is a prerequisite. Some people I consider extremely intelligent are outstanding problem solvers. Some not as much; they excel instead at turning real-world situations into well-specified problems, thereby making them amenable to technical approaches. Problem identification, selection, and formalization are meta-rational activities. Doing them well is at least important for progress as problem solving is. AI risk discussions often argue that superintelligences would necessarily seek power without limit, because power is “instrumentally” useful for achieving any goal, and that they would successfully take power because they could use their intelligence to figure out how. This would seem to imply that the most powerful people are among the most intelligent, and that the most intelligent humans seek and gain the greatest power. Neither is true, as far as I can tell, which casts doubt on the premise. Investigating this may be important in preventing Monstrous AI. The most powerful people, and notably the most monstrous, are not conspicuously intelligent, at least in the sense measured by IQ tests. Successful politicians in democracies probably average around one standard deviation above the population; large-company CEOs not too much more, although there are some extremely intelligent ones.2 Autocratic tyrants seem generally less intelligent (although I know of no studies of this) Success in gaining power seems to depend instead on extreme Dark Triad traits (psychopathy, narcissism, and machiavellianism). That’s moral idiocy, not any sort of intelligence. Maybe we should be more concerned with AI developing superhuman dark triad skills than superintelligence. Why aren’t extremely intelligent people extremely powerful? Because they don’t want to be, or because intelligence doesn’t help gain power beyond a certain point? Or because personal psychology and/or the social environment actively, differentially disempowers them? Based on revealed preferences, it appears that the most intelligent people in the world believe power is not useful for what they want to do.3 If, for instance, you wanted to understand why some cats don’t get high on catnip, what would you do with an army of mooks?4 “Wait, what?” That’s the sort of thing extremely intelligent people do. The goals of the extremely intelligent are often incomprehensible for outsiders. Scientific and technological progress comes from accepting this, and getting out of the way of the sort of people who figure out the optimal method for getting cats high by treating it as a Markov decision process and applying backwards induction on a decision tree using Bayesian linear regression to predict posterior probability of each remaining drug’s success probability conditional on previous drugs not working.5 Or who obsess about why spinning plates wobble slower than they spin. Richard Feynman’s puzzling about that led to his figuring out quantum electrodynamics, which is generally considered a big deal, and the sort of incomprehensible science thing only extremely intelligent people do. https://betterwithout.ai/what-intelligent-people-do |
このような話題は、驚くほど研究されていない。極端な知性に関する体系
的な研究は、『数学的に早熟な青少年の研究』しか見当たらない。具体的に、彼らは他の人たちと何が違うのか、何が優れているのか。IQテストの典型的な問
題である、回転する幾何学図形を視覚化することはできるが、それ自体が成功の鍵になることはほとんどない。 偉大な科学者についての研究は、主に彼らが何を達成したか（そしておそらく彼らの人生で他に何が起こっていたか）について述べているが、どのように達成し たかについては述べていない。一人の科学者の知的伝記は、彼らの思考様式を明らかにすることもあるが、そのようなものはほとんどない。比較や総合はもっと 少なく、体系的な調査は存在しない。 偉大な科学者が行っていることは何であれ、教えることができるのだろうか？このようなテーマについて体系的な研究がなされている例を私は知らない。プログ レス・スタディーズという学問分野の焦点となりうる分野である1。 本章の後半では、イノベーションの鍵になると思われる人間の認知活動（「メタ合理性」）を提案する。これらは技術的合理性（問題解決）とは異なるが、その 前提条件はある。私が非常に知的だと思う人の中には、優れた問題解決能力を持つ人もいる。そうでない人もいる。彼らは、現実世界の状況を十分に特定された 問題に変えることに秀でており、それによって技術的アプローチに従順になる。問題の特定、選択、形式化はメタ合理的な活動である。これらをうまく行うこと は、少なくとも問題解決と同様に進歩にとって重要である。 AIのリスクに関する議論では、超知能は必然的に際限なく権力を求めるだろう、なぜなら権力はどのような目標を達成するにも「道具的に」役立つからだ、そ して権力を奪うことに成功するだろう、なぜなら彼らはその方法を見つけ出すために知性を使うことができるからだ、としばしば論じられる。これは、最も権力 を持つ人間は最も知的な人間であり、最も知的な人間は最も大きな権力を求め、それを手に入れるということを暗示しているように思える。私が知る限り、どち らも真実ではない。 このことを調査することは、怪物的AIを防ぐ上で重要かもしれない。 最も権力を持つ人々、とりわけ最も怪物的な人々は、少なくともIQテストで測定される意味では、際立って知能が高いわけではない。民主主義国家で成功した 政治家の平均的な知能は、おそらく母集団より1標準偏差ほど高く、大企業の最高経営責任者（CEO）は、非常に知能の高い人もいるが、それ以上ではないだ ろう2。 権力を手に入れる成功は、極端なダークトライアドの特性（サイコパス、ナルシシズム、マキャベリズム）に依存しているようだ。それは道徳的な愚かさであ り、知性の類ではない。私たちは、AIが超人的なダークトライアドのスキルを身につけることを、超知能よりも懸念すべきなのかもしれない。 なぜ極めて知的な人々が極めて強力ではないのか？そうなりたくないからか、それとも知性は一定以上の力を得るのに役立たないからか？あるいは、個人的な心 理や社会環境が、積極的かつ差別的に彼らを無力化するからだろうか？ 明らかにされた嗜好に基づくと、世界で最も知的な人々は、権力は自分のやりたいことには役立たないと考えているようだ3。例えば、なぜ猫じゃらしでハイに ならない猫がいるのかを理解したいとしたら、雑魚の軍隊をどうするのか。それは、極めて知的な人々がすることだ。極めて知的な人たちの目標は、部外者には 理解できないことが多い。科学技術の進歩は、このことを受け入れ、マルコフ決定過程として扱い、ベイズ線形回帰を使って決定木に逆帰納法を適用し、前の薬 が効かなかったという条件下で、残りの各薬の成功確率の事後確率を予測することによって、猫をハイにする最適な方法を見つけ出すような人々の邪魔をしない ことから生まれる5。 あるいは、回転する皿がなぜ高速に回転するよりも遅いとぐらつくのかにこだわる人もいる。リチャード・ファインマンがこのことに頭を悩ませた結果、彼は量 子電磁力学を解明した。 |
| Superintelligence scenarios
often describe the AI making astonishing breakthroughs by reasoning
from first principles, or by short-cutting experimental work by using
simulation instead. It can design self-reproducing supersymmetric
zeptobots just by thinking hard, and can get it right the first time.
If superintelligence axiomatically implies omnipotence, then this may
be possible, but that’s not actionable information for us. Otherwise, it’s relevant that first-principles reasoning is a very small part of science and engineering (although sometimes an important one); and that simulation is necessarily imprecise and often inaccurate, so it cannot replace experimentation (although it is sometimes an important method). There’s a popular image of scientific geniuses figuring things out by thinking about math in an armchair. Newton and Einstein did that, but the kind of science they did is extremely atypical, and they are misleading as prototypes. Deductive reasoning is sound only when its premises are absolute truths.1 Newtonian dynamics follow only when Newtonian axioms are absolutely satisfied, and are reliably predictive only when initial conditions are known with perfect precision. Otherwise, they may be unboundedly wrong. Most of science concerns nebulous messes, not billiard balls on infinite frictionless inclined planes. Cell biology involves nearly no puzzle solving. It is not advanced by theoretical reasoning; it’s done in a wet lab. Cells are glop, and there are no glop axioms. Some AI apocalypse discussions invoke Moore’s Law to suggest that arbitrarily detailed simulations will eventually be possible, and faster than running experiments in the real world, and also won’t require access to robots or human servants, and that’s how the AI gets biological warfare agents. Most experiments cannot be done in simulation, even with unbounded computation power.2 The data on which those simulations would be based do not currently exist, and would be extremely difficult to produce. For example, models of biomolecular interactions are limited in accuracy due to insufficient empirical knowledge of the physics of hydrogen bonds and the entropy of solvation. In principle, you could address that with quantum mechanical simulations. However, those are also limited in accuracy due to approximations made based on empirical measurements that are also incomplete and imprecise. In principle, you could address that with quantum field simulations at the chromodynamic level. However, quantum chromodynamics is also limited in accuracy due to approximations made based on empirical measurements that are also incomplete and imprecise. Science is empirical all the way down. You never reach a level of deductive bedrock. It seems unlikely that a superintelligent AI could develop biological weapons enormously faster than people can. There’s no substitute for killing a lot of monkeys. Likewise, using AI to cure cancer by reasoning about it would be fantastic, but impossible because human biology is mostly terra incognita.3 Predicting even two-molecule binding is extremely difficult; the relevant physical chemistry is not understood in adequate detail, and data sources that might constrain parameters in empirical models are scant.4 Predicting all the ways a molecule will interact with the whole human body—toxicity in an unrelated organ, for example—is impossible. We just don’t know most of what’s going on in there, so there is no way to find out everything a drug candidate will do other than giving it to lots of people and crossing your fingers. That’s inherently slow and expensive. It also faces enormous, constantly growing bureaucratic obstacles; clearing those would do far more to speed new medicine than AI. https://betterwithout.ai/limits-to-AI-simulation |
超知能のシナリオではしばしば、AIが第一原理から推論したり、代わり
にシミュレーションを使うことで実験作業をショートカットしたりすることで、驚異的なブレークスルーを起こすことが描かれる。自己増殖型の超対称ゼプト
ボットを、よく考えるだけで設計することができ、しかも最初からうまくいくのだ。超知能が公理的に全知全能を意味するのであれば、このようなことは可能か
もしれないが、それは我々にとって実用的な情報ではない。 そうでなければ、第一原理推論は科学や工学のごく一部であり（重要な場合もあるが）、シミュレーションは必然的に不正確で、しばしば不正確であるため、実 験に取って代わることはできない（重要な方法の場合もあるが）。 科学の天才たちは、肘掛け椅子で数学を考えることで物事を解明するというイメージがある。ニュートンやアインシュタインはそうだったが、彼らが行った科学 は極めて非典型的なもので、原型としては誤解を招く。演繹的推論は、その前提が絶対的な真理である場合にのみ健全である。1 ニュートンの力学は、ニュートンの公理が絶対的に満たされる場合にのみ導かれ、初期条件が完璧な精度で知られている場合にのみ、確実に予測することができ る。そうでなければ、限りなく間違っている可能性がある。 科学の大半は、摩擦のない無限の傾斜面上のビリヤードの玉ではなく、漠然とした混乱に関係している。細胞生物学では、パズルを解くことはほとんどない。理 論的な推論によって進められるのではなく、ウェットラボで行われるのだ。細胞はグロップであり、グロップの公理は存在しない。 AIの黙示録の議論の中には、ムーアの法則を持ち出して、任意に詳細なシミュレーションがいずれ可能になり、現実世界で実験を行うよりも速くなり、ロボッ トや人間の召使いを利用する必要がなくなることを示唆するものもある。 ほとんどの実験は、無制限の計算能力をもってしても、シミュレーションで行うことはできない。2 シミュレーションの基になるデータは現在存在しないし、作成するのも極めて困難である。例えば、生体分子の相互作用のモデルは、水素結合の物理や溶媒和の エントロピーに関する経験的知識が不十分なため、精度に限界がある。原理的には、量子力学シミュレーションで対応できる。しかし、量子力学的シミュレー ションもまた、不完全で不正確な経験的測定に基づく近似のため、精度に限界がある。原理的には、色力学レベルの量子場シミュレーションで対処できる。しか し、量子色力学もまた、不完全で不正確な経験的測定に基づく近似のため、精度に限界がある。科学はすべて経験的なものだ。演繹的な岩盤のレベルに達するこ とはない。 超知的なAIが、人間よりもはるかに速く生物兵器を開発できるとは思えない。多くのサルを殺すことに代わるものはない。 同様に、AIを使って推論によってがんを治療することは素晴らしいが、人間の生物学はほとんど未知の領域であるため不可能である。そこで何が起こっている のかほとんど分かっていないのだから、たくさんの人に投与して指をくわえて見ている以外に、薬の候補がどう作用するかをすべて知る方法はない。それは本質 的に時間がかかり、費用もかかる。また、官僚的な障害も膨大で、常に増え続けている。これらをクリアすることは、AIよりも新薬のスピードアップにはるか に役立つだろう。 |
| There’s a folk theory that you
do science by performing experiments, which means measuring a slew of
similar things, which produces data, and then a statistics person does
an inscrutable Statistics Thing which says that all the data add up to
a Science Knowledge, so you add it to the giant pile of Science
Knowledges, and when you have enough of those you get flying cars. If
that was true, and if AI could do the experiments much faster, we’d get
flying cars (or the robopocalypse) much sooner. There are a couple problems with this: it’s not how science works, and there’s not much reason to think AI could do experiments much faster. If you ask “isn’t it possible in principle for a god-like AI to do this,” the answer is always “yes, by definitional fiat”; but without a “how” it is meaningless. Inductive reasoning blesses data as knowledge using formal methods. There is no generally correct way of doing this.1 A statistical analysis is sound only relative to unavoidable assumptions that cannot be justified rationally; particularly a small-world assumption that limits what factors it considers.2 Those assumptions must be chosen meta-rationally.3 This means the “artificial scientist” project is quite different from what is usually imagined, and probably much more difficult. We have much less idea how to automate meta-rationality than rationality. Risk discussions suggest Scary AI would build a vast army of robots to carry out experiments much faster than humans can. Assuming for the sake of the argument that its manufacturing prowess somehow made that more feasible for it than us, there’s not much reason to think it would be useful. Most wet lab work is inherently serial. You can’t know what to do next until you have the results from the experiment you are doing now. Relatedly, most scientific breakthroughs come from hands-on experimentation; from “getting a feel” for the subject matter. Empirical studies don’t just test hypotheses; they are where hypotheses come from. Large-scale laboratory automation is already in routine use in pharmaceutical discovery. It is of some value, but no magic bullet. Scaling it up by building or buying way more robots is perfectly feasible, and wouldn’t be expensive on the scale of pharmaceutical research costs. We don’t do that because it wouldn’t help. Robot count is not a bottleneck. Better robots might help more. On the other hand, it’s not clear how AI would be necessary, or even helpful, in creating or making use of them. There’s been almost no advancement in practical robot hands for decades, due to mechanical issues rather than AI limitations. And when parallelizing biology, microfluidics difficulties—getting diverse sorts of sticky glop to not gum up tiny tubes—usually exceed robot limitations. https://betterwithout.ai/limits-to-induction |
科学は実験をすることで行うという民俗理論（フォークセオリー）がある
が、それは似たようなものをたくさん測定することを意味する。もしそれが本当なら、そしてAIがもっと速く実験を行えるなら、空飛ぶ車（あるいはロボポカ
リプス）はもっと早く手に入るだろう。 科学の仕組みとは違うし、AIがもっと速く実験できると考える理由もあまりない。神のようなAIがこれを行うことは原理的に可能ではないか」と問えば、答 えは常に「はい、定義上の不作為によって」である。 帰納的推論は、形式的な方法を用いてデータを知識として祝福する。統計分析は、合理的に正当化できない避けられない仮定（特に、考慮する要素を制限するス モールワールド仮定）に対してのみ健全である。メタ合理性をどのように自動化するかについては、合理性よりもはるかに見当がつかない。 リスクに関する議論では、Scary AIは人間よりもはるかに速く実験を実行する膨大なロボット軍団を構築することが示唆されている。仮にその製造能力が何らかの形で我々よりも実現可能なも のであったとしても、それが有用であると考える理由はあまりない。 ほとんどのウェットラボ作業は本質的に連続的である。今やっている実験の結果が出るまで、次に何をすべきかはわからない。 それに関連して、科学的なブレークスルーのほとんどは実地実験から生まれる。経験的研究は仮説を検証するだけでなく、仮説はそこから生まれるのである。 大規模な実験室の自動化は、創薬においてはすでに日常的に使われている。ある程度の価値はあるが、魔法の弾丸ではない。より多くのロボットを建設したり購 入したりすることによって、それをスケールアップすることは十分に可能であり、製薬研究のコスト規模では高くはないだろう。私たちがそれをしないのは、そ れが役に立たないからだ。ロボットの数はボトルネックではない。 より優れたロボットがあれば、もっと助けになるかもしれない。その一方で、AIがロボットを作ったり活用したりする上で、どのように必要なのか、あるいは 役に立つのかさえ明らかではない。何十年もの間、実用的なロボットハンドの進歩はほとんどなかったが、それはAIの限界というよりむしろ機械的な問題によ るものだ。また、生物学を並列化する場合、マイクロ流体工学の難しさ（さまざまな種類の粘着性のある液体を小さなチューブに詰まらせないようにすること） は、通常、ロボットの限界を超える。 |
| Scientific progress has
decelerated significantly in recent decades.1 Some of the reasons have
become glaringly obvious. The institutional environment for academic
science has changed to discourage good work, to reward bad work, and to
waste much of researchers’ time on activities that have no scientific
value or relevance. Off the cuff, I’d estimate more than 90% of
resources are wasted now. Of course, research is inherently uncertain; I don’t mean 90% “fails.” It would be better if much more research did “fail”! Under current incentives, researchers have to ensure that everything they do “succeeds,” typically by doing work whose outcome is known in advance, and whose meager results can be stretched out across as many insignificant-but-publishable journal articles as possible. By “wasted,” I mean that often even the researchers doing the work know it’s of little value. Often they can name better things they would do instead, if they could work on what they believe is most important. Most resources go into what Richard Feynman called “cargo cult science.”2 We perform rituals that imitate science, but are not science.3 We are just going through the motions, and that doesn’t deliver progress. Cargo cult science means conforming to misaligned incentives. For academics, it optimizes the proxy objective “publish journal articles,” which has increasingly diverged from the actual objective, understanding natural phenomena. The safest and most effective way to accelerate progress will be to improve incentives. If 90% of resources are currently wasted on cargo culting, eliminating that might increase research productivity ten-fold. If we think superintelligence would be immensely valuable, it would also be sensible to make better use of the most extreme intelligences we have now. On the one hand, many of the best science and engineering students get hired by hedge funds and Mooglebook for activities with small or negative net value. On the other, those who go into academia face increasing obstacles to getting research done, and an increasingly dismal career path. In the past few years increasingly many of the best have left. Reversing this will require dramatic changes in incentives. It implies providing outstanding researchers with career paths as rewarding as Bridgewater or Mooglebook, and letting them get on with plate wobbling or tick saliva or zeptobots or whatever other incomprehensible obsession they are on about. As Stuart Ritchie writes:4 Changes that would make dramatic improvements to the quality of research are right there—but, although they’re often available, most scientists haven’t even begun to pick them up…. The burst of meta-science that we have seen since the replication crisis mustn’t be squandered: Pushing for the funding of much more such research should be a major priority for anyone who wants to improve science, and wants to do so using hard evidence. Some significant changes are already under way. The Open Science and Replicability/Credibility movements, led by scientist-activists, have succeeded in changing some government, university, and academic journals’ policies. This has been slow and uphill, but seems to be accelerating, and could reach a tipping point. Alternatively, impediments may be so entrenched in academia that adequate improvement has become infeasible there. Accordingly, creating alternative, better scientific institutions—funding mechanisms, workplaces, communication channels, social norms—is now important and urgent. Fortunately, this process is also under way. I recommend a review article by Matt Clancey, “How to Accelerate Technological Progress”; the work of José Luis Ricón on progress studies and reforming scientific institutions; Stuart Ritchie’s “Rebuilding After the Replication Crisis”; Nadia Asparouhova’s post on “Understanding science funding in tech, 2011-2021”; and for a deep exploration of possibilities for institutional reform, with many specific proposals, Michael Nielsen and Kanjun Qiu’s “A Vision of Metascience: An Engine of Improvement for the Social Processes of Science.” https://betterwithout.ai/stop-obstructing-science |
科学の進歩はここ数十年で著しく減速している。アカデミック・サイエン
スの組織的環境は、良い研究を奨励せず、悪い研究に報い、科学的価値や関連性のない活動に研究者の多くの時間を浪費するように変化した。ざっと見積もっ
て、資源の90％以上が無駄になっている。 もちろん、研究は本質的に不確実なものである。もっと多くの研究が "失敗 "するのであれば、それに越したことはない！現在のインセンティブでは、研究者は自分のすることすべてが「成功」するようにしなければならない。一般的に は、結果が事前に分かっている研究を行い、そのわずかな結果を、取るに足らないが出版可能な学術誌の論文にできるだけ多く引き延ばすことができる。無駄」 というのは、その研究をしている研究者でさえ、それがほとんど価値のないものだとわかっていることが多いということだ。自分たちが最も重要だと信じている ことに取り組めるのであれば、その代わりにもっと良いことをするはずだと、多くの場合、彼らはその名前を挙げることができる。 ほとんどの資源は、リチャード・ファインマンが「カーゴカルト・サイエンス」と呼んだものに費やされている2。私たちは科学を模倣した儀式を行っている が、科学ではない3。 カーゴカルト科学とは、ずれたインセンティブに従うことを意味する。研究者にとっては、「学術雑誌に論文を発表する」という代理的な目的が最適化される が、それは自然現象を理解するという実際の目的からますます乖離している。 進歩を加速させる最も安全で効果的な方法は、インセンティブを改善することである。現在、資源の90％がカーゴカルトに浪費されているとすれば、それをな くせば研究の生産性は10倍になるかもしれない。 超知能の価値は計り知れないと考えるなら、今ある最も極端な知性をもっと活用することも賢明だろう。一方では、優秀な理工系学生の多くが、正味価値が小さ いかマイナスの活動のためにヘッジファンドやMooglebookに雇われている。他方で、アカデミアに進んだ学生たちは、研究を遂行する上でますます大 きな障害に直面し、ますます悲惨なキャリアパスを歩むことになる。ここ数年、ますます多くの優秀な人材が去っている。 これを逆転させるには、インセンティブを劇的に変える必要がある。それは、優れた研究者にブリッジウォーターやMooglebookのようなやりがいのあ るキャリアパスを提供し、彼らにプレートのぐらつきやダニの唾液やゼプトボットのようなわけのわからない妄想に没頭させることを意味する。 スチュアート・リッチーは次のように書いている4。 研究の質を劇的に向上させるような変化はすぐそこにあるのだが、多くの場合、それは利用可能であるにもかかわらず、ほとんどの科学者はそれを手に取ろうと もしていない...。再現性の危機以降に見られたメタ科学の爆発的な発展は、無駄にしてはならない： このような研究にもっと多くの資金を提供するよう働きかけることは、科学を向上させたいと願い、確かな証拠を用いてそうしたいと考えている人たちにとっ て、主要な優先事項であるべきだ。 いくつかの重要な変化はすでに進行中である。科学者の活動家が主導するオープンサイエンス運動や再現可能性・信頼性運動は、政府、大学、学術雑誌の方針を 変えることに成功している。これはゆっくりとした上り坂であったが、加速しているようであり、転換点に達する可能性がある。 あるいは、学問の世界では阻害要因が根強く、十分な改善が不可能になっているのかもしれない。したがって、資金調達の仕組み、職場、コミュニケーション・ チャンネル、社会規範など、代替となるより優れた科学機関を創設することが、現在重要かつ緊急の課題となっている。幸いなことに、このプロセスも進行中で ある。 マット・クランシーによる総説「技術進歩を加速させる方法」、進歩研究と科学制度改革に関するホセ・ルイス・リコンの研究、スチュアート・リッチーの「複 製危機後の再建」、ナディア・アスパロウホヴァの「技術分野における科学資金調達の理解、2011-2021年」、そして多くの具体的な提案を含む制度改 革の可能性の深い探求については、マイケル・ニールセンとカンジュン・チウの「メタサイエンスのビジョン」を推薦する： 科学の社会的プロセスを改善するエンジン" |
| Removing unnecessary obstacles
and creating better incentives will encourage people to do science,
rather than cargo culting. Doing science better may yield additional
velocity. We lack specific, accurate knowledge of what scientists do and why that works. A vague assumption that we do know, based on obsolete philosophical misunderstandings, makes investigation seem needless, and so is a major obstacle to progress.1 As undergraduates, we learned folk theories of The Scientific Method—derived from long-since disproven early-twentieth-century philosophy—and never noticed they’re wrong. We know in detail why a particular biological lab procedure works, but have no idea why science works. We can fix software bugs, but no one can explain what software engineering is.2 It’s assumed that scientists and engineers learn how to do what we do in classrooms and from reading, and therefore our fields are bodies of explicit, codified knowledge. This is false. Key aspects of the work are tacit, and learned only through apprenticeship and personal practice. We know almost nothing about how that works. We need much more research on what scientists and technologists actually do—not as described in textbooks or even laboratory protocol manuals, but all the parts that aren’t in there. We need to understand how and when and why the shower thoughts and Slack chats and WTF moments in the lab produce breakthroughs. Excellence involves types of thinking dissimilar to rational problem solving. The work of science is meta-rational, meaning that it is about how to use rationality. Doing tasks like these well is critical to scientific progress: Find a general topic that is both important and tractable, and choose to work on it Understand the state of the art in the area Form opinions about what theories are believable (and why) and what issues are important (and why) Choose a specific research question Define it precisely enough that it’s amenable to experiment Devise an abstract experimental strategy that could, in principle, answer the question Turn the general strategy into a nuts-and-bolts procedure that addresses the messy, nebulous details of the phenomenon and the experimental apparatus Perform the procedure correctly; this usually involves extensive tacit hands-on skill, observational acuity, and intuitive understanding—none of which ever gets written down3 Understand the implications of the results Explain the experiment and its results accurately and intuitively, so other people in the field understand them too Experienced technical professionals develop a “feel for” these tasks, which mostly we can’t communicate. We have to do this work without a broader or explicit understanding of what it is or why it works. Some outstanding researchers develop such understanding through critical reflection on the nature of the field. That makes them better at meta-rationality: better at figuring out what work is worth doing, and at finding strategies for pushing the whole field forward in that direction. Some can teach this too, multiplying their meta-level understanding through a lineage. Not all scientists considered great have this ability, but perhaps the most valuable scientists are those who do. Exactly why doesn’t cargo cult science work? And what does work? What makes the difference between cargo cult science and the real thing? Institutions can upgrade their norms; but incentives can and always do get gamed. In “Upgrade your cargo cult for the win” I suggest the antidote is “unflinching lustful curiosity.”4 That means actually wanting to understand what is going on. There is no recipe for finding out, so mindless box-ticking conformity doesn’t work. Curiosity without a set method implies existential commitment: you are accountable to reality itself, not to any specific incentives or objective function. If that is difficult to automate, then we should expect that Transformative AI in Karnofsky’s sense may be less imminent or likely than Real AI of other sorts. https://betterwithout.ai/better-science-without-AI |
不必要な障害を取り除き、より良いインセンティブを生み出すことで、人
々はカーゴカルトに走るのではなく、科学に取り組むようになる。科学をよりよく行うことで、さらなる速度が得られるかもしれない。 科学者が何をしているのか、なぜそれがうまくいくのか、私たちには具体的で正確な知識が欠けている。時代遅れの哲学的誤解に基づく「わかっている」という 漠然とした思い込みが、調査を不要なものにし、進歩の大きな障害となっている1。 学部生だった私たちは、20世紀初頭の哲学に由来する「科学的方法」の俗説を学んだが、それが間違っていることには気づかなかった。私たちは、ある特定の 生物学的実験手順がなぜうまくいくのかについては詳しく知っているが、科学がなぜうまくいくのかについてはまったく知らない。ソフトウェアのバグを修正す ることはできても、ソフトウェア工学とは何かを説明できる人はいない2。 科学者やエンジニアは、教室や読書で自分たちがやっていることのやり方を学び、それゆえ私たちの分野は明示的で体系化された知識の体系であると思われてい る。これは誤りである。仕事の重要な側面は暗黙的なものであり、徒弟制度や個人的な実践を通じてのみ学ぶことができる。その仕組みについて、私たちはほと んど何も知らない。 私たちは、科学者や技術者が実際に何をしているのかについて、教科書や実験室のプロトコルマニュアルに書かれていることではなく、そこに書かれていないす べての部分について、もっともっと研究する必要がある。研究室でのシャワータイムやSlackでの雑談、WTFモーメントが、どのように、いつ、なぜブ レークスルーを生み出すのかを理解する必要がある。 卓越性には、合理的な問題解決とは異なるタイプの思考が含まれる。科学の仕事はメタ合理的であり、合理性をどう使うかということである。このような仕事を うまくこなすことが、科学の進歩には欠かせない： 重要かつ扱いやすい一般的なテーマを見つけ、それに取り組むことを選択する。 その分野の最先端技術を理解する。 どのような理論が信じられるか（そしてその理由）、どのような問題が重要か（そしてその理由）について意見を述べる。 具体的な研究課題を選ぶ 実験が可能な程度に正確に定義する 原理的にその問いに答えられるような、抽象的な実験方 法を考案する 一般的な戦略を、現象や実験装置の厄介で漠然とした細部に対処する、コツコツとした手順に変える。 手順を正確に実行する。これには通常、暗黙の実技、観察眼、直感的な理解が広範囲に及ぶが、いずれも文書化されることはない3。 結果の意味を理解する 実験とその結果を正確かつ直感的に説明する。 経験豊富な技術専門家は、このような作業の「感覚」を養う。私たちは、それが何なのか、なぜうまくいくのかについて、より広範に、あるいは明確に理解する ことなく、この仕事をこなさなければならない。 優れた研究者の中には、その分野の本質を批判的に考察することによって、そうした理解を深める者もいる。そのため、彼らはメタ合理性に長けている。つま り、どのような仕事に価値があるのかを見極め、その方向へ分野全体を押し進めるための戦略を見出すことに長けているのだ。これを教えることができる者もお り、メタレベルの理解を系統立てて増やすことができる。偉大とされるすべての科学者がこの能力を持っているわけではないが、おそらく最も価値のある科学者 はこの能力を持っているのだろう。 なぜカーゴカルト科学はうまくいかないのか？そして何が機能するのか？カーゴカルト科学と本物の違いはどこにあるのだろうか？制度は規範をアップグレード することができるが、インセンティブは常に不正に利用される可能性がある。 カーゴカルトをアップグレードして勝ち組になろう」の中で私は、解毒剤は「揺るぎない欲望に満ちた好奇心」であると提案している4。それを見つけるための レシピは存在しないのだから、無頓着な箱詰めのような順応性は通用しない。決まった方法のない好奇心は、実存的なコミットメントを意味する。つまり、特定 のインセンティブや目的機能ではなく、現実そのものに責任を持つということだ。自動化が難しいのであれば、カルノフスキーの言う「変革的AI」は、他の種 類の「真のAI」よりも差し迫ったものでも、可能性のあるものでもないかもしれない。 |
リンク
文献
その他の情報
Copyleft, CC, Mitzub'ixi Quq Chi'j, 1997-2099
