AI開発における最大限の努力の限界

著者は、子供の頃、小川にダムを作った経験を用いて、AI開発における最大限の努力の限界を説明しています。最初は小さなダムを苦労して作ったが、後でシャベルを使う方が効率的だと気づきました。しかし、この成功によって、探索的な側面が減りました。同様に、仕事や人生において、目標（高給の仕事など）を達成すると、ゲームのルールが変わります。著者は、AI開発はこの教訓に留意すべきであり、強力なAIを作るだけでなく、潜在的なリスクや未開拓の分野にも注目すべきだと主張しています。潮だまりで必死に生き残ろうとする小さな貝を観察するのと同様に、細部への注意が重要です。Anthropicの最近の教育アプリケーションに関するレポートも、この点に気づいているようです。