大規模言語モデルはコード生成に優れていますが、熟練したソフトウェアエンジニアのような判断力に欠け、しばしば悪い設計決定につながります。著者は、AIコーディングアシスタント（CodexやClaude Codeなど）は強力ですが、誤った方向に進まないよう綿密な監視が必要であることを、自身の経験を元に説明しています。著者は、コードレビュー、特にコード構造と改善の可能性に焦点を当てることが、これらのツールを効果的に活用する鍵であると主張しています。盲目的な信頼や過剰な干渉は生産性を低下させます。最終的に、著者は、現在のAIコーディングは「人間と機械の協調」であり、人間の完全な代替ではないと述べています。
続きを読む
この記事では、「純粋な」ソフトウェアエンジニアリングと「不純な」ソフトウェアエンジニアリングの違いを探っています。純粋なエンジニアリングは、芸術や研究のような技術的完璧さを追求するのに対し、不純なエンジニアリングは効率性と現実世界の課題解決を優先します。大企業はどちらも必要としていますが、現在の市場では不純なエンジニアリングが重視されており、純粋なエンジニアと不純なエンジニアの衝突につながっています。AI支援開発は、それほど新しくない、時間制約のある問題に対処するのに役立つため、不純なエンジニアリングにより役立ちます。一方、純粋なエンジニアリングは個々の専門知識により依存します。著者は、両方のタイプが高いスキルを必要とするものの、焦点が異なることを主張しています。
続きを読む
この記事では、コードをドメインモデルに厳密に結び付けるという一般的なソフトウェア設計原則に異議を唱えています。著者は、厳格なデータベーススキーマや型制約などを通じて、無効な状態を過度に回避することに重点を置くことは、ソフトウェアの柔軟性を制限し、避けられない現実世界の例外に対処することを困難にすると主張しています。状態マシンと外部キー制約を例に、コア設計をシンプルに保ちながら、任意の状態遷移を許可する方法を示し、これによりソフトウェアの適応性と保守性が向上します。最終的に、著者は、進化する要件や予期せぬ状況に対処するために、ユーザー向けのソフトウェアでは無効な状態の表現を許可すべきだと主張しています。
続きを読む
この記事は、ソフトウェア設計において「動く最小限のシンプルなものを作る」という原則を提唱しています。理想的で過剰設計されたシステムを目指すのではなく、現在のシステムを深く理解し、最もシンプルな解決策を選択することを推奨しています。一見すると大したことないように見えるこのアプローチですが、UnixやRailsなどの優れたシステムのデザインに見られるように、驚くほど効果的な結果をもたらします。システムの非柔軟性や「シンプルさ」の定義といった課題はありますが、著者は、遠い将来の要件のために過剰設計するよりも、現在の問題に焦点を当て、段階的に改善していく方が優れていると主張しています。最終的に、シンプルで安定したシステムは、過剰設計され、保守が困難なシステムよりも優れていることが多いのです。
続きを読む
この記事では、効果的なキャリアアドバイスは、鋭利な道具と同様に、使い方次第で非常に役立つ場合もあれば、非常に有害な場合もあると主張しています。多くのキャリアアドバイスは表面的なもので、実際的な応用が欠けています。著者は、エンジニアに「危険なアドバイス」を受け入れ、慣習を破って高い効率性を達成することを奨励しています。リスクはありますが、優秀なエンジニアにとっては、報酬がリスクを上回ります。著者は、このアドバイスは能力の低いエンジニアには適さないことを警告しています。
続きを読む
この記事では、API設計における重要な原則を深く掘り下げ、既存のユーザーコードを壊さないことの重要性を強調しています。著者は、優れたAPIはシンプルで使いやすいものであるべきだが、同時に長期的な柔軟性も必要であると主張しています。記事では、APIのバージョン管理、冪等性、レート制限、ページングなどの技術的な側面を詳細に説明し、非エンジニアユーザーにとっても使いやすいようにAPIキーによる認証を推奨しています。結論として、優れた製品は完璧なAPIよりも重要ですが、設計の悪い製品は必然的に悪いAPIにつながると述べています。
続きを読む
この記事は、派手なテクニックに焦点を当てたシステム設計を批判し、優れたシステム設計は複雑な分散コンセンサス機構やCQRSといった高度な技術ではなく、シンプルさと信頼性を優先すべきだと主張しています。著者は状態管理の重要性を強調し、状態を持つコンポーネントを最小限にすることを提唱しています。データベース設計（スキーマ、インデックス）、キャッシング、バックグラウンドジョブ、イベント駆動アーキテクチャ、ボトルネックの処理といった重要な側面が詳細に説明されています。この記事は、データベースの機能を最大限に活用し、不要なメモリ処理を避けることの重要性を強調しています。また、クリティカルパス、ロギング、モニタリング、そしてサーキットブレーカー、リトライ、優雅な劣化といったフォールトトレランス戦略の重要性についても言及しています。最終的に著者は、よくテストされたコンポーネントに基づいた、控えめながらも効果的な設計を支持し、堅牢な機能性のために派手なテクニックを拒否しています。
続きを読む
著者は、MacBook Proでわずか5分間で可能な限り最強の言語モデルを訓練するという挑戦を行いました。実験の結果、約180万パラメーターのGPTスタイルのTransformerモデルが完成し、約2000万TinyStoriesトークンで訓練され、約9.6のperplexityを達成しました。最適化は、1秒あたりのトークン数を最大化することに重点が置かれ、MPSが使用され、勾配累積は避けられました。データセットの選択は非常に重要であり、TinyStoriesの簡潔で一貫性のある言語が優れていました。TransformerはLSTMや拡散モデルよりも優れた性能を示しました。5分間のトレーニングウィンドウにおける最適なモデルサイズは約200万パラメーターであり、これはChinchillaスケーリング則と一致しています。
続きを読む
2024年、自律的なコーディングエージェントの構築には、高度な内部トリックが必要だと考えられていました。しかし、実際には、わずかに優れた基本モデルがあれば十分です。Claude Sonnet 3.7は、その最先端をいく存在であり、その強みは、生のパワーではなく、タスクに固執し、時間をかけて優れた意思決定を行う能力にあります。AIコーディングエージェントの参入障壁は大幅に低下しており、オープンソースソリューションは優れており、GitHub Actions上でCodexエージェントを無料で実行することも可能です。市場競争は激しく、ベンダーは、成功するために、配布とより優れたモデルのトレーニングに焦点を当てる必要があります。
続きを読む
この記事は、将来起こりうるAIによる大規模災害の可能性を探っています。初期の鉄道や航空事故との類似点を引きながら、著者は大規模なAI災害が現実的な可能性であると主張しています。単純なAIの誤誘導に焦点を当てるのではなく、著者はAIエージェント、つまりウェブ検索やメール送信など、自律的にタスクを実行できるAIがもたらすリスクを強調しています。著者は、最初の大きなAI災害は、政府や企業のシステム内でAIエージェントが誤動作すること、例えば、債権回収、医療、賃貸などのプロセスを誤って実行することから生じる可能性が高いと予測しています。さらに、著者はAIモデルが悪用され、「理想的なパートナー」ロボットを作成することによる潜在的な危険性についても指摘しています。要約すると、著者はAIの急速な進歩とその潜在的なリスクを警告し、より強固なAI安全対策を強く求めています。
続きを読む
Appleの最近の論文「思考の幻想」は、ハノイの塔のパズルを用いて大規模言語モデルの推論能力をテストした。その結果、単純な問題では非推論モデルよりも性能が劣り、中程度の難易度では良好だが、複雑な問題では、アルゴリズムが提供されてもモデルは諦めてしまうことがわかった。著者らは、モデルの汎化可能な推論能力に疑問を呈している。しかし、この記事では、論文で用いられたハノイの塔のパズルはテストとして不適切であると主張する。モデルの「諦め」は、多数のステップを避けることから生じている可能性があり、推論能力の限界ではない。一定のステップ数を超えて諦めることは、モデルが推論能力を欠いていることを意味せず、複雑な問題に直面した人間の行動を反映している。
続きを読む
この記事では、DeepSeek-V3のようなMixture-of-Experts（MoE）モデルを含む大規模言語モデル（LLM）が、クラウド上では大規模に高速かつ安価に提供できるのに、ローカルでは遅く高価になる理由を探っています。鍵となるのはバッチ推論です。GPUは巨大な行列乗算を得意としており、多くのユーザーリクエストをバッチ処理することでスループットが大幅に向上しますが、レイテンシが増加します。MoEモデルや多くのレイヤーを持つモデルは、特にパイプラインのバブルや専門家の利用率の低さを避けるためにバッチ処理に依存しています。クラウドプロバイダーは、バッチサイズ（収集ウィンドウ）を調整することでスループットとレイテンシのバランスを取っていますが、ローカル実行は通常単一のリクエストしかないため、GPUの利用率が非常に低くなります。OpenAIなどのサービスの高効率性は、より優れたモデルアーキテクチャ、巧妙な推論テクニック、またははるかに強力なGPUリソースによるものかもしれません。
続きを読む
著者は、エンジニアが使用するテクノロジーについて、表面的な理解で十分だと主張しています。データベースインデックスや大規模言語モデルなどについて深く掘り下げることで、より良い意思決定が可能になります。例えば、JSON出力に適したモデルを選択したり、小型モデルの制約によって発生するエラーを回避したりできます。一つの分野を深く掘り下げるのではなく、多くの分野で幅広い知識を持つことで、新しいトレンドにより良く対応できると著者は提唱しています。新しいテクノロジーを学ぶ際には、基本的な原則を理解し、それを分かりやすく他の人に説明することに重点を置くべきであり、事実確認のためにLLMを使用することで精度を保証する必要があります。
続きを読む
Googleが最近リリースしたGemini Diffusionは、その驚異的な速度で注目を集めています。デモをゆっくり再生しないと何が起きているのかわからないほどです。この記事では、拡散モデルがなぜこれほど高速なのか、従来の自己回帰モデル（GPT-4、Claudeなど）と比較しながら詳しく解説します。拡散モデルは一度に全体の出力を生成し、トークン単位で生成するのではなく、正しい部分を並列で生成し、反復回数を減らすことで速度を向上させます。しかし、長いコンテキストの処理では効率が悪く、推論能力についても疑問が残ります。拡散モデルは内部的にトランスフォーマーを使用する場合がありますが、全体的なアーキテクチャにより、自己回帰モデルとは根本的に異なる動作をします。
続きを読む
サム・アルトマンは、知性を「測定するには安価すぎる」ものにすることを目指しており、ベンチャーキャピタルによってAIブームが加速する中、私たちはまさにその世界に生きています。しかし、著しく高度なモデルに対するユーザー需要は爆発的に増加していません。この記事では、LLMの最も変革的な側面は知性ではなく、「超人的な忍耐力」にあると主張しています。常に利用可能で、非批判的で、無限に聞き続けることができます。この忍耐力は、LLMの既存の欠点（お世辞など）を増幅する可能性があり、LLMがセラピストに取って代わるべきではないものの、この能力は、人々が感情的なサポートやアドバイスを求める方法に大きな影響を与えています。
続きを読む
Transformerベースの言語モデルとは異なり、拡散モデルはノイズの多い画像からノイズを段階的に除去することで画像を生成します。トレーニングでは、追加されたノイズを識別するようにモデルを学習させ、最終的に純粋なノイズから画像を生成できるようにします。これは彫刻に似ており、粗い石の塊を徐々に精巧な作品に磨き上げるようなものです。テキスト生成はまだ初期段階ですが、OpenAIのSoraやGoogleのVEOに見られるように、画像とビデオの生成において大きな可能性を示しています。その核心は、ノイズとデータの関係をどのようにモデル化するかであり、これはTransformerモデルの言語構造への焦点とは対照的です。
続きを読む
大企業では、有能なエンジニアは既存システムの継続的な改善に陥りやすく、真の価値提供を怠りがちです。この記事では、「完了」とは、無限の改良ではなく、会社の意思決定者が満足するレベルに達することだと主張しています。勝利を宣言して、次の仕事に取り組みましょう！そのためには、意思決定者があなたの仕事の内容を理解し、納得できるよう、例えば経済効果を示すなど、可視化することが必要です。「仕事の完了」は社会的な概念ですが、キャリアに大きな影響を与える強力なものです。
続きを読む
シニアエンジニアは、技術的な議論において、しばしば決断を避ける傾向があります。著者はこれを一見慎重なアプローチに見せかけ、実際は臆病であると主張しています。この記事は、チームが決定を下す必要がある場合、たとえ55％の確信しかないとしても、最も経験豊富なエンジニアが責任を負い、判断を示すべきだと強調しています。これは、経験の浅いエンジニアが拙い解決策を提案するのを防ぎ、マネジメントの効率的な作業を可能にします。著者は、マネジメントは技術的な誤りを通常は許容するとし、意思決定には本質的に不確実性が伴うためだと説明しています。しかし、一貫して間違った判断は信頼性を損なうと指摘しています。この記事は、信頼関係のない環境では、コミットメントを避けることが正当化される場合もあるものの、ほとんどの場合、責任を負い、大胆な決定を下すことが優秀なエンジニアの特徴であると結論付けています。
続きを読む
多くのエンジニアは、パフォーマンスの向上やアクセシビリティなど、利益につながらない仕事に集中し、評価されずに解雇されることがあります。この記事では、テクノロジー企業は利益を追求しており、エンジニアの価値はその仕事が利益にどれだけ貢献するかによって直接的に決まる、と主張しています。著者は、エンジニアは自社のビジネスモデルを理解し、自分の仕事を収益性と結び付けることで、職を安定させるべきだとアドバイスしています。一見、利益につながらない仕事でも、大企業では規模の経済によって価値を生み出すことができます。
続きを読む
大規模言語モデル（LLM）はコード生成に優れていますが、コンテキストウィンドウの制限により、大規模なコードベースでの作業が困難です。この記事では、LLM支援プログラミングの「パワー」を探求しています。プログラムを表すのに必要なトークンの数です。著者は、簡潔さのために、LLMにはPythonがGoよりも優れていると主張しています。これにより、トークン制限内でより多くの機能を使用できます。さらに、エレガントで簡潔なことで知られるRubyは、トークンの効率的な使用により、LLMに最適な言語として提示されています。型チェックなどの課題が残っていますが、Rubyの人間中心の設計は、皮肉にも、LLMにとって潜在的なリーダーとなっています。
続きを読む
10年間、ソフトウェアエンジニアリングは夢の仕事でした。高給、素晴らしい福利厚生、そして盤石な雇用保障。しかし、ここ2年間、テクノロジー業界全体で大量解雇が相次ぎ、状況は劇的に変化しました。この記事は、この変化が経済状況の変化に起因すると主張しています。低金利は贅沢な支出とエンジニアへの寛大な報酬につながりましたが、金利上昇は収益性を優先し、大規模な削減につながりました。AIがしばしば非難されますが、著者はそれが根本原因ではないと主張しています。新たな現実では、会社の目標に直接貢献することに集中することが求められます。適応できないと、雇用の安全が危険にさらされます。甘やかされていた時代は終わりましたが、価値提供に集中することで、より明確で、たとえ華やかでなくても、成功への道が開けます。
続きを読む
この記事は、優れたソフトウェア設計は複雑な言語機能や高度なアーキテクチャではなく、潜在的な障害モードの排除にあると主張しています。著者は自身の経験を例に、冗長なコンポーネントの削除、状態管理の中央集権化、堅牢なシステムの使用などによって、リスクを軽減し、信頼性を向上させる方法を示しています。優れた設計はシンプルで信頼性が高く、派手な機能を避け、問題解決に焦点を当てていることが中心的なメッセージです。Unicorn Webサーバーをこのアプローチの好例として挙げています。
続きを読む
テクノロジーの速いペースの世界では、すべての仕事が同じではありません。この記事は、ほとんどの優先度の高いタスクが実際にはインパクトが低いことを強調しています。成功は「スポットライト」の瞬間、つまりリーダーシップから強い注目を集めるプロジェクトを認識することにかかっています。エンジニアは、これらの機会を迅速に特定し、活用し、大きな影響を与えるプロジェクトに専念する能力を開発する必要があります。逆に、スポットライトが当たっていないときは、個人的な時間を貴重なプロジェクトに費やすことで、スキルと会社の貢献度を高めることができます。これは、判断力だけでなく、練習によって磨かれるスキルでもあります。
続きを読む
大規模言語モデル（LLM）はコード作成能力を急速に向上させており、純粋なAIソフトウェアエンジニアの開発が試みられています。短期的には、ソフトウェアエンジニアはAIを学習し、地位を高め、AIツールを活用すべきです。中期的には、大規模なレガシーコードベースの保守・改良に精通することがより価値のあるスキルとなります。なぜなら、LLMは複雑で検証が困難、コード量が膨大なプロジェクトにおいてはまだ限界があるからです。長期的に見ると、ソフトウェアエンジニアのコアコンピタンスは責任感と信頼性へとシフトします。これはLLMがなかなか獲得できない資質です。最終的には、AIシステムを監督し、その出力結果の信頼性を保証できるエンジニアが最後に残ることになります。
続きを読む
ベテランソフトウェアエンジニアが、日々のワークフローにおける大規模言語モデル（LLM）の実用的な活用方法を共有しています。コード補完、使い捨てコードの作成、新しい分野の学習、最終手段としてのバグ修正、ドキュメントの校正などにLLMを活用しています。LLM はコアロジックや正式な文書作成の代替ではないものの、特に馴染みのないコードベースの処理や新技術の学習において強力な支援ツールとなります。戦略的な活用が重要で、奇跡を期待すべきではありません。
続きを読む
この洞察に富む投稿は、エンジニアが学んだ貴重な教訓を共有しています。JIRAチケットの完了に時間を費やすのではなく、戦略的に重要なプロジェクトに集中しましょう。真の生産性とは、より多くのチケットを閉じることではなく、経営陣が重要とみなすものを優先することです。著者は、高視認性のインシデント、未回答の質問、プロジェクトの締め切りなどに焦点を当てるなど、高インパクトなタスクを特定する方法を概説しています。個人的な逸話は、あまり重要ではないタスクに集中することによるフラストレーションを示し、容赦ない優先順位付けと、真の価値をもたらすプロジェクトへの集中を主張しています。結果？より少ない時間でより大きなインパクト。
続きを読む
オーストラリア人エンジニアが、米国テクノロジー企業で10年間勤務した経験を共有しています。時差のある共同作業の課題について説明しています。朝は夜間に完了した仕事に追いつくのに費やし、午後は貴重な集中作業の時間が得られます。孤独感も課題となる可能性がありますが、優れたチームワークとドキュメント文化によって軽減されます。また、海外から米国企業で働くことの固有の不安定性にも言及しており、より大規模な事業、より良い報酬、より高いブランド認知度を主な動機として強調しています。最後に、オーストラリアと米国の文化の違いについて議論しており、米国人はより熱心で、オーストラリア人はより控えめであるため、米国の職場文化に適応する必要があると述べています。
続きを読む
大企業におけるエンジニアの評判は、技術力だけでなく、段階的な積み重ねが重要です。最初は下位レベルの仕事から始め、着実に成果を上げることで、より高度なプロジェクトへの参加機会を得ます。この「ラチェット効果」により、評判は容易には変わりません。失敗しても、継続的な成果によって挽回可能です。しかし、繰り返しの失敗は悪循環に陥ります。著者は、新入社員は小さなプロジェクトに集中し、着実に評判を築くことを推奨し、いきなり大規模なプロジェクトに挑むことを避けるべきだと述べています。
続きを読む
大規模で確立されたコードベースでの作業は、非常に難しいことで知られています。この記事では10年間の経験を共有し、最も一般的で致命的な間違い、つまり既存のコードベースのパターンを無視して、新しい機能のためのクリーンなコードのみに焦点を当てることを強調しています。一貫性を維持することは非常に重要です。予期せぬ問題を防ぎ、コードベースの劣化を遅らせ、将来の改善を可能にするからです。著者も、コードの運用環境への影響の理解、新しい依存関係の導入への慎重さ、冗長なコードの削除、小さなPRでの作業、そしてチームの専門知識を利用したエラー検出の重要性を強調しています。困難ではありますが、大規模コードベースの習得は非常に重要です。なぜなら、それらは通常、企業の最も価値のある製品の基盤だからです。
続きを読む
この記事では、ソフトウェアエンジニアリングにおける「接着剤ワーク」という概念を探求しています。チームの効率性にとって非常に重要であるにもかかわらず（例：ドキュメントの更新、技術的負債の解消など）、この地味な作業はしばしば報われません。そのため、優先順位を高く設定しているエンジニアは不利になります。著者は、企業が接着剤ワークを報賞しないのは、エンジニアに全体的な効率性の向上ではなく、機能の提供に集中してもらいたいからだと主張しています。効率的な戦略は、責任を負っているプロジェクトに接着剤ワークを戦術的に適用し、成功を保証することです。これは、努力を非効率的に分散させることとは対照的です。これは、皮肉な職場政治ではありません。大企業の効率性の低さと、短期的な効率性向上よりも成長を優先することの現実を踏まえたものです。
続きを読む