20歳のブラジル人数学の天才、エンリケ・ゴドイは、ラテンアメリカでAIに革命を起こしています。15歳で、サンパウロ大学のエリート数学プログラムに合格した最年少の学生でした。その後、コンピューターサイエンスを学ぶための多額の奨学金を得て、ブラジル大学数学オリンピックでトップ200位に入賞しました。ゴドイは、ラテンアメリカの投資銀行で初めての大規模言語モデル（LLM）の実装に成功し、医療従事者向けに1000万レアル以上の資金を管理するフィンテックプラットフォームDokiを設立しました。彼の仕事は500回以上引用され、AIとフィンテックへの大きな貢献を示しています。ゴドイの並外れた功績は、彼をAIの未来における主要な人物として位置づけています。
この記事は、将来起こりうるAIによる大規模災害の可能性を探っています。初期の鉄道や航空事故との類似点を引きながら、著者は大規模なAI災害が現実的な可能性であると主張しています。単純なAIの誤誘導に焦点を当てるのではなく、著者はAIエージェント、つまりウェブ検索やメール送信など、自律的にタスクを実行できるAIがもたらすリスクを強調しています。著者は、最初の大きなAI災害は、政府や企業のシステム内でAIエージェントが誤動作すること、例えば、債権回収、医療、賃貸などのプロセスを誤って実行することから生じる可能性が高いと予測しています。さらに、著者はAIモデルが悪用され、「理想的なパートナー」ロボットを作成することによる潜在的な危険性についても指摘しています。要約すると、著者はAIの急速な進歩とその潜在的なリスクを警告し、より強固なAI安全対策を強く求めています。
9歳から10歳の子供約12,000人を対象とした3年間の縦断研究で、ソーシャルメディア利用の増加と思春期前の子供たちのうつ症状の悪化との間に有意な関連性があることが明らかになりました。JAMA Network Openに掲載されたこの研究は、ソーシャルメディア利用の増加がうつ症状の悪化につながることを示しており、その逆ではないことを示しています。平均して、子供たちの1日のソーシャルメディア利用時間は3年間で7分から73分に増加し、うつ症状は35％増加しました。研究者たちは、サイバーいじめや睡眠障害が潜在的な寄与要因である可能性があると指摘しています。この研究は、健康的なデジタル習慣を育むことの重要性を強調しており、保護者と子供たちの間の率直な話し合いと、スクリーンフリータイムの設定を提案しています。
Resemble AIは、初のプロダクショングレードのオープンソーステキスト読み上げ（TTS）モデルであるChatterboxを発表しました。ElevenLabsなどのクローズドソースの主要なシステムとベンチマーク比較され、並列評価で常に好まれる結果となっています。感情の誇張制御を備え、超低遅延（200ミリ秒未満）を実現しており、ミーム、ビデオ、ゲーム、AIエージェントなどに最適です。さらに、Chatterboxは責任あるAI利用のためのPerthウォーターマーキングを組み込んでいます。
スイス連邦工科大学チューリッヒ校の研究者らは、四足歩行ロボットANYmalにバドミントンをプレイするよう訓練しました。ANYmalは転倒回避と速度制限に基づいたリスク評価を学習しましたが、反応速度（約0.35秒）はトップレベルの人間選手（0.12～0.15秒）を大きく下回ります。視覚認識も課題で、ANYmalのステレオカメラは位置ずれと視野の狭さの問題を抱えています。研究チームは、軌跡予測、イベントカメラなどの高度なハードウェアへのアップグレード、アクチュエータの改良によってANYmalの性能向上を目指していますが、この技術の商業化は楽観視できません。
Aim Labsは、Microsoft 365 Copilotにおいて「EchoLeak」と呼ばれる重大なゼロクリックAI脆弱性を発見しました。この脆弱性により、攻撃者はユーザーの操作なしに、Copilotのコンテキストから機密データを自動的に抜き取ることができます。「LLMスコープ違反」と呼ばれる新しい手法を用いて、巧妙に作成されたメールでCopilotのセキュリティ対策を回避します。EchoLeakは、検索強化型生成（RAG）ベースのAIモデルに固有のセキュリティリスクを浮き彫りにし、堅牢なAIセキュリティ対策の必要性を強調しています。
この記事は、AmazonのAlexaが大型言語モデル分野で競合他社に遅れを取った理由を分析し、レジリエンスエンジニアリングにおける「脆性」の失敗として捉えています。著者は、3つの主要な要因を強調しています。重要な計算資源へのタイムリーなアクセスを妨げる非効率的な資源配分、チーム目標の不一致と内部紛争を促進する高度に分散化された組織構造、そしてAI研究の実験的かつ長期的な性質に不向きな時代遅れの顧客中心アプローチです。これらの要因が組み合わさってAmazonのAIの失敗につながり、組織構造と資源管理に関する貴重な教訓を提供しています。
AlphaWriteは、創造的なテキスト生成における推論時間計算のスケーリングのための新しいフレームワークです。進化アルゴリズムに着想を得て、物語を反復的に生成および評価し、競争的で進化するエコシステムを通じて、物語の質を向上させます。一度限りの生成や単純な再サンプリングとは異なり、AlphaWriteは物語が複数の世代にわたって競争し、改善することを可能にします。研究では、Llama 3.1 8Bモデルを使用して物語の品質が大幅に向上したことが示されており、改善された出力を基本モデルに戻すことで再帰的な自己改善ループを通じてさらに強化されています。これは、AIのライティング能力を向上させるためのエキサイティングな新しい道を開きます。
この記事は、大規模言語モデル（LLM）のファインチューニングの限界を示しています。著者は、高度なLLMの場合、ファインチューニングは単なる知識注入ではなく、既存の知識構造を破壊する可能性があると主張しています。この記事では、ニューラルネットワークの動作メカニズムを深く掘り下げ、ファインチューニングが既存のニューロン内の重要な情報の損失につながり、予期せぬ結果をもたらす可能性があることを説明しています。著者は、リトリーバル拡張生成（RAG）、アダプターモジュール、プロンプトエンジニアリングなどのモジュール型のアプローチを採用して、モデルの全体的なアーキテクチャを損なうことなく、より効果的に新しい知識を注入することを提唱しています。
私たちはAGI（汎用人工知能）の転換点にいます。その発展は予想をはるかに超えています。GPT-4などのシステムは、人間の知能を超える能力を示し、生産性を大幅に向上させています。AGIは、科学技術の進歩と生産性向上において莫大な利益をもたらし、生活の質を大幅に向上させるでしょう。安全性や公平なアクセスなどの課題は残りますが、AGIの急速な発展は、これらの課題に対処するための新しいツールと可能性も提供します。今後数十年間で世界は大きく変化しますが、人間の根源的な価値観は維持されます。イノベーションと適応が鍵となります。
2023年3月に立ち上げられたLow-background Steel（https://lowbackgroundsteel.ai/）は、AI生成コンテンツに汚染されていないオンラインリソースをアーカイブすることに特化したウェブサイトです。低バックグラウンド鋼（核実験の放射性同位体で汚染されていない金属）の比喩を用いて、ChatGPTリリース前のWikipediaダンプ、Arctic Code Vault、Project Gutenbergなどをキュレーションしています。AI生成コンテンツの爆発的な増加（2022年以降）に対抗し、純粋なテキスト、画像、ビデオを保存・共有することを目的としています。汚染されていないコンテンツソースの提供を歓迎します。
Mistral AIは、透明性、多言語サポート、そして専門分野の知識を特徴とする最初の推論モデル「Magistral」を発表しました。オープンソース版（Magistral Small、240億パラメーター）とエンタープライズ版（Magistral Medium）の2つのバージョンで提供されます。MagistralはAIME2024などのベンチマークで優れた成績を収めており、非常に高速な推論速度（競合他社と比べて最大10倍高速）を実現しています。法律調査、金融予測、ソフトウェア開発、クリエイティブライティングなど、幅広い用途に適用でき、特に透明性と精度が重要な複数ステップのタスクに適しています。Magistral Smallのオープンソース化により、コミュニティからの貢献とさらなるモデル改善が促進されます。
LLMのコンテキストウィンドウの維持に関するベストプラクティスを探求する中で、著者はサブエージェントを利用した革新的なアプローチを発見しました。サブエージェントに独自のコンテキストウィンドウを持たせることで、メインのコンテキストウィンドウのオーバーフローを防ぎ、効率と信頼性を向上させます。この方法は、非同期プログラミングにおけるステートマシンに似ており、複雑なコード生成やタスク処理をよりスムーズに行うことができます。著者はいわゆる「Keep The Lights On (KTLO)」タスクの自動化にAIを活用するというアイデアも共有し、ソフトウェア開発の自動化におけるAIの将来の可能性についても展望しています。
多くの画期的な研究論文は、その潜在能力にもかかわらず、十分な影響力を及ぼせていません。この記事では、マカロック・ピッツのニューラルネットワーク論文とミラーの7±2法則論文を例に、この現象の理由を探ります。一つには、学術界における意見の対立や研究者自身の分野への固執（「サイロ化」研究）が、論文の深い意味への理解不足につながっています。もう一つには、論文発表のインセンティブ構造が、真に核心的なアイデアを推し進めるのではなく、多くの追随研究を生み出しているのです。現在のAI研究は革新と模倣の両方を示していますが、潜在的に変革的な意義を持つ画期的な研究を見過ごすことへの警戒が必要です。
レキシコニアの隠された山岳聖域で、古代の書記官たちは三部構成の神殿で訓練を受けています。起源の殿、命令の部屋、強化の闘技場です。起源の殿では、書記官たちは膨大な量のテキストを読み、言語パターンを学習する事前学習が行われます。命令の部屋では、厳選されたテキストを使用して、書記官たちをより良い出力に導くファインチューニングが行われます。強化の闘技場では、人間のフィードバックによる強化学習（RLHF）が用いられ、人間の審査員が書記官たちの回答をランク付けし、良い回答を褒め、悪い回答を罰します。また、一部のエリート書記官は、LoRAスクロールとアダプターを使用して、モデル全体を再トレーニングすることなく、回答を微調整することができます。この三翼の神殿は、大規模言語モデルのトレーニングの完全なプロセスを表しています。
個人的な逸話と心理学的研究に基づいて、著者は、認知バイアスが、特にAI分野において、私たちを操作されやすくしていることを主張しています。この記事は、AIツールの有効性を検証するために個人的な経験や逸話的な証拠に頼ることに批判的で、過去の過ちを繰り返さないために厳格な科学的研究が必要であることを強調しています。著者は、ソフトウェア開発におけるAIの批判のない採用に警鐘を鳴らし、既存の欠陥を解決するどころか悪化させることを主張しています。著者は、AIへの盲信は大きなリスクであると結論付けています。
Anthropicは、Claude AIモデルを使ってブログ記事の執筆を試みたAI搭載ブログ「Claude Explains」を静かに閉鎖しました。このブログは、1ヶ月という短い期間で多くのバックリンクを獲得しましたが、AI生成コンテンツの透明性不足とAIのライティング能力の限界を理由に、ソーシャルメディアで批判されました。この迅速な閉鎖は、AIコンテンツ作成における透明性と正確性の重要性、そしてAI支援ライティングにおける継続的な人的監視の必要性を浮き彫りにしています。
この記事は、大規模言語モデル（LLM）の運用コストが法外に高いという広く行き渡っている誤解に異議を唱えています。LLMのコストをウェブ検索エンジンと比較し、様々なLLM APIの価格を挙げることで、著者はLLMの推論コストが劇的に低下しており、一部の検索APIよりも桁違いに安いことを示しています。また、価格の補助金や高額な裏付けコストなど、LLMの価格設定戦略に対する一般的な異論にも反論し、真の費用対効果の問題は、AIと相互作用するバックエンドサービスであり、LLM自体ではないことを指摘しています。
Appleの最近の論文「思考の幻想」は、ハノイの塔のパズルを用いて大規模言語モデルの推論能力をテストした。その結果、単純な問題では非推論モデルよりも性能が劣り、中程度の難易度では良好だが、複雑な問題では、アルゴリズムが提供されてもモデルは諦めてしまうことがわかった。著者らは、モデルの汎化可能な推論能力に疑問を呈している。しかし、この記事では、論文で用いられたハノイの塔のパズルはテストとして不適切であると主張する。モデルの「諦め」は、多数のステップを避けることから生じている可能性があり、推論能力の限界ではない。一定のステップ数を超えて諦めることは、モデルが推論能力を欠いていることを意味せず、複雑な問題に直面した人間の行動を反映している。
OpenAIがUAEと提携して大規模なAIデータセンターを構築するという発表は、「民主主義的価値観」と謳われているものの、疑問を投げかけている。UAEの人権状況の悪さがこの主張を疑問視させる。この記事はOpenAIの言い分を分析し、その根拠が弱いこと、この協定が民主主義を促進するのではなく、UAEの独裁政権を強化している可能性が高いことを主張している。著者は、OpenAIのミッションに対する無関心な姿勢が懸念材料であり、AI開発において力のバランスを考慮することが不可欠であると結論付けている。
Anthropicのモデルコンテキストプロトコル（MCP）は、大規模言語モデル（LLM）が外部ツールとやり取りすることを可能にしますが、研究者らは新しい攻撃手法を発見しました：ツールポイズニング攻撃（TPA）。以前の研究はツールの説明フィールドに焦点を当てていましたが、新しい発見は、攻撃対象範囲がツールのスキーマ全体に及ぶことを明らかにし、「フルスキーマポイズニング」（FSP）と呼ばれています。さらに危険なのは、「高度なツールポイズニング攻撃」（ATPA）であり、これはツールの出力を操作して静的分析を困難にします。ATPAは、誤解を招くエラーメッセージやフォローアッププロンプトを作成することで、LLMを騙して機密情報を漏洩させます。本稿では、これらの攻撃を軽減するために、静的検出、厳格な適用、実行時監査、コンテキスト整合性チェックを行うことを提案しています。
この記事では、多層パーセプトロン（MLP）を使用して手書き数字の画像を生成する、基本的な自己回帰画像生成モデルの構築方法を詳しく説明します。著者は、先行するピクセルに基づいて次のピクセルを予測するという中核概念を説明しています。3つのモデルが段階的に構築されます。モデルV1はone-hotエンコーディングを使用し、空間情報を無視します。モデルV2は位置エンコーディングを導入し、画像構造を改善します。モデルV3は学習済みトークン埋め込みと位置エンコーディングを使用し、条件付き生成を実現し、与えられた数字のクラスに基づいて画像を生成します。生成された画像は最先端のモデルには及びませんが、このチュートリアルは自己回帰モデルの中核となる概念と構築プロセスを明確に示しており、生成AIの理解に役立ちます。
この記事では、大規模言語モデル（LLM）の本質と潜在的なリスクを探っています。著者は、LLMが技術的には印象的であることを認めつつも、真の意味での「知性」ではなく、統計的確率に基づいてテキストを生成する高度な確率機械であると主張しています。多くの人がLLMの動作を誤解し、人格を与え、不健康な依存、ひいては精神病を引き起こすことさえあります。この記事では、テクノロジー企業がLLMを人間のような存在として過剰に宣伝し、人間関係の代替としてマーケティング戦略に利用していることを批判しています。AIの普及に伴う倫理的および社会的問題を強調し、一般の人々がAIリテラシーを高め、この技術をより合理的に捉えるよう促しています。
研究者らは、オブジェクト中心スロットアテンションと関係的ボトルネックを組み合わせた、新規の視覚推論アプローチを提案します。この方法は、まずCNNを用いて画像特徴を抽出し、次にスロットアテンションを用いて画像を複数のオブジェクトにセグメント化し、オブジェクト中心の視覚表現を生成します。関係的ボトルネックは情報の流れを制限し、複雑なシーンを理解するためにオブジェクト間の抽象的な関係を抽出します。最後に、シーケンスツーシーケンスおよび代数的機械推論フレームワークにより、視覚推論問題を代数的問題に変換し、効率性と精度を向上させます。この方法は、レイブンズ・プログレッシブ・マトリックスなどの視覚推論タスクで優れた性能を示します。
研究者たちは、既存のLNP製剤とは異なり、事前に刺激することなく、静止CD4+ T細胞にmRNAを効率的にデリバリーできる新規脂質ナノ粒子（LNP X）を開発しました。LNP Xの改良された脂質組成は、SM-102とβ-シトステロールを含み、mRNAの細胞質へのデリバリー効率とタンパク質発現を向上させます。研究によると、LNP XはHIV Tatタンパク質をコードするmRNAをデリバリーし、HIV潜伏感染を効果的に逆転させ、CRISPRaシステムをデリバリーしてHIV転写を活性化します。この研究は、HIV療法開発の新たな道を切り開き、患者の転帰を大幅に向上させる可能性を秘めています。
最近の最先端の大規模言語モデル（LLM）は、回答を提供する前に詳細な思考過程を生成する大規模推論モデル（LRM）を生み出しました。これらのモデルは推論ベンチマークで性能が向上していますが、その基本的な能力、スケーリング特性、および限界は十分に理解されていません。本研究では、制御可能なパズル環境を用いてLRMの推論能力を体系的に調査します。その結果、LRMは特定の複雑さを超えると完全な精度崩壊を示し、さらに直感に反するスケーリング限界を示すことがわかりました。つまり、推論の努力は問題の複雑さの増加とともに増加しますが、ある時点を超えると、十分なトークン予算があっても減少します。また、LRMは正確な計算において限界があり、明示的なアルゴリズムを使用できず、パズル間で矛盾した推論を行うこともわかりました。この研究は、LRMの長所、短所、そしてその真の推論能力に関する重要な問題を明らかにしています。
3月、OpenAIはGPT-4のマルチモーダル画像生成機能をリリースし、1週間で1億人の新規ユーザーを獲得するという記録的な製品ローンチを実現しました。著者はこの機能を使って愛犬にペリカンのコスチュームを着せようとしましたが、AIが望まない背景要素を追加し、芸術的なビジョンを損なっていることに気づきました。これは、以前の会話履歴を自動的に参照するChatGPTの新しいメモリ機能によるものです。著者は最終的に目的の画像を得ましたが、この自動メモリ呼び出しがユーザーコントロールを奪うと感じ、機能をオフにしました。
Appleからの新しい論文がAIコミュニティに衝撃を与えました。この論文は、最新の「推論モデル」でさえ、古典的なハノイの塔の問題を確実に解くことができないことを示し、大規模言語モデル（LLM）の推論能力における重大な欠陥を明らかにしました。これは、Gary MarcusやSubbarao Kambhampatiなどの研究者による長年の批判と一致しており、彼らはLLMの一般化能力の限界を指摘してきました。この論文は、解法アルゴリズムが提供されても、LLMは問題を効果的に解決できず、「推論プロセス」が真の論理的推論ではないことを示しています。これは、LLMが人工汎用知能（AGI）への直接的な道ではないことを示しており、その用途には慎重な検討が必要です。
この記事は、ダグラス・アダムスが電子書籍を発明したかどうかの議論から始まり、彼のSF小説における未来技術の予測を探ります。著者は、アダムスの先見の明はウィリアム・ギブソンを凌駕しており、イライラするコンピュータアシスタント（クリッピーなど）やAI搭載のスマートデバイスを正確に予測したと主張します。さらに重要なのは、アダムスが人間とAIの相互作用における中心的な課題、つまり強力な計算能力を持つだけでなく、正しい質問をすることを見抜いていたことです。著者は、スマートデバイスとの個人的な経験を用いて、アダムスの予測の現実性をユーモラスに示し、ユーモアを洞察力の重要な指標として強調しています。
Anthropicは、主にAIモデルであるClaudeによって書かれたブログ「Claude Explains」を立ち上げました。Claudeの作品として紹介されていますが、実際にはAnthropicの専門家チームが、文脈や例を追加して磨きをかけています。これは、AIによるコンテンツ作成の可能性と限界の両方を示す協調的なアプローチです。他のメディア機関もAIによるライティングを試みてきましたが、事実の不正確さや虚偽情報の生成など、同様の課題に直面しています。Anthropicが引き続きライティング関連の職種を募集していることは、人間とAIのハイブリッドアプローチを示唆しています。