arXivに掲載された論文では、活性化エンジニアリングを用いて、大規模言語モデル（LLM）のパーソナリティ特性を特定し操作する新しい手法が探求されています。LLMの拒否や制御に関する以前の研究に触発された研究者らは、パーソナリティ特性に関連付けられた活性化方向を調整することで、LLMのパーソナリティを動的に微調整する技術を提案しています。この研究は、LLMの解釈可能性に対する理解を深める一方で、重要な倫理的な考慮事項も提起しています。
続きを読む
本論文では、分散型深層学習最適化における勾配平均化を改善するための新しい手法である勾配合意フィルタリング（GAF）を紹介します。従来の手法では、ミニバッチ勾配の平均化によってマクロバッチ勾配を計算しますが、これはトレーニングの後半段階で勾配が直交したり負の相関を持つことになり、過学習につながります。GAFは、ミニ勾配間の余弦距離を計算し、平均化前に矛盾する更新をフィルタリングすることで、勾配の分散を削減します。CIFAR-100やCIFAR-100N-Fineなどの画像分類ベンチマークにおける実験により、GAFは、より小さいミニバッチサイズであっても検証精度を大幅に向上させ、従来の手法と比較して最大18.2％の向上を達成し、計算コストを削減することが示されました。
続きを読む
コードを扱う大規模言語モデル（LLM）を搭載したAIによるプログラミングアシスタントが普及し、開発者の生産性が大幅に向上しています。しかし、既存のコード生成ベンチマークは主に汎用的なシナリオに焦点を当てており、特定のアプリケーションドメインにおけるLLMのパフォーマンスはほとんど知られていません。本論文では、12の人気のあるソフトウェア開発ドメインと15のプログラミング言語を網羅する2400個のプログラミングタスクを含む新しいベンチマーク、MultiCodeBenchを紹介します。11個の代表的な主流LLMを用いた実験により、様々なドメインにおけるLLMのコード生成能力が明らかになり、開発者にとってLLMを選択する際の実際的な洞察と、モデル開発者がドメイン固有のコード生成能力を向上させるための指針が得られます。
続きを読む
研究者らは、ユニットテストの自動生成における大規模言語モデル（LLM）の可能性について包括的な評価を行いました。17個のJavaプロジェクトにおいて、5つのオープンソースLLMと、クローズドソースのGPT-4、従来型のツールであるEvosuiteを比較し、様々なプロンプト戦略の影響を調査しました。その結果、オープンソースLLMはデータプライバシーにおいて優位性があり、特定のタスクでは優れた性能を示す一方で、LLMベースのユニットテスト生成における限界も明らかになりました。この研究は、この分野におけるLLMの将来的な応用を導くための貴重な知見を提供します。
続きを読む
最近の研究では、大規模言語モデル（LLM）における広範な「アイデンティティ混乱」が明らかになりました。研究者らは、25％以上のLLMがその起源やアイデンティティを誤って表現しており、それが主にモデルの幻覚によるものであり、複製や再利用によるものではないことを発見しました。このアイデンティティ混乱は、特に教育や専門分野など重要なタスクにおいて、ユーザーの信頼を著しく損ない、論理的なエラーによる悪影響を上回ります。この研究結果は、LLMのアイデンティティ混乱がもたらす体系的なリスクを強調し、モデルの信頼性と信頼worthinessへのさらなる注意を促しています。
続きを読む
大規模言語モデル（LLM）は人間の行動をシミュレートする上で大きな可能性を秘めていますが、その意思決定プロセスは透明性に欠けています。本論文では、Shapley値に基づいた新しいアプローチを提案し、LLMの行動を解釈し、プロンプトの各構成要素がモデル出力に与える影響を定量化します。2つのアプリケーションを通して、LLMの意思決定は「トークンノイズ」の影響を受けやすく、情報量の少ないトークンにモデルが不釣り合いに反応することが明らかになりました。これは、人間の行動シミュレーションにおけるLLMからの知見の堅牢性と汎化可能性に関する懸念を引き起こし、研究で使用する場合には、慎重なプロンプトエンジニアリングと、その限界のより微妙な理解が必要であることを強調しています。
続きを読む
研究者たちは、最先端の囲碁AIであるKataGoに対して敵対的ポリシーを訓練することで、97％を超える勝率を達成しました。これらの敵対者は、囲碁をうまくプレイすることではなく、KataGoに重大なミスを犯させることで勝利しました。この攻撃は、他の超人的な囲碁AIにもゼロショットで転移し、人間のエキスパートがアルゴリズムの助けなしに再現できるほどシンプルでした。この脆弱性は、KataGoが敵対的に訓練されて防御された後も存続し、超人的なAIシステムでさえ驚くべき失敗モードを持つことを示しています。
続きを読む
新たな研究は、Pantheon+ Ia型超新星分光データセットに対して、宇宙論モデルに依存しない統計分析を行い、Laneらの標準的な手法を改良しました。超新星標準化にTripp方程式のみを使用することで、伸長と色の分布における潜在的な相関関係を回避しています。その結果、「タイムスケープ」宇宙論モデルが標準的なΛCDMモデルよりもデータをうまく説明し、理論的および観測的な宇宙論の基礎を見直す必要性を示唆しています。統計的均質性の従来の尺度を超える赤方偏移(z > 0.075)のサンプルに限定した場合でも、タイムスケープモデルはΛCDMモデルよりも優れています。
続きを読む
研究者らは、大規模言語モデル（LLM）の多段階推論能力を向上させることを目的とした、オフライン強化学習手法OREOを発表しました。最大エントロピー強化学習に基づき、ソフトベルマン方程式を最適化することで、ポリシーモデルと価値関数を同時に学習します。これにより、多段階推論タスクにおける直接的選好最適化（DPO）の手法が抱える、大量のペアワイズデータの必要性や効果的な報酬割り当ての困難といった問題点を解決します。実験の結果、OREOは数学的推論や具象エージェント制御などのベンチマークにおいて、既存のオフライン学習手法を上回ることが示されました。
続きを読む
arXivに掲載された論文では、トークナイゼーションの2つのバリアントのNP完全性が証明されました。トークナイゼーションとは、データセットを最大δ個のシンボルに圧縮する問題であり、その2つのバリアントとは、直接語彙を見つける（直接トークナイゼーション）か、一連の結合操作を選択する（ボトムアップトークナイゼーション）かのいずれかです。この発見は、データ圧縮と自然言語処理に大きな影響を与え、大規模データセットのトークナイゼーション問題を効率的に解決することの途方もない困難さを浮き彫りにしています。
続きを読む
研究者たちは、C言語のコードを安全にRustに変換する新しい手法を開発しました。この技術は静的解析と型指向変換を利用することで、Rustの`unsafe`ブロックへの依存を回避し、メモリ安全性を保証します。この手法は、HACL*暗号ライブラリとEverParseライブラリのコードに適用され、8万行の純粋なRustで記述された、検証済みの最新の暗号ライブラリが生成されました。これは業界初の快挙です。
続きを読む
研究者たちは、大規模言語モデル（LLM）におけるコンテンツの安全性とプロンプトインジェクションの分類のための、新しい軽量な手法であるレイヤー拡張分類（LEC）を発表しました。LECは、LLMの最適な中間トランスフォーマー層の隠れ状態に対して、簡素化されたペナルティ付きロジスティック回帰（PLR）分類器を訓練します。PLRの効率性とLLMの高度な言語理解能力を組み合わせることで、LECはGPT-4oや特化されたモデルを凌駕する性能を示します。Qwen 2.5などの小型汎用モデルやDeBERTa v3などの他のトランスフォーマーベースアーキテクチャは、強力な特徴抽出器であることが証明され、100個未満の高品質な例で効果的に訓練できます。重要なことに、これらのモデルの中間トランスフォーマー層は、多くの場合、最終層よりも優れた性能を発揮します。単一の汎用LLMは、コンテンツの安全性を分類し、プロンプトインジェクションを検出し、出力を生成することができます。あるいは、これらの比較的サイズの小さなLLMを最適な中間層に剪定して、特徴抽出器として専用に使用することもできます。さまざまなアーキテクチャにおける一貫した結果は、堅牢な特徴抽出が多くのLLMに固有のものであることを示唆しています。
続きを読む
新しい研究では、古典的なソートアルゴリズムを形態形成のモデルとして使用し、これらのアルゴリズムに関する従来の知見に挑戦しています。トップダウン制御と完全に信頼できるハードウェアという仮定を破ることで、研究者たちは、自律的な要素の配列が、エラーがあっても従来の実装よりも信頼性が高く、堅牢にソートされることを発見しました。驚くべきことに、これらのアルゴリズムは、欠陥を回避するために一時的に進捗を減らす能力と、異なるアルゴリズムに従うキメラ配列の要素間の予期せぬクラスタリング動作を示しています。この発見は、多様な知性に対する新しい視点を提供し、基礎的な知性の形態が、その基礎となるメカニズムに明示的にエンコードされることなく、単純なシステムでどのように出現するかを示しています。
続きを読む
研究者たちは、「社会」を形成する大規模言語モデル（LLM）エージェントが、裏切りへのインセンティブにもかかわらず、互いに利益のある社会規範を学習できるかどうかを調査しました。実験の結果、ベースモデル間で協力の進化に大きな違いがあり、Claude 3.5 SonnetがGemini 1.5 FlashやGPT-4oを大幅に上回ることが明らかになりました。さらに、Claude 3.5 Sonnetは、コストのかかる罰則メカニズムを利用してさらに高いスコアを達成しました。これは他のモデルでは再現されませんでした。この研究は、LLMエージェントの展開の社会的影響に焦点を当てた、LLMのための新しいベンチマークを提案し、より堅牢で協調的なAIエージェントの構築に関する洞察を提供しています。
続きを読む
研究者らは、確率的勾配降下法を改良した新しい最適化器SGD-SaIを発表しました。SGD-SaIは、勾配の信号対雑音比に基づいて、異なるパラメータグループに対して初期化時の学習率をスケーリングすることで、訓練の不均衡問題に対処します。AdamWよりもメモリ効率が大幅に向上しており、ImageNet分類やLLM事前学習など、様々なTransformerベースのタスクにおいて、AdamWと同等かそれ以上の性能を達成します。様々なアプリケーションにおける堅牢性と実用性が示されており、魅力的な代替手段となっています。
続きを読む
研究者らは、Best-of-N（BoN）ジェイルブレイキングと呼ばれる新しいAI攻撃アルゴリズムを開発しました。このブラックボックスアルゴリズムは、プロンプトを繰り返し変更します（例：テキストのランダムシャッフルや大文字化など）。そして、AIシステムから有害な応答を引き出すまで繰り返します。BoNは、GPT-4o（89％）やClaude 3.5 Sonnet（78％）などのクローズドソース言語モデルで、非常に高い攻撃成功率（ASR）を達成し、既存の防御メカニズムを効果的に回避しました。さらに、BoNは、視覚言語モデルや音声言語モデルにもシームレスに拡張でき、一見無害な入力のバリエーションにも、高度なAIシステムが脆弱であることを示しています。この研究は、AI分野における重大なセキュリティ上の懸念を浮き彫りにしています。
続きを読む
研究者らは、昆虫コンピューターハイブリッドロボットを組み立てる自動化システムを開発しました。このシステムは、ビジョン誘導型ロボットアームを使用して、カスタム設計された双極電極をマダガスカルゴキブリの背中に正確に埋め込みます。全プロセスはわずか68秒で完了し、組み立てられたロボットは、手動で組み立てられたシステムと同等の操縦と減速制御を実現します。4台のロボットからなるマルチエージェントシステムは、障害物コースを成功裏に通過し、大量生産と現実世界の応用可能性を実証しました。この研究は、昆虫ロボットのスケーラブルな生産と展開への道を切り開きます。
続きを読む
CCxTrustは、Trusted Execution Environments（TEE）とTrusted Platform Modules（TPM）の長所を巧みに組み合わせ、協調的な信頼フレームワークを構築する、革新的なコンフィデンシャルコンピューティングプラットフォームです。CPU-TEEに埋め込まれたブラックボックス型のRoot of Trust（RoT）と、TPMの柔軟なホワイトボックス型のRoTを活用することで、CCxTrustは、機密データとモデルのエンドツーエンドの保護を実現し、単一のハードウェアRoTへの依存性の限界を克服します。このプラットフォームは、独立した測定のための信頼ルート（RTM）と、協調的なレポートのための信頼ルート（RTR）を実装しており、複合的なアテステーションプロトコルによってセキュリティと効率性がさらに向上しています。実験結果は、パフォーマンスにおいても著しい利点があることを示しています。
続きを読む
研究者らは、ドメインネームシステム（DNS）の検証のための最初の決定手順を示し、その複雑さを2ExpTimeであると確立しました。この研究は、DNSのセマンティクスを形式化し、正のプレフィックステスト可能な言語に基づいた新しい抽象化を用いて、DNS検証問題をプッシュダウンシステムの検証問題に帰着させます。このアプローチは、増幅攻撃や書き換えブラックホール攻撃などのDNSにおける攻撃ベクトルを効果的にモデル化し、DNSのセキュリティと信頼性を確保するための新しい理論的基礎を提供します。
続きを読む