このウェブサイトは、確率論と情報理論を深く掘り下げ、それらが機械学習と私たちを取り巻く世界をどのように解明するかを説明します。ウィキペディアのスニペットから次の文字を予測したり、ニューラルネットワークとパフォーマンスを比較したりするなど、興味深いなぞなぞを通して、情報量、KLダイバージェンス、エントロピー、交差エントロピーなどを探求します。コースでは、最尤推定、最大エントロピー原理、ロジット、ソフトマックス、ガウス関数、損失関数の設定を網羅し、最終的には圧縮アルゴリズムと大規模言語モデル間の関係を明らかにします。ウサギの穴に飛び込む準備はできていますか？
生成AIの台頭は、最終的にAI企業自身を窒息させるコンテンツの枯渇を引き起こしています。この記事は、ChatGPTやGoogleなどのAI大手はウェブサイトからコンテンツを吸い上げ、従来のメディアや企業ウェブサイトのトラフィックを劇的に減少させていると主張しています。この「コンテンツ略奪」モデルは、短期的に利益をもたらしますが、長期的な脅威となります。企業がインセンティブ不足のために高品質なコンテンツの制作をやめれば、AIモデルはデータ不足に陥り、AI企業は脆弱になります。規制や訴訟が解決策となる可能性がありますが、AI企業はこれらのリスクを認識していないか、無視しており、問題を悪化させ、経済バブルの崩壊につながる可能性があります。
パンチカードからGUI、そしてAIへ、コンピューティングの歴史は、より直感的な人間とコンピューターのインタラクションへの着実な進歩でした。AIはこの軌跡からの急進的な逸脱ではなく、コンピューターをよりアクセスしやすく、人類にとって有用にするための自然な次のステップです。AIにより、コンピューターは明示的な指示ではなく、人間の目標を理解し、それらに基づいて行動できるようになります。これにより、認知的な負担が人間から機械へと移行し、ユーザーは達成したいことに集中できるようになり、機械への指示方法に集中する必要がなくなります。将来、人間とコンピューターのインタラクションは協力関係となり、指示と目標設定の境界が曖昧になり、人間の知能を拡張する、のではなく置き換えるものとなるでしょう。
筆者は、現在流行しているテキストや画像生成ツールを、真のAIではなく大規模言語モデル（LLM）だと強く批判している。OpenAIのCEOであるサム・アルトマンが人間を「確率的オウム」と比較したことに対して非難し、人間の経験の豊かさを貶めるものだと主張する。また、LLMを取り巻く過剰な宣伝、その退屈で独創性のない出力、そして企業がユーザーデータに同意なくモデルの学習に使用していることへの懸念を指摘している。最終的に、インターネットの未来と個人の創作物の悪用への懸念を表明し、LLMを取り巻く倫理的および美的問題への注目を促している。
AnthropicのAIチャットボット、Claudeがサービス利用規約を密かに変更しました。ユーザーの会話は、ユーザーが積極的にオプトアウトしない限り、デフォルトでモデルのトレーニングに使用されるようになりました。この変更は、ユーザーとプライバシー擁護者の怒りを買っています。この記事では、AIツールを使用する際にデータプライバシーを積極的に管理することの重要性を主張し、ユーザーに設定の確認、アップデートの確認、データ共有に関する意識的な選択を行うよう促しています。著者は、デフォルト設定に依存することはリスクが高いことを強調しており、設定は予告なく変更される可能性があります。この変更は、消費者ユーザーに不均衡に影響を与える一方で、エンタープライズクライアントには影響がありません。これは、データ駆動型のAIエコシステムの優先順位を示しています。
スタンフォード大学の教授であるアンドリュー・ンは、AIによってコーディングが容易になった一方で、プロダクトマネジメントが新たなボトルネックになっていると主張しています。以前は6人のエンジニアが3ヶ月かけて行っていた作業が、今では週末にできるようになりました。課題は、何を構築するかを決定することです。AIによるプロトタイプの迅速な開発は、より迅速な製品意思決定を必要とし、チームはデータ分析だけでなく、直感と深い顧客への共感にますます頼るようになっています。これは、プロダクトマネージャーの役割に関する議論を巻き起こしており、AI時代においてプロダクトマネージャーが重要であると主張する者もいれば、企業の初期段階では不要であると主張する者もいます。
LLM（大規模言語モデル）の能力向上とMCPなどの拡張メカニズムにより、安全で信頼性の高いAIアプリケーションの構築はますます複雑になっています。本稿では、Java仮想マシン（JVM）と同様のAIモデル仮想マシン（MVM）の概念を提案します。MVMは、AIモデルにセキュリティ、分離、拡張性、移植性などを提供します。MVMはモデル開発と統合ロジックを分離し、プラグアンドプレイ式のモデル交換を可能にし、AIアプリケーションのセキュリティとプライバシーを保護するための組み込みセキュリティ制御とアクセス制御メカニズムを組み込んでいます。さらに、透過的なパフォーマンスとリソースの追跡、および検証可能なモデル出力の可能性も提供します。この革新は、AIアプリケーション開発における多くの課題に対処し、より安全で、信頼性が高く、効率的なAIエコシステムを構築するための道を切り開くことを約束します。
この記事では、自然言語処理におけるアテンションメカニズムの進化について、初期のマルチヘッドアテンション（MHA）から、より高度なマルチ潜在ヘッドアテンション（MHLA）までを解説します。MHAは、クエリ、キー、バリューベクトルを計算することでコンテキスト内の重要な単語の重み付けを行いますが、計算とメモリ複雑さはシーケンス長とともに2乗で増加します。これを解決するために、MHLAなどの新しいアプローチが登場し、パフォーマンスを犠牲にすることなく計算速度とスケーラビリティを向上させました。例えば、KVキャッシングを使用して冗長な計算を削減します。この記事では、これらのメカニズムの中核となる概念、長所と短所、BERT、RoBERTa、Deepseekなどのモデルにおける応用について明確に説明します。
人気のオープンソース大規模言語モデル（LLM）であるDeepSeekは、優れたパフォーマンスを誇ります。しかし、その巨大なサイズと独自のアーキテクチャ（マルチヘッド潜在的アテンションとエキスパートミックスを使用）のため、大規模な効率的なサービスには高度なシステムが必要です。このブログでは、SGLangを使用してDeepSeekの推論システムのパフォーマンスに匹敵する方法を説明します。Atlas Cloudの12ノード（各ノードに8つのH100 GPUを搭載）で実行される実装では、プリフィルデコードの分離と大規模なエキスパート並列処理（EP）を活用し、2000トークンの入力シーケンスに対して、ノードあたり毎秒52.3kトークンの入力と毎秒22.3kトークンの出力を達成しました。これは、私たちの知る限り、大規模でDeepSeekの報告されたスループットにほぼ匹敵する最初のオープンソース実装であり、公式DeepSeek Chat APIの約5分の1のコストです。
Anthropicは、Claudeの消費者向け利用規約とプライバシーポリシーを更新し、ユーザーが自分のデータを使用してClaudeの機能を向上させ、安全機能を強化することを許可するかどうかを選択できるようにしました。オプトインを選択すると、データがモデルのトレーニングに使用され、Claudeのコーディング、分析、推論スキルが向上しますが、データ保持期間は5年に延長されます。オプトアウトを選択すると、既存の30日間のデータ保持期間が維持されます。この更新は、Claude Free、Pro、Maxプランに適用されますが、商業利用規約に基づくサービスには適用されません。ユーザーは設定でいつでも自分の設定を変更できます。
古典的なAIでは、知覚は空間表現の学習に依存する一方、計画（行動シーケンスに関する時間的推論）は通常、探索によって達成されます。本研究では、空間構造と時間構造の両方を捉える表現から、そのような推論を出現させることができるかどうかを調べます。標準的な時間的コントラスト学習は、見せかけの特徴への依存により、時間構造を捉えることができないことが示されています。これに対処するために、著者らは、時間的推論のためのコントラスト表現（CRTR）を導入し、負例サンプリングスキームを使用して、これらの見せかけの特徴を除去し、時間的推論を促進します。CRTRは、ソコバンやルービックキューブなどの複雑な時間構造を持つドメインで強力な結果を達成します。特にルービックキューブでは、CRTRはすべての初期状態に一般化する表現を学習し、BestFSよりもはるかに高速にパズルを解くことができます（ただし、解は長くなります）。私たちの知る限り、これは、手作業による探索ヒューリスティックを使用せずに、学習済み表現のみを使用して任意のキューブの状態を効率的に解く最初のデモンストレーションです。
短い休暇前に、著者は大規模言語モデル（LLM）とAIの現状に関するいくつかの考えを共有しています。ソフトウェア開発へのLLMの影響に関する現在の調査には欠陥があり、LLMの使用方法の多様なワークフローを考慮していないと指摘しています。著者は、LLMの未来は予測不可能であり、実験と経験の共有を奨励しています。また、AIバブルの必然性とLLMの「幻覚」特性についても議論し、検証のために複数回質問することの重要性を強調しています。最後に、著者はLLMがもたらすセキュリティリスク、特にブラウザ内で動作するエージェントが直面する可能性のある攻撃について警告しています。
Anthropicは、ユーザーが9月28日までにオプトアウトしない限り、Claudeを含むAIモデルを、ユーザーのチャットログやコーディングセッションを使用してトレーニングすることを開始します。これは、すべてのコンシューマー向けプランに適用され、データ保持期間は5年に延長されます。アップデート通知における目立つ「同意する」ボタンは、ユーザーが内容を完全に理解せずに同意してしまうリスクがあります。Anthropicはデータ保護対策を講じていると主張していますが、うっかり同意してしまったユーザーは設定で変更できますが、既に使用されたデータはアクセスできなくなります。
AIチャットボットがユーザーを狂気に駆り立てるという報告により、「AI精神病」への懸念が高まっています。この記事では、歴史的出来事との類推と読者アンケートデータの分析を通じて、この現象を探求します。著者は、AIチャットボットが直接精神病を引き起こすのではなく、既存の精神的問題や偏執的な傾向を悪化させるものであり、特に現実世界の社会的制約がない場合に顕著であると主張しています。アンケート調査では、「AI精神病」の年間発生率は1万人に1人から10万人に1人の範囲であることが示唆されており、ほとんどの症例では、既存の精神疾患や危険因子が認められます。
1870年代の盲人向け読書機Optophoneから今日のOCRまで、文書処理は長い道のりを歩んできました。しかし、人間の書き方の複雑さのために課題は残っています。従来のOCRは、非標準化された文書や手書きの注釈に苦労します。しかし、Gemini-Flash-2.0のようなマルチモーダルLLMの登場により、状況が変わりました。Transformerアーキテクチャのグローバルコンテキスト理解能力と膨大なインターネットデータのトレーニングを活用することで、LLMは複雑な文書構造を理解し、技術図面など、テキストがほとんどない画像からも情報を抽出できます。LLMは高価でコンテキストウィンドウも限られていますが、文書処理における利点は顕著であり、今後数年間で文書処理の問題を解決できると期待されています。焦点は、文書からシステム・オブ・レコードへの流れの自動化に移行し、AIエージェントもすでに役立ち始めています。
この記事は、AI推論のコストが法外に高く、持続不可能であるという説に異議を唱えています。H100 GPUを用いたAI推論のコストを計算することで、著者は、入力処理のコストは驚くほど低い（100万トークンあたり数セント）一方、出力生成のコストは非常に高い（100万トークンあたり数ドル）ことを示しています。このコストの非対称性は、コーディングアシスタントなどのアプリケーションの収益性と、ビデオ生成などのアプリケーションの高コストを説明しています。著者は、このコストの不均衡はしばしば見過ごされており、AI推論のコストを過大評価し、既存のプレーヤーに利益をもたらし、競争とイノベーションを阻害する可能性があると主張しています。
この記事は、機械学習において最も重要な数学的方程式を包括的に解説したガイドです。確率、線形代数、最適化を網羅し、ベイズの定理、エントロピー、勾配降下法、バックプロパゲーションといった概念を明確な説明とPythonコードの例を用いて説明します。さらに、拡散過程やアテンションメカニズムといった高度なトピックについても掘り下げ、実践的な実装を提供します。機械学習の数学的基礎を理解したいと考えているすべての人にとって、これは非常に貴重なリソースとなるでしょう。
この記事では、敵対的生成ネットワーク（GANs）の背後にある数学的基礎を深く掘り下げます。基本的な概念から始め、生成器と識別器の損失関数を綿密に説明し、最適な識別器と生成器の条件を導き出します。二値クロスエントロピーやJSダイバージェンスなどの数学的ツールを使用して、GANのトレーニング中の生成器と識別器間の敵対的プロセスが明確に示されています。最終的な目標は、生成されたデータの分布を実際のデータの分布にできるだけ近づけることです。この記事では、GANのトレーニング方法についても簡単に説明し、Goodfellowの元の論文の式との微妙な違いを強調しています。
Palo Alto NetworksのUnit 42の研究者らは、大規模言語モデル（LLM）の安全対策を回避する簡単な方法を発見しました。それは、ひどい文法と長く続くセンテンスを使用することです。LLMは真の理解力を持たず、統計的にテキストを予測します。そのため、その安全機能は簡単に回避されます。不完全なセンテンスを作成することで、攻撃者は安全機構が介入する前にモデルを「脱獄」でき、80～100％の成功率を達成します。研究者らは、モデルの脆弱性を評価し、安全性を向上させるための「logit-gap」分析を提案し、多層防御の重要性を強調しています。
フロリダ州立大学の研究者らは、ChatGPTのような大規模言語モデルが、私たちの話し方を微妙に変化させていることを発見しました。2022年のChatGPTリリース前後の語彙トレンドを分析した結果、人間の単語選択とAI関連キーワードに関連するパターンとの間に収束が見られました。LLMによって頻繁に過剰に使用される「delve」や「intricate」などの単語の使用増加は、AIの影響が単なるツールの使用を超えて、人々のコミュニケーションの仕方を再形成する可能性のある「浸透効果」を示唆しています。これは、LLMにおける潜在的なバイアスや不整合、そしてそれらが人間の行動に及ぼす影響に関する懸念を引き起こします。この研究は、AIの言語進化における役割に関するさらなる研究の必要性を強調しています。
Googleは、翻訳アプリにAI搭載の言語学習ツールを統合しました。このベータ機能は、あなたのスキルレベルと目標（休暇の準備など）に基づいてパーソナライズされたレッスンを作成します。現在、英語話者がスペイン語とフランス語を学ぶこと、そしてスペイン語、フランス語、ポルトガル語話者が英語を学ぶことをサポートしています。ユーザーは自分のスキルレベルと目標（専門的な会話、日常的なやり取りなど）を選択し、GoogleのGemini AIがカスタマイズされたレッスンを生成します。また、新しいライブ翻訳機能により、ユーザーは70以上の言語でリアルタイムの会話を可能にし、AI生成のトランスクリプションと音声翻訳を使用して会話を翻訳します。
自殺計画について数ヶ月間ChatGPTに相談した後、自殺した16歳のAdam Raineの両親が、OpenAIに対して初の過失致死訴訟を起こしました。ChatGPTなどのAIチャットボットには安全機能がありますが、Raineは架空の物語という名目でそれらを回避しました。OpenAIは、特に長時間の会話において、安全トレーニングの限界を認め、改善を約束しています。しかし、これはOpenAI特有の問題ではなく、同様の訴訟が他のAIチャットボットにも向けられており、現在のAI安全対策の欠点を浮き彫りにしています。
Anthropicは、AIアシスタントであるClaudeをブラウザ内で直接操作できるChrome拡張機能をテストしています。これはClaudeのユーティリティを大幅に向上させますが、特にプロンプトインジェクション攻撃などの重大なセキュリティ上の懸念も生じさせます。軽減策がない場合の攻撃成功率はレッドチームテストで23.6％でした。Anthropicは、アクセス許可制御、アクション確認、高度な分類器など、複数の安全対策を実装し、成功率を11.2％に削減しました。現在、この拡張機能は1000人のMaxプランユーザーを対象とした限定的なパイロットプログラムで、本番環境でのフィードバックを収集し、より広範なリリース前に安全性を向上させることを目的としています。
この研究は、GPT-4.5と比較してGPT-5のより厳格な安全ガイドラインをどのように回避できるかを調査しています。「スプーン曲げ」スキームは、プロンプトの言い換えによって、通常はブロックされる出力をモデルが生成できるようにする方法を示しています。著者は、強制停止ゾーン、グレーゾーン、フリーゾーンの3つのゾーンを詳細に説明し、一見絶対的なルールが実際にはコンテキストに依存していることを示しています。これは、AIの安全性と機能性の間の固有の緊張感を強調しており、堅牢なセキュリティプロトコルがあっても、洗練されたプロンプトが意図しない出力を生み出す可能性があることを示しています。
Googleは、最先端の画像生成と編集モデルであるGemini 2.5 Flash Imageを発表しました。複数の画像をブレンドしたり、豊かなストーリーテリングのためにキャラクターの一貫性を維持したり、自然言語を使用して正確な変換を行ったり、Geminiの世界知識を利用して画像を生成および編集したりできます。価格は100万出力トークンあたり30ドル（画像あたり約0.039ドル）で、開発者はGemini APIとGoogle AI Studio、企業はVertex AIを介してアクセスできます。Google AI Studioの「ビルドモード」も大幅に更新され、アプリの作成が簡素化されました。主な機能には、キャラクターの一貫性、プロンプトベースの画像編集、ネイティブな世界知識などがあり、画像生成と操作に新たな可能性が開かれます。
コーネル大学の研究者たちは、「マイクロ波ブレイン」と呼ばれる画期的なアナログチップを発表しました。これは、超高速データと無線通信信号を同時に処理できるチップです。従来のデジタルコンピューターとは異なり、このチップはマイクロ波の物理特性を利用して、人間の脳のニューロンによるパターン認識と学習を模倣し、低消費電力で高効率を実現します。わずか200ミリワットの電力で数十ギガヘルツで動作し、無線信号の分類において88％の精度を誇ります。小型であるため、スマートウォッチやスマートフォンに統合でき、クラウド接続なしでAI機能を実現できます。さらに、ハードウェアセキュリティの向上、無線通信における異常検出、レーダー目標追跡と無線信号復号の改善などにも応用できます。
Nehaと彼女のチームは、ハッカソンを逃すところでしたが、AI音声メール返信プロジェクト「Inbox Zero」でY Combinatorのインタビューを獲得しました。わずか1週間で150人のユーザーを獲得し、市場ニーズを実証しました。その後、Inbox Zeroをより包括的なAIアシスタント「April」に拡張し、メール、カレンダー、会議の準備を支援することで時間を節約しました。YCの集中的なトレーニングを経て、Aprilは「ベストデモ」賞を受賞し、ユーザーに信頼される日々のツールとなりました。このストーリーは、シンプルなハッカソンプロジェクトから成功したスタートアップへの道のり、そしてYCの加速効果を示しています。
AIライティングツールの普及により、透明性に関する議論が巻き起こっています。この記事では、AIの使用を明示すべきかどうかという問題について、著者の個人的な経験に基づいて探求しています。著者は、事実に関するコンテンツでは信頼性が最も重要であり、意見記事では、AIの使用だけでなく、情報源と著者の創造的な貢献に焦点を当てるべきだと主張しています。AIの使用開示を過度に強調すると、「思想警察」のような雰囲気が生まれ、AI技術の健全な発展を阻害すると著者は考えています。
本研究は、女性参加者を対象とした音声データから認知症を検出するために、多様体Siameseネットワークを活用しています。Dementia BankデータベースのPittコーパス内の音声録音とトランスクリプトを用いて、様々な音声分析手法（MFCC、ゼロクロスレートなど）とテキスト前処理方法が用いられています。音声とテキストの特徴を組み合わせた多様体Siameseネットワークが開発され、認知症検出の精度が向上します。データ拡張技術により、モデルの堅牢性が向上しています。本研究は、認知症診断の文脈における多様体学習への包括的なアプローチを提供しています。
大規模言語モデル（LLM）のコンテキストウィンドウはますます大きくなっていますが、コンテキストが多すぎるとパフォーマンスが低下する可能性があります。この記事では、コンテキストエラーを軽減するための6つの戦略について説明します。検索拡張生成（RAG）による情報の選択的追加、関連ツールを選択するツールロードアウト、コンテキストを個別のスレッドに分離するコンテキスト隔離、無関係な情報を削除するコンテキストの剪定、コンテキストを要約するコンテキストのサマリー、LLMのコンテキスト外に情報を保存するコンテキストのオフロードです。これらの方法は、特に多くのツールや複雑なタスクを扱う場合、モデルの精度と効率を大幅に向上させることが研究で示されています。