ニューラル埋め込みの構造に関する洞察

2024-12-27

この記事では、深層ニューラルネットワークによって生成される埋め込み(潜在空間)の構造を探ります。いくつかの重要な仮説がまとめられています。多様体仮説(高次元データは低次元多様体上に存在する)、階層的組織化(特徴は層全体で階層的に組織化される)、線形仮説(ニューラルネットワークは特徴を活性化空間内の線形方向として表現する)、重ね合わせ仮説(ニューラルネットワークは、層が持つニューロン数よりも多くの「独立した」特徴を表現する)、普遍性仮説(同じデータに対する異なるモデルで回路が再出現する)、敵対的脆弱性(入力空間の小さな変化が埋め込みに大きな変化を引き起こす)、ニューラル崩壊(トレーニング後、クラスの特徴は平均値の周りに密にクラスター化する)。これらの仮説は、深層ニューラルネットワーク埋め込みの複雑さと潜在的な限界を明らかにしています。

続きを読む

マッキンゼーはいかにしてアメリカの中産階級を破壊したか

2024-12-29

この記事は、マッキンゼーなどの経営コンサルティング会社がアメリカの中産階級の衰退に及ぼした影響を検証しています。著者は、マッキンゼーが株主優先主義を推進し、企業構造の合理化と中間管理職の削減を目的とした戦略(「リエンジニアリング」や「間接費価値分析」など)を実施したことで、大量解雇、中間管理職と労働者の雇用減少、労働組合の弱体化を招き、最終的にアメリカの経済格差の拡大と中産階級の破壊につながったと主張しています。著者は、この「テクノクラート的経営」は構造的な不平等問題を解決できず、むしろエリートと一般市民の格差を広げていると結論づけています。

続きを読む
スタートアップ 中産階級 経済格差

プログラマーの復讐:z/OSでHelloWorldを実行する苦難の旅

2024-12-29

かつて大学院でオペレーティングシステムとの対話に無関心だったプログラマーが、ブログ記事のためにIBMのz/OSシステムと格闘することになったという話。z/OSは現代のソフトウェア開発環境とは大きく異なり、テキストベースのインターフェース、JCLスクリプト、IBM独自の命名規則など、多くの困難が待ち受けていました。この記事では、ファイル(データセット)の作成、ISPFエディターの使用、データセットの割り当て、コンパイル、リンク、ロード、そしてSPOOLを使用した出力処理といった苦労が詳細に記述されています。実用的なヒントや教訓も共有されており、レガシーシステムでの作業の難しさを物語っています。

続きを読む

4枚の4090GPUで独自のLLMをローカルで訓練する

2024-12-28

AI愛好家が、4枚のNVIDIA 4090 GPUを使用して大規模言語モデル(LLM)をローカルで訓練するための自作マシンを構築しました。費用は約12,000ドル。このセットアップでは、最大10億パラメーターのモデルを訓練できますが、約5億パラメーターのモデルで最適なパフォーマンスを発揮します。この記事では、ハードウェアの選択(マザーボード、CPU、RAM、GPU、ストレージ、電源、ケース、冷却システム)、組み立て手順、ソフトウェア構成(OS、ドライバー、フレームワーク、カスタムカーネル)、モデルの訓練、最適化、メンテナンスについて詳しく説明しています。George Hotzのカーネルパッチを使用して4xxx GPUのピアツーピア通信を有効にするなどのヒントも含まれています。ローカル訓練の利点を強調しながら、著者はいずれかのタスクに対するクラウドソリューションのコスト効率の高さにも言及しています。

続きを読む

Linux GitコミットのSHAプレフィックス衝突リスクが差し迫る

2024-12-31

Linuxの「Fixes」タグは従来、12文字のコミットSHAプレフィックスを使用していましたが、コミット数の増加に伴い、衝突のリスクが高まっています。セキュリティ研究者のKees Cookは、12文字のプレフィックス衝突を発生させることに成功し、「Fixes」タグを解析するツールが壊れました。この衝突は、Linux 2.6.12-rc2の最初のコミットIDを利用しており、linux-nextの「Fixesタグチェッカー」やLinux CNAのコミットパーサーなどのツールに影響を与えます。将来の衝突を防ぐために、Cookは最小短縮IDを16文字に増やすことを提案しており、ツール開発者が修正を行うためのテストコミットを公開しました。

続きを読む
開発

RubyConf 2024: クラウドネイティブビルドパックハッカソン

2024-12-30

Richard Schneemanは、RubyConf 2024でクラウドネイティブビルドパック(CNB)ハッカソンを開催し、Rubyのデプロイツールについて学習し、貢献することを支援します。イベントでは、既存のビルドパックの修正から新規ビルドパックの作成まで、さまざまな難易度のタスクを用意し、様々なスキルレベルに対応しています。現地に参加できない場合でも、提供されたリソースを使用して参加できます。

続きを読む

プログラマーがネイティブFlame Graphビューアを構築:Xlibとパフォーマンスのボトルネックを克服

2024-12-25

Rust Analyzerのデバッグが必要になったRustプログラマーが、ネイティブのFlame Graphビューアを構築に着手しました。様々なGUIツールキットを試しましたが、メモリ消費が大きすぎることが判明しました。そこで彼はXlibを巧みに使用し、スクロールのパフォーマンス、数千個のボタンのレンダリング、マウス操作の処理といった課題を克服しました。その結果、軽量で効率的なFlame Graphビューアが完成しました。このプロジェクトは、優れたプログラミングスキルとパフォーマンス最適化に関する深い理解を示しており、他の開発者にとって貴重な教訓となります。

続きを読む
開発

Pythonのsubprocessのデフォルト動作変更:パフォーマンス向上とセキュリティのバランス

2024-12-26

Pythonのsubprocessモジュールは、すべてのファイルディスクリプタを閉じるというデフォルト動作を変更します。この変更は、特に大量のファイルディスクリプタを扱う場合のパフォーマンス向上を目指しており、個々のディスクリプタを閉じることで発生するパフォーマンスボトルネックを回避します。しかし、デフォルト動作の変更はセキュリティリスクをもたらす可能性があります。開発者は、`close_fds`パラメータを状況に応じて選択し、適切なセキュリティ対策(すべてのファイルディスクリプタを継承不可としてマークするなど)を講じる必要があります。この変更は、パフォーマンスとセキュリティのバランスを考慮しており、開発者により柔軟で効率的なサブプロセスの管理ソリューションを提供することを目的としています。

続きを読む
開発

現在のAIは行き詰まりか?

2024-12-27

レスター大学のデモンフォート大学のエーク・ボイテン教授は、ChatGPTなどの大規模ニューラルネットワークに基づく現在のAIシステムは、その固有の複雑さと予測不可能性のために、重要な用途には適していないと主張しています。これらのシステムは、管理可能性、透明性、説明責任を欠いており、その動作は構成的ではなく、創発的であるため、効果的な検証とエラー修正が困難です。ボイテン教授は、現在のAI開発の方向性は行き詰まりである可能性があり、より信頼性の高いAIシステムを構築するために、構成的なニューラルネットワークや、記号的推論を組み合わせたハイブリッドアプローチを探求する必要があると示唆しています。

続きを読む
AI

実行ユニットはしばしばパイプライン化される

2024-12-30

このブログ記事は、アウトオブオーダーマイクロアーキテクチャにおける実行ユニットのパイプライン化について考察しています。著者は当初、実行ユニットはμopの処理が完了するまで占有されたままであると考えていましたが、Firestormマイクロアーキテクチャ(A14およびM1)を例に、2つの整数実行ユニットが複数の乗算を同時に処理でき、それぞれ3サイクルかかることを示しています。依存命令シーケンスと独立命令シーケンスの実行時間を比較することで、多くの実行ユニット/μopの組み合わせが高度にパイプライン化されていることが明らかになり、ユニットが他のμopを処理している間にもμopを発行できることが示されています。これにより、独立命令シーケンスの実行時間が予測値の6サイクルから4サイクルに短縮されます。最後に、著者は、命令レイテンシと帯域幅の表が逆数スループットを指定する理由を説明しています。それはサイクル/命令に相当するためです。

続きを読む

米国政府、コード共有を義務付け、数十億ドルの節約を目指す

2024-12-27

バイデン大統領はSHARE IT法に署名し、米国連邦政府機関がカスタム開発されたソースコードを共有することを義務付け、冗長なソフトウェア開発コストの削減を目指します。この法律は、カスタムコードを公開リストに掲載し共有することで、年間約120億ドルの節約を目指しており、重複する作業のために知らないうちに支払いをしていることを防ぎます。この法律は、機密コード、国家安全保障システム、共有した場合にプライバシーリスクが生じるコードを除外しています。この取り組みは、AtlassianやGitLabなどのソフトウェア企業から支持されており、コード共有は効率性とイノベーションを促進すると考えています。

続きを読む

ワイドイベント:観測可能性向上のための実践ガイド

2024-12-24

この記事では、「ワイドイベント」というオブザーバビリティのアプローチを紹介します。これは、各作業単位について収集可能なすべての情報を含む単一のイベントを発行することで、システム監視とデバッグを強化します。著者は、適切なツール(Honeycombなど)の選択方法、豊富な属性の追加方法(サービスメタデータ、インスタンス情報、ビルド情報、HTTPリクエストとレスポンスの詳細、ユーザーと顧客の情報、レート制限、キャッシュ情報、ローカライズ情報、アップタイム、メトリクス、非同期リクエストのサマリー、サンプリング情報、タイミング情報など)、エラーと機能フラグの処理方法について詳しく説明しています。過剰なデータ量、冗長なデータ、既存のメトリクスとの関係など、よくある懸念事項にも対処しています。この記事では、このアプローチの実用的な価値を強調し、デバッグの簡素化と予期せぬシステム動作の発見方法を示しています。

続きを読む

周波数モーメント推定における最適空間計算量のブレイクスルー

2024-12-29

Mark BravermanとOr Zamirによる論文で、周波数モーメント推定の最適空間下限がΩ(log(nε²)/ε²)であることが証明されました(ε = Ω(1/√n))。この研究は、計算複雑性分野における長年の問題を解決し、特定の範囲において、古典的なAlon-Matias-Szegedyの上限と一致しています。さらに、εの値が小さい場合、周波数モーメント推定の空間計算量をさらに洗練する改良アルゴリズムも提案されています。この画期的な成果は、ストリームデータ処理やアルゴリズム設計にとって重要な理論的指針となります。

続きを読む

アセンブリ言語への第一歩:ビットベクトルを用いた字句解析器の最適化

2024-12-25

「Goでインタプリタを書く」を読んでから、あるプログラマーがZigとRustで書き直しを試み、字句解析器のパフォーマンス最適化に注力しました。彼は分岐、ルックアップテーブル、ビットベクトルという複数の方法を検討しました。ビットベクトルはASCII文字をビットにマッピングすることで状態表現を圧縮し、メモリ使用量を削減し、ルックアップ効率を向上させます。SIMD命令の利用は失敗に終わりましたが、Zigでビットベクトルを成功裏に実装し、ベンチマークで良好な結果を得て、アセンブリプログラミングとパフォーマンス最適化の貴重な経験を積みました。

続きを読む

健康保険の怒り、子ども向けバイオニックアームの資金調達に繋がる

2024-12-30

左腕がない9歳のレミは、健康保険会社Select Healthから2万4000ドルのバイオニックアームの費用を拒否された。保険会社はそれを「美容目的」とみなしたためだ。 悲しんだ両親はGoFundMeで資金調達を行い、目標額をはるかに上回る3万ドル以上を集めた。レミは余剰金を、同じ状況にある別の子供に寄付することを決めた。この出来事は、アメリカの医療制度への批判を巻き起こした。

続きを読む

Arcan 0.7リリース:All-Tomatoデスクトップアップデートが登場

2024-12-26

Arcan 0.7のリリースは、「デスクトップ上の無秩序」プロジェクトの第2フェーズの終了と最終フェーズの開始を示しています。このリリースは、バグ修正とLash#Cat9およびXarcanの改善に焦点を当てています。Luaベースのコマンドライン環境であるLash#Cat9は、デバッグアダプタープロトコルの実装とインタラクティブスプレッドシートなどの機能を追加します。Xarcanは、カスタムウィンドウマネージャーを可能にし、Arcanをディスプレイドライバーとして使用して、Xサーバーとの相互運用を実現します。Arcan 0.7は、パフォーマンスとセキュリティの向上を目指しており、将来のバージョンでは、より柔軟なリモートプログラミングとよりシンプルなデバイス接続が予定されています。

続きを読む
開発

あなた自身の仮想マシンを作成する:ステップバイステップガイド

2024-12-26

このチュートリアルでは、2048やRoguelikeゲームなどのアセンブリ言語プログラムを実行できる独自の仮想マシン(VM)を構築する方法を段階的に説明します。すでにプログラマーである場合でも、このプロジェクトはコンピューターアーキテクチャとプログラミング言語の動作に関するより深い理解を提供します。このチュートリアルでは、VMの基本概念、LC-3アーキテクチャ、命令セット、トラップルーチン、プログラムのロードなどを詳細なコード例と説明と共に解説します。最終的なコードは約250行のC言語で記述されており、C/C++の基本的な知識があればアクセスできます。

続きを読む
開発

YC支援のHarper、1000億ドル規模の保険市場を改革するAI創設エンジニアを募集

2024-12-27

Y Combinator支援のAIネイティブ商業保険ブローカーであるHarperは、AI創設エンジニアを募集しています。同社は、AIを活用して1000億ドルを超える過剰および剰余(E&S)保険市場に革命を起こし、数週間かかるプロセスを瞬時に行うことを目指しています。理想的な候補者は、最新のAI/MLスタックに関する深い経験を持ち、迅速な反復処理を好むとともに、AIの安全性と信頼性を理解しています。Harperは競争力のある給与と多額の株式を提供し、革命的な製品を構築し所有したいと考えているエンジニアをターゲットにしています。

続きを読む

Sonair、Rustで3D超音波センサー開発を加速

2024-12-28

Sonair社は、画期的な3D超音波センサーの開発を劇的に加速するために、Rustプログラミング言語を活用しました。この記事では、速度、安全性、堅牢なエコシステムなど、Rustを選択した理由を詳しく説明しています。チームは当初Rustの経験がありませんでしたが、驚くほど簡単に習得でき、強力な型システムと借用チェッカーにより、より安全で信頼性の高いコードを作成することができました。Sonair社は、本番環境でRustを使用し、アルゴリズムのプロトタイピングにはPythonを使用することで、効率的なワークフローを実現しています。最終的に、Sonair社は、安全認証済みのRust実装を展開する最初の企業の1つになることを目指しており、組み込みシステムにおける機能安全の新しい基準を確立しようとしています。

続きを読む

テクノロジー倫理の危機:巨大テック企業は公益に貢献しているか?

2024-12-29

ライス大学のMoshe Y. Vardi教授は、テクノロジー倫理危機に関する以前の立場を見直します。当初、法律や規制だけでコンピューティングの悪影響に対処できると考えていましたが、巨大テック企業の増大する権力とそのビジネスモデルに内在する倫理的問題を考慮すると、真の倫理危機があると主張するようになりました。彼は巨大テック企業で働くことの倫理性を問い、テクノロジーワーカーに自己利益と公益のバランスを考慮し、ACMの倫理規定を参照して公益を支援することを促します。この記事ではUberなどの事例を取り上げ、従業員が、たとえ無意識であっても、非倫理的な慣行に関与する可能性を示しています。最終的にVardi教授は、テクノロジー業界は倫理的なジレンマに対処するために真剣な自己省察が必要だと結論づけています。

続きを読む

OpenAIのGPT-5プロジェクト、遅延と高コストに直面

2024-12-23

ウォールストリートジャーナルによると、OpenAIのGPT-5プロジェクト(コードネーム「オリオン」)は大幅に遅延しており、莫大なコストがかかっている。ChatGPTを支える技術の大きな進歩となる予定だったが、野心的な知能目標を達成するためのデータが不十分であることなど、様々な課題に直面している。OpenAI最大の投資家であるMicrosoftは、新しいモデルを2024年半ばまでに期待していたが、そのタイムラインは不確実になっている。18ヶ月以上続いているこのプロジェクトの未来は不透明だ。

続きを読む
AI

エンジニアが開発、透視も可能な驚異のカメラ

2024-12-25

YouTubeチャンネル「Stuff Made Here」のクリエイター、Shane Wighton氏が、驚くべきカメラを開発しました。このカメラは、透視を無視し、壁の向こう側さえも見ることができるのです。従来のレンズではなく、精巧な機械システムを用いて、1ピクセルずつシーンをスキャンし、完全な画像を構築します。回転式ガントリーと精密に制御されたミラーにより、カメラは3D空間を動き回り、複数の視点から画像を捉え、最終的な画像を再構築します。これにより、透視効果のない画像の作成、逆透視の実現、さらには物体の背後にあるものの視認が可能となり、驚くべきエンジニアリングと画像処理技術の成果を示しています。

続きを読む
テクノロジー カメラ技術 透視

NASAとAxiom Space、商業宇宙ステーションの組立順序を変更

2024-12-29

NASAとAxiom Spaceは、Axiom Spaceの商業宇宙ステーションの組立順序を改訂しました。新しい計画では、ペイロード、電力、サーマルモジュールの打ち上げを優先することで、Axiomステーションは2028年までに国際宇宙ステーション(ISS)から独立して自由飛行を行う目的地となることを可能にします。これにより、Axiomステーションの運用能力が向上し、ISSへの依存度が低下し、2030年以降のISSの運用終了に備えることができます。NASAは、微小重力研究における米国のリーダーシップを維持し、将来の宇宙探査目標に貢献するために、複数の商業宇宙ステーションの研究開発を継続的に支援しています。

続きを読む
テクノロジー 商業宇宙ステーション

インテル前CEOとCFO、報酬巡る株主訴訟に直面

2024-12-24

インテルの前CEO、パット・ゲルシンガー氏と現CFO兼暫定共同CEOのデイビッド・ジンスナー氏は、インテルのファウンドリ部門の財務業績について株主を誤解させたとして、株主代表訴訟に直面している。訴訟は、彼らが受託者責任と契約上の義務に違反したと主張し、すべての利益、恩恵、および報酬の返還を求めている。これは、ゲルシンガー氏の立て直し計画の失敗とインテルの過去最高の四半期損失に続き、ファウンドリ事業が主要な損失源として特定されている。訴訟は、インテルが株主の信頼を取り戻し、企業イメージを再構築する上で直面する課題を浮き彫りにしている。

続きを読む
テクノロジー 財務不正報告 株主訴訟

SBCLコンパイラの最適化:(lambda () nil)のコンパイル速度向上

2024-12-28

SBCLコンパイラに、`(lambda () nil)`のような空関数のコンパイル速度を劇的に向上させるための重要な最適化が実装されました。以前は、コンパイルによって多くの冗長な関数が生成されていました。この最適化は、そのような特殊なケースを識別して処理し、事前に定義された空関数を直接返すことで、不要な計算を回避し、コンパイル速度を大幅に向上させます。空関数を含む大量のコードを処理する場合に特に効果的で、コンパイル時間を短縮し、開発者の生産性を向上させます。

続きを読む

Caravan:JavaScript/TypeScriptアプリケーションのための柔軟なトランスポートベースのロギングシステム

2024-12-28

Caravanは、JavaScript/TypeScriptアプリケーションのための柔軟なトランスポートベースのロギングシステムです。複数のトランスポート(コンソール、ファイル、Datadog、BetterStackなど)、ログレベルのフィルタリング、フォークされたロガーによるコンテキストバインディング、データの改ざん防止機能をサポートしています。開発者は、基本的なメッセージ、メタデータ、コンテキストに依存した情報を簡単にログに記録でき、デバッグと監視が向上します。TypeScriptファースト設計により、開発者のエクスペリエンスが向上します。

続きを読む

コストコ、DEIイニシアチブ撤廃を求める株主の要求を拒否

2024-12-28

コストコの取締役会は、同社の多様性、公平性、包括性(DEI)プログラムの見直しを求める株主提案を拒否しました。法的および財務上のリスクがあるという理由です。取締役会は、DEIへのコミットメントは、尊重と包括性を重視する職場環境を育成し、従業員の士気を高め、イノベーションを促進するために不可欠であると反論しました。彼らはプログラムの合法性を維持し、その有効性に関する継続的な評価を強調しました。この決定は、米国企業におけるDEIイニシアチブをめぐる継続的な議論を浮き彫りにしています。

続きを読む
スタートアップ コストコ 株主提案

プレイステーション、ライブサービスゲームへの注力を継続

2024-12-31

いくつかのライブサービスタイトルにおける最近の逆境にもかかわらず、プレイステーションの共同CEOであるハーマン・ハルスト氏は、ファミ通との最近のインタビューで、同社がこのモデルへのコミットメントを再確認しました。彼はHelldivers 2の成功を主要な例として挙げ、継続的なコンテンツアップデートと強力なプレイヤーエンゲージメントを強調しました。競争環境を認識しながら、プレイステーションはポートフォリオのバランスを取り、ライブサービスゲームとストーリー主導のシングルプレイヤーゲームの両方を開発し続けることを目指しています。

続きを読む

OpenAI、バブル懸念の中、巨額資金調達を模索

2024-12-29

OpenAIの取締役会は最近、競争の激しいAI業界を乗り切るために、大幅な追加資金の必要性を発表しました。記事は、OpenAIが現在、AIチャットボットで最高のユーザーエクスペリエンスを提供しているものの、技術的なモートがないため、投資バブルの中心にいると主張しています。著者は、1990年代のNetscapeとOpenAIを比較し、生成AIがコモディティ化された技術になり、持続的な競争優位性を築くのが難しくなると示唆しています。巨額の資金を調達しているにもかかわらず、OpenAIの非営利組織から営利企業への移行は不確実であり、途方もない資金調達への継続的な取り組みは、ポンジスキームを連想させる懸念を引き起こしています。

続きを読む

ドイツ規制当局、サム・アルトマンのWorldプロジェクトによる生体認証データの削除を命令

2024-12-22

ドイツのバイエルン州データ保護監督局(BayLDA)は、サム・アルトマンが共同設立した生体認証識別プロジェクトであるWorldに対し、ユーザーデータの削除を命令しました。BayLDAは、Worldのデータ収集方法がEU一般データ保護規則(GDPR)に違反し、重大なデータ保護リスクがあると判断しました。Worldは、'Orb'と呼ばれるデバイスを使用して虹彩と顔をスキャンして識別を行います。同社は、この決定を不服として控訴し、プライバシー強化技術がEUの匿名化の定義を満たしているかどうかについて明確化を求めています。

続きを読む
テクノロジー 生体認証
1 2 17 18 19 21 23 24 25 56 57