人気のタグ：
仮想化 DNSセキュリティ 形式的検証 到達可能性解析 C言語 コンパイラエラー マクロの衝突 Web拡張機能 開発フレームワーク コモドール64 すべてのタグ

Flink SQLを用いたエンタープライズAIエージェントの構築：LLMと内部データの接続

2025-06-18

この記事では、Flink SQLを使用してエンタープライズAIエージェントを構築し、大規模言語モデル（LLM）を内部データとリソースに接続する方法を探ります。構造化データの場合、Flink SQLのSQL結合セマンティクスにより、外部データベースのデータとLLM入力を容易に統合できます。非構造化データの場合、この記事では、Retrieval-Augmented Generation（RAG）を提案しており、データをベクトルにエンコードしてベクトルデータベースに保存し、Flink SQLのベクトル型サポートを使用してクエリと統合します。研究論文の要約と社内研究の統合という例を用いて、2つのFlink SQLジョブでAIエージェントシステムを構築する方法を示します。1つのジョブはベクトルストアを更新し、もう1つのジョブはクエリを実行してLLMを呼び出します。最後に、より柔軟なAIエージェント構築のために、AnthropicのMCP標準を統合するためのProcess Table Functions（PTFs）の使用について言及しています。

続きを読む
(www.morling.dev)
開発

ストリーム処理 vs. バッチ処理：実際はプッシュ vs. プル

2025-05-18

一般的な「ストリーム処理 vs. バッチ処理」の議論は誤解を招くものです。多くのストリーム処理システムは内部的にバッチ処理を使用してパフォーマンスを向上させていますが、本当の差異はデータ処理のセマンティクスにあります。「プッシュ」システムはリアルタイムでデータを提供し、完全で最新の状態を提供します。「プル」システムは定期的にデータに問い合わせるため、更新や削除を見逃す可能性があります。「プッシュ」はより複雑ですが、リアルタイムでの利点は説得力があります。一度、秒単位のデータの鮮度を体験すると、もう二度とそれなしではいられません。実際には、両方のアプローチは互いに補完し合い、バッチ処理は、そうでなければストリームベースのシステムにおいて、バックフィルによく使用されます。

続きを読む
(www.morling.dev)
開発 バッチ処理

Kafkaの未来：パーティションを超えて、より強力なメッセージキューへ

2025-04-25

この記事では、Kafkaの将来的な改善について考察しており、その中心はパーティションベースのアクセスからキー中心のアプローチへの移行です。これにより、より効率的なデータアクセスと再生、動的なコンシューマのスケーリングが可能になり、ヘッドオブラインブロッキングの問題も解決されます。さらに、トピック階層、同時実行制御、ブローカーサイドのスキーマサポート、拡張性、同期コミットコールバック、スナップショット機能、マルチテナントサポートなどの機能を提案し、Kafkaのパフォーマンス、信頼性、使いやすさを向上させ、現代的なデータアプリケーションに最適化することを目指しています。

続きを読む
(www.morling.dev)
開発 メッセージキュー

Kafka 4.0のAOTキャッシュによる起動時間59%短縮

2025-03-28

この記事では、JavaのAhead-of-Time（AOT）コンパイル技術を利用して、Apache Kafka 4.0の起動時間を大幅に短縮する方法を示しています。AOTキャッシュファイルを作成することで、Kafkaの起動時間を690ミリ秒から285ミリ秒に短縮し、驚異の59%の改善を実現しました。この過程では、JMXの競合問題を解決し、最終的にAOTキャッシュの作成と適用に成功し、大幅なパフォーマンス向上を得ることができました。

続きを読む
(www.morling.dev)
開発 AOTコンパイル

同期予算：分散システムにおける同期呼び出しの最小化

2025-03-27

この記事では、分散サービスシステム構築における同期呼び出しの管理の重要性を探ります。著者は「同期予算」という概念を紹介し、サービス間の同期要求を最小限に抑えることで、パフォーマンスと可用性を向上させることを提唱しています。同期呼び出しはコストが高く、応答時間とシステムの安定性に影響を与えます。eコマースの注文処理を例に、在庫や配送サービスとのやり取りを非同期通信（Kafkaなどを使用）で処理し、支払いサービスなど、どうしても必要な場合にのみ同期呼び出しを使用する方法を示しています。また、非同期通信におけるメッセージバッファリングとデータ同期を処理するためのOutboxパターンとCDC技術についても説明し、最終的に高性能で高可用性の分散システムを実現する方法を示しています。

続きを読む
(www.morling.dev)
開発 非同期通信 同期予算