Webtagr - 기술 뉴스 다이제스트

Flink SQL을 사용한 엔터프라이즈 AI 에이전트 구축: LLM과 내부 데이터 연결

2025-06-18

이 글에서는 Flink SQL을 사용하여 엔터프라이즈 AI 에이전트를 구축하고 대규모 언어 모델(LLM)을 내부 데이터 및 리소스에 연결하는 방법을 살펴봅니다. 구조화된 데이터의 경우 Flink SQL의 SQL 조인 의미 체계를 통해 외부 데이터베이스의 데이터와 LLM 입력을 쉽게 통합할 수 있습니다. 비구조화된 데이터의 경우 이 글에서는 검색 증강 생성(RAG)을 제안하며, 데이터를 벡터로 인코딩하여 벡터 데이터베이스에 저장하고 Flink SQL의 벡터 형식 지원을 통해 쿼리 및 통합합니다. 연구 논문 요약 및 내부 연구 통합이라는 예를 사용하여 두 개의 Flink SQL 작업으로 AI 에이전트 시스템을 구축하는 방법을 보여줍니다. 하나의 작업은 벡터 저장소를 업데이트하고 다른 작업은 쿼리를 실행하고 LLM을 호출합니다. 마지막으로, 더욱 유연한 AI 에이전트 구축을 위해 Anthropic의 MCP 표준을 통합하기 위한 프로세스 테이블 함수(PTF)의 사용을 언급합니다.

(www.morling.dev)

개발

스트림 처리 vs. 배치 처리: 실제로는 푸시 vs. 풀

2025-05-18

일반적인 "스트림 처리 vs. 배치 처리" 논쟁은 오해의 소지가 있습니다. 많은 스트림 처리 시스템은 내부적으로 배치 처리를 사용하여 성능을 향상시키지만, 실제 차이는 데이터 처리 의미 체계에 있습니다. "푸시" 시스템은 실시간으로 데이터를 제공하여 완전하고 최신의 뷰를 제공합니다. "풀" 시스템은 주기적으로 데이터를 쿼리하므로 업데이트 및 삭제를 놓칠 수 있습니다. "푸시"는 더 복잡하지만 실시간 이점은 설득력이 있습니다. 일단 초 단위의 데이터 신선도를 경험하면 다시는 없이는 못할 것입니다. 실제로 두 가지 접근 방식은 서로 보완하며, 배치 처리는 스트림 기반 시스템에서 백필에 자주 사용됩니다.

(www.morling.dev)

개발 배치 처리

Kafka의 미래: 파티션을 넘어 더욱 강력한 메시지 큐로

2025-04-25

이 글에서는 Kafka의 미래 개선 방향을 논하며, 핵심은 파티션 기반 접근 방식에서 키 중심 접근 방식으로 전환하는 것입니다. 이를 통해 더욱 효율적인 데이터 접근 및 재생, 동적 소비자 확장이 가능해지고 헤드 오브 라인 블로킹 문제도 해결됩니다. 또한, 토픽 계층 구조, 동시성 제어, 브로커 측 스키마 지원, 확장성, 동기 커밋 콜백, 스냅샷 기능, 다중 테넌시 지원 등의 기능을 제안하여 Kafka의 성능, 안정성, 사용 편의성을 향상시키고 현대적인 데이터 애플리케이션에 더욱 적합하게 만들고자 합니다.

(www.morling.dev)

개발 메시지 큐

Kafka 4.0 AOT 캐시를 사용한 시작 시간 59% 단축

2025-03-28

이 글에서는 Java의 Ahead-of-Time(AOT) 컴파일 기술을 활용하여 Apache Kafka 4.0의 시작 시간을 크게 단축하는 방법을 보여줍니다. AOT 캐시 파일을 생성하여 Kafka의 시작 시간을 690밀리초에서 285밀리초로 단축시켜 놀라운 59%의 성능 향상을 달성했습니다. 이 과정에서 JMX 충돌 문제를 해결하고 최종적으로 AOT 캐시 생성 및 적용에 성공하여 상당한 성능 향상을 얻었습니다.

(www.morling.dev)

개발 AOT 컴파일

동기화 예산: 분산 시스템에서 동기 호출 최소화

2025-03-27

이 글에서는 분산 서비스 시스템을 구축할 때 동기 호출 관리의 중요성을 살펴봅니다. 저자는 '동기화 예산'이라는 개념을 소개하며, 서비스 간 동기 요청을 최소화하여 성능과 가용성을 향상시키는 것을 주장합니다. 동기 호출은 비용이 많이 들고 응답 시간과 시스템 안정성에 영향을 미칩니다. 전자상거래 주문 처리를 예로 들어, 재고 및 배송 서비스와의 상호 작용을 비동기 통신(예: Kafka 사용)으로 처리하고, 지불 서비스와 같이 필수적인 경우에만 동기 호출을 사용하는 방법을 보여줍니다. 또한 비동기 통신에서 메시지 버퍼링 및 데이터 동기화를 처리하기 위한 Outbox 패턴과 CDC 기술에 대해 설명하며, 궁극적으로 고성능, 고가용성 분산 시스템을 구현하는 방법을 제시합니다.

(www.morling.dev)

개발 비동기 통신 동기화 예산