Tags populares：
Virtualização segurança DNS verificação formal análise de alcance IA erros do compilador conflito de macro extensão web framework de desenvolvimento Gráficos de Bitmap Todos os tags

Construindo Agentes de IA Empresariais com Flink SQL: Conectando LLMs a Dados Internos

2025-06-18

Este artigo explora a construção de agentes de IA empresarial usando Flink SQL, conectando modelos de linguagem grandes (LLMs) a dados e recursos internos. Para dados estruturados, a semântica de junção SQL do Flink SQL integra facilmente dados de bancos de dados externos com a entrada do LLM. Para dados não estruturados, o artigo propõe a geração aumentada por recuperação (RAG), codificando dados em vetores armazenados em um banco de dados vetorial, e então consultando e integrando por meio do suporte de tipo vetorial do Flink SQL. Usando o exemplo de resumir artigos de pesquisa e incorporar pesquisas internas, o artigo demonstra a construção de um sistema de agente de IA com dois trabalhos Flink SQL: um atualiza o armazenamento vetorial, o outro consulta e invoca o LLM. Finalmente, menciona o uso de Process Table Functions (PTFs) para integrar o padrão MCP da Anthropic para uma construção de agente de IA mais flexível.

Leia mais
(www.morling.dev)
Desenvolvimento

Stream vs. Batch: Na verdade, é sobre Push vs. Pull

2025-05-18

O debate comum "Stream vs. Batch" é enganoso. Muitos sistemas de streaming usam internamente processamento em lote para melhorar o desempenho, mas a verdadeira distinção reside na semântica de processamento de dados: sistemas 'push' entregam dados em tempo real, fornecendo uma visão completa e atualizada; sistemas 'pull' consultam dados periodicamente, potencialmente perdendo atualizações e exclusões. Embora 'push' seja mais complexo, sua vantagem em tempo real é convincente. Depois de experimentar a mágica da atualização de dados em nível de segundos, você não vai querer voltar. Na prática, ambas as abordagens se complementam, com o processamento em lote frequentemente usado para retroalimentação em sistemas de streaming.

Leia mais
(www.morling.dev)
Desenvolvimento processamento em lote

O Futuro do Kafka: Além das Partições, em Direção a uma Fila de Mensagens Mais Poderosa

2025-04-25

Este artigo explora melhorias futuras para o Kafka, centradas em ir além do acesso baseado em partições para uma abordagem centrada em chaves. Isso permitiria acesso e reprodução de dados mais eficientes, dimensionamento dinâmico de consumidores e resolveria problemas de bloqueio head-of-line. Além disso, propõe recursos como hierarquias de tópicos, controle de concorrência, suporte a schema no lado do broker, extensibilidade, callbacks de commit síncronos, criação de snapshots e suporte multi-tenant para melhorar o desempenho, confiabilidade e facilidade de uso do Kafka, tornando-o mais adequado para aplicativos de dados modernos.

Leia mais
(www.morling.dev)
Desenvolvimento Fila de Mensagens

Cache AOT do Kafka 4.0 aumenta o tempo de inicialização em 59%

2025-03-28

Este artigo demonstra como alavancar a compilação Ahead-of-Time (AOT) do Java para melhorar significativamente o tempo de inicialização do Apache Kafka 4.0. Ao criar um arquivo de cache AOT, o autor reduziu com sucesso o tempo de inicialização do Kafka de 690 milissegundos para 285 milissegundos, uma impressionante melhoria de 59%. O processo envolveu superar um conflito JMX, levando à criação e aplicação bem-sucedidas do cache AOT, resultando em ganhos de desempenho substanciais.

Leia mais
(www.morling.dev)
Desenvolvimento Compilação AOT

O Orçamento de Sincronia: Minimizar Chamadas Síncronas em Sistemas Distribuídos

2025-03-27

Este artigo explora a importância da gestão de chamadas síncronas ao construir sistemas de serviços distribuídos. O autor introduz o conceito de "orçamento de sincronia", defendendo a minimização de solicitações síncronas entre serviços para melhorar o desempenho e a disponibilidade. Chamadas síncronas são caras, afetando os tempos de resposta e a estabilidade do sistema. Usando um exemplo de processamento de pedidos de comércio eletrônico, o artigo demonstra como lidar com interações com serviços de inventário e envio de forma assíncrona (por exemplo, usando o Kafka), reservando chamadas síncronas para situações em que são essenciais (como serviços de pagamento). O autor também abrange o padrão Outbox e a tecnologia CDC para lidar com o armazenamento em buffer de mensagens e sincronização de dados em comunicação assíncrona, atingindo, em última análise, um sistema distribuído de alto desempenho e alta disponibilidade.

Leia mais
(www.morling.dev)
Desenvolvimento Microserviços Comunicação Assíncrona Orçamento de Sincronia