热门标签：
Mac 多显示器 显示器扩展 requests patch 并发 Alpine Linux BSD Linux 电动汽车 全部标签

基于大型语言模型的文本压缩工具ts_zip问世

2024-12-30

Fabrice Bellard发布了一款名为ts_zip的文本压缩工具，它利用大型语言模型RWKV 169M v4实现远超传统压缩工具的压缩比。ts_zip需要GPU和4GB内存，速度虽然不如传统压缩器，但其在英文及其他语言文本，甚至源代码压缩上表现出色。该工具的压缩率以比特每字节（bpb）衡量，实验结果显示其在enwik8和enwik9数据集上的压缩率显著高于xz。ts_zip采用算术编码和确定性模型评估，保证了压缩文件的可复现解压。

阅读更多
(bellard.org)
开发 RWKV

新型短消息压缩工具ts_sms问世

2024-12-30

ts_sms 是一款利用大型语言模型进行短消息压缩的工具。它采用无损压缩技术，通过识别并消除统计冗余来减少比特数，不会丢失任何信息。与brotli等工具相比，ts_sms在压缩小消息方面具有优势。该工具已发布Linux和Windows版本，其核心技术类似于ts_zip，并使用了与算术编码兼容的特殊填充系统，无需显式编码消息长度。

阅读更多
(bellard.org)
开发 ts_sms