AWS S3 强校验和引发的兼容性问题及OpenDAL 的解决方案
2025-02-20
AWS S3 最新 SDK 默认启用强完整性校验和,虽然提升了安全性,但却打破了与许多兼容 S3 服务的兼容性,例如 Minio、Vast 和 Dell EC 等。这导致一些项目,如 Trino 和 Iceberg,出现兼容性问题。Apache Iceberg 社区已提交 PR 禁用此功能。该事件凸显了直接使用 S3 SDK 的风险,并促进了对 OpenDAL 的关注。OpenDAL 通过直接与 API 通信,避免了 SDK 更新带来的兼容性问题,为用户提供了更稳定可靠的数据访问方式。
开发
OpenDAL