BLAST: 고성능 웹 브라우징 AI 서빙 엔진

BLAST는 OpenAI 호환 API와 내장된 동시성 및 스트리밍 기능을 갖춘 고성능 웹 브라우징 AI 서빙 엔진입니다. 비용을 절감하고 대화형 대기 시간을 가능하게 하기 위해 작업의 자동 캐싱 및 병렬화를 수행합니다. 간단한 `pip install blastai && blastai serve` 명령어로 로컬에서 실행할 수 있으며, 예산이나 메모리 소비를 걱정할 필요가 없습니다. OpenAI 호환 API를 통해 쉽게 통합할 수 있으며, 브라우저 확장 LLM 출력을 실시간으로 스트리밍할 수 있습니다.