브라우저에서 로컬 LLM 실행: BrowserAI 소개

BrowserAI는 브라우저 내에서 로컬로 대규모 언어 모델(LLM)을 실행할 수 있는 오픈소스 프로젝트입니다. 개인 정보 보호를 중시하여 모든 처리가 로컬에서 이루어지므로 서버 비용이나 복잡한 인프라가 필요 없습니다. MLC 및 Transformers 모델 등 여러 모델을 지원하며 WebGPU를 활용하여 매우 빠른 추론을 제공합니다. 간단한 API를 통해 개발자는 텍스트 생성, 음성 인식, 텍스트 음성 변환을 쉽게 통합할 수 있습니다. 이미 많은 모델이 지원되고 있으며, 고급 RAG 기능 및 엔터프라이즈 기능 등 향후 개선 사항을 보여주는 로드맵이 있습니다.