arXivLabs는 협력자들이 arXiv의 새로운 기능을 직접 arXiv 웹사이트에서 개발하고 공유할 수 있는 프레임워크입니다. arXivLabs에 참여하는 개인 및 조직은 개방성, 커뮤니티, 우수성, 사용자 데이터 개인 정보 보호라는 arXiv의 가치를 수용하고 있습니다. arXiv는 이러한 가치를 준수하며, 이러한 가치를 준수하는 파트너와만 협력합니다. arXiv 커뮤니티에 도움이 되는 프로젝트 아이디어가 있으십니까? arXivLabs에 대해 자세히 알아보세요.
더 보기
arXivLabs는 협력자들이 arXiv의 새로운 기능을 웹사이트에서 직접 개발하고 공유할 수 있는 실험적인 프레임워크입니다. arXivLabs와 협력하는 개인 및 조직은 개방성, 커뮤니티, 우수성, 사용자 데이터 개인 정보 보호라는 우리의 가치를 수용하고 있습니다. arXiv는 이러한 가치에 전념하며, 이러한 가치를 준수하는 파트너와만 협력합니다. arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있습니까? arXivLabs에 대해 자세히 알아보세요.
더 보기
arXivLabs는 협력자가 arXiv의 새로운 기능을 웹사이트에서 직접 개발하고 공유할 수 있는 프레임워크입니다. 참여자는 개인이든 조직이든 개방성, 커뮤니티, 우수성, 사용자 데이터 개인 정보 보호라는 arXiv의 가치를 공유합니다. arXiv는 이러한 가치에 전념하며, 이러한 가치를 공유하는 파트너와만 협력합니다. arXiv 커뮤니티에 도움이 되는 프로젝트 아이디어가 있으십니까? arXivLabs에 대해 자세히 알아보세요.
더 보기
arXivLabs는 참여자가 arXiv의 새로운 기능을 웹사이트에서 직접 개발하고 공유할 수 있는 실험적인 프레임워크입니다. 참여자는 arXiv의 개방성, 커뮤니티, 우수성, 사용자 데이터 개인 정보 보호라는 가치를 준수해야 합니다. arXiv 커뮤니티를 개선할 아이디어가 있으십니까? arXivLabs에 대해 자세히 알아보세요.
더 보기
arXivLabs는 협력자들이 arXiv의 새로운 기능을 웹사이트에서 직접 개발하고 공유할 수 있는 프레임워크입니다. arXivLabs에 참여하는 개인 및 조직은 개방성, 커뮤니티, 우수성, 사용자 데이터 개인 정보 보호라는 arXiv의 가치를 수용합니다. arXiv는 이러한 가치를 위해 노력하며, 이러한 가치를 준수하는 파트너와만 협력합니다. arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있으십니까? arXivLabs에 대해 자세히 알아보세요.
더 보기
arXivLabs는 참여자가 arXiv의 새로운 기능을 웹사이트에서 직접 개발하고 공유할 수 있는 프레임워크입니다. 참여자는 개인 또는 조직 모두 arXiv의 개방성, 커뮤니티, 우수성, 사용자 데이터 개인 정보 보호라는 가치를 공유합니다. arXiv는 이러한 가치에 전념하며, 이러한 가치를 공유하는 파트너와만 협력합니다. arXiv 커뮤니티를 향상시킬 아이디어가 있으십니까? arXivLabs에 대해 자세히 알아보세요.
더 보기
arXivLabs는 참여자들이 arXiv의 새로운 기능을 웹사이트에서 직접 개발하고 공유할 수 있는 프레임워크입니다. arXivLabs에 참여하는 개인 및 조직은 개방성, 커뮤니티, 우수성, 사용자 데이터 개인 정보 보호라는 arXiv의 가치를 수용합니다. arXiv는 이러한 가치에 전념하며, 이러한 가치를 공유하는 파트너와만 협력합니다. arXiv 커뮤니티를 향상시킬 아이디어가 있으십니까? arXivLabs에 대해 자세히 알아보세요.
더 보기
arXivLabs는 협력자들이 arXiv의 새로운 기능을 웹사이트에서 직접 개발하고 공유할 수 있는 프레임워크입니다. arXivLabs에 참여하는 개인 및 조직은 개방성, 커뮤니티, 우수성, 사용자 데이터 개인 정보 보호라는 arXiv의 가치를 수용하고 있습니다. arXiv는 이러한 가치를 중시하며, 이러한 가치를 준수하는 파트너와만 협력합니다. arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있으십니까? arXivLabs에 대해 자세히 알아보세요.
더 보기
arXivLabs는 협력자가 arXiv의 새로운 기능을 웹사이트에서 직접 개발하고 공유할 수 있는 프레임워크입니다. arXivLabs에 참여하는 개인 및 조직은 개방성, 커뮤니티, 우수성, 사용자 데이터 개인 정보 보호라는 arXiv의 가치를 수용합니다. arXiv는 이러한 가치에 전념하고 있으며, 이러한 가치를 준수하는 파트너와만 협력합니다. arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있으십니까? arXivLabs에 대해 자세히 알아보세요.
더 보기
Ronit Shah는 양자 푸리에 변환(QFT)을 위한 개선된 알고리즘을 발표했습니다. 기존 알고리즘에서는 근사 QFT에 Θ(n log n)개의 게이트가, 정확한 QFT에 Θ(n²)개의 게이트가 필요했습니다. 새로운 알고리즘은 큐비트의 새로운 재귀적 분할을 활용하여 근사 QFT의 비용을 Θ(n(log log n)²)개의 게이트로, 정확한 QFT의 비용을 Θ(n(log n)²)개의 게이트로 줄입니다. 이 획기적인 발전은 양자 컴퓨팅의 효율성을 크게 향상시킬 수 있습니다.
더 보기
DeepSeek-AI는 자사의 1세대 추론 모델인 DeepSeek-R1-Zero와 DeepSeek-R1을 공개했습니다. DeepSeek-R1-Zero는 사전 지도 학습 없이 대규모 강화 학습(RL)으로 훈련된 모델로, 놀라운 추론 능력을 보여줍니다. RL을 통해 DeepSeek-R1-Zero는 자연스럽게 여러 강력하고 흥미로운 추론 행동을 습득했습니다. 하지만 가독성 저하 및 언어 혼합과 같은 과제에도 직면했습니다. 이러한 문제를 해결하고 추론 성능을 더욱 향상시키기 위해 RL 이전에 다단계 훈련 및 콜드 스타트 데이터를 통합한 DeepSeek-R1을 발표했습니다. DeepSeek-R1은 추론 작업에서 OpenAI 모델과 비슷한 성능을 달성했습니다. 연구 커뮤니티 지원을 위해 DeepSeek-R1-Zero, DeepSeek-R1 및 Qwen과 Llama를 기반으로 증류된 6가지 크기의 밀집 모델(1.5B, 7B, 8B, 14B, 32B, 70B)을 오픈소스로 공개합니다.
더 보기
“대규모 언어 모델의 기초”라는 새로운 책이 출판되었습니다. 최첨단 기술을 모두 다루는 것을 목표로 하지 않고, 대규모 언어 모델의 핵심 개념을 심층적으로 파헤칩니다. 사전 훈련, 생성 모델, 프롬프트 기법, 정렬 방법의 네 가지 장으로 구성되어 있으며, 자연어 처리 및 관련 분야의 대학생, 전문가, 실무자를 위한 내용입니다. 대규모 언어 모델에 관심 있는 모든 사람에게 귀중한 참고 자료가 될 것입니다.
더 보기
연구자들은 근사 최근접 이웃 검색에서 인덱스 저장 비용이 높은 문제를 해결하기 위해 벡터 ID 손실 없는 압축 기법을 제시했습니다. 많은 인덱스 구조에서 벡터 ID 순서가 중요하지 않다는 점과 비대칭 수치 시스템 또는 웨이블릿 트리를 활용하여 정확도나 검색 시간에 영향을 주지 않고 벡터 ID를 최대 7배까지 압축할 수 있습니다. 이를 통해 10억 규모의 데이터셋에서 인덱스 크기를 30% 줄일 수 있습니다. 또한, 이 방법은 원래 양자화 알고리즘의 비최적성을 활용하여 양자화된 벡터 코드도 손실 없이 압축할 수 있습니다.
더 보기
대규모 언어 모델은 Excel 수식 작성 지원을 위한 학습 및 배포 비용이 많이 듭니다. 본 논문에서는 Excel 수식으로만 학습된 Transformer 기반 모델인 FLAME을 소개합니다. 단 6천만 개의 매개변수와 대규모 모델의 극히 일부인 학습 데이터만으로도 FLAME은 Codex 및 CodeT5와 같은 모델과 비교하여 수식 수정, 완성, 검색 작업에서 경쟁력 있는 성능 또는 그 이상을 달성합니다. 이는 새로운 사전 학습 목표와 Excel 전용 토크나이저 덕분입니다.
더 보기
더 긴 입력 시퀀스를 처리하는 언어 모델의 확장에는 일반적으로 대규모 키-값(KV) 캐시가 필요하며, 이로 인해 추론 중 메모리 오버헤드가 크게 증가합니다. 본 논문에서는 텐서 분해를 사용하여 쿼리, 키, 값을 간결하게 표현함으로써 추론 중 KV 캐시 크기를 크게 줄이는 새로운 어텐션 메커니즘인 텐서곱 어텐션(TPA)을 제안합니다. 이러한 표현을 컨텍스트 종속 저랭크 구성 요소(컨텍스트 분해)로 분해하고 RoPE와 원활하게 통합함으로써 TPA는 메모리 효율성을 유지하면서 모델의 품질을 향상시킵니다. TPA를 기반으로 시퀀스 모델링을 위한 새로운 모델 아키텍처인 텐서곱 어텐션 트랜스포머(T6)를 소개합니다. 언어 모델링 작업에 대한 광범위한 실험적 평가를 통해 T6이 퍼플렉서티와 다양한 유명한 평가 벤치마크를 포함한 다양한 지표에서 MHA, MQA, GQA, MLA와 같은 표준 트랜스포머 기준 모델을 능가함을 보여줍니다. 특히 TPA의 메모리 효율성을 통해 고정된 리소스 제약 조건 하에서 훨씬 더 긴 시퀀스를 처리할 수 있으므로 최신 언어 모델의 중요한 확장성 문제를 해결합니다. 코드는 공개되어 있습니다.
더 보기
연구자들은 세계 최초의 시분할 시스템인 CTSS(IBM 7094 에뮬레이션 상에서 실행)에서 세계 최초의 챗봇으로 널리 알려진 ELIZA를 성공적으로 부활시켰습니다. MIT 바이젠바움 교수의 아카이브에서 발견된 원본 출력물, MAD-SLIP 코드 및 관련 문서를 사용하여 ELIZA와 유명한 DOCTOR 스크립트를 재현했습니다. 이 프로젝트 전체는 오픈소스이며, 유닉스 계열 OS를 사용하는 모든 사람이 이 획기적인 챗봇을 실행할 수 있습니다.
더 보기
arXiv에 게시된 논문은 뉴욕타임즈의 데일리 워드 게임 'Waffle'의 수학적 배경을 탐구합니다. 저자 S.P. Glasby는 게임의 조합적 특성을 심층적으로 분석하여 일부 퍼즐은 쉽고 다른 퍼즐은 매우 어려운 이유를 설명합니다. 연구에 따르면 완벽한 해결책에는 21개의 사각형에서 정확히 11개의 궤도가 필요하며, 적어도 하나의 궤도는 길이가 1이어야 함이 밝혀졌습니다. 이는 유사한 단어 퍼즐을 이해하고 개선하기 위한 수학적 틀을 제공합니다.
더 보기
연구자들은 신경 메모리 모듈과 어텐션 메커니즘을 결합하여 장기간의 과거 컨텍스트를 효과적으로 기억하는 새로운 신경망 아키텍처인 Titans를 발표했습니다. 기존의 순환 모델과 어텐션 메커니즘과 달리, Titans는 특히 '건초더미에서 바늘 찾기'와 같은 작업에서 긴 시퀀스 데이터를 처리하는 효율성과 정확성이 뛰어납니다. 자연어 처리, 상식 추론, 유전체학, 시계열 분석 등 다양한 작업에서 Transformer 및 최신 선형 순환 모델을 능가하며, 200만 개 이상의 컨텍스트 윈도우 크기로 확장할 수 있습니다.
더 보기
연구원들은 기존의 사고 연쇄(CoT)를 확장하여 특정 CoT에 이르는 기본 추론을 명시적으로 모델링하는 새로운 프레임워크인 '메타 사고 연쇄(Meta-CoT)'를 제안합니다. Meta-CoT는 프로세스 감독, 합성 데이터 생성, 검색 알고리즘을 활용합니다. 본 논문에서는 선형화된 검색 추적과 강화 학습을 사용한 지시 조정을 통합한 모델 훈련 파이프라인을 개괄합니다. 이 연구는 LLM에서 Meta-CoT를 가능하게 하는 로드맵을 제공하여 AI에서 더욱 강력하고 인간과 유사한 추론으로 가는 길을 열어줍니다.
더 보기
새로운 논문이 유명한 CAP 정리에 도전하고 있습니다. 저자들은 네트워크 파티션 하에서 부분적 진행이 가능하다고 예상합니다. 즉, 시스템은 일부 클라이언트에 대해 응답성을 유지하고 장애 시에도 0이 아닌 처리량을 달성할 수 있습니다. 저자들은 파티셔닝된 복제본이 클라이언트 요청을 정렬할 수 있도록 하는 CASSANDRA 컨센서스 프로토콜 설계를 제시합니다. 이는 파티션 시에도 어느 정도 일관성과 가용성을 모두 달성할 수 있는 시스템으로 가는 길을 제공할 수 있습니다. 이 연구는 더욱 강력한 분산 시스템을 구축하기 위한 새로운 접근 방식을 제공합니다.
더 보기
데이터 수집 기술의 발전과 스트리밍 데이터의 급증으로 인해 시계열 분석이 필수적이 되었습니다. 본 논문은 시계열 이상 감지에 대한 10년간의 검토를 제공하며, 기존의 통계적 방법부터 최근 급증하고 있는 기계 학습 알고리즘까지 다양한 방법을 다룹니다. 기존 솔루션을 프로세스 중심의 분류 체계로 분류 및 요약하고, 문헌의 메타 분석을 수행하여 이 분야의 일반적인 동향을 개괄합니다. 이 포괄적인 조사는 연구자들에게 귀중한 자료가 될 것입니다.
더 보기
과학자 팀이 이탈리아 요리의 대표적인 카치오 에 페페의 완벽한 크리미한 질감을 만드는 비밀을 밝히기 위해 요리 과학에 깊이 파고들었습니다. 연구 결과, 소스의 안정성에 영향을 미치는 중요한 요소는 전분 농도라는 것을 알게 되었습니다. 치즈 질량에 대한 전분 농도가 1% 미만이면 덩어리가 형성되어 '모짜렐라 단계'라고 불리는 현상이 발생하여 분리되고 불쾌한 소스가 됩니다. 이 연구에서는 일정한 전분량에서 치즈와 물의 비율에 미치는 영향도 조사하여 더 낮은 임계 용해 온도를 관찰하고 이를 설명하기 위한 최소한의 효과적인 자유 에너지 모델을 개발했습니다. 최종적으로, 항상 완벽한 카치오 에 페페를 보장하는 과학적으로 최적화된 레시피를 발표했습니다.
더 보기
새로운 논문에서 강화 학습 관점에서 신비로운 OpenAI 모델 o1을 재현하는 방법을 탐구합니다. 연구자들은 o1의 강력한 추론 능력이 단일 기술이 아닌 정책 초기화, 보상 설계, 탐색, 학습이라는 네 가지 주요 구성 요소의 시너지 효과 때문이라고 주장합니다. 정책 초기화는 모델에 인간과 유사한 추론 능력을 부여합니다. 보상 설계는 탐색과 학습을 안내하는 밀도 있고 효과적인 신호를 제공합니다. 탐색은 훈련과 테스트 모두에서 고품질 솔루션을 생성합니다. 학습은 탐색으로 생성된 데이터를 사용하여 정책을 개선하고 최종적으로 더 나은 성능을 달성합니다. 이 논문은 o1을 이해하고 재현하는 데 귀중한 통찰력을 제공하며 LLM 개발을 위한 새로운 길을 제시합니다.
더 보기
새로운 연구에 따르면 GitHub에 450만 개의 가짜 별이 존재하는 것으로 나타났습니다. 이는 주로 불법 복제 소프트웨어, 게임 치트 또는 암호화폐 봇으로 위장한 단명 악성 코드 저장소를 홍보하는 데 사용됩니다. 연구자들은 비정상적인 별표 행동을 감지하는 도구인 StarScout를 개발했습니다. 이 연구는 2024년 이후 가짜 별 활동이 급증하고 있음을 보여줍니다. 가짜 별을 준 사용자의 프로필 특성은 평균 사용자와 크게 다르지 않지만, 활동 패턴은 매우 비정상적입니다. 단기적으로는 홍보 효과가 있지만, 장기적으로는 부담이 됩니다. 이 연구는 플랫폼 관리자, 오픈소스 개발자, 공급망 보안 연구자에게 중요한 의미를 갖습니다.
더 보기
연구자들은 GPT-3.5와 GPT-4로 생성된, 전형적인 3~4세 어린이가 이해할 수 있는 어휘만 사용한 짧은 이야기의 합성 데이터셋인 TinyStories를 발표했습니다. 1천만개 미만의 매개변수와 단순한 아키텍처(단일 트랜스포머 블록)를 가진 TinyStories로 훈련된 언어 모델조차도 놀랍도록 훌륭한 문법과 추론 능력을 보이는 유창하고 일관된 여러 단락의 이야기를 생성할 수 있다는 것을 보여주었습니다. 이는 일관된 텍스트 생성에는 대규모 모델과 복잡한 아키텍처가 필요하다는 생각에 이의를 제기하는 것이며, GPT-4를 사용하여 생성된 이야기를 인간 교사처럼 채점하는 새로운 평가 패러다임을 도입하여 표준 벤치마크의 한계를 극복합니다.
더 보기
arXiv에 게시된 논문에서는 활성화 엔지니어링을 사용하여 대규모 언어 모델(LLM)의 성격 특성을 식별하고 조작하는 새로운 방법을 탐구합니다. LLM의 거부 및 조종에 대한 이전 연구에서 영감을 받은 연구자들은 성격 특성과 관련된 활성화 방향을 조정하여 LLM의 성격을 동적으로 미세 조정하는 기술을 제안합니다. 이 연구는 LLM의 해석 가능성에 대한 이해를 높이는 동시에 중요한 윤리적 고려 사항도 제기합니다.
더 보기
본 논문에서는 분산 심층 학습 최적화에서 기울기 평균화를 개선하기 위한 새로운 방법인 기울기 일치 필터링(GAF)을 소개합니다. 기존 방법은 미니배치 기울기의 평균을 통해 매크로배치 기울기를 계산하지만, 이는 학습 후반 단계에서 기울기가 직교하거나 음의 상관관계를 갖게 되어 과적합으로 이어집니다. GAF는 미니 기울기 간의 코사인 거리를 계산하고 평균화하기 전에 모순되는 업데이트를 필터링하여 기울기 분산을 줄입니다. CIFAR-100 및 CIFAR-100N-Fine과 같은 이미지 분류 벤치마크에 대한 실험 결과, GAF는 더 작은 미니배치 크기에서도 검증 정확도를 크게 향상시켜 기존 방법에 비해 최대 18.2% 향상을 달성하고 계산 비용을 줄이는 것을 보여줍니다.
더 보기
코드를 다루는 대규모 언어 모델(LLM) 기반 AI 프로그래밍 어시스턴트의 보급으로 개발자 생산성이 크게 향상되었습니다. 하지만 기존 코드 생성 벤치마크는 주로 범용 시나리오에 초점을 맞추고 있어 특정 애플리케이션 도메인에서 LLM의 성능은 거의 알려지지 않았습니다. 본 논문에서는 12개의 인기 소프트웨어 개발 도메인과 15개의 프로그래밍 언어를 포괄하는 2400개의 프로그래밍 작업으로 구성된 새로운 벤치마크인 MultiCodeBench를 소개합니다. 11개의 주요 LLM을 사용한 실험을 통해 다양한 도메인에서 LLM의 코드 생성 능력이 밝혀졌으며, 개발자가 LLM을 선택하는 데 실질적인 통찰력과 모델 개발자가 도메인 특정 코드 생성 능력을 향상시키기 위한 지침을 얻을 수 있습니다.
더 보기
연구원들은 단위 테스트 자동 생성에서 대규모 언어 모델(LLM)의 잠재력에 대한 포괄적인 평가를 수행했습니다. 17개의 Java 프로젝트에서 5개의 오픈소스 LLM과 클로즈드소스 GPT-4, 기존 도구인 Evosuite를 비교하고 다양한 프롬프트 전략의 영향을 조사했습니다. 그 결과, 오픈소스 LLM은 데이터 프라이버시 측면에서 우수하며 특정 작업에서 뛰어난 성능을 보이는 반면, LLM 기반 단위 테스트 생성의 한계도 드러났습니다. 이 연구는 이 분야에서 LLM의 미래 응용을 위한 귀중한 통찰력을 제공합니다.
더 보기
최근 연구에 따르면 대규모 언어 모델(LLM)에서 광범위한 "정체성 혼란"이 드러났습니다. 연구진은 25% 이상의 LLM이 기원이나 정체성을 잘못 표현하고 있으며, 이는 주로 모델의 환각 때문이며 복제나 재사용 때문이 아니라는 것을 발견했습니다. 이러한 정체성 혼란은 교육 및 전문 분야와 같은 중요한 작업에서 사용자의 신뢰를 크게 저해하며, 논리적 오류로 인한 부정적 영향을 능가합니다. 이 연구 결과는 LLM의 정체성 혼란이 야기하는 체계적인 위험을 강조하고 모델의 신뢰성과 신뢰도에 대한 더욱 세심한 주의를 촉구합니다.
더 보기