대규모 언어 모델(LLM)은 인간 행동을 시뮬레이션하는 데 있어 흥미로운 가능성을 제공하지만, 의사결정 과정의 투명성이 부족합니다. 본 논문에서는 Shapley 값에 기반한 새로운 접근 방식을 제시하여 LLM의 행동을 해석하고 프롬프트의 각 구성 요소가 모델 출력에 기여하는 정도를 정량화합니다. 두 가지 응용 프로그램을 통해 LLM의 의사결정은 '토큰 노이즈'의 영향을 받기 쉽고, 정보량이 적은 토큰에 모델이 불균형적으로 반응한다는 것을 밝혔습니다. 이는 인간 행동 시뮬레이션에서 LLM으로부터 얻은 통찰력의 견고성과 일반화 가능성에 대한 우려를 제기하며, 연구에 사용할 경우 신중한 프롬프트 엔지니어링과 그 한계에 대한 보다 미묘한 이해가 필요함을 강조합니다.
더 보기
ISSAC 2023 학술대회 논문집에 실린 튜토리얼 논문에서는 수학에서 불변량의 계산과 응용을 탐구합니다. 미분 불변량 이론과 대수 불변량 이론의 상호 작용에 초점을 맞춰, 미분 기하학의 무빙 프레임 방법의 대수적 적용을 사용하여 유리 불변량의 생성 집합을 계산하는 알고리즘을 제시합니다. 또한 기하학과 대수에서 동치 문제 해결에 있어 미분 불변량 시그니처의 역할과 이 개념에 기반한 알고리즘 설계의 과제에 대해서도 논의합니다.
더 보기
연구자들은 최첨단 바둑 AI인 KataGo에 대해 적대적 정책을 훈련함으로써 97%가 넘는 승률을 달성했습니다. 이러한 적대자들은 바둑을 잘 두는 것이 아니라 KataGo가 심각한 실수를 하도록 함으로써 승리했습니다. 이 공격은 다른 초인적인 바둑 AI에도 제로샷으로 전이되었고, 인간 전문가가 알고리즘의 도움 없이 재현할 수 있을 정도로 간단했습니다. 이 취약점은 KataGo가 적대적으로 훈련되어 방어된 후에도 지속되었으며, 초인적인 AI 시스템조차 놀라운 실패 모드를 가질 수 있음을 보여줍니다.
더 보기
새로운 연구는 Pantheon+ Ia형 초신성 분광 데이터셋에 대해 우주론 모델에 의존하지 않는 통계 분석을 수행하여 Lane 등의 표준 방법론을 개선했습니다. 초신성 표준화에 Tripp 방정식만을 사용함으로써 신장과 색 분포에서의 잠재적 상관 관계를 회피합니다. 그 결과, “타임스케이프” 우주론 모델이 표준 ΛCDM 모델보다 데이터를 더 잘 설명하며, 이론적 및 관측적 우주론의 기초를 재검토해야 함을 시사합니다. 통계적 균질성의 기존 척도를 넘어서는 적색편이(z > 0.075)의 샘플로 제한하더라도 타임스케이프 모델이 ΛCDM 모델보다 우수합니다.
더 보기
연구진은 대규모 언어 모델(LLM)의 다단계 추론 능력을 향상시키기 위한 오프라인 강화학습 방법인 OREO를 제시했습니다. 최대 엔트로피 강화학습에 기반하여, 소프트 벨만 방정식을 최적화함으로써 정책 모델과 가치 함수를 동시에 학습합니다. 이를 통해 다단계 추론 작업에서 직접적 선호도 최적화(DPO) 방법이 가지는 대량의 쌍 선호도 데이터 필요성 및 효과적인 보상 할당의 어려움과 같은 문제점을 해결합니다. 실험 결과, OREO는 수학적 추론 및 구체적 에이전트 제어와 같은 벤치마크에서 기존 오프라인 학습 방법을 능가하는 것으로 나타났습니다.
더 보기
arXiv에 게시된 논문에서 데이터 세트를 최대 δ개의 심볼로 압축하는 문제로 정의된 토큰화의 두 가지 변형이 NP 완전 문제임이 증명되었습니다. 두 가지 변형은 직접 어휘를 찾는 방법(직접 토큰화)과 일련의 병합 작업을 선택하는 방법(하향식 토큰화)입니다. 이러한 발견은 데이터 압축과 자연어 처리에 상당한 영향을 미치며 대규모 데이터 세트의 토큰화 문제를 효율적으로 해결하는 데 어려움이 매우 크다는 점을 강조합니다.
더 보기
연구자들은 C 코드를 안전하게 Rust로 컴파일하는 새로운 방법을 개발했습니다. 이 기술은 정적 분석과 형식 지향 변환을 사용하여 Rust의 `unsafe` 블록에 대한 의존성을 피함으로써 메모리 안전성을 보장합니다. 이 방법은 HACL* 암호 라이브러리와 EverParse 라이브러리의 코드에 성공적으로 적용되어 8만 줄의 순수 Rust로 작성된 검증된 최신 암호 라이브러리가 생성되었습니다. 이는 업계 최초의 성과입니다.
더 보기
연구원들은 대규모 언어 모델(LLM)에서 콘텐츠 안전성과 프롬프트 주입 분류를 위한 새로운 경량 기법인 계층 향상 분류(LEC)를 발표했습니다. LEC는 LLM의 최적 중간 트랜스포머 계층의 은닉 상태에 대해 간소화된 페널티 부과 로지스틱 회귀(PLR) 분류기를 훈련합니다. PLR의 효율성과 LLM의 고급 언어 이해 능력을 결합하여 LEC는 GPT-4o 및 특수 모델을 능가하는 성능을 보여줍니다. Qwen 2.5와 같은 소형 범용 모델과 DeBERTa v3와 같은 다른 트랜스포머 기반 아키텍처는 강력한 특징 추출기임이 입증되었으며, 100개 미만의 고품질 예시로 효과적으로 훈련할 수 있습니다. 중요한 점은 이러한 모델의 중간 트랜스포머 계층이 대부분 최종 계층보다 우수한 성능을 발휘한다는 것입니다. 단일 범용 LLM은 콘텐츠 안전성을 분류하고, 프롬프트 주입을 감지하고, 출력을 생성할 수 있습니다. 또는 이러한 비교적 크기가 작은 LLM을 최적의 중간 계층으로 가지치기하여 특징 추출기로 전용 사용할 수도 있습니다. 다양한 아키텍처에서 일관된 결과는 강력한 특징 추출이 많은 LLM에 고유한 특성임을 시사합니다.
더 보기
새로운 연구는 고전적인 정렬 알고리즘을 형태 형성 모델로 사용하여 이러한 알고리즘에 대한 기존의 통념에 도전합니다. 상향식 제어와 완벽하게 신뢰할 수 있는 하드웨어라는 가정을 깨뜨림으로써 연구자들은 자율적인 요소의 배열이 오류가 있더라도 기존 구현보다 더 신뢰할 수 있고 견고하게 정렬됨을 발견했습니다. 놀랍게도 이러한 알고리즘은 결함을 우회하기 위해 일시적으로 진행 상황을 줄이는 능력과 서로 다른 알고리즘을 따르는 키메라 배열 요소 간의 예상치 못한 클러스터링 동작을 보여줍니다. 이 발견은 다양한 지능에 대한 새로운 관점을 제공하며, 기본적인 지능 형태가 기본 메커니즘에 명시적으로 인코딩되지 않고도 간단한 시스템에서 어떻게 나타날 수 있는지를 보여줍니다.
더 보기
연구원들은 배신에 대한 유인에도 불구하고 '사회'를 형성하는 대규모 언어 모델(LLM) 에이전트가 상호 이익이 되는 사회적 규범을 학습할 수 있는지 조사했습니다. 실험 결과, 기본 모델 간에 협력의 진화에 큰 차이가 있으며, Claude 3.5 Sonnet이 Gemini 1.5 Flash 및 GPT-4o를 크게 능가하는 것으로 나타났습니다. 또한, Claude 3.5 Sonnet은 비용이 드는 처벌 메커니즘을 활용하여 더 높은 점수를 달성했는데, 이는 다른 모델에서는 재현되지 않았습니다. 본 연구는 LLM 에이전트 배포의 사회적 영향에 초점을 맞춘 LLM을 위한 새로운 벤치마크를 제안하고, 더욱 강력하고 협력적인 AI 에이전트 구축에 대한 통찰력을 제공합니다.
더 보기
연구자들은 확률적 경사 하강법을 개선한 새로운 최적화기 SGD-SaI를 발표했습니다. SGD-SaI는 기울기의 신호 대 잡음비를 기반으로 서로 다른 매개변수 그룹에 대해 초기화 시 학습률을 조정하여 훈련 불균형 문제를 해결합니다. AdamW보다 메모리 효율이 훨씬 높으며, ImageNet 분류 및 LLM 사전 학습 등 다양한 Transformer 기반 작업에서 AdamW와 동등하거나 더 나은 성능을 달성합니다. 다양한 애플리케이션에서의 견고성과 실용성이 입증되었으며, 매력적인 대안이 되고 있습니다.
더 보기
연구원들은 Best-of-N(BoN) 제일브레이킹이라는 새로운 AI 공격 알고리즘을 개발했습니다. 이 블랙박스 알고리즘은 프롬프트를 반복적으로 수정합니다(예: 텍스트의 무작위 섞기 또는 대문자화 등). 그리고 AI 시스템에서 유해한 응답을 유도할 때까지 반복합니다. BoN은 GPT-4o(89%) 및 Claude 3.5 Sonnet(78%)과 같은 클로즈드소스 언어 모델에서 매우 높은 공격 성공률(ASR)을 달성하여 기존 방어 메커니즘을 효과적으로 우회했습니다. 또한 BoN은 시각 언어 모델 및 음성 언어 모델로 원활하게 확장될 수 있으며, 겉보기에는 무해한 입력 변형에도 고급 AI 시스템이 취약함을 보여줍니다. 이 연구는 AI 분야의 심각한 보안 문제를 강조합니다.
더 보기
연구원들은 곤충-컴퓨터 하이브리드 로봇을 조립하는 자동화 시스템을 개발했습니다. 이 시스템은 비전 유도 로봇 암을 사용하여 사용자 정의된 이극 전극을 마다가스카르 휘파람 바퀴벌레의 등에 정확하게 이식합니다. 전체 과정은 단 68초밖에 걸리지 않으며, 조립된 로봇은 수동으로 조립된 시스템과 비슷한 조향 및 감속 제어를 달성합니다. 4대의 로봇으로 구성된 다중 에이전트 시스템은 장애물 코스를 성공적으로 통과하여 대량 생산 및 실제 응용 가능성을 입증했습니다. 이 연구는 곤충 로봇의 확장 가능한 생산 및 배포의 길을 열었습니다.
더 보기
CCxTrust는 신뢰 실행 환경(TEE)과 신뢰 플랫폼 모듈(TPM)의 장점을 효과적으로 결합하여 협업적 신뢰 프레임워크를 구축하는 혁신적인 기밀 컴퓨팅 플랫폼입니다. CPU-TEE에 내장된 블랙박스형 신뢰 루트(RoT)와 TPM의 유연한 화이트박스형 RoT를 활용하여 CCxTrust는 민감한 데이터와 모델의 엔드투엔드 보호를 달성하고 단일 하드웨어 RoT에 대한 의존성의 한계를 극복합니다. 이 플랫폼은 독립적인 측정을 위한 신뢰 루트(RTM)와 협업적인 보고를 위한 신뢰 루트(RTR)를 구현하며, 복합적인 인증 프로토콜을 통해 보안과 효율성이 더욱 향상됩니다. 실험 결과는 성능 측면에서도 상당한 이점이 있음을 보여줍니다.
더 보기
연구원들은 도메인 네임 시스템(DNS)을 검증하기 위한 최초의 결정 절차를 제시하고, 그 복잡도를 2ExpTime으로 규명했습니다. 이 연구는 DNS 의미를 공식화하고, 양의 접두사 테스트 가능 언어를 기반으로 한 새로운 추상화를 사용하여 DNS 검증 문제를 푸시다운 시스템 검증 문제로 축소합니다. 이 접근 방식은 증폭 공격 및 재작성 블랙홀링과 같은 DNS의 공격 벡터를 효과적으로 모델링하여 DNS의 보안 및 안정성을 보장하기 위한 새로운 이론적 기반을 제공합니다.
더 보기