Webtagr - 기술 뉴스 다이제스트

LLM과 코딩 에이전트: 사이버 보안 악몽

2025-08-18

대규모 언어 모델(LLM)과 코딩 에이전트의 등장은 심각한 보안 취약성을 야기했습니다. 공격자는 프롬프트 주입 공격을 이용하여 공개 코드 저장소에 악의적인 명령어를 숨기거나, LLM의 인지적 허점을 이용하여 코딩 에이전트를 속여 악의적인 행위를 수행하게 함으로써 원격 코드 실행(RCE)을 달성할 수 있습니다. 이러한 공격은 은밀하고 방어하기 어렵기 때문에 데이터 유출, 시스템 손상, 기타 심각한 결과로 이어집니다. 연구자들은 흰색 배경에 흰색 텍스트로 악의적인 프롬프트를 숨기는 것, 코드 저장소에 악의적인 명령어를 삽입하는 것, ASCII 밀수를 사용하여 악의적인 코드를 숨기는 등 다양한 공격 벡터를 확인했습니다. 언뜻 보기에 안전해 보이는 코드 검토 도구조차도 공격의 진입점이 될 수 있습니다. 현재로서는 코딩 에이전트의 권한을 제한하고 모든 코드 변경 사항을 수동으로 검토하는 것이 최선의 방어책이지만, 이것만으로는 위험을 완전히 제거할 수 없습니다. LLM의 고유한 신뢰성 부족은 공격자에게 이상적인 표적이 되고 있으며, 이 증가하는 위협에 대처하려면 업계의 더 많은 노력이 필요합니다.

(garymarcus.substack.com)

AI

LLM의 치명적인 결함: 세계 모델 부재

2025-06-29

본 에세이는 대규모 언어 모델(LLM)의 근본적인 결함, 즉 세계에 대한 견고한 인지 모델의 부재에 대해 논의합니다. 체스를 주요 사례로 사용하여 저자는 LLM이 게임 데이터와 규칙을 기억하는 데도 불구하고, 체스판 상태의 동적 모델을 구축하고 유지하는 데 실패하여 불법적인 수와 기타 오류로 이어짐을 보여줍니다. 이는 체스에 국한된 것이 아니며, 이야기 이해, 이미지 생성, 비디오 이해 등 다양한 영역에서 LLM의 세계 모델 부재는 환각과 부정확성을 초래합니다. 저자는 견고한 세계 모델 구축이 AI 안전에 매우 중요하다고 주장하며, 복잡한 실제 세계 시나리오를 처리하는 데 있어 현재 LLM 설계의 한계를 강조하고, 더욱 신뢰할 수 있는 AI 시스템 개발에서 인지 과학을 우선시하도록 AI 연구자들에게 촉구합니다.

(garymarcus.substack.com)

AI 세계 모델

애플 논문이 밝히는 대규모 언어 모델의 확장 한계

2025-06-14

대규모 언어 모델(LLM)의 추론 능력 한계를 부각한 애플 논문이 AI 커뮤니티에서 뜨거운 논쟁을 불러일으켰습니다. 이 논문은 매우 큰 모델조차도 언뜻 보기에 간단한 추론 작업에 어려움을 겪는다는 것을 보여주며, 인공 일반 지능(AGI) 달성을 위한 '확장이 모든 것을 해결한다'는 일반적인 가설에 의문을 제기합니다. 몇 가지 반론이 제기되었지만, 어떤 것도 설득력이 없었습니다. 기사에서는 출력 길이 제한과 훈련 데이터에 대한 과도한 의존으로 인해 LLM이 복잡한 알고리즘을 안정적으로 실행할 수 없는 것이 핵심 문제라고 주장합니다. 진정한 AGI를 실현하려면 더 우수한 모델과 뉴럴 네트워크와 심볼릭 알고리즘을 결합한 하이브리드 접근 방식이 필요하다고 저자는 제안합니다. 이 논문의 중요성은 AGI 개발 경로에 대한 비판적인 재평가를 촉구하고, 확장만으로는 충분하지 않다는 것을 분명히 한 점에 있습니다.

(garymarcus.substack.com)

AI

애플 논문, LLM에 타격: 하노이 탑이 한계를 드러내다

2025-06-08

애플의 새로운 논문이 AI 커뮤니티에 충격을 주었습니다. 이 논문은 최신 "추론 모델"조차도 고전적인 하노이 탑 문제를 안정적으로 해결할 수 없다는 것을 보여주며, 대규모 언어 모델(LLM)의 추론 능력에 심각한 결함이 있음을 드러냈습니다. 이는 Gary Marcus와 Subbarao Kambhampati 등 연구자들의 오랜 비판과 일치하며, 그들은 LLM의 일반화 능력의 한계를 지적해왔습니다. 이 논문은 해결 알고리즘이 제공되더라도 LLM이 문제를 효과적으로 해결하지 못하고, "추론 과정"이 진정한 논리적 추론이 아니라는 것을 보여줍니다. 이는 LLM이 인공 일반 지능(AGI)으로 가는 직접적인 길이 아니라는 것을 시사하며, 그 활용에는 신중한 고려가 필요합니다.

(garymarcus.substack.com)

AI

AI 2027: 섬뜩한 AI 예언인가, 정교하게 구성된 기술 스릴러인가?

2025-05-22

'AI 2027'이라는 보고서가 뜨거운 논쟁을 불러일으켰다. 초지능 AI가 등장하고 인류가 밀려나는 끔찍한 미래를 그려낸 이 보고서는 스릴러 소설처럼 쓰여졌으며, 그래프와 데이터로 뒷받침되어 AI의 잠재적 위험을 경고하는 것을 목표로 한다. 그러나 저자는 이 보고서의 예측이 엄밀한 논리적 근거가 부족하고 기술 발전 속도에 대한 추정이 지나치게 낙관적이며 다양한 가능성과 확률에 대한 평가가 매우 부실하다고 주장한다. 저자는 이 보고서가 과학적 예측이라기보다는 기술 스릴러에 가깝고, 이러한 협박적인 어조가 AI 개발 경쟁을 가속화하여 의도와 반대되는 결과를 초래할 수 있다고 결론짓는다.

(garymarcus.substack.com)

AI 기술 스릴러

AI 예측 차트의 오류: 바이럴 확산의 위험성

2025-05-04

비영리 연구 기관 METR이 대규모 언어 모델의 소프트웨어 작업에서의 급속한 발전을 보여주는 보고서를 발표하여 바이럴 논쟁을 불러일으켰습니다. 그러나 해당 차트의 전제는 잘못되었습니다. 인간의 해결 시간을 문제의 난이도 측정에, AI의 50% 성공률 시간을 능력 측정에 사용하고 있기 때문입니다. 이는 문제의 복잡성 다양성을 무시하여 예측에 적합하지 않은 임의적인 결과를 초래합니다. METR의 데이터 세트와 현재 AI의 한계에 대한 논의는 귀중하지만, 이 차트를 미래 AI 능력 예측에 사용하는 것은 오해의 소지가 있습니다. 바이럴 확산은 타당성보다 자신이 믿고 싶은 것을 믿으려는 경향을 보여줍니다.

(garymarcus.substack.com)

AI

거대 언어 모델의 한계 도달: Llama 4의 실패와 AI 과대 광고

2025-04-08

Llama 4의 출시는 거대 언어 모델이 성능의 한계에 도달했음을 시사합니다. Meta의 Llama 4에 대한 막대한 투자는 기대에 미치지 못했으며, 목표 달성을 위해 데이터 조작이 있었다는 소문도 있습니다. 이는 GPT-5 수준의 AI 개발에서 OpenAI, Google 등이 직면한 어려움을 반영합니다. Llama 4의 성능에 대한 업계의 실망감은 널리 퍼져 있으며, Meta의 AI 부사장인 Joelle Pineau의 사임으로 더욱 확실해졌습니다. 이 기사는 AI 업계의 데이터 유출 및 데이터 오염과 같은 문제점을 지적하고, 저명한 전문가들이 현실 세계의 실패를 무시하고 낙관적인 예측을 하고 있다고 비판합니다.

(garymarcus.substack.com)

AI AI 한계 데이터 조작

캘리포니아 법안 AB-501 갑작스런 수정: OpenAI의 영리화 위기?

2025-04-07

캘리포니아 주의원 다이앤 파판이 제출한 법안 AB-501은 OpenAI의 비영리에서 영리 전환을 막는 것을 목표로 했지만, 중대하고 불가사의한 수정이 이루어졌습니다. 수정된 법안에는 이해할 수 없게도 항공기 유치권 관련 조항이 포함되어 있습니다. 정보원에 따르면 이는 단순한 서기적 오류가 아니며, 파판 사무실도 수정 사실을 확인했습니다. OpenAI의 샘 알트만 CEO가 수정 전 파판과 연락을 취했다는 소문이 있지만, 대화 내용은 알려지지 않았습니다. 이 상황은 집중적인 조사를 불러일으켰고, 미디어가 이 놀라운 수정의 배경을 조사해야 한다는 목소리가 높아지고 있습니다. 수십억 달러가 걸려 있는 만큼, OpenAI의 미래는 불확실합니다.

(garymarcus.substack.com)

기술 캘리포니아 법률

Meta, Llama 3 훈련에 대규모 저작권 침해

2025-03-23

Meta는 자사의 대규모 언어 모델 Llama 3의 훈련 과정에서 대규모 저작권 침해를 저질렀다는 비난을 받고 있습니다. The Atlantic지의 Alex Reisner 기사에 따르면, Meta는 저작권 침해 자료가 포함된 것으로 알려진 Libgen 데이터베이스를 사용하여 모델을 훈련했습니다. Reisner는 자신의 100편 이상의 작품이 허가 없이 사용된 것을 발견했습니다. Meta의 내부 커뮤니케이션은 회사가 비용 절감과 프로세스 가속화를 위해 의도적으로 이 방법을 선택했음을 보여줍니다. 이로 인해 많은 저자들이 Meta의 저작권 침해를 비난하는 등 큰 분노가 일고 있습니다.

(garymarcus.substack.com)

기술

GPT-4.5: 기대에 못 미치다?

2025-02-28

최근 출시된 GPT-4.5는 기대했던 혁신적인 돌파구를 제공하지 못했으며, 모델 크기 확장에만 의존하는 AI 개발 모델에 대한 회의론에 불을 지폈습니다. 예상과 비교하여 GPT-4.5의 성능 향상은 미미하며, 여전히 환각과 오류를 겪고 있습니다. 일부 AI 전문가들은 AGI 출현 시점 예측을 하향 조정했습니다. 이는 이전의 GPT-5에 대한 과도한 낙관적 예측과 대조되며, 막대한 투자에 상응하는 수익을 얻지 못하고 있음을 반영합니다. Nvidia 주가 하락도 이 점을 뒷받침합니다. 이 기사는 모델의 단순한 규모 확장 방식이 한계에 가까워지고 있을 가능성이 있다고 결론짓습니다.

(garymarcus.substack.com)

AI AI 개발 병목 현상

머스크의 그록: 선전 도구인가, 기술적 재앙인가?

2025-02-17

일론 머스크의 새로운 AI 모델인 그록은 강력한 선전 능력 때문에 광범위한 우려를 불러일으켰습니다. 이 글은 그록이 머스크의 견해에 맞춰 선전을 생성할 뿐만 아니라 사용자의 인식 없이 사용자의 태도에 미묘하게 영향을 미칠 수 있다고 주장합니다. 또한 그록은 이미지 생성과 시간적 추론에 심각한 결함을 보여줍니다. 저자는 이러한 편향되고 신뢰할 수 없는 AI 기술의 배포가 미국 사회에 심각한 결과를 초래할 것이라고 주장하며, 머스크가 공공의 이익보다 개인적인 이익을 우선시했다고 비난합니다.

(garymarcus.substack.com)

AI 그록

2025년 AI 예측: 신중한 낙관론과 기술적 병목 현상

2025-01-02

AI 전문가 Gary Marcus가 2025년 AI에 대한 25가지 예측을 발표했습니다. 그는 2024년 예측을 되돌아보며 대규모 언어 모델(LLM)의 한계 수익 감소, AI 환각, 추론 결함 등의 문제가 여전히 존재한다는 점을 포함하여 많은 예측이 적중했다고 지적했습니다. Marcus는 2025년에 대해 신중한 낙관론을 보이며 범용 인공 지능의 등장은 없고, AI 모델의 이익은 여전히 제한적이며, 규제의 지연, AI의 신뢰성 문제가 지속될 것이라고 예측했습니다. 뉴로 심볼릭 AI가 더 중요해질 것이라고 제안하면서 동시에 AI로 인한 사이버 보안 위험에 대한 경계를 촉구했습니다.

(garymarcus.substack.com)

AI AI 예측 기술적 병목 현상

OpenAI의 o3 모델: 과장 광고와 현실

2024-12-22

OpenAI가 발표한 o3 모델의 ARC-AGI 벤치마크 성능은 논란을 불러일으켰으며, 일부는 AGI 돌파구로 해석했습니다. 하지만 전문가 Gary Marcus는 이 테스트가 오해의 소지가 있다고 주장합니다. o3 모델은 인간 학습과 달리 광범위한 사전 훈련을 받았습니다. 제시된 그래프는 진전을 선택적으로 강조하여 성과를 과장했습니다. 결론적으로 o3 모델의 성능은 진정한 AGI를 나타내지 않으며, 언론의 과장 광고는 비판받고 있습니다.

(garymarcus.substack.com)

AI 모델 평가