이 게시물에서는 GitHub Actions 및 GitHub Pages를 사용하여 Ollama의 최신 모델 페이지에서 최신 모델 데이터를 스크래핑하는 Atom 피드를 만드는 방법을 설명합니다. 처음에는 Claude를 사용하여 HTML을 Atom으로 변환하는 스크립트를 만들었지만 Google의 Gemini 2.5 Pro를 사용하여 스크립트를 개선했습니다. 이 업그레이드를 통해 출력은 두 개의 피드로 나뉩니다. 하나는 모든 모델을 포함하는 피드이고 다른 하나는 최근 20개 모델만 포함하는 피드입니다. 이를 통해 효율성과 사용 편의성이 향상됩니다.
더 보기
320억 매개변수를 가진 오픈소스 대규모 언어 모델 OLMo-2는 GPT-3.5-Turbo와 GPT-4 mini를 능가하는 성능을 자랑합니다. 데이터, 코드, 가중치, 세부 정보 모두 자유롭게 이용 가능합니다. 이 글에서는 llm-mlx 플러그인을 사용하여 Mac에서 간편하게 설치하고 실행하는 방법을 설명합니다. 몇 가지 명령어로 17GB 모델을 다운로드하고, 대화형 채팅이나 이미지 생성(예: 자전거를 타는 펠리컨 SVG 이미지)을 수행할 수 있습니다.
더 보기
Paul Gauthier의 Aider CLI 도구는 최종 사용자에게 가상 환경의 복잡성을 피할 수 있는 혁신적인 설치 방법을 제공합니다. 간단한 `pip install aider-install && aider-install` 명령어를 사용하여 uv 도구를 통해 독립적인 Python 3.12 환경을 설치하고, 그 안에 Aider를 설치하며, PATH 환경 변수를 자동으로 구성합니다. 이를 통해 Python 초보 사용자에게 안전하고 간편한 설치 환경을 제공하며, 복잡한 설정 단계를 생략할 수 있습니다.
더 보기
LLM을 사용하여 코드를 작성하는 개발자들 사이에서 흔히 나오는 불만은 바로 '환각'입니다. LLM이 실제로 존재하지 않는 메서드나 라이브러리를 생성하는 현상입니다. 하지만 저자는 이를 치명적인 결함으로 생각하지 않습니다. 코드 환각은 컴파일러나 인터프리터 오류를 통해 즉시 감지하고 수정할 수 있으며, 고급 시스템에서는 자동으로 수정될 수도 있습니다. 진정한 위험은 실행 시에야 드러나는 LLM이 생성한 코드의 오류이며, 강력한 수동 테스트와 QA 기술이 필요합니다. 저자는 개발자들에게 코드 읽기, 이해, 검토 능력을 향상시킬 것을 권장하며, 다양한 모델을 시도하고, 컨텍스트를 효과적으로 활용하고, 확립된 기술을 선택하는 등 환각을 줄이는 팁을 제시합니다. LLM이 생성한 코드를 검토하는 능력은 귀중한 기술 향상의 기회가 됩니다.
더 보기
새로운 플러그인 llm-smollm2는 100MB 미만으로 양자화된 SmolLM2-135M-Instruct LLM을 번들로 제공하여 pip로 설치할 수 있도록 합니다. 이 글에서는 PyPI 크기 제한(100MB)을 고려하여 적합한 모델을 선택하는 과정부터 llama-cpp-python 라이브러리의 과도한 로그 출력 억제, PyPI에 대한 패키징 과정까지 자세히 설명합니다. 모델의 기능은 제한적이지만 LLM 기술을 배우는 데 유용한 학습 도구로 제시됩니다.
더 보기
1979년 IBM 내부 교육 자료의 전설적인 페이지가 온라인에서 다시 등장하여 "컴퓨터는 결코 책임을 질 수 없다. 따라서 컴퓨터는 결코 경영상의 결정을 내려서는 안 된다."라고 명시하고 있다. 원본 자료는 분실되었으며, 홍수로 인해 파괴된 것으로 알려져 있다. 이 진술은 AI 중심의 현대 사회에서 큰 반향을 불러일으키며, AI의 책임과 의사 결정에 대한 심사숙고를 촉구하고 있다.
더 보기
Anthropic의 채용 지원 양식은 지원 과정에서 AI 어시스턴트 사용을 명시적으로 금지합니다. 회사는 AI 중재 없이 지원자의 Anthropic에 대한 진정한 관심과 의사소통 능력을 평가하고자 합니다. 이를 통해 지원자의 능력과 사고 과정을 공정하고 신뢰할 수 있게 평가할 수 있습니다.
더 보기
OpenAI가 새로운 언어 모델 o3-mini를 출시했습니다. Codeforces 프로그래밍 경진대회 벤치마크에서 GPT-4o 및 o1을 훨씬 능가하는 성능을 보였습니다. 모든 지표에서 우수한 것은 아니지만, 저렴한 가격(입력 토큰 100만 개당 1.10달러, 출력 토큰 100만 개당 4.40달러)과 매우 높은 토큰 출력 제한(10만 토큰)이 큰 장점입니다. OpenAI는 이를 ChatGPT의 웹 검색 및 요약 기능에 통합할 계획이며, LLM 0.21에서 이미 지원되지만 현재는 Tier 3 이상 사용자(API에서 100달러 이상 사용)로 제한됩니다. o3-mini는 개발자에게 강력하고 비용 효율적인 LLM 옵션을 제공합니다.
더 보기
Simon Willison의 블로그 게시물에서 llama.cpp의 상당한 개선 사항이 소개되었습니다. SIMD 명령어 최적화를 통해 WASM 버전의 속도가 2배 향상되었습니다. 놀랍게도 코드의 99%는 AI 지원 프로그래밍 도구 DeepSeek R1에 의해 생성되었습니다. DeepSeek R1은 각 프롬프트에 대해 3~5분 동안 '생각'하며, 최종적으로 개발자가 llm_groq.py 플러그인을 개선하고 model_map을 효율적으로 제거하여 코드를 간소화하는 데 기여했습니다. 이는 AI가 코드 최적화 및 리팩토링에서 엄청난 잠재력을 가지고 있음을 보여줍니다.
더 보기
알리바바가 오픈소스 대규모 언어 모델 Qwen 2.5의 주요 업데이트를 발표했습니다. 최대 100만 토큰의 컨텍스트 길이를 지원합니다! 이는 "Dual Chunk Attention"이라는 새로운 기술 덕분입니다. Hugging Face에서 7B 파라미터와 14B 파라미터의 두 모델이 공개되었지만, 이를 실행하려면 엄청난 VRAM이 필요합니다. 7B 모델은 최소 120GB, 14B 모델은 최소 320GB가 필요합니다. 짧은 작업에도 사용할 수 있지만, 알리바바는 사용자 정의 vLLM 프레임워크를 사용할 것을 권장합니다. 또한 크기가 더 작은 GGUF 양자화 버전도 등장했지만, 전체 컨텍스트 길이에서 작동하는 데는 호환성 문제가 있을 수 있습니다. 한 블로거가 Ollama를 사용하여 Mac에서 GGUF 버전을 실행하려고 시도했지만, 몇 가지 문제에 직면했으며 향후 업데이트를 약속했습니다.
더 보기
Simon Willison은 Oxide and Friends 팟캐스트에서 향후 1년, 3년, 6년 동안의 AI/LLM 개발에 대한 예측을 공유했습니다. 그는 범용 AI 에이전트는 곧 등장하지 않을 것으로 예상하지만, 코드 어시스턴트와 연구 어시스턴트는 발전할 것이라고 생각합니다. 3년 안에 AI 지원 조사 보도가 퓰리처상을 수상할 가능성이 있으며, 동시에 더욱 엄격한 개인 정보 보호법이 제정될 것입니다. 6년 후에는 AI가 놀라운 예술 작품을 만들어낼 수도 있지만, AGI/ASI의 개발과 경제적 영향에 따라 대규모 사회적 혼란을 야기할 수도 있습니다. Willison은 이러한 예측에 대한 확신이 낮다는 점을 강조하며, 미래를 되돌아볼 때 흥미로운 자료가 될 것이라고 언급했습니다.
더 보기
Simon Willison은 20년 이상 성공적으로 링크 블로그를 운영해 온 방식을 공유합니다. 그는 링크 큐레이션 및 프레젠테이션 방법을 자세히 설명하고, 통찰력 있는 의견 추가, 제작자에 대한 적절한 크레딧 부여, 그리고 경험 향상을 위한 기술(Django, Markdown, Claude) 활용을 강조합니다. 그는 링크 블로그가 저렴하면서도 가치 있는 방법이며 온라인 담론에 의미 있게 기여할 수 있다고 주장하며 다른 사람들에게도 이러한 방식을 채택할 것을 권장합니다.
더 보기
애플은 Siri 녹음 데이터가 타겟 광고에 사용되었다는 주장에 대해 9500만 달러에 소송을 합의했지만, 부정행위를 부인했습니다. 저자는 광고 타겟팅의 정확성이 마이크 도청보다 앱 데이터 수집 때문일 가능성이 더 높다고 주장합니다. 하지만 우연히 대화와 관련된 광고를 본 경험은 마이크 도청 음모론을 부추길 것입니다.
더 보기
2024년은 대규모 언어 모델(LLM) 분야에서 눈부신 발전을 이룬 해였습니다. 여러 기관들이 GPT-4의 성능을 뛰어넘었고, 모델 효율성이 극적으로 향상되어 개인용 노트북에서도 LLM을 실행할 수 있게 되었습니다. 멀티모달 모델이 보편화되었고, 음성 및 비디오 기능도 등장했습니다. 프롬프트 기반 앱 생성은 상품화되었지만, 최상위 모델에 대한 보편적 접근은 몇 달 동안만 지속되었습니다. 에이전트는 아직 실현되지 않았지만, 평가의 중요성이 커지고 있습니다. Apple의 MLX 라이브러리는 뛰어났지만, Apple Intelligence 기능은 실망스러웠습니다. 추론 스케일링 모델이 등장하여 비용을 절감하고 환경적 영향을 개선했지만, 새로운 인프라 구축으로 인한 환경 문제도 제기되었습니다. 합성 훈련 데이터는 매우 효과적이었지만, LLM의 사용 편의성은 여전히 과제이며, 지식 불균형도 해결되지 않았습니다. 더 나은 비판적 평가가 필요합니다.
더 보기
알리바바가 최근 Apache 2.0 라이선스 하에 새로운 시각 추론 모델 QvQ-72B-Preview를 공개했습니다. AI의 시각 추론 능력을 향상시키기 위해 설계된 QvQ는 추론 확장 모델 QwQ를 기반으로 이미지 처리 기능을 추가했습니다. 이미지와 프롬프트를 받아들이고, 상세하고 단계적인 추론 과정을 생성합니다. 블로거 Simon Willison은 QvQ를 테스트하여, 펠리컨 세기와 같은 작업에서는 성공적이었지만 복잡한 추론 문제에서는 정확도가 낮다는 것을 발견했습니다. 현재 Hugging Face Spaces에서 사용 가능하며, 향후 계획에는 로컬 배포 및 더 넓은 플랫폼 지원이 포함됩니다.
더 보기
Simon Willison은 자전거를 타는 펠리컨의 SVG 이미지를 생성하는 독특한 LLM 벤치마크를 만들었습니다. 이 특이한 프롬프트는 기존의 훈련 데이터에 의존하지 않고 모델의 창의성을 테스트하기 위한 것입니다. 그는 OpenAI, Anthropic, Google Gemini, Meta(Cerebras에서 실행되는 Llama)의 16개 모델을 테스트하여 생성된 SVG의 품질에 큰 차이가 있음을 밝혔습니다. 일부 모델은 놀라울 정도로 좋은 결과를 보였지만 다른 모델들은 어려움을 겪었습니다.
더 보기
이 블로그 게시물에서는 이벤트 웹사이트에서 이벤트 시간을 저장하기 위한 모범 사례에 대해 논의합니다. 작성자는 UTC 시간을 직접 저장하면 사용자의 원래 의도 및 위치와 같은 중요한 정보가 손실된다고 주장합니다. 더 나은 방법은 사용자의 의도한 시간과 이벤트 위치를 저장한 다음 UTC 시간을 유도하는 것입니다. 사용자 오류, 국제 표준시 변경 및 2007년 Microsoft Exchange의 DST 업데이트와 같은 예는 사용자의 의도한 시간을 저장하는 중요성을 보여줍니다. 작성자는 사용자가 이벤트 시간과 위치를 정확하게 설정할 수 있도록 명확하고 사용자 친화적인 사용자 인터페이스를 설계할 것을 권장하며, 표준시 변경으로 인해 발생하는 오류를 방지하기 위해 사용자의 원래 의도를 유지하는 것이 중요하다고 강조합니다.
더 보기