Transformer² 是一种新型机器学习系统，能够根据不同任务动态调整自身权重。它借鉴了自然界生物适应性的原理，例如章鱼变色和大脑神经重组，使大型语言模型（LLM）能够实时适应新任务。通过奇异值分解（SVD）和强化学习（RL），Transformer² 将模型权重分解成独立组件，并学习如何组合这些组件以最佳地执行各种任务，包括数学、编码、推理和视觉理解。该研究结果表明，Transformer² 在效率和特定任务性能方面优于传统的静态方法，例如LoRA，并且只需要更少的参数。这项工作为构建能够持续学习和进化的“活的智能”AI 系统铺平了道路。
阅读更多
Sakana AI与合作伙伴开发了一种名为ASAL的新算法，利用视觉语言基础模型自动化发现人工生命。ASAL通过三个搜索问题（寻找特定目标行为的模拟、发现持续产生新颖性的模拟以及阐明所有可能的模拟）来实现这一目标。该算法已成功在Lenia、Boids、Particle Life等多个模拟环境中发现新的、开放式的人工生命形式，甚至发现了比康威生命游戏更开放、更具表现力的细胞自动机规则。这项研究有望通过克服手动设计模拟的瓶颈，从而推动人工生命研究的进步，并为下一代更自然、更具适应性的AI算法提供启示。
阅读更多
本文介绍了一种名为“人工智能科学家”的全自动科学发现系统，该系统能够自动完成从研究思路生成、代码编写、实验执行到结果总结、可视化和论文撰写的整个研究过程。该系统还能进行自动同行评审，评估生成论文的质量，并提供反馈意见，以迭代改进研究成果。目前，“人工智能科学家”已在机器学习研究的多个子领域取得了一些成果，例如在扩散模型、变换器和顿悟学习等领域。
阅读更多
Sakana AI 的研究人员正在探索利用大型语言模型 (LLM) 来改进 AI 研究本身，尤其是在偏好优化算法方面。他们开发了一种名为“LLM²”的自我参照改进过程，使用 LLM 提出和改进新的偏好优化算法。这种方法减少了对人工干预和计算资源的依赖。研究发现，LLM 可以生成优于人工设计的目标函数，其中一种名为 DiscoPOP 的算法在多个评估任务中均达到了最先进的性能。
阅读更多