Transformer²：自适应大型语言模型的突破

Transformer² 是一种新型机器学习系统，能够根据不同任务动态调整自身权重。它借鉴了自然界生物适应性的原理，例如章鱼变色和大脑神经重组，使大型语言模型（LLM）能够实时适应新任务。通过奇异值分解（SVD）和强化学习（RL），Transformer² 将模型权重分解成独立组件，并学习如何组合这些组件以最佳地执行各种任务，包括数学、编码、推理和视觉理解。该研究结果表明，Transformer² 在效率和特定任务性能方面优于传统的静态方法，例如LoRA，并且只需要更少的参数。这项工作为构建能够持续学习和进化的“活的智能”AI 系统铺平了道路。