黑色蕾丝透视露胸旗袍连衣裙一句话生成任务专属LoRA！Transformer作者创业公司颠覆LLM微调

可以说，“一句话定制模型”的时代正在开启，非技术用户不再需要学习复杂的微调知识，直接用通俗易懂的自然语言就可以完成相应工作。 研究团队从人类视觉系统中汲取灵感，即在有限的感官线索下可以实现环境快速适应，并由此构建了能够动态调制大模型的超网络架构Text-to-LoRA（T2L）。 按模块类型（而非具体层）共享输出空间。对于同一类型的模块，超网络仅生成一组共享的LoRA矩阵，并应用于该类型下的所有层。 LoRA重建的核心思想是让T2L从任务的文本描述中，生成与真实LoRA适配器效果相近的参数，从而最大限度地减少生成适配器和目标适配器之间的重建损失。 这种方法避免了传统方法中对大量任务数据的依赖，转而利用已有的LoRA适配器和文本描述构建监督信号，压缩了现有的LoRAs，但难以进行零镜头泛化。 而监督微调则是使用任务描述，在任务数据集上直接端到端训练T2L。这改进了对未知任务的泛化，并能够根据文本描述生成具有可引导行为的适配器。 实验发现，重建LoRA与原始LoRA相比，参数规模从15.8M下降为3.2M，压缩率达80%，但在任务的平均准确率上仅下降了1.2%，证明了压缩过程中的知识保留能力。 构建了12个全新的NLP任务并各自提供自然语言描述，使用T2L生成的对应LoRA适配器直接应用于基础模型，测试其在标注数据集上的性能。 其中T2L-L因为能够为不同层定制参数，在复杂任务中表现最佳，而T2L-S在简单任务上效率更高，参数规模仅为T2L-L的五分之一，但性能仅下降3.2%。 源于超网络对 “文本语义 - 参数空间” 映射的显式学习，T2L实现了真正的文本驱动，无需任务数据即可通过自然语言描述生成有效LoRA，这为模型快速适应长尾任务提供了可能。 而创办Sakana AI后，他也始终致力于探索超越和补充当前Transformer范式的新路径，例如他们在去年底推出了用于Transformer的新型神经记忆系统NAMM，今年1月提出的Transformer²可以针对各种任务动态调整权重。 目前公司专注利用自然启发的方法（如进化计算和集体智能）来开发基础模型，例如在今年5月他们根据达尔文进化论提出了达尔文哥德尔机（DGM），可以让AI通过读取和修改自身代码来提升编码性能。