Meta公司大型概念模型(LCMs)重新定义自然语言处理

让我们来了解一下最小公倍数 (LCMs) 吧

大型语言模型（LLM）已成为人工智能的支柱，推动了自然语言处理（NLP）的进步。然而，它们依赖于基于令牌级别的推理，这往往限制了它们像人类一样进行抽象思维的能力。为了解决这一问题，Meta推出了大型概念模型（LCM），这是一种专注于概念层面推理的创新架构。

与传统的大型语言模型不同，后者在词元级别上预测文本，语言连贯模型（LCMs）在使用SONAR嵌入系统的句子表示空间中工作。这种架构使LCMs能够更抽象地处理和推理语言，使其独立于任何特定的语言或模式的限制。驱动LCMs的核心原则包括：

• 超越词汇的理解：在概念层面上实现理解，以更好地进行抽象思考和规划。
• 分层处理：模仿人类自上而下的方式来解决复杂任务并生成一致的输出。

1. 多语言和多模态支持
   利用SONAR嵌入空间，LCM支持超过200种语言的文字和76种语言的语音。这种包容性还涵盖了传统模型常常忽视的低资源语言。
2. 无与伦比的零样本泛化能力
   在零样本场景中，LCM表现出色，能够在不同语言和模态间应用知识，无需额外的微调。
3. 抽象且易于理解的输出
   模型的输出结构化且可解释，提高了跨语言的合作和适应性。
4. 可扩展性和模块化
   LCM的模块化设计确保了新语言或模态的无缝集成，避免了多个输入间的冲突。

LCMs通过SONAR编码器将输入文本转换为概念表示。该序列经过抽象推理后再解码成有意义的文本或语音。整个过程分为四个阶段：

1. 句子切分：将输入分成句子。
2. 概念编码：将每个句子表示为概念域中的表示。
3. 概念推理：创建新的抽象概念。
4. 转换回文字或语音：将概念翻译回文字或语音。

              +---------------+  
              | 输入词元       |  
              +---------------+  
                      |  
                      v  
              +---------------+  
              | 编码器         |  
              | (Transformer)  |  
              +---------------+  
                      |  
                      v  
              +---------------+  
              | 自注意力      |  
              +---------------+  
                      |  
                      v  
              +---------------+  
              | 解码器         |  
              | (Transformer)  |  
              +---------------+  
                      |  
                      v  
              +---------------+  
              | 输出词元       |  
              +---------------+

通过元测试了在摘要和摘要扩展等任务上的LCM，展示了在跨语言零样本泛化方面的优越性。该模型在连贯性、推理能力和适应性方面优于与同规模的现有大规模语言模型。

Meta的大型概念模型（LCM）代表了AI领域的范式转变，从基于标记的系统转向概念理解。由于其模块化、可扩展性和包容性，大型概念模型为更先进且易于获取的AI技术奠定了基础。

要了解各种可能性，可以访问研究论文或访问GitHub仓库。