如何用Ollama在Google Colab上轻松运行LLaMA3.1和Gemma2模型

👨🏾‍💻 GitHub ⭐️ | 👔 领英 (LinkedIn) | 📝 Medium | ☕️ Ko-fi (咖啡) 可以在这里打赏哦！

作者提供图片

人工智能正在飞速发展，强大的语言模型正在改变我们处理自然语言处理（NLP）任务的方式。今天，我将向你展示如何利用Ollama库在Google Colab平台上加载两个最新模型LLaMA3.1和Gemma2。

Ollama 是一个功能强大的库，它使你能够轻松运行高级语言模型。它简化了管理大型语言模型的复杂性，并提供了一个简单的 API 来加载和调用它们。在这篇文章中，我们将重点介绍如何使用 Ollama 加载两个模型：LLama3.1 和 Gemma 2。

Google Colab 是一个免费的基于云端的 Jupyter 笔记本环境，让你可以在 GPU 和 TPU 上编写和执行 Python 代码。它非常适合在没有高端本地硬件的情况下实验大型语言模型。我们将用 Colab 来安装必要的包并无缝运行我们的代码。

让我们看看如何设置Ollama、加载模型并生成响应。

首先，第一步是安装所需的包，包括Langchain、Langchain-社区和Ollama。Langchain有助于加载和调用语言模型，而Ollama提供了对LLaMA3.1和Gemma2模型的访问权限。

    !pip install langchain  # 安装langchain库
    !pip install -U langchain-community  # 更新langchain-community库
    !pip install langchain_ollama  # 安装langchain_ollama库

Colab-XTerm 是一个方便的包，可以让你在 Colab 笔记本中使用终端模拟。这在笔记本环境中运行 shell 命令时非常有用。要安装它，请运行以下命令。

!pip install colab-xterm  
%load_ext colabxterm
# 安装一个名为colab-xterm的Python包，并加载该扩展以便在Colab环境中使用xterm。

你可以通过运行命令来打开终端：

%xterm （xterm）

在终端中运行以下命令以安装 Ollama：

ollama install

这个命令会安全地从ollama.com获取安装脚本并直接运行：
curl -fsSL https://ollama.com/install.sh | sh

运行 ollama

终端截屏

第四步：获取模型

安装了 Ollama 后，你可以拉取你需要的模型。Ollama 提供了一些大模型，比如 Llama 3.1 和 Gemma 2。下面是如何拉取它们的步骤：

    ollama pull llama3.1

（这是一个命令，用于拉取特定版本的llama。）

终端屏幕截图

上述命令会下载并准备模型，让您在 Colab 环境中使用它们。

或者，获取任何在 Ollama 中可用的 LLM 模型。所有可用的 LLM 模型列表和详情如下：https://ollama.com/library

要通过编程使用这些模型，你需要将Ollama与Langchain集成。以下是初始化并运行Llama 3.1和Gemma 2的方法：

    from langchain_community.llms import Ollama  

    # 初始化一个Llama 3.1模型实例  
    llm_llama = Ollama(model="llama3.1")  

    # 让模型生成一个回复  
    response = llm_llama.invoke("Tell me a joke")  
    print(response)

输出：结果显示：如下：

    这里有一个笑话：  

    假面条叫什么？  

    （你可以告诉我答案，或者让我告诉你答案！）

如果你已经在终端中拉取了gemm2模型，那么你可以加载它：
同样，你也可以使用Gemma 2来加载模型：

    # 创建一个Gemma 2模型的实例  
    llm_gemma = Ollama(model="gemma2")  

    # 调用模型生成一个回复  
    response = llm_gemma.invoke("告诉我一个笑话")  
    print(response)

如下：

    科学家为什么不信任原子？

    因为它们组成了所有的一切！ 😄

Ollama 还提供了许多其他模型供您探索。您可以在他们的库中找到完整模型列表。根据您的需求，您可以从这些模型中选择并拉取任何您需要的模型，并在您的 Colab 环境中使用它们。就像我们使用 Llama 3.1 和 Gemma 2 一样。

获取GitHub代码：点击这里

请留下您的反馈和评论，并为这个故事点赞👍👍

如果您喜欢这篇文章并希望支持我的工作，请在这里买我一杯咖啡： Ko-fi

在Google Colab上运行强大的LLM模型，如Llama 3.1和Gemma 2，为自然语言处理应用打开了广阔的世界。借助Ollama，集成和使用这些模型变得极其简单。无论是个人项目还是高级研究任务，Colab、Ollama和Langchain的结合为您提供了一个灵活且可扩展的平台来满足您的AI需求。

尽情探索 Ollama 库里的其他模型，并尝试各种不同的任务。可能性无穷无尽，等着你去发现！

祝你编程愉快！🎉

👨🏾‍💻 GitHub ⭐️ | 👔 LinkedIn | 📝 Medium | ☕️ Ko-fi 打赏

感谢你花时间读这篇帖子！

记得给我们留下您的反馈和评论。下期见，期待您的到来 📢
别走开哦，敬请期待下一期

• 解锁文档检索的未来之路： 深入了解结合了假设文档嵌入（HyDE） 和检索增强生成（RAG） 的最先进方法，彻底改变查询和文档之间的互动方式。了解更多
• 构建自己的AI助手： 学习如何从头开始创建一个AI聊天机器人，并详细对比Mixtral 和Llama3 的响应速度。发现分步指南
• 使用Piper TTS增强文本转语音： 在这一手把手的Google Colab教程中，了解如何实现10倍更快的实时离线语音合成，达到几乎人声的真实感。将文本转化为栩栩如生的语音