成为AI工程师的路线图

AI是构建所有技术的新范式。

- 克莱门特·德朗格（HuggingFace联合创始人）

在确定了AI 工程师将成为下一个重要的技术职位之后，是时候学习如何成为一名 AI 工程师了。

这篇帖子解释了：

• 从软件工程师转变为AI工程师可以遵循的发展路线。
• 成为AI工程师所需的技能。
• 在培养这些技能时应该学习使用的示例工具。
• 发展这些技能的最佳方式。

让我们先揭开路线图吧！

Harshit Tyagi 的 AI 工程师路线图

首先！

程序员 / 软件开发工程师 / 分析师 / 数据科学家计划提升技能以从事AI工程。

由于这是核心工程技能，以下是先决条件:

• 中级水平的Python/JS编程理解。

• 理想情况下，你至少有开发2-3个中等复杂应用的经验，例如使用Flask或Rails或Node.js开发的博客网站应用。

• 至少能够阅读文档来构建应用。

• 在像VS Code这样的IDE中编写代码感到舒适。

• 虽然使用git和GitHub很重要，但可以在项目中学习这些技能。

我已经将整个AI工程路线分为3个阶段，如下所示，你从左到右依次前进，即从入门到中级再到高级。

这里每个阶段代表的意思如下：

1. 入门（<= 1个月） — 构建基本应用程序以学习如何使用LLM API，仔细设计应用程序的提示，并与开源LLM合作。
2. 中级（~ 2个月） — 深入构建更具有上下文意识的高级应用程序，使用检索增强生成（RAG）。学习向量数据库及其使用方法。学习使用LLM和工具构建代理。
3. 高级（~ 3个月） — 掌握应用程序构建后，学习使用LLMOps部署、优化和管理生产中的LLM驱动应用程序。学习如何微调预训练模型，以高效且低成本地适应下游应用程序。

• 理解LLM的基础——你应该知道ChatGPT的大致工作原理。
• 学习开发者提示工程。如何编写提示以提高LLM的响应质量。
• 学习从API获取数据，学习处理JSON数据。
• 学习调用封闭和开源的LLM模型，函数调用，传递提示，解析响应。
• 学习管理对话中的上下文空间。
• 学习使用langchain创建和自动化操作序列——Chains。
• 使用Gradio或Streamlit进行基本的应用开发，用于POC和演示。
• 部署你的应用以使其可访问——在HuggingFace Space或Streamlit云上进行基本部署。
• 多模态生成——使用HuggingFace transformer库生成代码、图像和音频。

• 理解向量嵌入和向量数据库。
• 学会如何在应用程序中使用向量数据库。
• 构建检索增强生成（RAG）——与您的知识库进行聊天。
• 开发高级RAG管道，例如子问题查询引擎，该引擎可以在经过多个数据源后提供响应。
• 构建代理——迭代工作流以完成大型任务。
• 构建多代理应用程序，其中多个代理协同工作以提供更好的解决方案。
• 使用多个代理进行自动化——Autogen和Crew AI
• 评估RAG——RAGAs框架。
• 管理数据库、检索、部署完整应用程序、版本控制、日志记录和监控模型行为。

• 微调预训练的LLM以适应特定领域的知识和定制响应，例如医学研究、金融研究、法律分析等。
• 整理数据集并设计（ETL管道）以进行模型微调。
• 评估和基准测试模型性能。
• LLMOps — 构建完整的端到端管道，包括模型注册、可观测性和自动化测试。
• 构建多模态应用 — 结合文本和图像的混合语义搜索。
• 构建SDK、包和自定义解决方案，以帮助其他开发者。
• 使用提示破解等技术并采取防御措施（如检查漏洞和潜在风险）来保护您的AI应用程序。

以下是您在花费足够时间构建应用程序和调整模型后，技能应如何进步：

现在，如何培养这些技能？

AI 正在涌现出各种学习资源和教程。

有许多很好的资源可以学习这些概念，也有很多热心的人在每个主题上发布非常深入和详细的材料。

这里很难捕获所有资源，所以我创建了一个单独的资源列表 here。

我们已经学会了应该做什么，现在让我们来讨论一下最好的做法。

处理项目。

掌握这些概念的最佳方式。这将进一步提升思考前沿用例的能力。

你可以在这个同一仓库中找到项目想法。

除此之外，我还会在我的 YouTube 频道上分享项目和教程。

对于第一步，我推荐你查看我创建的这个基于项目的课程，在这个课程中，你将构建由LLM驱动的应用程序，包括作为WhatsApp聊天机器人的RAG管道。

AI 工程师路线图由 Harshit Tyagi 提供

除了学习之外，AI 社区每天都会发布许多公告和新进展，许多人正在研究有趣的用例并开发可能引起你兴趣的产品。

如果你想参与这次讨论，加入我们的 Discord 社区。社区名为 Wiplane。

我将遵循相同的路线图，并一路揭露过程、挑战和学习的内容。

确保你已订阅，以接收那些特别详细的帖子。