AI工程师——下一个科技大热门！

请点击观看视频: https://youtu.be/bpddAgwweAE

从数量上看，AI工程师的数量可能会远远超过机器学习（ML）工程师和LLM工程师的数量。在这个角色中，你可能不需要训练任何模型就能取得成功。 — Andrej Karpathy

仅初创企业就贡献了超过10亿美元的收入，随着生成式AI初见成效，每一家有远见的科技公司都在竞相将生成式AI融入其产品、客服机器人和营销活动中。作为一项技术，AI正处于类似于90年代末互联网的位置，如果不是同样的位置的话。

随着人工智能需求的增加和建设者的增多

为了找到这一趋势，我查看了YCombinator的投资组合中的公司。对于不了解YCombinator的人来说，YCombinator是一家位于美国的著名创业加速器。他们支持了许多现在已经成为科技巨头的初创企业，例如Airbnb、Dropbox、Stripe和Reddit。

2017年到2023年间，使用AI构建公司的数量如下。从2021年开始，使用AI构建的公司数量显著增加，而在2022年ChatGPT发布后，这一数量更是急剧上升。

这让我们对将来充满信心，未来将会有越来越多的公司开始使用人工智能，从而带来对AI工程师越来越多的需求。

对于程序员来说，现在是开始构建和学习的最好时机。

AI开发空间已经发展得足够好，拥有开源的大规模语言模型（LLM）、框架和现成的API，快速入门，社区也已经发展壮大，能够提供所需的支持和帮助。

AI初创公司、AI加速器项目、开源仓库、SDK、软件包和工具包、云平台——一个共同的主题——尽快构建、解决和发布问题，尽可能快地。

过去需要一个专门的研究小组花费数年时间才能完成的任务，现在只需要通过API文档和几天集中努力就能高效完成。

所以，一个喜欢构建产品的人或工程师今天怎样才能更深入地了解人工智能领域？

要回答这个问题，你首先得知道该领域内正在发生的所有事情。

我将人工智能领域的主要进展划分为今天的三个不同的层次。

AI开发层次图

1. 应用开发 — 这一层包括使用一些AI工程框架（如Langchain，LlamaIndex，Autogen等）在现成的LLM API上开发应用程序（接口），之后还需监控和评估这些应用程序。这是最活跃和充满活力的一层。这里才有钱景。实际的用例价值越高，为了开发这些AI应用程序，您需要掌握一些特定的工程技术，我将在本文稍后解释这些技能。
2. 模型开发 — 更深入一层，这里我们致力于一切可以带来更优化模型的工作。包括数据集工程、分布式训练、评估和基准测试，以及使用各种工具进行推理服务，进而提供更高效的推理服务。这一层需要深入掌握深度学习、分布式系统、数据集整理和工程技能。
3. 基础设施 — 支撑这一切的是基础设施层，包括硬件、云服务提供商和GPU，在这里训练这些大型模型。这一层需要深入了解计算（如操作系统、网络和安全）、分布式系统，当然也包括AI模型开发。

除此之外，还有一层研究AI风险和安全对齐，以防范不守规矩的AI。这里有一个由OpenAI在今年早些时候启动的1000万美金超级对齐研究资助计划。

由于应用层取得了最大的牵引力，这导致了对这种特殊类型的工程师的需求不断增加，他们知道如何在人工智能之上构建。虽然还没有一个标准的称呼，但大多数公司称他们为AI工程师。

当我写这篇论文的时候，Chip Huyen 发布了一篇关于900款最受欢迎的开源AI工具的极为详尽的文章，这进一步印证了我关于AI工程师需求增长观察和发现的看法：

有了现成的模型资源，任何人都可以在此基础上开发应用。这一层在过去两年中经历的变化最多，并且仍在迅速演变。这一层也常被称为AI工程。— Chip Huyen

AI工程师是一位精通于利用人工智能技术开发能够处理各种形式的综合性应用的专业软件开发者。

“形式无关”指的是应用类型的灵活性，适用于从简单的聊天接口到复杂的全栈应用，包括例如Chrome扩展、Python包或SDK，涵盖了多种类型的程序。

与专注于算法基础研究的AI研究人员不同，AI工程师则更注重将现有的AI模型应用到用户导向的产品开发上。

但是，另一个问题出现了，我是不是必须成为人工智能专家才能成为AI工程师？

简单来说，不是。

这个角色不需要深入了解AI，比如不需要懂Transformer模型的内部运作，就像学游泳不需要懂浮力的原理一样。

虽然对深度学习和机器学习有深刻的理解可以提供明显的优势，但当前行业更看重实际应用而非理论研究工作。

那么，我们怎么区分AI工程师和AI研究者呢？

以下图表将工程技能（例如使用API）与AI研究技能（例如设计模型结构或了解transformer如何运作）进行了图示对比。

一位AI工程师擅长开发AI驱动的应用，专注于提升模型的能力并优化大型语言模型（LLMs）的工作流。

AI工程师 VS 研究员 —

通过这个图表，我认为更具有工程背景的人可能更适合这个角色，比那些主要专注于机器学习的人表现更好，但在评论区分享你的想法吧。

你可能在想，既然AI研究人员既擅长工程，又拥有深厚的人工智能知识，为什么公司不直接聘请他们做AI工程师呢？

简短的答案是稀缺，这又导致成本增加。

这里有一些关于“模型即服务平台”如何促使这个生态系统迅速进化的有趣见解：

1. 需求与供给动态: 所有的顶尖LLM研究者已经被谷歌、OpenAI、微软和Meta等巨头公司雇佣，这种LLM研究者的稀缺性表明了对AI工程师的迫切需求。这类专业人员作为前沿研究与实际应用之间的桥梁，确保了AI技术的更广泛应用和实施。
2. 快速原型设计和灵活性: 与传统ML方法相比，后者需要大量的研究来确定是否需要ML来解决问题，AI工程师可以使用现成的模型API接口快速对AI产品进行原型设计和迭代。
3. 创新变得更简单和更快: 基础模型在各种任务中表现出卓越的适应性，只需少量输入即可完成任务，这使得AI工程师能够利用这些能力创造出超出原研究人员设想的创新解决方案。
4. 在计算约束下进行推理优化: 对GPU的需求不断上升以及专属计算集群的形成，突显了AI工程师在这些限制内优化模型性能和促进创新的重要性。

传统的机器学习问题，如推荐系统、欺诈检测和异常检测，将继续得到改进，而我们还将面对全新的AI应用场景。

*Clem Delangue,* HuggingFace 的联合创始人 Clem Delangue 表示：

人工智能是构建所有技术的新模式

所以，我们需要越来越多的AI工程师！

看看 Sequoia 的这份生成式 AI 市场图，应用层几乎包含了各个领域的应用案例和公司。

图片来自 Sequoia 的博客——生成式AI的第二幕

把这些东西整合起来，我们这就有了。

1. 来自行业领导人物和人工智能领域顶尖专家如 Andrej Karpathy、Chip Huyen 和 Clem 等人的认可，还有许多其他人。
2. 像 YCombinator 这样的大型孵化器、风险投资公司和投资者一直在投资人工智能公司，并且他们对人工智能有着长远的投资计划，这表明人工智能将是构建下一代技术的关键。
3. 为了填补人工智能研究与工程实践之间的鸿沟，人工智能工程师 将发挥关键作用。
4. 快速发展的 AI 应用程序生态系统——新的和改进的开发者工具、现成的 API、库以及每周更新的云平台。此外，我们还拥有一个不断壮大的社区，为开发者提供所需的支持。

现在是开始用AI做事情，提升技能，为下一个重要的技术岗位做好准备。

来看看我在YouTube频道上发布的这篇文章的视频版本：

将于2024年4月27日发布的接下来的文章中，我将推出一份成为AI工程师的详细路线图以及学习所需技能的资源。

跟着我，如果你想在邮箱里收到下一集AI工程教程，记得订阅哦。

• Andrej的推特链接：https://twitter.com/karpathy/status/1674873002314563584?lang=en
• Chip写的关于“从分析900个最受欢迎的开源AI工具中学到的”的文章
• Sequoia关于生成AI第二部分的博客：https://www.sequoiacap.com/article/generative-ai-act-two/
• a16z关于消费者如何使用生成AI的文章：https://a16z.com/how-are-consumers-using-generative-ai/