什么是 AI 工程 (AI Engineering) ?
2025年1月5日
从 2022 年底 ChatGPT 推出后,全世界掀起一波生成式 AI 浪潮,而随着各类 AI 相关的 API 推出后,开发者们可以透过 API 来整合 AI 的功能,这进一步让 AI 工程 (AI Engineering) 这个词汇变得热门。
由于在 2024 年搜集 ExplainThis 读者回馈时,收到最多的回馈之一是希望能有 AI 工程相关的主题文,因此我们在 2025 年开始,会开始深来谈 AI 工程这个主题。
在这篇文章中,我们会花一些篇幅定义什么是 AI 工程,以及在《AI 工程》系列主题文中,我们将会涵盖哪些范围 (以及不会谈到哪些范围)。
此外,也会花一些篇幅,来讨论在 AI 蓬勃发展的这两年,传统前端、后端、全端工程师受到什么影响,以及在接下来 AI 持续发展下,前端、后端、全端工程师该如何调整,让自己能够随着科技演进的时代脉络下,持续在职涯有所成长。
如同过去的 ExplainThis 写的文章,这篇内容会是我们的观察,综合在社群中看到的讨论,所归结出的观点。由于仅为一种观点,不代表这时唯一,甚至有可能在科技持续迭代的未来,这篇内容的观点需要调整。因此,推荐读者们带着独立思考的角度来读。
什么是 AI 工程?
如开头提到,AI 工程 (AI Engineering) 这个名词,是这两年来才变得特别热门的;这主要是因为在过去,AI 领域的研究与开发 (Research & Development) 相关职位,多半不会直接用 AI 工程这个词汇,而会是用更专精领域的词汇。
举例来说,过去在工程领域,比较多会听到 ML 工程师 (Machine Learning Engineer 机器学习工程师),或者会说 MLOps 工程师 (Machine Learning Operations Engineer 机器学习维运工程师)。
而 AI 工程这个词之所以变得热门,跟 AI Engineer 论坛主办人 swyx 在 2023 年写的一篇《The Rise of the AI Engineer》有很大的关系。在该文中有一张很经典的图,描述了 AI 工程师的定位。
在下方截图可以看到,AI 工程师的定位不是做模型的研究员,也不是传统的 ML 工程师,但与此同时因为实际做的事情,与传统的前后端工程师有别,因此也不能归类在传统的全端工程师之下。
事实上这个观察,在 2022 年末与 2023 年初,就有不少人提出。举例来说,业界资深前辈 vgod 在更早之前写的一篇《机器学习工程和 MLOps 的典范转移》 也提到了相同的观察,他提到「从去年(2022)开始,我发现整个 ML 开发流程默默地开始进行「典范转移」。传统的开发流程逐渐变得不再适用于新的 AI 时代。」。
进一步说,vgod 前辈谈到「我觉得未来 AI/ML 工程师需求会往两极化发展。能开发新的 ML 演算法、大型基础模型、还有相关基础设施的人需求会增加,但只有大型科技公司或是专门做基础模型的公司才会需要这些人。」
以及「另一方面,做应用的『AI 工程师』会增加,但他们的工作跟传统 ML 开发流程不会有太大关系。像 GPT-3 和 Stable Diffusion 这类的模型会变成新世界的『基础模型』(foundation model),大量公司可以用『自然语言』跟模型沟通,在上面搭建各种应用。」
这个两极的发展,不只是工程界的观察,也是创投界的观察。Sequoia 今年发表的《Generative AI’s Act o1》一文谈到就如同在云端世代,因为各种基础建设 (例如 AWS、Cloudflare、Snowflake 等等),让开发软体应用变得很简单,因此催生了许多软体 SaaS 产品。而在 AI 的基础模型发展蓬勃之际,基于 AI 而生的应用,会是新的市场前景。
从上述的角度看,市场对于 AI 工程师,意即能够运用各类 AI 模型与工具,来创造软体产品的工程师,也会有相对应的需求。
目前社群中对于这点的主要支持观点在于,每个领域都有自己的特有资料 (proprietary data),要真正能创造价值,AI 仍需要跟领域的知识与资料结合。
没有洞见是来自简单的知识与资料,假如显而易见,大家都会知道,就不会是独特的洞见。要能创造独特价值,就会需要有深入到领域之中,才能真正去解决困难的问题,而这不会是只有 AI 就能做到,而是需要 AI + 各领域才能做到。
在这个脉络下,开发 AI 产品的工程师,仍是有其存在的价值。毕竟当全世界只有模型没有产品,AI 价值的体现会大幅度受限。
而 OpenAI、Anthropic 这类模型商,或是 Databricks 这类公司,他们不会去取代大大小小的公司,反而是把这些当成客户来服务。而就像过去 AWS 这样的角色,当他们的客户越成功,他们也会越成功 (因为成功案例,所以吸引更多客户)。
ExplainThis 的 AI 工程主题文会包含什么?
上面谈完了 AI 工程师的定义,如同上面提到的,AI 工程跟传统的前后端开发所用到的工具与技术会有不同,而这些不同,也会是在 ExplainThis 的 AI 工程主题文会包含的主题。
具体来说会有:
- 提示词工程 (prompt engineering)
- 微调 (fine-tuning)
- RAG (retrieval augmented regeneration)
- 向量资料库 (vector database)
- 评估 (eval)
- 代理 (agent)
- 多模态应用开发 (multi-modal)
- 本地优先的 AI 应用 (local-first)
- 推论 (inference)
这些不同的技术,核心的目的都是希望让读者们具备能够使用 AI 模型、工具,来开发出更符合使用者需求的软体应用。每个主题可能会有许多的子主题,在未来也可能会有其他不同的新主题,我们会跟着业界在这方面技术的变化,持续新增相关内容。
如果你对这些主题感兴趣,欢迎持续追踪 ExplainThis。此外,我们在 E+ 成长计划也会有更深入的版本,欢迎加入一同成长 (E+ 的相关介绍可以看这边)