后 ChatGPT 时代的新职业 — AI 工程师

在开源界小有名气的工程师 swyx 先前发了一篇《The Rise of the AI Engineer》分析在后 ChatGPT 时代出现的新职种 — AI 工程师 (AI Engineer)。

在 ChatGPT 刚出来时，许多企业开始招募提示词工程师 (Prompt Engineer)，但是在过去半年的演进，企业开始发现只有提示词完全不够，想要把大型语言模型成功整合进产品，还需要其他不同的工具与技能，例如要搭配嵌入 (Embeddings) 与向量资料库，同时要会用 OpenAI 自己都推的 LangChain。

要懂提示词，又要懂这些不同的工具与技能，这显然不仅是提示词工程师，但这也已经超出传统对全端工程师的定义，同时在做的事也不是机器学习工程师，或研究科学家在做的事。因为过去的职称都不全然吻合这个新兴类别，swyx 用 AI 工程师 (AI Engineer) 一词来定义这个新职种。

他的定义分界是划在 API 这一层。API 层的左端是 AI 研究科学家，他们精进模型并开发 API (例如 OpenAI 开发 ChatGPT API 或 Anthropic 开发 Claude API)。API 层右边则是有 AI 工程师以及传统的全端工程师。在 swxy 的文中，很清楚地区分从底层到应用层有哪些不同的角色。根据他的观察，现在 AI 工程师这类别，在企业中多半会由偏向应用端的工程师负责，因为仍是消费开发好的 API。

而社群中的前辈 vgod，先前也分享类似的观察。他说“我觉得未来 AI/ML 工程师需求会往两极化发展。能开发新的 ML 演算法、大型基础模型、还有相关基础设施的人需求会增加，但只有大型科技公司或是专门做基础模型的公司才会需要这些人。模型越大需要做的工程就越多，像 GPT-3 这种规模的模型早已不是一台电脑一个工程师花几个小时就能训练出来的。背后需要庞大的基础设施，数百颗 GPU 花上数个月分散式训练一个超大模型。训练一次的费用是以百万美金起跳。MLOps 在这种公司会变成量身打造的大型系统，最佳化每一个环节，增进开发效率，尽可能降低开发成本。但对于一般的中小型公司而言，想要开发 AI 应用，从头训练自己的大型模型并没有意义，不但花钱花时间而且得到的模型也不会比较好，不如专注于整理好自己的私有资料集后再去微调现有的模型。

另一方面，做应用的『AI 工程师』会增加，但他们的工作跟传统 ML 开发流程不会有太大关系。像 GPT-3 和 Stable Diffusion 这类的模型会变成新世界的『基础模型』(foundation model)，大量公司可以用『自然语言』跟模型沟通，在上面搭建各种应用。只要善用我另一篇文章说的『语境学习』能力，很多任务都可以靠给出特定的『提示』(prompt) 来解决。”

先前 ExplainThis 就有分享，苹果等大厂，在一般软体工程师的职缺中，已经有加入 LangChain 的技能要求。相信这个趋势只会越来越增长，就像过去全端工程师要会前端与后端，可预见未来的全端工程师，会需要前端 + 后端 + 整合 AI 的能力。