什麼是 AI 工程 (AI Engineering) ?
2025年1月5日
從 2022 年底 ChatGPT 推出後,全世界掀起一波生成式 AI 浪潮,而隨著各類 AI 相關的 API 推出後,開發者們可以透過 API 來整合 AI 的功能,這進一步讓 AI 工程 (AI Engineering) 這個詞彙變得熱門。
由於在 2024 年搜集 ExplainThis 讀者回饋時,收到最多的回饋之一是希望能有 AI 工程相關的主題文,因此我們在 2025 年開始,會開始深來談 AI 工程這個主題。
在這篇文章中,我們會花一些篇幅定義什麼是 AI 工程,以及在《AI 工程》系列主題文中,我們將會涵蓋哪些範圍 (以及不會談到哪些範圍)。
此外,也會花一些篇幅,來討論在 AI 蓬勃發展的這兩年,傳統前端、後端、全端工程師受到什麼影響,以及在接下來 AI 持續發展下,前端、後端、全端工程師該如何調整,讓自己能夠隨著科技演進的時代脈絡下,持續在職涯有所成長。
如同過去的 ExplainThis 寫的文章,這篇內容會是我們的觀察,綜合在社群中看到的討論,所歸結出的觀點。由於僅為一種觀點,不代表這時唯一,甚至有可能在科技持續迭代的未來,這篇內容的觀點需要調整。因此,推薦讀者們帶著獨立思考的角度來讀。
什麼是 AI 工程?
如開頭提到,AI 工程 (AI Engineering) 這個名詞,是這兩年來才變得特別熱門的;這主要是因為在過去,AI 領域的研究與開發 (Research & Development) 相關職位,多半不會直接用 AI 工程這個詞彙,而會是用更專精領域的詞彙。
舉例來說,過去在工程領域,比較多會聽到 ML 工程師 (Machine Learning Engineer 機器學習工程師),或者會說 MLOps 工程師 (Machine Learning Operations Engineer 機器學習維運工程師)。
而 AI 工程這個詞之所以變得熱門,跟 AI Engineer 論壇主辦人 swyx 在 2023 年寫的一篇《The Rise of the AI Engineer》有很大的關係。在該文中有一張很經典的圖,描述了 AI 工程師的定位。
在下方截圖可以看到,AI 工程師的定位不是做模型的研究員,也不是傳統的 ML 工程師,但與此同時因為實際做的事情,與傳統的前後端工程師有別,因此也不能歸類在傳統的全端工程師之下。
事實上這個觀察,在 2022 年末與 2023 年初,就有不少人提出。舉例來說,業界資深前輩 vgod 在更早之前寫的一篇《機器學習工程和 MLOps 的典範轉移》 也提到了相同的觀察,他提到「從去年(2022)開始,我發現整個 ML 開發流程默默地開始進行「典範轉移」。傳統的開發流程逐漸變得不再適用於新的 AI 時代。」。
進一步說,vgod 前輩談到「我覺得未來 AI/ML 工程師需求會往兩極化發展。能開發新的 ML 演算法、大型基礎模型、還有相關基礎設施的人需求會增加,但只有大型科技公司或是專門做基礎模型的公司才會需要這些人。」
以及「另一方面,做應用的『AI 工程師』會增加,但他們的工作跟傳統 ML 開發流程不會有太大關係。像 GPT-3 和 Stable Diffusion 這類的模型會變成新世界的『基礎模型』(foundation model),大量公司可以用『自然語言』跟模型溝通,在上面搭建各種應用。」
這個兩極的發展,不只是工程界的觀察,也是創投界的觀察。Sequoia 今年發表的《Generative AI’s Act o1》一文談到就如同在雲端世代,因為各種基礎建設 (例如 AWS、Cloudflare、Snowflake 等等),讓開發軟體應用變得很簡單,因此催生了許多軟體 SaaS 產品。而在 AI 的基礎模型發展蓬勃之際,基於 AI 而生的應用,會是新的市場前景。
從上述的角度看,市場對於 AI 工程師,意即能夠運用各類 AI 模型與工具,來創造軟體產品的工程師,也會有相對應的需求。
目前社群中對於這點的主要支持觀點在於,每個領域都有自己的特有資料 (proprietary data),要真正能創造價值,AI 仍需要跟領域的知識與資料結合。
沒有洞見是來自簡單的知識與資料,假如顯而易見,大家都會知道,就不會是獨特的洞見。要能創造獨特價值,就會需要有深入到領域之中,才能真正去解決困難的問題,而這不會是只有 AI 就能做到,而是需要 AI + 各領域才能做到。
在這個脈絡下,開發 AI 產品的工程師,仍是有其存在的價值。畢竟當全世界只有模型沒有產品,AI 價值的體現會大幅度受限。
而 OpenAI、Anthropic 這類模型商,或是 Databricks 這類公司,他們不會去取代大大小小的公司,反而是把這些當成客戶來服務。而就像過去 AWS 這樣的角色,當他們的客戶越成功,他們也會越成功 (因為成功案例,所以吸引更多客戶)。
ExplainThis 的 AI 工程主題文會包含什麼?
上面談完了 AI 工程師的定義,如同上面提到的,AI 工程跟傳統的前後端開發所用到的工具與技術會有不同,而這些不同,也會是在 ExplainThis 的 AI 工程主題文會包含的主題。
具體來說會有:
- 提示詞工程 (prompt engineering)
- 微調 (fine-tuning)
- RAG (retrieval augmented regeneration)
- 向量資料庫 (vector database)
- 評估 (eval)
- 代理 (agent)
- 多模態應用開發 (multi-modal)
- 本地優先的 AI 應用 (local-first)
- 推論 (inference)
這些不同的技術,核心的目的都是希望讓讀者們具備能夠使用 AI 模型、工具,來開發出更符合使用者需求的軟體應用。每個主題可能會有許多的子主題,在未來也可能會有其他不同的新主題,我們會跟著業界在這方面技術的變化,持續新增相關內容。
如果你對這些主題感興趣,歡迎持續追蹤 ExplainThis。此外,我們在 E+ 成長計畫也會有更深入的版本,歡迎加入一同成長 (E+ 的相關介紹可以看這邊)。