Datawhale AI+X 高校行 · 校园分享

从后端工程师到 AI 架构师
一个银行码农的三条路径

当大模型走进一家国有大行的核心系统

关于确定性、不确定性与工程敬畏

分享人：【你的名字】 · 哈尔滨工业大学 2023 届本科 · 工商银行后端开发工程师

分享人形象照
1:1

我的 AI 时间线

围棋

AlphaGo 启蒙学棋时遇见阿尔法狗，第一次感受 AI 的力量

小冰

微软小冰每天给我讲一个故事，AI 居然会聊天

GPT

大模型爆发ChatGPT 横空出世，世界被改写了

今

DeepSeek · 豆包国产模型繁荣，我打遍黑客松

00

今天，我想聊四件事

AGENDA

20 min
24 页

01

分界线：我在银行里看到的 AI一个写"确定性"代码的人，怎么看大模型的概率性

02

AI 原生架构：把不确定性关进笼子腾讯云架构师同盟分享精粹：五层、三中心、七层

03

AI 时代，架构师的价值在哪里技术会继续下探，"做判断"的能力越来越贵

04

给还在校园的你你比职场人离 AI 更近，因为你有的是试错成本

01

我和 AI，是一起长大的

ABOUT ME

学生时代

哈工大 CS 本科 · 2023 毕业

从 AlphaGo 到微软小冰，我的 AI 记忆
比专业课还早。它从不是新玩具，
而是一路同行的伙伴。

现在

工商银行后端开发工程师

写核心系统的"确定性"代码：
账务不能错一分钱，操作必须可溯源。
这份敬畏，是看 AI 的眼镜。

副业 / 赛场

黑客松常客

打过很多黑客松，用 AI 把想法
在 24 小时内变成能跑的 demo。
逼自己走完从 0 到 1 的全流程。

要点所以我没有把 AI 当成新工具，而是当成一路同行的伙伴——这决定了我看它的方式。

01

PART 01

分界线：我在银行里看到的 AI

一个后端工程师，如何用"确定性"的眼镜看大模型

02

在银行系统里，99.9% 正确率 = 不可用

THE WALL OF DETERMINISM

银行的确定性世界观

强一致

账务不能错一分钱，状态必须严格一致

可审计

每一笔操作都可溯源，谁、何时、改了什么

零容错

监管红线不可逾越，错误就是事故

VS

大模型的概率性

概率输出

同样的输入，可能给出不同答案

会幻觉

可能自信地编造事实与引用

难解释

为什么这么答，往往说不清

要点所以 AI 进入银行，第一件事不是"能用"，而是"可控"——把不确定性圈在护栏里。

03

真正的变化：模型没变强多少，是它进了主链路

THE TURNING POINT

2023 · 我刚入职时，AI 在哪

代码补全、文档搜索、聊天答疑
——都在旁路（bypass）
抽掉它，核心业务照常跑

结论：锦上添花，不背结果

→

今天 · AI 开始在哪

智能客服直接答业务问题
风控 / 反欺诈辅助决策
研发由轻量规约驱动

结论：进入主链路，开始对结果负责

要点进入主链路，意味着 AI 开始对真实业务结果负责——这才真正考验架构。

04

我在工行，用 AI 做过这三件事

IN PRACTICE

RAG

智能客服 / 知识库问答

把制度文档变成可对话助手。
关键：回答必须可溯源、
有 Guardrails，不能瞎编。

SDD

规约驱动的研发

轻量 Spec + 单元测试 + 人工门禁。
让 AI 写代码，人守住边界
与最终判断权。

Agent

运营 / 报表自动化

把重复劳动交给 Agent，
人只做判断与异常处理。
效率提升，但结果有人兜底。

要点共同点：AI 做"生成"，人做"校验与兜底"——这是我们落地第一条铁律。

02

PART 02

AI 原生架构：把不确定性关进笼子

腾讯云架构师同盟分享精粹：从 Enable / First 到 Native

05

先分清三件事：给系统挂 AI，和在 AI 上建系统

THREE LEVELS

AI Enable

AI 赋能 · 现状多数

在既有系统上挂 AI
如 ERP 里加聊天窗
抽掉模型，业务照旧

AI First

AI 优先 · 过渡态

战略上优先用 AI
但未必重构底层架构
一种思维转变

AI Native

AI 原生 · 目标

AI 是底座与骨架
抽掉 AI 业务降级
甚至走不通

要点我所在的核心系统，今天大多停在 Enable，正迈向 First——Native 是长期演进目标。

06

一套 AI 原生架构，分五层

AI-NATIVE STACK

L1基础设施层

GPU/加速卡调度、容器、长会话状态与 token 成本信号

L2AI 平台层

模型中心 · 上下文中心 · 评测中心（三中心）

L3智能编排层

单/多 Agent 协作、长程工作流、MCP 接入

L4业务能力层

把 AI+场景做成可复用能力（可旁路增强）

L5交互层

GUI / LUI（语言界面）/ 多模态 / 穿戴设备

要点五层不必一次建齐：先稳住继承面，再扩平台与观测，最后补编排与治理。

07

最该先建好的，是 AI 平台层

THE PLATFORM TRINITY

模型中心

Model Hub

模型接入 / 版本 / 路由 / 限流
按意图做多模型路由与故障切换
配套 FinOps：按团队统计 token 成本

上下文中心

Context Hub

企业知识 + 统一语义本体（Ontology）
文档入库 ≠ 可用知识，需来源/权限固化
形成知识飞轮：输入→策展→进化

评测中心

Eval Hub

黄金集（基线回归）+ 对抗集（越权/注入）
Guardrails 卡住危险写操作
Kill Switch 秒级熔断高敏场景

要点平台不建，各团队各自接模型 API，重复建设很快失控——这是最该先投入的地方。

08

核心思路：确定性交给程序，不确定性交给模型

HYBRID ARCHITECTURE

•业务规则层

传统微服务，强规则高可靠

•模型网关层

统一接入、模型路由、限流、鉴权

•检索与知识库层

向量库、文档解析、元数据过滤

•Agent 编排层

工具调用、任务规划、状态管理

•权限与审计层

数据脱敏、访问隔离、全链路日志

•监控评测层

延迟、错误、token 成本、幻觉率

•缓存与降级层

热点问答缓存，模型不可用时切回人工

要点关键结果经校验和兜底，所有行为可观测、可追溯、可优化——这是混合架构的灵魂。

09

金融场景里，这些事绝不能交给 LLM 做主逻辑

THE RED LINE

绝不能（高风险确定性场景）

账务计算、资金结算

医疗诊断结论

授权 / 审批决策

直接影响资产的执行

适合 AI 增强（低风险生成/检索）

文档摘要、知识库检索

自然语言交互理解

风控规则辅助起草

报表 / 运营自动化

防护四件套： 黄金集 · 对抗集 · Guardrails · Kill Switch ——把"能不能用"变成"可控地用"

10

让 Agent 干活：固定流程用工作流，探索问题用动态编排

ORCHESTRATION

静态工作流

适合常规、顺序性任务
易于调试、成本可控
确定性高，可预测

动态工作流

处理需启发式探索的复杂问题
真正价值在持续迭代改进
如广告投放多 Agent 协作

MCP：把系统原子操作暴露为标准插座

让 Agent 来编排上层业务逻辑，系统可自进化。写操作必须 dry-run（模拟执行、不产生副作用）；高风险环节强制人工确认。

要点解耦不确定性和确定性：确定性写成脚本，AI 只负责"调用"与"编排"。

11

上线只是开始：要盯的不只是 QPS，还有 Token 和幻觉率

OBSERVABILITY

传统监控

CPU / 内存 / 磁盘

服务延迟、QPS

调用链路追踪

AI 原生监控（新增）

推理延迟 / 队列等待 / token 消耗

会话时长、失败原因、算力拓扑

幻觉率、召回准确率、Trajectory 轨迹

知识飞轮： 把一次 Agent 执行的 Trajectory（意图→规划→调用→结果）清洗后回灌知识库，Agent 才不是每次从零猜测，而是越用越"懂"你的业务。

要点可观测，是 AI 从 Demo 走到生产的门票——看不见，就管不住。

03

PART 03

AI 时代，架构师的价值在哪里

技术会继续下探，但"做判断"的能力越来越贵

12

AI 时代架构师的五个能力维度

ARCHITECT'S 5 POWERS

01

懂 AI 原理与边界

LLM / 向量库 / RAG / Agent 的基本机制与局限；分清场景边界

02

掌握混合架构

传统系统 + AI 智能层的分层设计，确定性交给程序

03

AI 工程化与治理

Prompt 仓库、版本灰度、知识库流水线、自动评测

04

业务建模与成本权衡

判断"该不该用 AI"、强规则 vs 弱约束、短期与长期

05

组织协同

让技术与业务"一起嗨"，把责任边界画清楚

要点架构师不必都成算法专家，但必须知道 AI 的能力边界在哪里。

13

能写出 AI Demo 易，把 AI 跑稳在生产难

DEMO → PRODUCTION

Demo 阶段（容易）

一个能跑的 notebook

手工拼装的 prompt

单机调用模型 API

效果"看起来不错"

生产阶段（要补的）

可复用 AI 组件 & Prompt 仓库

模型版本管理 + 灰度发布

知识库更新流水线

自动评测 + 成本告警 + 安全审计

要点AI 工程化，是当前最拉开团队差距的能力——它把"玩具"变成"资产"。

14

别做锦上添花，去做雪中送炭

PICK THE RIGHT BET

优先 0→70 分

选那些"从不及格到 70 分"的场景，而非"从 90 到 100"的锦上添花。

— 腾讯云架构师李明宇

避免自嗨式研发

技术与业务团队必须"一起嗨"，选型初期就达成共识。

— 腾讯云智能顾问许小川

做交集

选"应该做、能做、且能做好"的交集，用 AI 放大已有业务优势。

— Opera 张建磊

要点最好的 AI 落地，不是追最时髦的模型，而是放大你本来就有的业务优势。

04

PART 04

给还在校园的你

你比职场人离 AI 更近，因为你有的是试错成本

15

如果你还在读书，这三件事现在就能做

FOR STUDENTS

多打黑客松

我就是这么练出来的

24 小时把想法变成能跑的 demo，
逼自己走完 AI 全流程。
名次不重要，动手最重要。

把 AI 当协作者

不是答案机

用 Spec / 单测 / 文档去约束它，
让它写、你审。
在"驾驭"中培养架构感。

从学习者到贡献者

像 Datawhale 一样

把学会的东西写下来、讲出去。
教别人，是你自己最深的学。
普通学生最稀缺的是"向外探索"的劲。

要点这三件事不挑专业、不挑基础、不挑天赋——你现在就有的，只有试错成本。

16

三个"想当然"，正在拦住很多大学生

THREE MYTHS

想当然 「我先学好一个东西再去探索」

→

真实情况 真实工作里，没有人等你准备好

工作是「边做边学」，不是「学完再做」。
先上手，才知道到底该学什么。

想当然 「我解决了一件事，就等于我学会了」

→

真实情况 解决一次，只是碰巧成功

学会的标准是：下次遇到同类问题，
你还能做对、能讲清、能迁移。

想当然 「学这些会耽误我的专业学习」

→

真实情况 工具越趁手，学习效率反而越高

工欲善其事，必先利其器。
AI 是杠杆，不是逃逸。

要点先动手，再补齐——这是大学里最划算的顺序。

写给每一个大一的你

要有野心：
不要预测未来，要去创造未来。

这个时代有无限可能性，值得你从大一开始就动手探索。
工欲善其事，必先利其器——现在多学一点，往后每一步都省力。

Q & A · 谢谢！致谢 Datawhale 开源社区 & 腾讯云架构师同盟

加我微信

随时聊技术、聊 AI、聊机会

微信号：__________

姓名 / 学校 / 方向
注明来意，我会回你

17

三句话，带走今天的分享

TAKEAWAY

01

AI 不会淘汰后端工程师，但会重新定义他们确定性能力更值钱。

02

进入主链路的 AI，第一要义是可控分层、治理、可观测。

03

不要预测未来，要去创造未来先动手的人，才拿得到选择权。

Q & A · 谢谢！ 致谢 Datawhale 开源社区 & 腾讯云架构师同盟