Skip to content
AIAI 应用落地

2、LLM基础 底层机制

你身边是不是也有这样的人—— 一种人把 AI 当神仙,丢一句"帮我写个登录功能",代码出来了直接合入主分支,出了 Bug 一脸懵逼:"AI 写的啊,它怎么会错?另一种人把 AI 当骗子,试了两次发现生成的代码跑不起来,从此逢人就说:"AI 编程?割韭菜的,根本不能用。

J
Jasper Labs· 2026年4月24日

DANGER

WARNING

维度小模型(<10B)中模型(10B-100B)大模型(>100B)
部署方式通常可本地运行一般需要中端服务器常见部署方式是云端 API 或高端集群
响应速度通常较快(常见为亚秒级)一般较快(常见为百毫秒到数秒)通常更慢(常见为秒级)
代码能力通常更适合简单补全一般可胜任功能开发、重构通常更适合架构设计、复杂 Debug
成本通常成本一般成本可控一般成本可控通常成本更高
代表模型Phi-3, Qwen2-7BLlama 3 70B, MixtralGPT-5.4, Claude 4.6

INFO

  • ``````

WARNING

plain
英文:"Hello world" → 约 2-3 个 Token
中文:"你好世界" → 4 个 Token(一个字一个 Token)
代码:"function getUser()" → 约 5-6 个 Token
````

WARNING

[](https://platform.openai.com/docs/guides/embeddings)

5.2

````

5.2.2

plain
用户问题

Embedding(问题)

向量检索 Top-K

相关代码 / 文档 / 日志片段

LLM 结合上下文生成答案

````

WARNING

INFO

[](https://arxiv.org/abs/1706.03762)
plain
Attention(Q, K, V) = softmax(QK^T / sqrt(dk)) V

DANGER

INFO

6.1

  • ````
[](https://arxiv.org/abs/2107.03374)

plain
指令:"把这个 Python 函数改成异步版本"
响应:[正确的异步代码]

指令:"解释这段代码的作用"
响应:[清晰的中文解释]
[](https://arxiv.org/abs/2203.02155)

WARNING

javascript
export async function updateRole(userId: string, role: string) {
  await db.user.update({ where: { id: userId }, data: { role } });
  return { ok: true };
}

javascript
export async function updateRole(
  operatorId: string,
  userId: string,
  role: Role
) {
  const operator = await requireAdmin(operatorId);
  if (operator.id === userId) throw new Error("禁止修改自己的角色");

  await db.$transaction(async (tx) => {
    await tx.user.update({ where: { id: userId }, data: { role } });
    await tx.auditLog.create({
      data: {
        actorId: operatorId,
        action: "user.role.update",
        targetId: userId,
        payload: { role }
      }
    });
  });

  return { ok: true };
}


WARNING

````

真实翻车场景

DANGER

INFO

八、

[](https://developers.openai.com/api/docs/guides/conversation-state)

``

plain
请阅读整个项目,修复订单页面的金额显示问题,并顺便优化性能。

plain
目标:修复订单详情页金额显示错误。
约束:金额必须以“分”为存储单位,不允许改 API 签名。
入口文件:app/orders/[id]/page.tsx
直接依赖:lib/money.ts, api/order.ts
验证:订单 123 的 1099 分应显示为 ¥10.99

TIP

TIP

[](https://www.swebench.com/SWE-bench/)

很多榜单上的头部模型,彼此分差往往并不大;但一旦放进不同 IDE、规则系统、检索策略和 Agent 工作流里,体感差异可能会被明显放大。

INFO

WARNING

INFO

TIP

DISCUSS

评论与讨论

如果这篇文章对你有帮助,或你对实现细节有不同判断,可以直接在这里继续讨论。