目录

第五章

进阶

有了提示词、Agent 和评测,进阶的目标不是堆更多缩写,而是两件事:理解模型在做什么,以及能在真实代码与云环境里交付。

10

Andrej Karpathy:Neural Networks Zero to Hero

#
来源说明

Andrej Karpathy 的免费视频课,从零手写神经网络到 GPT 与分词器。仓库保存课堂笔记本,练习题在视频简介中。需要基本 Python,以及高中程度的微积分印象。许可为 MIT。课程仍在延续。

一句话核心观点

想真正驾驭大模型,最好亲手搭一遍最小的语言模型,把「预测下一个 token」从口号变成肌肉记忆。

要点精读

  1. 第 1 讲用 micrograd 手写反向传播,建立对训练过程的直觉,不必先陷入框架魔法。
  2. 第 2–6 讲以 makemore 为主线:从双字母模型、多层感知机,到激活与梯度、手写反向传播、再到类 WaveNet 的深层结构。这是现代语言模型的学前班。
  3. 过程中会自然学会训练/开发/测试划分、过拟合、学习率和诊断,这些在调 Agent 时同样有用。
  4. 第 5 讲被作者明确要求「不要只看」:要自己做练习,卡住再对照视频。这是本课的学习方法。
  5. 第 7 讲从零实现 GPT,对应《Attention is All You Need》和 GPT-2/3 的主线,是想理解 ChatGPT 类系统的关键一讲。建议先有前面的自回归建模基础。
  6. 第 8 讲单独拆分词器(BPE、encode/decode)。很多「模型很奇怪」的现象,根子其实在分词。
  7. 这门课不是就业的最短路径,却是防止你只停留在调提示词表层的最深补课。可与主线并行,不必等全部 Agent 课结束才开始。
  8. 若时间极紧,最低配是:第 1 讲建立反向传播直觉,第 7 讲看懂 GPT,第 8 讲理解分词;有余力再补 2–6。

对「学好 AI」的实操启发

每周固定看一讲并重写代码,不要倍速刷完。能向一个外行讲清「为什么是下一个 token、损失如何下来、注意力在做什么」,你对工具课的理解会完全不一样。

短引(转述)

作者把这门课定义为「从最基础开始的神经网络课程」,形式是一起写代码、一起训练的 YouTube 系列,并把笔记本和练习作为配套。

出处:nn-zero-to-hero README。
08

OpenAI Cookbook

#
来源说明

OpenAI 官方示例与指南,完成常见 API 任务。多数示例为 Python,需 API 密钥。概念可迁移到其他模型与语言。

一句话核心观点

把 Cookbook 当「生产问题索引」:你遇到预算、评测、记忆、语音、迁移时就去查方子,而不是按目录通读。

要点精读

  1. 现在的 Cookbook 远不止入门聊天,已覆盖 Agents SDK、评测、记忆压缩、语音与实时、计算机使用、工作流改造等。
  2. 对学习者特别有迁移价值的主题包括:如何写更好的工作提示词、如何做评测与改进闭环、如何管理短长期记忆、如何看用量和成本。
  3. 多篇食谱强调应用侧的硬约束,例如为单次运行设置花费上限、在流程中加入确定性校验和人工闸门,而不是把一切交给模型。
  4. 安全相关示例(扫描结果分流、沙箱、权限管理)可与第 4 章对照着看。
  5. 也有从其他 Agent SDK 迁移、或现代化代码库的指南,说明工程现实是「系统会换」,能力要可搬迁。
  6. 不必因为这是 OpenAI 的仓库就和 Anthropic 路线冲突。提示词纪律、评测、工具、记忆是跨模型的。
  7. 阅读时以 cookbook.openai.com 为准,条目更新很快。
  8. 和 Anthropic Cookbook 搭配的方法:同一类任务各看一篇(例如评测、RAG、Agent),比较差异,提炼自己的检查清单。

对「学好 AI」的实操启发

列出你的 Agent 目前最痛的一个问题(乱花钱、记不住、评测不准、输出不稳定),只深读一篇对应食谱,并在自己的项目里复现其中一个控制手段。

短引(转述)

仓库和网站把这些材料定义为「用 OpenAI API 完成常见任务的示例代码与指南」,并引导读者到 cookbook.openai.com 浏览。

出处:openai-cookbook README。
07

Google Cloud:Generative AI

#
来源说明

Google Cloud 的笔记本、示例应用与资源库,演示如何在其生成式 AI 与 Agent 平台上开发和管理工作流。仓库声明本身不是官方支持的产品,代码以演示为目的。

一句话核心观点

若你要在真实云环境里交付,就需要把模型能力放进检索、语音视觉、环境和运维的完整工作区,而不只是本地笔记本。

要点精读

  1. 目录按能力分区:Gemini 入门与用例、Agent 搜索、RAG 与接地(grounding)、视觉(Imagen、Veo)、音频(Chirp)以及环境配置。
  2. RAG/Grounding 被单独索引,说明「让模型说的话有依据」是云上应用的主战场。
  3. 相关仓库指向 ADK 示例、Agent 起步模板、Gemini Cookbook、基础设施蓝图等,适合在主仓库找到方向后再深入。
  4. 先把 setup-env 做对:项目、SDK、Colab 或 Workbench。云上示例挂掉,常常是环境而不是算法。
  5. 对跨云学习者,重点迁移的是能力分类(搜索、RAG、多模态、Agent 平台),而不是某一家的函数名。
  6. 这是偏实践和平台的库,不是系统教程,请带着问题进来,例如「我想做企业搜索」或「我想做文档问答」。
  7. 注意免责声明:示例不等于生产架构,上线前仍要补安全、权限、监测和成本控制。
  8. RESOURCES.md 收集了博客和视频列表,适合作为官方文档之外的学习索引。

对「学好 AI」的实操启发

只有当你已经有一个本地能跑的小 Agent 时,再来这里选一个最接近的笔记本,尝试把它放到云上(或至少画清:数据在哪、检索在哪、密钥怎么管)。没有本地原型就冲云平台,容易被环境细节淹没。

短引(转述)

仓库说明其中包含笔记本、代码示例、样例应用和其他资源,用于演示如何使用、开发和管理生成式 AI 工作流;并提醒该仓库本身不是受官方支持的 Google 产品,代码仅供演示。

出处:GoogleCloudPlatform/generative-ai README。

03(续)与 14(续) Cookbook 进阶菜与短课加餐

当主线已经能跑、能测,可以用下面这些材料做专项加深,仍然不要平行全开。

Anthropic Cookbook 中更适合进阶的方向:

  1. 子代理分工:小模型处理子任务,强模型做汇总与关键判断。
  2. PDF 与长文档:先解析再摘要,而不是把整本文件生塞进对话。
  3. 多模态工作流:读图表、幻灯片、表单,把视觉输入变成结构化数据。
  4. 缓存、成本与延迟:把第 4 章的测量习惯带到更复杂的系统里。

DeepLearning.AI 短课中适合这一阶段的方向:

  1. 《Agentic AI》(Andrew Ng):系统练习多步骤 Agent 工作流。
  2. 《MCP: Build Rich-Context AI Apps with Anthropic》:给 Agent 接更丰富的工具与上下文。
  3. 检索与记忆类:高级 RAG、长期记忆、知识图谱。
  4. 工程类:从云到本地的编程工作流、代码评审 Agent、微调与强化学习入门。

对「学好 AI」的实操启发: 每季度只选一个加深方向(检索质量、记忆、多模态或成本),用一篇 Cookbook 或一门短课带动你的主项目升级,并留下评测对比。进阶不是收集课表。

搜索资源

ESC