来源说明Andrej Karpathy 的免费视频课,从零手写神经网络到 GPT 与分词器。仓库保存课堂笔记本,练习题在视频简介中。需要基本 Python,以及高中程度的微积分印象。许可为 MIT。课程仍在延续。
一句话核心观点
想真正驾驭大模型,最好亲手搭一遍最小的语言模型,把「预测下一个 token」从口号变成肌肉记忆。
要点精读
- 第 1 讲用 micrograd 手写反向传播,建立对训练过程的直觉,不必先陷入框架魔法。
- 第 2–6 讲以 makemore 为主线:从双字母模型、多层感知机,到激活与梯度、手写反向传播、再到类 WaveNet 的深层结构。这是现代语言模型的学前班。
- 过程中会自然学会训练/开发/测试划分、过拟合、学习率和诊断,这些在调 Agent 时同样有用。
- 第 5 讲被作者明确要求「不要只看」:要自己做练习,卡住再对照视频。这是本课的学习方法。
- 第 7 讲从零实现 GPT,对应《Attention is All You Need》和 GPT-2/3 的主线,是想理解 ChatGPT 类系统的关键一讲。建议先有前面的自回归建模基础。
- 第 8 讲单独拆分词器(BPE、encode/decode)。很多「模型很奇怪」的现象,根子其实在分词。
- 这门课不是就业的最短路径,却是防止你只停留在调提示词表层的最深补课。可与主线并行,不必等全部 Agent 课结束才开始。
- 若时间极紧,最低配是:第 1 讲建立反向传播直觉,第 7 讲看懂 GPT,第 8 讲理解分词;有余力再补 2–6。
对「学好 AI」的实操启发
每周固定看一讲并重写代码,不要倍速刷完。能向一个外行讲清「为什么是下一个 token、损失如何下来、注意力在做什么」,你对工具课的理解会完全不一样。
短引(转述)
作者把这门课定义为「从最基础开始的神经网络课程」,形式是一起写代码、一起训练的 YouTube 系列,并把笔记本和练习作为配套。
出处:nn-zero-to-hero README。
来源说明OpenAI 官方示例与指南,完成常见 API 任务。多数示例为 Python,需 API 密钥。概念可迁移到其他模型与语言。
一句话核心观点
把 Cookbook 当「生产问题索引」:你遇到预算、评测、记忆、语音、迁移时就去查方子,而不是按目录通读。
要点精读
- 现在的 Cookbook 远不止入门聊天,已覆盖 Agents SDK、评测、记忆压缩、语音与实时、计算机使用、工作流改造等。
- 对学习者特别有迁移价值的主题包括:如何写更好的工作提示词、如何做评测与改进闭环、如何管理短长期记忆、如何看用量和成本。
- 多篇食谱强调应用侧的硬约束,例如为单次运行设置花费上限、在流程中加入确定性校验和人工闸门,而不是把一切交给模型。
- 安全相关示例(扫描结果分流、沙箱、权限管理)可与第 4 章对照着看。
- 也有从其他 Agent SDK 迁移、或现代化代码库的指南,说明工程现实是「系统会换」,能力要可搬迁。
- 不必因为这是 OpenAI 的仓库就和 Anthropic 路线冲突。提示词纪律、评测、工具、记忆是跨模型的。
- 阅读时以 cookbook.openai.com 为准,条目更新很快。
- 和 Anthropic Cookbook 搭配的方法:同一类任务各看一篇(例如评测、RAG、Agent),比较差异,提炼自己的检查清单。
对「学好 AI」的实操启发
列出你的 Agent 目前最痛的一个问题(乱花钱、记不住、评测不准、输出不稳定),只深读一篇对应食谱,并在自己的项目里复现其中一个控制手段。
短引(转述)
仓库和网站把这些材料定义为「用 OpenAI API 完成常见任务的示例代码与指南」,并引导读者到 cookbook.openai.com 浏览。
出处:openai-cookbook README。
来源说明Google Cloud 的笔记本、示例应用与资源库,演示如何在其生成式 AI 与 Agent 平台上开发和管理工作流。仓库声明本身不是官方支持的产品,代码以演示为目的。
一句话核心观点
若你要在真实云环境里交付,就需要把模型能力放进检索、语音视觉、环境和运维的完整工作区,而不只是本地笔记本。
要点精读
- 目录按能力分区:Gemini 入门与用例、Agent 搜索、RAG 与接地(grounding)、视觉(Imagen、Veo)、音频(Chirp)以及环境配置。
- RAG/Grounding 被单独索引,说明「让模型说的话有依据」是云上应用的主战场。
- 相关仓库指向 ADK 示例、Agent 起步模板、Gemini Cookbook、基础设施蓝图等,适合在主仓库找到方向后再深入。
- 先把 setup-env 做对:项目、SDK、Colab 或 Workbench。云上示例挂掉,常常是环境而不是算法。
- 对跨云学习者,重点迁移的是能力分类(搜索、RAG、多模态、Agent 平台),而不是某一家的函数名。
- 这是偏实践和平台的库,不是系统教程,请带着问题进来,例如「我想做企业搜索」或「我想做文档问答」。
- 注意免责声明:示例不等于生产架构,上线前仍要补安全、权限、监测和成本控制。
- RESOURCES.md 收集了博客和视频列表,适合作为官方文档之外的学习索引。
对「学好 AI」的实操启发
只有当你已经有一个本地能跑的小 Agent 时,再来这里选一个最接近的笔记本,尝试把它放到云上(或至少画清:数据在哪、检索在哪、密钥怎么管)。没有本地原型就冲云平台,容易被环境细节淹没。
短引(转述)
仓库说明其中包含笔记本、代码示例、样例应用和其他资源,用于演示如何使用、开发和管理生成式 AI 工作流;并提醒该仓库本身不是受官方支持的 Google 产品,代码仅供演示。
出处:GoogleCloudPlatform/generative-ai README。
03(续)与 14(续) Cookbook 进阶菜与短课加餐
当主线已经能跑、能测,可以用下面这些材料做专项加深,仍然不要平行全开。
Anthropic Cookbook 中更适合进阶的方向:
- 子代理分工:小模型处理子任务,强模型做汇总与关键判断。
- PDF 与长文档:先解析再摘要,而不是把整本文件生塞进对话。
- 多模态工作流:读图表、幻灯片、表单,把视觉输入变成结构化数据。
- 缓存、成本与延迟:把第 4 章的测量习惯带到更复杂的系统里。
DeepLearning.AI 短课中适合这一阶段的方向:
- 《Agentic AI》(Andrew Ng):系统练习多步骤 Agent 工作流。
- 《MCP: Build Rich-Context AI Apps with Anthropic》:给 Agent 接更丰富的工具与上下文。
- 检索与记忆类:高级 RAG、长期记忆、知识图谱。
- 工程类:从云到本地的编程工作流、代码评审 Agent、微调与强化学习入门。
对「学好 AI」的实操启发: 每季度只选一个加深方向(检索质量、记忆、多模态或成本),用一篇 Cookbook 或一门短课带动你的主项目升级,并留下评测对比。进阶不是收集课表。