Foundations of LLMs (大模型基础)
Foundations of LLMs is an open-source educational book maintained by the ZJU-LLMs team. It is designed to systematically introduce readers to both foundational concepts and recent advances in large language models (LLMs). The project emphasizes readability, rigor, and depth, and the authors commit to monthly updates so the material can track fast-moving developments in the field.
Key features
- Comprehensive scope: the first edition包含六章：语言模型基础、LLM 架构演化、Prompt 工程、参数高效微调、模型编辑、检索增强生成。每章配有对应的章节 PDF 与相关论文清单（Paper List）。
- Practical focus: 涵盖实践方法与应用示例，适合科研、毕业设计、创新项目（大创 / SRTP）与工程入门。
- 开源与社区驱动：在 GitHub 上接受 issue 与贡献，维护团队鼓励社区反馈以改进教材内容。
- 附带资源：仓库中提供整本 PDF、分章节 PDF，以及每章的经典与前沿论文列表，便于学习与跟踪最新研究。
- 关联项目：README 中宣布开源多智能体开发框架 Agent-Kernel（链接与 homepage 提供），展示团队在大模型与智能体方向的扩展工作。
目标受众
- 对大语言模型感兴趣的本科生、研究生与工程师；
- 需要系统教材与论文索引来准备课程、毕设或科研综述的读者；
- 想把理论与实践结合、快速进入 LLM 相关工程与研究的开发者。
内容结构（简述）
- 第1章：语言模型基础 — 统计语言模型、RNN、Transformer 与评测方法。
- 第2章：大语言模型架构 — Encoder-only / Encoder-Decoder / Decoder-only 与非 Transformer 方案。
- 第3章：Prompt 工程 — 上下文学习、Chain-of-Thought（思维链）、Prompt 技巧与应用。
- 第4章：参数高效微调 — 参数添加、参数选择、低秩适配（LoRA 等）与实践。
- 第5章：模型编辑 — 编辑方法综述、T-Patcher、ROME 等定位编辑方法与应用场景。
- 第6章：检索增强生成（RAG）— 检索架构、知识检索与生成增强实战。
使用与贡献
仓库提供完整 PDF（整本与分章），以及论文列表以便扩展阅读。欢迎通过 issue 反馈、提交 PR 或参与翻译/扩展章节。项目联系人（README 中列出）：xuwenyi@zju.edu.cn。
小结
本项目是一本面向学习与教学的大模型教材，内容覆盖理论与工程实践，适合作为课程教材、入门指南或研究员的专题参考。团队承诺持续更新以反映领域内的新进展。
