claudeers.
// Uncategorized / Others

AI-fundamentals

AI 基础知识 - GPU 架构、CUDA 编程、大模型基础及AI Agent 相关知识。

// Uncategorized / Others[ cli ][ api ][ web ][ mobile ][ claude ]#claude#ai-agent#ai-infra#cuda#uncategorized◷ Apache-2.0$open-sourceupdated 25 days ago
Actively maintained
100/100
last commit 10 days ago
last release about 2 months ago
releases 3
open issues 0

Install with your AI

Paste into Claude Code, Cursor, or any agent — it reads the repo and wires the tool into your project.

Install and set up AI-fundamentals (release-binary project) into my current project.
Found on https://claudeers.com/ai-fundamentals
Repo: https://github.com/ForceInjection/AI-fundamentals
Homepage/docs: https://forceinjection.github.io
Detected install method: release-binary → inspect the README
Category: uncategorized. Platforms: cli, api, web, mobile.
Read the repo's README for exact setup and env vars, then install it and wire it into my project.

Claudeers Health Verdict:
active; community-verified: false. Confirm the source before running anything.
// or install directly (release-binary)

Grab the latest release asset from GitHub.

# download a build from https://github.com/ForceInjection/AI-fundamentals/releases
// or clone
git clone https://github.com/ForceInjection/AI-fundamentals

// compatibility

Platformscli, api, web, mobile
Operating systems—
AI compatibilityclaude
LicenseApache-2.0
Pricingopen-source
LanguageHTML

Get your FREE $2.50 API credits to access TickAtlas financial data ↗

AI Fundamentals

本仓库是一个全面的人工智能基础设施(AI Infrastructure)学习资源集合,涵盖从硬件基础到高级应用的完整技术栈。内容包括 GPU 架构与编程、CUDA 开发、大语言模型、AI 系统设计、性能优化、企业级部署等核心领域,旨在为 AI 工程师、研究人员和技术爱好者提供系统性的学习路径和实践指导。

  • 适用人群:AI 工程师、系统架构师、GPU 编程开发者、大模型应用开发者、技术研究人员。
  • 技术栈:CUDA、GPU 架构、LLM、AI 系统、分布式计算、容器化部署、性能优化。
  • 想直接跑代码? 全仓库 12 处可运行 Demo 的总索引见 Demos 总索引——含依赖要求、对应文章与验证状态。

Star History:

Star History Chart


1. 硬件架构与互连技术

涵盖单机基础计算芯片(GPU、TPU)设计原理,PCIe、NVLink 高速互连总线协议,GPUDirect 跨节点直通技术,以及 NVIDIA GB300 NVL72 等异构融合超级芯片的系统级架构与延迟金字塔模型。详细内容请访问:硬件架构与互连技术。


2. AI 集群运维与高性能通信

构建高吞吐 AI 计算集群的完整运维体系,涵盖基于 Device Query、nvidia-smi 和 nvtop 的 GPU 状态监控,InfiniBand (IB) 网络架构与健康检查,以及 NCCL 分布式通信库的基准测试与多节点部署实战。详细内容请访问:AI 集群运维与通信。


3. 云原生 AI 基础设施

基于 Kubernetes 的 AI 基础设施构建方案,涵盖 NVIDIA Container Toolkit 与 Device Plugin 底层机制、Kueue/HAMi 细粒度 GPU 资源切分与池化、LWS/llm-d 分布式推理调度,以及 JuiceFS、DeepSeek 3FS 等高性能分布式存储系统的架构实践。详细内容请访问:云原生 AI 平台。

3.1 Kubernetes AI 基础设施

解析 Kubernetes AI 场景核心组件,包括容器运行时 GPU 支持底层机制、设备插件源码分析、Kueue 调度整合,以及基于 LWS 的大模型分布式训练与推理架构。

3.2 GPU 资源管理与虚拟化

提供异构算力环境下的 GPU 资源精细化管理方案,涵盖硬件级/内核态/用户态虚拟化机制、CUDA 流与 MPS 调度优化,并提供 HAMi 资源隔离与 Flex AI 的生产环境落地配置。

基础系列文档:

HAMi 专题:

代码实现与配置:

  • 完整实现代码:GPU 调度器、虚拟化拦截与远程调用的参考实现代码
  • 配置文件集合:提供适用于生产环境和多云平台的完整部署与配置参考

3.3 高性能分布式存储

针对 AI 训练中海量小文件读取与跨节点共享的性能瓶颈,解析 JuiceFS 数据与元数据分离架构、DeepSeek 3FS 高性能设计及面向推理的 ICMS (KV Cache) 存储层机制。


4. 底层计算与异构编程

系统级 AI 底层编程路径,剖析 GPU 并行架构、CUDA 线程/网格与流处理机制、SIMT 与 Tile-Based (TileLang) 编程模型对比,以及基于 DOCA 框架的数据处理单元 (DPU) 核心编程范式。

4.1 GPU 与 CUDA 编程

涵盖 NVIDIA 容器镜像构建、CUDA 线程块/网格与流并发机制、SIMT 与 Tile-Based 编程模型对比、TileLang 算子开发,以及 nvbandwidth 显存与 PCIe 带宽调优实战,并链接 200+ Tensor Core/CUDA Core 优化内核的进阶学习资源。详细内容请访问:GPU 编程基础。

开发环境配置:

核心编程范式:

Tile-Based 编程:

性能分析与调优:

进阶学习资源:

4.2 DPU 编程

基于 DOCA 框架的数据处理单元 (DPU) 开发指南,解析架构组件与网络加速、零拷贝 DMA、控制平面卸载、压缩、NVMe 模拟及近数据处理等典型场景的编程实践。详细内容请访问:DPU 编程。

  • DOCA 框架

4.3 华为 NPU 编程

基于昇腾 NPU 硬件特性和 CANN 软件栈的系统级编程路径,涵盖 Da Vinci 架构、PyTorch NPU 适配与迁移、MindSpore 原生框架、Ascend 工具链、自定义算子开发,以及 RAG pipeline、FlashAttention、Mini-GPT 和 LLM 推理(Qwen2.5-7B BF16 + LoRA 微调)等端到端实战。详细内容请访问:华为 NPU 编程入门。


5. 大语言模型应用开发与编排

探索以自然语言驱动与 Agent 自主决策为核心的 Software 3.0 开发范式,包含 Spring AI 企业级 Java 接入、LangGraph 有状态多智能体图计算模型,以及 Coze/n8n 无代码工作流编排技术。详细的深度探讨可参考 大模型编程指南。

5.1 Java AI 开发

剖析 Java 生态 AI 开发技术栈,通过 Spring AI 工程框架实现企业级 Java 应用对 LLM 能力的接入,并演示基于 Spring AI 构建高效 LLM 代理的工程实践。

5.2 LangGraph 开发

LangGraph 通过图计算模型解决 LLM 应用在循环逻辑与状态持久化上的瓶颈,提供状态机机制以支持多轮推理、自我反思的复杂 Agent 工作流构建(如 AI 客服系统 Notebook 实战)。

5.3 AI 工作流与编排

无代码/低代码(No-Code/Low-Code)AI 应用落地指南,包含 Coze 私有化部署配置、n8n 多智能体编排实践,以及 Dify、Ragflow 等主流开源编排平台的架构与商业许可对比。文章收录于 7.5 工作流编排与应用平台(文件在 06_llm_theory_and_fundamentals/workflow/)。


6. 机器学习基础

基于 NJU 与 SJTU 课程资源的系统化学习路径,涵盖线性代数与概率论等数学基础、SVM 与 HMM 等核心算法数学原理(《统计学习方法》《PRML》),并提供心脏病预测与房价评估等项目驱动的代码实战。

6.1 动手学机器学习

结合特征工程、模型评估与超参数调优,系统讲解监督/无监督学习、集成学习、推荐系统与概率图模型,配套心脏病预测、鸢尾花分类与房价预测等项目完成从理论推导到工程化实战的完整闭环。

动手学机器学习 - 全面的机器学习学习资源库,包含理论讲解、代码实现和实战案例。

核心特色:

  • 理论与实践结合:以 NJU 课程为主线,辅以 SJTU 配套资源,从数学原理到代码实现的完整学习路径。
  • 算法全覆盖:涵盖监督学习、无监督学习、集成学习、推荐系统、概率图模型及深度学习。
  • 项目驱动学习:提供心脏病预测、鸢尾花分类、房价预测等实战案例。
  • 工程化实践:深入特征工程、模型评估、超参数调优及特征选择。

6.2 参考资料

汇集 3Blue1Brown 线性代数可视化、MIT 18.06 线性代数课程、李航《统计学习方法》、周志华《机器学习》与 Bishop《PRML》等经典教材,以及 Andrew Ng Coursera 入门课程、Stanford CS229 进阶课程与 Kaggle 竞赛实战平台资源。

数学基础:

经典教材:

  • 《统计学习方法》 - 李航著,系统阐述感知机、SVM、HMM 等核心算法的数学原理。
  • 《机器学习》 - 周志华著(西瓜书),全面覆盖机器学习基础理论与范式。
  • 《模式识别与机器学习》 - Bishop 著(PRML),贝叶斯视角的机器学习圣经。

在线课程与实战:


7. 大语言模型理论与基础

LLM 核心理论与架构基石,深入解析 Tokenizer 分词机制、Embedding 向量表示学习、混合专家模型 (MoE) 与模型压缩量化技术,并前瞻思维链 (CoT) 推理增强、基于 LLM 的意图识别及 Deep Research (深度研究) 前沿应用架构。

详细内容请访问:LLM 理论与基础 - 核心文档门户,涵盖基础理论、深度研究与工作流编排。

7.1 基础理论与概念

拆解 LLM 底层运作机制,包括 Tiktokenizer 分词编码、大模型文件格式存储规范、Chain-of-Thought (CoT) 逻辑推理增强技术,以及模型幻觉 (Hallucination) 的成因分析与工程化应对策略。

7.2 嵌入技术与表示学习

离散文本到连续向量的表示学习体系,解析 Text Embeddings 的演变历史、距离度量算法,以及独立 Embedding 模型与 LLM 原生 Embedding 层的架构选型与应用权衡。

7.3 高级架构与应用技术

探索提升模型性能与压缩比的关键技术,通过可视化指南解析 MoE 稀疏激活原理与量化加速机制,并结合 ChatBox 实战剖析基于 LLM 的语义理解与意图检测系统设计。

7.4 Deep Research 深度研究

多步推理规划在复杂信息检索中的应用,解构 DeepWiki、通义 DeepResearch 与 Cursor DeepSearch 等主流系统架构,并提供面向科研助手与复杂订单履约场景的 Agent 需求分析与架构设计方案。

7.5 工作流编排与应用平台 (Workflow)

将 LLM 能力转化为自动化业务流,横向评测 Dify、AnythingLLM 等开源应用编排平台功能与商用许可,并提供基于 Coze 与 n8n 构建多智能体系统的私有化部署实践。

7.6 参考书籍

精选《大模型技术 30 讲》《Hands-On Large Language Models》《百面大模型》等著作,涵盖从 Transformer 理论解构、模型从零预训练到全栈工程落地的系统性阅读指南。


8. 大模型训练

涵盖从 SFT 监督微调、RL 后训练到大规模预训练的完整工程路径,结合 70B 模型从零训练实战,剖析数据清洗、硬件集群配置、超参数优化 (CARBS) ,以及面向 AIOps 场景的 Kubernetes 模型后训练 (Post-Training) 与评估框架设计。详细指南可参考:模型训练与微调总览 。

8.1 指令微调与监督学习

基于高质量指令-响应数据的模型行为对齐技术,包含 Qwen 2 大模型的微调 Notebook 实战,以及垂直领域模型 SFT 的理论指南与最佳实践。

8.2 大规模模型训练实践

复盘 70B 参数模型从零训练全生命周期,深度解析开源数据集清洗与评估策略、裸金属基础设施配置与自动化脚本,以及扩展至超大规模参数的优化器选型策略。

8.3 模型后训练与评估

保障模型生产环境表现的评估体系,解析 AIOps 后训练策略、基于 Kubernetes 的自动化模型评估框架构建,以及基准测试数据集的生成方法。

8.4 RL 后训练的系统约束

SFT 之后把推理能力推上去要靠 RL,而 RL 的 rollout 由推理引擎产生、梯度由训练框架计算——两个系统对同一份权重算出的 log-probability 并不相同,这个差异会直接把策略梯度带偏。


9. 大模型推理

企业级大模型推理系统落地指南,解构 Mooncake 以 KV Cache 为中心的调度架构、vLLM/llm-d 核心推理框架底层机制,深度剖析 LMCache 多层存储体系与 Tair 跨实例缓存共享,并提供 DeepSeek 等前沿模型在多硬件平台的部署调优实践。

9.1 推理系统架构设计

剖析现代推理系统的底层架构创新,重点解构 Mooncake 等以 KV Cache 为中心的高效 LLM 调度系统设计模式与性能调优策略。

9.2 核心框架与平台

云原生推理基础设施全景,涵盖基于 LWS 的 Kubernetes 多机多卡分布式推理调度,以及高性能 llm-d 框架在不同集群规模下的技术选型与最佳实践。

9.3 KV Cache 核心技术

长文本与高并发推理的核心瓶颈突破,解析自回归生成机制、Prefix Caching 前缀缓存与 RadixTree 自动复用原理,并深度对比 LMCache 分层架构与阿里云 Tair KVCache 的企业级分布式部署方案。

9.3.1 LMCache 核心架构与后端实现

本小节详细解析 LMCache 的四层存储架构及其在跨实例缓存复用中的技术细节。

基础与架构概览:

核心运行时组件:

存储后端实现:

控制面:

高级特性:

9.3.2 阿里云 Tair KVCache

本小节介绍阿里云企业级的 KVCache 管理系统架构及大规模部署实践。

9.3.3 SGLang 推理引擎

SGLang 以 RadixAttention 前缀缓存和高效调度器著称,涵盖 KV Cache 管理源码系列(UnifiedRadixTree、KV Pool、HiCache、HiSparse)、调度器源码(Chunked Prefill、Overlap Scheduling)、版本解读、超大规模推理调优实践与交互式可视化演示。

9.4 推理优化技术体系

多维度提升推理吞吐的系统级技术,包含 vLLM 注意力机制演进 (MLA/NSA)、CUDA Graphs 与 Hybrid KV Cache 管理,结合参数显存占用估算、KV Block Manager 内存机制与 Layer-wise 流水线进行深度调优。

vLLM 核心机制分析:

显存与缓存优化:

网络与模型工具:

9.5 推理优化参考设计

企业级 LLM 推理服务全流程实施指南,从集群规模特征评估、异构执行图调度架构设计,到边缘设备/多模态模型专项优化,并提供安全合规、指标体系与上线检查清单。

基础理论与技术选型:

架构设计与评估体系:

专业领域优化:

实施落地与运维:

9.6 推理成本与容量规划

大模型推理成本的定量分析与容量规划决策,涵盖 API 按量计费、Coding Plan 包月订阅的定价数据建模、DeepSeek 推理集群的单卡生产经济学,以及基于业务前缀复用率的 KV Cache 各级存储(HBM/DRAM/NVMe)容量推演。

9.7 模型部署与运维实践

…view the full README on GitHub.

// faq

What is AI-fundamentals?

AI 基础知识 - GPU 架构、CUDA 编程、大模型基础及AI Agent 相关知识。. It is open-source on GitHub.

Is AI-fundamentals free to use?

AI-fundamentals is open-source under the Apache-2.0 license, so it is free to use.

What category does AI-fundamentals belong to?

AI-fundamentals is listed under uncategorized in the Claudeers registry of Claude-compatible tools.

17 views
★ 3,379 stars
unclaimed
updated 25 days ago

// embed badge

AI-fundamentals on Claudeers
[![Claudeers](https://claudeers.com/api/badge/ai-fundamentals.svg)](https://claudeers.com/ai-fundamentals)

// retro hit counter

AI-fundamentals hit counter
[![Hits](https://claudeers.com/api/counter/ai-fundamentals.svg)](https://claudeers.com/ai-fundamentals)

// reviews

// guestbook

0/500

// related in Uncategorized / Others

🔓

Reverse engineer anything with agents, from app behavior down to native binaries.

// uncategorizedmorluto/⟨TypeScript⟩★ 423,040◷ MIT[ claude ]
🔓

Fair-code workflow automation platform with native AI capabilities. Combine visual building with custom code, self-host or cloud, 400+ integrations.

// uncategorizedn8n-io/⟨TypeScript⟩★ 209,482◷ NOASSERTION[ claude ]
🔓

The agent engineering platform.

// uncategorizedlangchain-ai/⟨Python⟩★ 148,973◷ MIT[ claude ]
🔓

100+ AI Agent & RAG apps you can actually run — clone, customize, ship.

// uncategorizedShubhamsaboo/⟨Python⟩★ 144,747◷ Apache-2.0[ claude ]

// built by

→ see how AI-fundamentals connects across the ecosystem