• Backbone 10
• CNN_Deploy 6
• DeepLearning 19
• Framework_analysis 14
• Hpc 21
• LLM_Infer_Optimize 14
• Linux 9
• Model_Quant_Compression 8
• Transformer 17

Backbone

• 【2024-04-14】埃隆·马斯克传 - 读书笔记
• 【2023-02-02】经典 backbone 网络总结
• 【2021-09-22】cspnet 论文解读
• 【2021-09-20】VoVNet论文解读
• 【2021-09-15】densenet 论文解读
• 【2021-09-10】resnet 网络详解
• 【2021-05-18】ShuffleNetv2 论文详解
• 【2021-05-10】RepVGG 论文详解
• 【2021-05-02】MobileNetv1 论文详解
• 【2021-03-01】resnetv2 论文解读

CNN_Deploy

• 【2022-10-17】ncnn 源码剖析-Net 类
• 【2022-10-15】ncnn 源码剖析-sample 运行
• 【2022-10-13】TensorRT 基础笔记
• 【2022-10-11】ONNX 模型分析与使用
• 【2022-10-09】卷积神经网络部署概述
• 【2022-10-07】卷积神经网络复杂度分析

DeepLearning

• 【2023-01-29】反向传播与梯度下降详解
• 【2023-01-21】随机梯度下降法的数学基础
• 【2023-01-19】深度学习基础-优化算法详解
• 【2023-01-14】深度学习基础-损失函数详解
• 【2023-01-08】深度学习基础-参数初始化详解
• 【2022-12-25】cnn 基础部件-bn 层详解
• 【2022-12-15】cnn 基础部件-卷积层详解
• 【2022-12-05】cnn 基础部件-激活函数详解
• 【2022-11-26】深度学习炼丹-超参数调整
• 【2022-11-22】深度学习炼丹-正则化策略
• 【2022-11-16】深度学习炼丹-不平衡样本的处理
• 【2022-11-09】深度学习炼丹-数据标准化
• 【2022-11-06】深度学习炼丹-数据增强
• 【2022-11-05】深度学习基础-机器学习基本原理
• 【2022-11-02】深度学习数学基础-概率与信息论
• 【2021-10-10】深度学习基础总结
• 【2021-03-07】Pytorch基础-tensor数据结构
• 【2021-03-03】Pytorch基础-张量数学运算
• 【2021-03-01】Pytorch 基础-张量结构操作

Framework_analysis

• 【2025-04-02】Pytorch c10 模块详解
• 【2025-04-01】Pytorch 架构概览
• 【2025-03-30】Pytorch 编译流程解析
• 【2025-03-29】Pytorch 张量实现分析
• 【2025-03-28】Pytorch 代码库结构拆解
• 【2024-11-09】Pytorch 性能分析器使用探究
• 【2024-11-08】llm服务框架特性总结
• 【2023-12-26】internlm2-20b 在 910b 适配记录
• 【2023-11-01】lightllm 性能瓶颈分析
• 【2023-10-26】tgi 性能瓶颈分析实验
• 【2023-09-20】tgi 框架源码概览
• 【2023-07-03】deepspeed 推理和训练优化方案概述
• 【2023-07-01】deepspeed 框架 benchamrk 评测总结
• 【2023-06-01】llm 统一性能测试方案

Hpc

• 【2025-03-21】CUDA stream 和 event 模块详解
• 【2025-01-25】triton 内核编译流程解析
• 【2024-10-17】CUDA 内核执行配置及线程索引计算
• 【2024-10-15】CUDA 编程模型进阶
• 【2024-10-10】CUDA 流介绍
• 【2024-09-26】理解 triton 之基础知识
• 【2024-09-26】cuda 教程推荐
• 【2024-09-24】理解 triton 内核教程 4
• 【2024-09-24】理解 triton 内核教程 3
• 【2024-09-22】理解 triton 内核教程 2
• 【2024-09-20】理解 triton 内核教程 1
• 【2024-09-15】深入理解 roofline 模型
• 【2024-09-14】Roofline 论文解读
• 【2024-08-28】CUDA 执行模型
• 【2024-08-25】CUDA 内核优化策略
• 【2024-08-23】CUDA内存组织
• 【2024-08-21】CUDA 编程模型概述
• 【2024-08-20】CUDA 背景知识
• 【2023-09-01】英伟达GPU架构总结
• 【2023-08-20】英伟达 GPU 性能分析指导
• 【2023-08-10】英伟达GPU通信方式概述

LLM_Infer_Optimize

• 【2025-06-24】LLM 并行-Switch Transformers 论文详解
• 【2025-04-10】LLM 并行-张量并行技术详解
• 【2024-12-06】vllm 优化之 PagedAttention 源码解读
• 【2024-12-05】vllm 优化之 cuda_graph 详解
• 【2024-12-03】vllm 推理流程剖析
• 【2024-12-01】vllm优化技术速览
• 【2024-11-02】prompt-cache论文速读
• 【2024-10-07】flashattention1-2-3 系列总结
• 【2024-10-06】flashattention3 论文解读
• 【2024-10-05】flashattention2 论文解读
• 【2024-10-02】flashattention1 论文解读
• 【2024-10-01】online-softmax 论文解读
• 【2024-09-12】llm 综合分析论文翻译
• 【2024-09-11】llm 推理揭秘论文翻译

Linux

• 【2023-02-28】ssh 连接远程服务器方式总结
• 【2022-12-20】Linux 基础-文件权限及属性
• 【2022-12-17】Linux 基础-文件及目录管理
• 【2022-12-15】Linux 基础-查看和设置环境变量
• 【2022-12-15】Linux 基础-文本处理命令总结
• 【2022-12-14】Linux 基础-新手及常用命令总结
• 【2022-12-12】Linux 基础-查看 cpu、内存和环境等信息
• 【2022-12-10】Linux 基础-查看进程命令 ps 和 top
• 【2021-09-01】git 工业界实战总结

Model_Quant_Compression

• 【2024-11-03】LLM 量化-AWQ 代码深入剖析
• 【2024-10-31】LLM 量化-SmoothQuant 源码剖析
• 【2024-10-30】LLM 量化-SmoothQuant 量化详解
• 【2023-03-20】模型压缩-轻量化 CNN 网络总结
• 【2023-03-12】基于 pytorch 实现模型剪枝
• 【2023-03-09】模型压缩-剪枝算法详解
• 【2023-03-05】模型压缩-神经网络量化基础
• 【2023-03-01】深度学习模型压缩方法概述

Transformer

• 【2025-02-10】MLA 结构代码实现及优化
• 【2025-02-08】DeepseekV3 论文解读
• 【2025-02-07】DeepSeekV2 论文解读
• 【2024-11-28】LLaVA 系列模型结构详解
• 【2024-11-10】masked-attention 算法详解
• 【2024-11-01】kv-cache 原理及优化概述
• 【2024-10-24】RoPE 位置编码算法详解
• 【2024-10-23】Sinusoida 位置编码详解
• 【2024-10-22】位置编码算法背景知识
• 【2024-10-21】llama1-3 模型结构详解
• 【2024-10-20】transformer 模型结构详解及实现
• 【2024-09-21】llm 推理 latency 分析
• 【2024-09-20】llm 参数量-计算量-显存占用分析
• 【2024-09-08】vit 论文速读
• 【2024-09-03】gpt1-3 论文解读
• 【2024-09-01】transformer论文解读
• 【2024-08-29】transformers 库快速入门