位置编码算法背景知识

【2024-10-22】理解 RoPE 位置编码算法的原理和推导公式之前得先具备一些背景知识，主要是关于三角函数、旋转矩阵、直角坐标系、欧几里得内积的相关概念和公式，可以先快速阅览本章内容，后续关于 RoPE 算法的推导不理解的时候，再来细看相关公式和概念即可。

llama1-3 模型结构详解

【2024-10-21】llama1-3 模型结构代码如何实现，模型结构分析。

【2024-10-20】transformer 模型结构代码如何实现，模型结构分析。

【2024-10-17】cuda 内核执行配置如何设定，以及如何划分2d/3d数据，并根据线程索引取内存数据。

【2024-10-15】深入探讨 CUDA 编程模型是如何映射到 GPU 底层硬件架构的，并探讨影响性能的各种底层因素。

【2024-10-10】cuda 流用于实现 kernel 函数外的并行。

【2024-10-07】flashattention1-2-3系列总结

【2024-10-06】flashattention3 论文解读

【2024-10-05】flashattention2 论文解读

【2024-10-02】flashattention1 论文解读