【2024-08-20】介绍 V100 gpu 硬件架构、cuda 内核函数如何计时。

【2024-04-14】最近利用早上的阅读时间陆陆续续把《埃隆·马斯克传》给看完了，很推荐工程师同学一读，虽然平时马斯克在 X 上表现有些奇怪，其实在书里其实是一个实打实的工程师，很擅长将技术和商业以及成本控制结合的一个牛人，不过也有不少缺点的一个人，随手记录一些文字用于备忘。同样看完这本书，作为特斯拉股东，愿意继续持有。

【2023-12-26】华为 910b 适配 InternLM2-20b 模型记录。

【2023-11-01】LightLLM 推理框架静态性能测试及分析

【2023-10-26】TGI 动态性能测试实验分析

【2023-09-20】TGI 框架的主要功能，以及主要模块的简单介绍。

【2023-09-01】介绍 Volta、Turing、Ampera、Hopper 架构特性和硬件基本结构。

【2023-08-20】本文主要介绍了 GPU 结构、操作的执行方式以及深度学习操作的常见限制，目的是为了更好的理解 GPU 的基本运行原理以及神经网络或特定网络层如何高效利用给定 GPU。

【2023-08-10】单机多卡内存和 GPU、GPU 和 GPU 之间互联可通过 PCIE、NVLink、NVSwitch； 多机多卡 GPU 之间（不同主机）、CPU 与 GPU 之间互联可通过 GPUDirect RDMA、IB/万兆以太网 + TCP/IP。

【2023-07-03】DeepSpeed 支持 chatglm-6b 到 GPT-3 175B 等规模大模型,其用于优化推理成本和延迟的新技术主要包括：推理自适应并行性、针对推理优化的 CUDA 内核和有效的量化感知训练。