deepspeed 推理和训练优化方案概述

【2023-07-03】DeepSpeed 支持 chatglm-6b 到 GPT-3 175B 等规模大模型,其用于优化推理成本和延迟的新技术主要包括：推理自适应并行性、针对推理优化的 CUDA 内核和有效的量化感知训练。

deepspeed 框架 benchamrk 评测总结

【2023-07-01】DS 是 deepspeed 框架的缩写，本文分别评测了 DeepSpeed、transformers、FasterTransformer 三个框架。

llm 统一性能测试方案

【2023-06-01】LLM benchmark 评测实验方案以及测试案例

模型压缩-轻量化网络总结

【2023-03-20】轻量级网络的核心是在尽量保持精度的前提下，从模型体积和速度两方面对网络进行轻量化改造。

模型压缩-知识蒸馏详解

【2023-03-15】模型知识蒸馏原理概述。

基于 pytorch 实现模型剪枝

【2023-03-12】所谓模型剪枝，其实是一种从神经网络中移除"不必要"权重或偏差（weigths/bias）的模型压缩技术。关于什么参数才是“不必要的”，这是一个目前依然在研究的领域。

模型压缩-剪枝算法详解

【2023-03-09】模型剪枝是一种应用非常广的模型压缩方法，其可以直接减少模型中的参数量。本文会对模型剪枝的定义、发展历程、分类以及算法原理进行详细的介绍。

模型压缩-神经网络量化基础

【2023-03-05】总结线性量化优点、原理、方法和实战基础。

深度学习模型压缩方法概述

【2023-03-01】工业界主流的模型压缩方法有：知识蒸馏（Knowledge Distillation，KD）轻量化模型架构（也叫紧凑的模型设计）、剪枝（Pruning）、量化（Quantization）。

经典 backbone 网络总结

【2023-02-02】vgg、resnet、resnetv2、densenet、cspnet、vovnet 网络结构总结。