基于 pytorch 实现模型剪枝 【2023-03-12】所谓模型剪枝,其实是一种从神经网络中移除"不必要"权重或偏差(weigths/bias)的模型压缩技术。关于什么参数才是“不必要的”,这是一个目前依然在研究的领域。
深度学习模型压缩方法概述 【2023-03-01】工业界主流的模型压缩方法有:知识蒸馏(Knowledge Distillation,KD)轻量化模型架构(也叫紧凑的模型设计)、剪枝(Pruning)、量化(Quantization)。
ssh 连接远程服务器方式总结 【2023-02-28】SSH(安全外壳协议 Secure Shell Protocol,简称SSH)是一种加密的网络传输协议,用于在网络中实现客户端和服务端的连接,典型的如我们在本地电脑通过 SSH连接远程服务器,从而做开发,Windows、macOS、Linux都有自带的 SSH 客户端,但是在Windows上使用 SSH 客户端的体验并不是很好,所以我们一般使用 Xshell 来代替。
随机梯度下降法的数学基础 【2023-01-21】本文从导数开始讲起,讲述了导数、偏导数、方向导数和梯度的定义、意义和数学公式,有助于初学者后续更深入理解随机梯度下降算法的公式。大部分内容来自维基百科和博客文章内容的总结,并加以个人理解。