【2023-01-29】所谓模型训练，其实就是通过如 SGD 优化算法指导模型参数更新的过程。

【2023-01-21】本文从导数开始讲起，讲述了导数、偏导数、方向导数和梯度的定义、意义和数学公式，有助于初学者后续更深入理解随机梯度下降算法的公式。大部分内容来自维基百科和博客文章内容的总结，并加以个人理解。

【2023-01-19】所谓深度神经网络的优化算法，即用来更新神经网络参数，并使损失函数最小化的算法。优化算法对于深度学习非常重要，如果说网络参数初始化（模型迭代的初始点）能够决定模型是否收敛，那优化算法的性能则直接影响模型的训练效率。

【2023-01-14】大多数深度学习算法都会涉及某种形式的优化，所谓优化指的是改变 x 以最小化或最大化损失函数 f(x) 的任务，我们通常以最小化 f(x) 指代大多数最优化问题。损失函数大致可分为两种：回归损失（针对连续型变量）和分类损失（针对离散型变量）。常用的减少损失函数的优化算法是“梯度下降法”（Gradient Descent）。

【2023-01-08】深度学习模型（神经网络模型）的训练算法通常是迭代的，因此模型训练者需要指定开始迭代的初始点，即择网络参数初始化策略。

【2022-12-25】BN 使得网络中每层输入数据的分布相对稳定，加速模型训练和收敛速度，同时能够减少过拟合和提高模型的泛化能力

【2022-12-20】Linux 系统由 Linux 内核、shell、文件系统和第三方应用软件组成。Linux 文件权限与属性是学习 Linux 系统的一个重要关卡，必须理解这个部分内容的概念。

【2022-12-17】在 Linux 中一切皆文件。文件管理主要是涉及文件/目录的创建、删除、移动、复制和查询，有mkdir/rm/mv/cp/find 等命令。其中 find 文件查询命令较为复杂，参数丰富，功能十分强大。

【2022-12-15】卷积神经网络核心网络层是卷积层，其使用了卷积(convolution)这种数学运算，卷积是一种特殊的线性运算。

【2022-12-15】环境变量可以由系统、用户、Shell 以及其他程序来设定，保存在变量 PATH 中。环境变量是一个可以被赋值的字符串，赋值范围包括数字、文本、文件名等。