深度学习Tips

一.相关资料

Darknet c语言实现

thtrieu/darkflow

NCNN实践

ONNX Model Zoo 常见网络

xiaohu2015/DeepLearning_tutorials

MuZero: Mastering Go, chess, shogi and Atari without rules

Python相关

Google 开源项目风格指南 - 中文版

zh-google-styleguide

pickle — Python 对象序列化

TensorFlow 机器学习秘籍中文第二版

TensorFlow2.0中的索引和切片

tf.newaxis和np.newaxis

tf.newaxis的作用

TensorFlow用expand_dim()来增加维度

开发环境

pip cache %LocalAppData%\pip\Cache

Anaconda Pycharm Tensorflow

安装 cuda_10.1.243_426.00_win10.exe 下载地址 https://developer.nvidia.com/cuda-toolkit-archive

安装 cudnn-10.1-windows10-x64-v7.6.5.32.zip 下载地址 https://developer.nvidia.com/rdp/cudnn-archive

查看cuda版本 nvidia-smi

安装 ananconda

安装 pycharm

conda env list

conda create –name tf-gpu python=3.8

conda activate tensorflow

conda env export > environment.yml

conda deactivate

conda remove –name tf-gpu –all

// 使用nvidia-smi 查看系统已安装cuda版本

参考 https://docs.anaconda.com/anaconda/user-guide/tasks/tensorflow/ conda create -n tf-gpu conda-forge tensorflow-gpu cudatoolkit=11.1 cudnn==7.6.4

https://pytorch.org/get-started/locally/

pip install torch==1.7.1+cu101 torchvision==0.8.2+cu101 torchaudio===0.7.2 -f https://download.pytorch.org/whl/torch_stable.html

pip install –upgrade –ignore-installed tensorflow

pip3 install https://storage.googleapis.com/tensorflow/windows/gpu/tensorflow_gpu-2.3.0-cp38-cp38-win_amd64.whl

pip3 install ipykernel

pip3 install torch torchvision torchaudio –index-url https://download.pytorch.org/whl/cu117

// windows tensorflow-gpu只支持到2.10 pip install “tensorflow<2.11”

https://www.tensorflow.org/install/pip#windows-native

pip install https://storage.googleapis.com/tensorflow/windows/gpu/tensorflow_gpu-2.10.0-cp39-cp39-win_amd64.whl

测试文件 main.py 内容


import tensorflow as tf  

print(tf.__version__)  

a=tf.config.experimental.list_physical_devices('GPU')  

print(a)

tensorflow lite 2.3.2 编译

github 拉取 tag 2.3.2 的代码
安装 msys bazel
执行
bazel build -c opt //tensorflow/lite/c:tensorflowlite_c.dll --action_env PYTHON_BIN_PATH="C://Program Files//Python38//python.exe"  --action_env  BAZEL_SH="C://msys64//usr//bin//bash.exe"

数学基础

微积分

概率论与数理统计

线性代数

线性代数核心概念

梯度下降算法

矩阵梯度

一文看懂常用的梯度下降算法

梯度下降（Gradient Descent）小结

[卡尔曼滤波器]

雅可比矩阵

GBM

GBDT

XGBoost

LightGBM

GBM 与 GBDT 与 XgBoost_段哥哥的博客-CSDN博客

数据处理

LDA线性判别分析

数据的标准化（normalization）和归一化

[标准化和归一化什么区别？]{https://www.zhihu.com/question/20467170}

PCA

Box-cox变换

数据增强

对比度饱和度明暗颜色扩张旋转平移裁剪遮挡缩放

机器学习常用算法

常用激活函数

Sigmoid函数

$$ g(x)=\dfrac{1}{1+e^{-x}} $$

tanh反正切函数

$$ g(x)=\dfrac{e^x-e^{-x}}{e^x+e^{-x}} $$

relu修正线性单元

$$ g(x)=max(0,x) $$

Leaky relu

$$ g(x)=\begin{cases} x &\text{if } x>0 \ 0.01x &\text{otherwise} \end{cases} $$

Mish

$$ g(x) = x * tanh(ln(1+e^x)) $$

Mish：一个新的state-of-the-art激活函数，ReLU的继任者

KNN算法

线性回归

逻辑回归

Softmax回归

决策树（DT）

感知器

HNN隐马尔可夫模型

CRF条件随机场

K-Means聚类算法

K-Means聚类算法原理

集成学习

集成学习（Ensemble Learning)

集成学习原理小结

机器学习中的ensemble：Bagging与Boosting

机器学习中Bagging和Boosting的区别

集成学习三大法宝-bagging、boosting、stacking

深度学习

如何自己从零实现一个神经网络

零基础入门深度学习

机器学习常用损失函数小结

过拟合处理

L1 L2正则化

深入理解L1、L2正则化

Droupout

简化网络

常用网络结构

名称	资料
全连接层
卷积层	转化为矩阵计算见《Python深度学习基于pytorch》p114
转置卷积层（反卷积）
LocallyConnected
池化层
LTSM
GRU
BN
LRU	见于AlexNet
Shortcut	见于ResNet
Inception	见于GoogleNet
router	见于Yolo-v4