深度学习轻松学 核心算法与视觉实践PDF|Epub|txt|kindle电子书版本网盘下载

深度学习轻松学 核心算法与视觉实践PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

1 机器学习与深度学习的概念1

1.1 什么是机器学习1

1.1.1 机器学习的形式2

1.1.2 机器学习的几个组成部分8

1.2 深度学习的逆袭9

1.3 深层模型在视觉领域的应用13

1.4 本书的主要内容15

1.5 总结17

2 数学与机器学习基础18

2.1 线性代数基础18

2.2 对称矩阵的性质22

2.2.1 特征值与特征向量22

2.2.2 对称矩阵的特征值和特征向量23

2.2.3 对称矩阵的对角化24

2.3 概率论25

2.3.1 概率与分布25

2.3.2 最大似然估计28

2.4 信息论基础31

2.5 KL散度33

2.6 凸函数及其性质37

2.7 机器学习基本概念39

2.8 机器学习的目标函数42

2.9 总结44

3 CNN的基石：全连接层45

3.1 线性部分45

3.2 非线性部分48

3.3 神经网络的模样50

3.4 反向传播法55

3.4.1 反向传播法的计算方法55

3.4.2 反向传播法在计算上的抽象58

3.4.3 反向传播法在批量数据上的推广59

3.4.4 具体的例子63

3.5 参数初始化65

3.6 总结68

4 CNN的基石：卷积层69

4.1 卷积操作69

4.1.1 卷积是什么69

4.1.2 卷积层效果展示73

4.1.3 卷积层汇总了什么76

4.1.4 卷积的另一种解释77

4.2 卷积层的反向传播79

4.2.1 实力派解法80

4.2.2 “偶像派”解法84

4.3 ReLU88

4.3.1 梯度消失问题89

4.3.2 ReLU的理论支撑92

4.3.3 ReLU的线性性质93

4.3.4 ReLU的不足93

4.4 总结94

4.5 参考文献94

5 Caffe入门95

5.1 使用Caffe进行深度学习训练96

5.1.1 数据预处理96

5.1.2 网络结构与模型训练的配置100

5.1.3 训练与再训练108

5.1.4 训练日志分析110

5.1.5 预测检验与分析112

5.1.6 性能测试115

5.2 模型配置文件介绍117

5.3 Caffe的整体结构122

5.3.1 SyncedMemory124

5.3.2 Blob125

5.3.3 Layer125

5.3.4 Net126

5.3.5 Solver126

5.3.6 多GPU训练127

5.3.7 IO127

5.4 Caffe的Layer128

5.4.1 Layer的创建——LayerRegistry128

5.4.2 Layer的初始化130

5.4.3 Layer的前向计算132

5.5 Caffe的Net组装流程133

5.6 Caffe的Solver计算流程139

5.6.1 优化流程140

5.6.2 多卡优化算法142

5.7 Caffe的Data Layer145

5.7.1 Datum结构145

5.7.2 DataReader Thread147

5.7.3 BasePrefetchingDataLayer Thread148

5.7.4 Data Layer149

5.8 Caffe的Data Transformer150

5.8.1 C＋＋中的Data Transformer150

5.8.2 Python中的Data Transformer153

5.9 模型层扩展实践——Center Loss Layer156

5.9.1 Center Loss的原理156

5.9.2 Center Loss实现160

5.9.3 实验分析与总结164

5.10 总结165

5.11 参考文献165

6 深层网络的数值问题166

6.1 ReLU和参数初始化166

6.1.1 第一个ReLU数值实验167

6.1.2 第二个ReLU数值实验169

6.1.3 第三个实验——Sigmoid171

6.2 Xavier初始化172

6.3 MSRA初始化178

6.3.1 前向推导178

6.3.2 后向推导181

6.4 ZCA182

6.5 与数值溢出的战斗186

6.5.1 Softmax Layer186

6.5.2 Sigmoid Cross Entropy Loss189

6.6 总结192

6.7 参考文献192

7 网络结构193

7.1 关于网络结构，我们更关心什么193

7.2 网络结构的演化195

7.2.1 VGG：模型哲学195

7.2.2 GoogLeNet：丰富模型层的内部结构196

7.2.3 ResNet：从乘法模型到加法模型197

7.2.4 全连接层的没落198

7.3 Batch Normalization199

7.3.1 Normalization199

7.3.2 使用BN层的实验200

7.3.3 BN的实现201

7.4 对Dropout的思考204

7.5 从迁移学习的角度观察网络功能206

7.6 ResNet的深入分析210

7.6.1 DSN解决梯度消失问题211

7.6.2 ResNet网络的展开结构212

7.6.3 FractalNet214

7.6.4 DenseNet215

7.7 总结217

7.8 参考文献217

8 优化与训练219

8.1 梯度下降是一门手艺活儿219

8.1.1 什么是梯度下降法219

8.1.2 优雅的步长220

8.2 路遥知马力：动量225

8.3 SGD的变种算法232

8.3.1 非凸函数232

8.3.2 经典算法的弯道表现233

8.3.3 Adagrad234

8.3.4 Rmsprop235

8.3.5 AdaDelta236

8.3.6 Adam237

8.3.7 爬坡赛240

8.3.8 总结242

8.4 L1正则的效果243

8.4.1 MNIST的L1正则实验244

8.4.2 次梯度下降法246

8.5 寻找模型的弱点251

8.5.1 泛化性实验252

8.5.2 精确性实验255

8.6 模型优化路径的可视化255

8.7 模型的过拟合260

8.7.1 过拟合方案261

8.7.2 SGD与过拟合263

8.7.3 对于深层模型泛化的猜想264

8.8 总结265

8.9 参考文献265

9 应用：图像的语意分割267

9.1 FCN268

9.2 CRF通俗非严谨的入门272

9.2.1 有向图与无向图模型272

9.2.2 Log-Linear Model278

9.2.3 条件随机场280

9.3 Dense CRF281

9.3.1 Dense CRF是如何被演化出来的281

9.3.2 Dense CRF的公式形式284

9.4 Mean Field对Dense CRF模型的化简285

9.5 Dense CRF的推断计算公式288

9.5.1 Variational Inference推导289

9.5.2 进一步化简291

9.6 完整的模型：CRF as RNN292

9.7 总结294

9.8 参考文献294

10 应用：图像生成295

10.1 VAE295

10.1.1 生成式模型295

10.1.2 Variational Lower bound296

10.1.3 Reparameterization Trick298

10.1.4 Encoder和Decoder的计算公式299

10.1.5 实现300

10.1.6 MNIST生成模型可视化301

10.2 GAN303

10.2.1 GAN的概念303

10.2.2 GAN的训练分析305

10.2.3 GAN实战309

10.3 Info-GAN314

10.3.1 互信息315

10.3.2 InfoGAN模型317

10.4 Wasserstein GAN320

10.4.1 分布的重叠度321

10.4.2 两种目标函数存在的问题323

10.4.3 Wasserstein距离325

10.4.4 Wasserstein距离的优势329

10.4.5 Wasserstein GAN的实现331

10.5 总结333

10.6 参考文献334