深入理解TensorFlow架构设计与实现原理PDF|Epub|txt|kindle电子书版本网盘下载

深入理解TensorFlow架构设计与实现原理PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第一部分 基础篇2

第1章TensorFlow系统概述2

1.1简介2

1.1.1产生背景2

1.1.2独特价值3

1.1.3版本变迁4

1.1.4与其他主流深度学习框架的对比6

1.2设计目标7

1.2.1灵活通用的深度学习库8

1.2.2端云结合的人工智能引擎9

1.2.3高性能的基础平台软件10

1.3基本架构12

1.3.1工作形态12

1.3.2组件结构13

1.4小结14

第2章TensorFlow环境准备15

2.1安装15

2.1.1 TensorFlow安装概述15

2.1.2使用Anaconda安装17

2.1.3使用原生Pip安装17

2.1.4使用virtualenv安装18

2.1.5使用Docker安装19

2.1.6使用源代码编译安装20

2.1.7 Hello TensorFlow22

2.2依赖项23

2.2.1 Bazel软件构建工具24

2.2.2 Protocol Buffers数据结构序列化工具25

2.2.3 Eigen线性代数计算库27

2.2.4 CUDA统一计算设备架构28

2.3源代码结构29

2.3.1根目录29

2.3.2 tensorflow目录30

2.3.3 tensorflow／core目录31

2.3.4 tensorflow／python目录32

2.3.5安装目录33

2.4小结33

第3章TensorFlow基础概念34

3.1编程范式：数据流图34

3.1.1声明式编程与命令式编程34

3.1.2声明式编程在深度学习应用上的优势35

3.1.3 TensorFlow数据流图的基本概念38

3.2数据载体：张量40

3.2.1张量：Tensor40

3.2.2稀疏张量：SparseTensor44

3.3模型载体：操作46

3.3.1计算节点：Operation46

3.3.2存储节点：Variable49

3.3.3数据节点：Placeholder53

3.4运行环境：会话55

3.4.1普通会话：Session55

3.4.2交互式会话：InteractiveSession59

3.4.3扩展阅读：会话实现原理59

3.5训练工具：优化器61

3.5.1损失函数与优化算法61

3.5.2优化器概述64

3.5.3使用minimize方法训练模型66

3.5.4扩展阅读：模型训练方法进阶68

3.6一元线性回归模型的最佳实践72

3.7小结76

第二部分 关键模块篇78

第4章TensorFlow数据处理方法78

4.1输入数据集78

4.1.1使用输入流水线并行读取数据78

4.1.2创建批样例数据的方法86

4.1.3填充数据节点的方法87

4.1.4处理CIFAR-10数据集的最佳实践88

4.1.5扩展阅读：MNIST数据集91

4.2模型参数92

4.2.1模型参数的典型使用流程92

4.2.2使用tf.Variable创建、初始化和更新模型参数92

4.2.3使用tf.train.Saver保存和恢复模型参数98

4.2.4使用变量作用域处理复杂模型100

4.3命令行参数103

4.3.1使用argparse解析命令行参数103

4.3.2使用tf.app.flags解析命令行参数108

4.4小结111

第5章TensorFlow编程框架112

5.1单机程序编程框架112

5.1.1概述112

5.1.2创建单机数据流图114

5.1.3创建并运行单机会话116

5.2分布式程序编程框架118

5.2.1 PS-worker架构概述118

5.2.2分布式程序编程框架概述120

5.2.3创建TensorFlow集群121

5.2.4将操作放置到目标设备124

5.2.5数据并行模式124

5.2.6同步训练机制125

5.2.7异步训练机制130

5.2.8使用Supervisor管理模型训练131

5.2.9分布式同步训练的最佳实践133

5.3小结137

第6章TensorBoard可视化工具138

6.1概述138

6.2可视化数据流图142

6.2.1名字作用域与抽象节点142

6.2.2可视化数据流图的最佳实践144

6.2.3扩展阅读：汇总数据和事件数据145

6.2.4扩展阅读：揭秘tf.summary.Filewriter工作原理147

6.3可视化学习过程149

6.3.1汇总操作概述149

6.3.2使用tf.summary.scalar生成折线图150

6.3.3使用tf.summary.histogram生成数据分布图152

6.3.4使用tf.summary.image生成图像154

6.3.5使用tf.summary.audio生成音频155

6.3.6可视化MNIST softmax模型学习过程的最佳实践156

6.4可视化高维数据158

6.4.1使用TensorBoard可视化高维数据158

6.4.2可视化MNIST数据集的最佳实践160

6.5小结163

第7章 模型托管工具：TensorFlow Serving164

7.1概述164

7.2系统架构165

7.3安装167

7.3.1使用APT安装ModelServer168

7.3.2使用源码编译安装ModelServer169

7.4最佳实践170

7.4.1导出模型170

7.4.2发布模型服务173

7.4.3更新线上模型服务174

7.5小结175

第三部分 算法模型篇178

第8章 深度学习概述178

8.1深度学习的历史178

8.1.1感知机模型与神经网络178

8.1.2神经网络的寒冬与复苏179

8.1.3神经网络的发展与第二次寒冬181

8.1.4深度学习时代的到来183

8.2深度学习的主要应用184

8.2.1计算机视觉185

8.2.2自然语言处理186

8.2.3强化学习188

8.3深度学习与TensorFlow190

8.4小结191

第9章CNN模型192

9.1 CNN192

9.1.1 CNN简介192

9.1.2卷积层193

9.1.3激活层195

9.1.4池化层195

9.1.5全连接层196

9.1.6 Dropout层196

9.1.7 BN层197

9.1.8常用的CNN图像分类模型197

9.2 TensorFlow-Slim204

9.2.1 TensorFlow-Slim总体结构204

9.2.2 datasets包和data包205

9.2.3 preprocessing包207

9.2.4 deployment包207

9.2.5 nets包209

9.2.6 TensorFlow-Slim最佳实践212

9.3应用216

9.3.1物体检测216

9.3.2图像分割221

9.4小结222

第10章GAN模型223

10.1原理、特点及应用223

10.1.1原理224

10.1.2特点225

10.1.3应用226

10.2 GAN模型的改进228

10.2.1 CGAN模型228

10.2.2 LAPGAN模型229

10.2.3 DCGAN模型230

10.2.4 InfoGAN模型230

10.2.5 LSGAN模型231

10.2.6 WGAN模型232

10.3最佳实践233

10.4小结238

第11章RNN模型239

11.1基本RNN单元及其变种239

11.1.1 RNN模型简介239

11.1.2基本RNN单元240

11.1.3 LSTM单元242

11.1.4 GRU单元243

11.1.5双向RNN单元244

11.1.6带有其他特性的RNN单元245

11.2 RNN模型247

11.2.1 PTB-LSTM语言模型247

11.2.2 Seq2Seq模型251

11.3小结254

第四部分 核心揭秘篇256

第12章TensorFlow运行时核心设计与实现256

12.1运行时框架概述256

12.2关键数据结构257

12.2.1张量相关数据结构258

12.2.2设备相关数据结构260

12.2.3数据流图相关的数据结构263

12.3公共基础机制266

12.3.1内存分配266

12.3.2线程管理268

12.3.3多语言接口269

12.3.4 XLA编译技术270

12.3.5单元测试框架271

12.4外部环境接口272

12.4.1加速器硬件接口272

12.4.2系统软件接口275

12.5小结276

第13章 通信原理与实现277

13.1概述277

13.2进程内通信278

13.2.1通信接口278

13.2.2会合点机制280

13.2.3异构设备内存访问282

13.3进程间通信283

13.3.1 gRPC通信机制284

13.3.2控制通信286

13.3.3数据通信290

13.4 RDMA通信模块294

13.4.1模块结构295

13.4.2消息语义296

13.4.3通信流程297

13.5小结300

第14章 数据流图计算原理与实现301

14.1概述301

14.2数据流图创建302

14.2.1流程与抽象303

14.2.2全图构造305

14.2.3子图提取306

14.2.4图切分307

14.2.5图优化308

14.3单机会话运行308

14.3.1流程与抽象309

14.3.2执行器获取311

14.3.3输入数据填充312

14.3.4图运行313

14.3.5输出数据获取315

14.3.6张量保存315

14.4分布式会话运行315

14.4.1主-从模型316

14.4.2主要抽象317

14.4.3 client创建会话319

14.4.4 client请求图运行320

14.4.5 master驱动图运行321

14.4.6 worker实施图运行323

14.5操作节点执行325

14.5.1核函数抽象325

14.5.2 CPU上的执行流程326

14.5.3 CUDA GPU上的执行流程326

14.6小结327

第五部分 生态发展篇330

第15章TensorFlow生态环境330

15.1生态环境概况330

15.1.1社区托管组件330

15.1.2第三方项目333

15.2深度神经网络库Keras334

15.2.1概述334

15.2.2模型概述335

15.2.3顺序模型336

15.2.4函数式模型338

15.3 TensorFlow与Kubernetes生态的结合340

15.4 TensorFlow与Spark生态的结合344

15.5 TensorFlow通信优化技术345

15.6 TPU及神经网络处理器348

15.7 NNVM模块化深度学习组件349

15.8 TensorFlow未来展望——TFX351

15.9小结353

附录A354