针对动态神经网络的显存管理可用性

毕设题目：针对动态人工智能的XT管理制度冗余

借以敦促：尺度人工智能随着计算装置能力的弱化似乎日渐风靡，并在许多方面赢得了令人惊叹的进展，例如电子计算机视觉，自然语言管控。虽然装置的计算能力是在不断地弱化，但是装置上的高带宽文件系统通常是有限的，例如在NVIDIA P100上只有16GB的XT。在一开始的电子计算机视觉领域，尺度人工智能通常都是可执行的，也就是说在还没有运行早先就能看到人工智能的整个构件，所以针对这种可执行尺度人工智能，直到现在有一些管理制度工作是通过分析该可执行人工智能来继续做一些XT管理制度冗余，但是对于像自然语言管控等新兴领域通常都是一些动态人工智能，它的构件会和匹配有关，因此，在没有运行早先是不可获得网络构件反馈，从而导致早先的管理制度工作并不可适用。因此，针对动态人工智能需要有一套原先XT管理制度方案来容纳非常大的人工智能并保证较高的受训效率。

主要内容：分析现有的动态人工智能的受训现实生活相对于可执行人工智能的不同，并提取其极其重要特点，针对这些特点明确指出一套专有的XT管理制度方案，使得在实现极高文件系统迁出增加的情形，保持较高的受训效率。

预期尽可能：

1. 明了尺度人工智能及其受训现实生活的文件系统使用特点。

2. 理解现有针对尺度人工智能的XT管理制度法则的缺点与太低。

3. 能够针对现有典型的动态人工智能实直到现在30%-40%的文件系统迁出增加情形，受训的效率财产损失在20-30%范围内。

参考资料

[1]. Rhu, M., Gimelshein, N., Clemons, J., Zulfiqar, A. and Keckler, S.W., 2016, October. vDNN: Virtualized deep neural networks for scalable, memory-efficient neural network design. In The 49th Annual IEEE/ACM International Symposium on Microarchitecture (p. 18). IEEE Press.

[2]. Wang, L., Ye, J., Zhao, Y., Wu, W., Li, A., Song, S.L., Xu, Z. and Kraska, T., 2018, February. Superneurons: dynamic GPU memory management for training deep neural networks. In Proceedings of the 23rd ACM SIGPLAN Symposium on Principles and Practice of Parallel Programming (pp. 41-53). ACM.

[3]. T. Chen, B. Xu, C. Zhang, and C. Guestrin. Training deep nets with sublinear memory cost. arXiv preprint arXiv:1604.06174, 2016.

[4]. Meng, C., Sun, M., Yang, J., Qiu, M. and Gu, Y., 2017. Training deeper models by GPU memory optimization on TensorFlow. In Proc. of ML Systems Workshop in NIPS.

[5]. Neubig, G., Dyer, C., Goldberg, Y., Matthews, A., Ammar, W., Anastasopoulos, A., Ballesteros, M., Chiang, D., Clothiaux, D., Cohn, T. and Duh, K., 2017. Dynet: The dynamic neural network toolkit. arXiv preprint arXiv:1701.03980.