Question

深度学习已经在语音识别、机器翻译、图像目标检测和聊天机器人等许多领域百花齐放。近日，GitHub 用户 Simon Brugman 发布了一个按任务分类的深度学习论文项目，其按照不同的任务类型列出了一些当前最佳的论文和对起步有用的论文。机器之心对该项目进行了简单的编译介绍并为部分机器之心报道过的论文加上了相关文章的链接。并同时在文后附带了机器之心曾经发布过的其它论文列表，希望能有助于你的学习和研究。

目录

1. 文本

1.1. 代码生成（Code Generation）

1.2. 情感分析（Sentiment Analysis）

1.3. 翻译（Translation）

1.4. 分类（Classification）

2. 视觉

2.1. 游戏（Gaming）

2.2. 风格迁移（Style Transfer）

2.3. 跟踪（Tracking）

2.4. 图像分割（Image Segmentation）

2.5. 室外的文本识别（Text (in the Wild) Recognition）

2.6. 脑机接口（Brain Computer Interfacing）

2.7. 自动驾驶汽车（Self-Driving Cars）

2.8. 目标识别（Object Recognition）

2.9. 标识识别（Logo Recognition）

2.10. 超分辨率（Super Resolution）

2.11. 姿态估计（Pose Estimation）

2.12. 图像描述（Image Captioning）

2.13. 图像压缩（Image Compression）

2.14. 图像合成（Image Synthesis）

2.15. 面部识别（Face Recognition）

3. 音频

3.1. 音频合成（Audio Synthesis）

4. 其它

4.1. 未分类

4.2. 正则化（Regularization）

4.3. 神经网络压缩（Neural Network Compression）

4.4. 优化器（Optimizers）

文本

代码生成（Code Generation）

1.A Syntactic Neural Model for General-Purpose Code Generation

时间：2017 年 4 月 6 日

地址：https://arxiv.org/pdf/1704.01696

2.RobustFill: Neural Program Learning under Noisy I/O

时间：2017 年 3 月 21 日

地址：https://arxiv.org/pdf/1703.07469

3.DeepCoder: Learning to Write Programs

时间：2016 年 11 月 7 日

地址：https://arxiv.org/pdf/1611.01989

4.Neuro-Symbolic Program Synthesis

时间：2016 年 11 月 6 日

地址：https://arxiv.org/pdf/1611.01855

情感分析（Sentiment Analysis）

1.Rationalizing Neural Predictions

时间：2016 年 6 月 13 日

地址：https://arxiv.org/pdf/1606.04155

2.Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank

时间：2013 年 10 月 18 日

地址：https://github.com/sbrugman/deep-learning-papers/blob/master/papers/recursive-deep-models-for-semantic-compositionality-over-a-sentiment-treebank.pdf

翻译（Translation）

1.Google's Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation

时间：2016 年 11 月 14 日

地址：https://arxiv.org/pdf/1611.04558

2.Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation

时间：2016 年 9 月 26 日

地址：https://arxiv.org/pdf/1609.08144

分类（Classification）

1.A Simple but Tough-to-Beat Baseline for Sentence Embeddings

时间：2016 年 11 月 4 日

地址：https://openreview.net/pdf?id=SyK00v5xx

2.From Word Embeddings To Document Distances

时间：2016 年 7 月 6 日

地址：http://proceedings.mlr.press/v37/kusnerb15.pdf

3.Character-level Convolutional Networks for Text Classification

时间：2015 年 9 月 4 日

地址：https://arxiv.org/pdf/1509.01626

4.GloVe: Global Vectors for Word Representation

时间：2015 年 5 月 25 日

地址：https://github.com/sbrugman/deep-learning-papers/blob/master/papers/glove-global-vectors-for-word-representation.pdf

5.Distributed Representations of Sentences and Documents

时间：2014 年 5 月 16 日

地址：https://arxiv.org/pdf/1405.4053

6.Efficient Estimation of Word Representations in Vector Space

时间：2013 年 1 月 16 日

地址：https://arxiv.org/pdf/1301.3781

视觉

游戏（Gaming）

1.Phase-Functioned Neural Networks for Character Control

时间：2017 年 5 月 1 日

地址：https://github.com/sbrugman/deep-learning-papers/blob/master/papers/phase-functioned-neural-networks-for-character-control.pdf

2.Equivalence Between Policy Gradients and Soft Q-Learning

时间：2017 年 4 月 21 日

地址：https://arxiv.org/pdf/1704.06440

3.Beating Atari with Natural Language Guided Reinforcement Learning

时间：2017 年 4 月 18 日

地址：https://arxiv.org/pdf/1704.05539

4.Learning from Demonstrations for Real World Reinforcement Learning

时间：2017 年 4 月 12 日

地址：https://arxiv.org/pdf/1704.03732

5.FeUdal Networks for Hierarchical Reinforcement Learning

时间：2017 年 3 月 3 日

地址：https://arxiv.org/pdf/1703.01161

6.Overcoming catastrophic forgetting in neural networks

时间：2016 年 12 月 2 日

地址：https://arxiv.org/pdf/1612.00796

7.DeepChess: End-to-End Deep Neural Network for Automatic Learning in Chess

时间：2015 年 8 月 16 日

地址：https://github.com/sbrugman/deep-learning-papers/blob/master/papers/deepchess-end-to-end-deep-neural-network-for-automatic-learning-in-chess.pdf

8.Dueling Network Architectures for Deep Reinforcement Learning

时间：2015 年 11 月 20 日

地址：https://arxiv.org/pdf/1511.06581

9.Human-level control through deep reinforcement learning

时间：2015 年 2 月 26 日

地址：https://github.com/sbrugman/deep-learning-papers/blob/master/papers/human-level-control-through-deep-reinforcement-learning.pdf

10.Playing Atari with Deep Reinforcement Learning

时间：2013 年 12 月 19 日

地址：https://arxiv.org/pdf/1312.5602

风格迁移（Style Transfer）

1.Deep Photo Style Transfer

时间：2017 年 3 月 22 日

地址：https://arxiv.org/pdf/1703.07511

2.Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization

时间：2017 年 3 月 20 日

地址：https://arxiv.org/pdf/1703.06868

开源项目：https://github.com/xunhuang1995/AdaIN-style

3.A Learned Representation For Artistic Style

时间：2016 年 10 月 24 日

地址：https://arxiv.org/pdf/1610.07629

4.Instance Normalization: The Missing Ingredient for Fast Stylization

时间：2016 年 7 月 27 日

地址：https://arxiv.org/pdf/1607.08022

5.Perceptual Losses for Real-Time Style Transfer and Super-Resolution

时间：2016 年 3 月 27 日

地址：https://arxiv.org/pdf/1603.08155

开源项目：http://github.com/jcjohnson/fast-neural-style

6.A Neural Algorithm of Artistic Style

时间：2015 年 8 月 26 日

地址：https://arxiv.org/pdf/1508.06576

开源项目：https://github.com/lengstrom/fast-style-transfer/

跟踪（Tracking）

1.End-to-end representation learning for Correlation Filter based tracking

时间：2017 年 4 月 20 日

地址：https://arxiv.org/pdf/1704.06036

开源项目：https://github.com/bertinetto/cfnet

图像分割（Image Segmentation）

1.SfM-Net: Learning of Structure and Motion from Video

时间：2017 年 4 月 25 日

地址：https://arxiv.org/pdf/1704.07804

2.Mask R-CNN

时间：2017 年 3 月 20 日

地址：https://arxiv.org/pdf/1703.06870

3.Learning Features by Watching Objects Move

时间：2016 年 12 月 19 日

地址：https://arxiv.org/pdf/1612.06370

4.Fully Convolutional Networks for Semantic Segmentation

时间：2016 年 5 月 20 日

地址：https://arxiv.org/pdf/1605.06211

5.Instance-aware Semantic Segmentation via Multi-task Network Cascades

时间：2015 年 12 月 14 日

地址：https://arxiv.org/pdf/1512.04412

6.Multi-Scale Context Aggregation by Dilated Convolutions

时间：2015 年 11 月 23 日

地址：https://arxiv.org/pdf/1511.07122

7.SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation

时间：2015 年 11 月 2 日

地址：https://arxiv.org/pdf/1511.00561

8.Learning Rich Features from RGB-D Images for Object Detection and Segmentation

时间：2014 年 7 月 22 日

地址：https://arxiv.org/pdf/1407.5736

室外的文本识别（Text (in the Wild) Recognition）

1.OCR Error Correction Using Character Correction and Feature-Based Word Classification

时间：2016 年 4 月 21 日

地址：https://arxiv.org/pdf/1604.06225

2.Recursive Recurrent Nets with Attention Modeling for OCR in the Wild

时间：2016 年 5 月 9 日

地址：https://arxiv.org/pdf/1603.03101

3.COCO-Text: Dataset and Benchmark for Text Detection and Recognition in Natural Images

时间：2016 年 1 月 26 日

地址：https://arxiv.org/pdf/1601.07140

4.Efficient Scene Text Localization and Recognition with Local Character Refinement

时间：2015 年 4 月 14 日

地址：https://arxiv.org/pdf/1504.03522

5.Reading Text in the Wild with Convolutional Neural Networks

时间：2014 年 12 月 4 日

地址：https://arxiv.org/pdf/1412.1842

6.Synthetic Data and Artificial Neural Networks for Natural Scene Text Recognition

时间：2014 年 6 月 9 日

地址：https://arxiv.org/pdf/1406.2227

脑机接口（Brain Computer Interfacing）

1.Encoding Voxels with Deep Learning

时间：2015 年 12 月 2 日

地址：http://www.jneurosci.org/content/jneuro/35/48/15769.full.pdf

2，Deep Neural Networks Reveal a Gradient in the Complexity of Neural Representations across the Ventral Stream

时间：2015 年 7 月 8 日

地址：http://www.jneurosci.org/content/jneuro/35/27/10005.full.pdf

自动驾驶汽车（Self-Driving Cars）

1.Computer Vision for Autonomous Vehicles: Problems, Datasets and State-of-the-Art

时间：2017 年 4 月 18 日

地址：https://arxiv.org/pdf/1704.05519

2.End to End Learning for Self-Driving Cars

时间：2016 年 4 月 25 日

地址：https://arxiv.org/pdf/1604.07316

目标识别（Object Recognition）

1.Introspective Classifier Learning: Empower Generatively

时间：2017 年 4 月 25 日

地址：https://arxiv.org/pdf/1704.07816

2.Learning Chained Deep Features and Classifiers for Cascade in Object Detection

时间：2017 年 2 月 23 日

地址：https://arxiv.org/pdf/1702.07054

3.DSSD : Deconvolutional Single Shot Detector

时间：2017 年 1 月 23 日

地址：https://arxiv.org/pdf/1701.06659

4.YOLO9000: Better, Faster, Stronger

时间：2016 年 12 月 25 日

地址：https://arxiv.org/pdf/1612.08242

开源项目：https://github.com/pjreddie/darknet

5.Feature Pyramid Networks for Object Detection

时间：2016 年 12 月 9 日

地址：https://arxiv.org/pdf/1612.03144

6.Speed/accuracy trade-offs for modern convolutional object detectors

时间：2016 年 11 月 30 日

地址：https://arxiv.org/pdf/1611.10012

7.Aggregated Residual Transformations for Deep Neural Networks

时间：2016 年 11 月 16 日

地址：https://arxiv.org/pdf/1611.10012

8.Aggregated Residual Transformations for Deep Neural Networks

时间：2016 年 11 月 16 日

地址：https://arxiv.org/pdf/1611.05431

9.Hierarchical Object Detection with Deep Reinforcement Learning

时间：2016 年 11 月 11 日

地址：https://arxiv.org/pdf/1611.03718

10.Xception: Deep Learning with Depthwise Separable Convolutions

时间：2016 年 10 月 7 日

地址：https://arxiv.org/pdf/1610.02357

11.Learning to Make Better Mistakes: Semantics-aware Visual Food Recognition

时间：2016 年 10 月 1 日

地址：https://github.com/sbrugman/deep-learning-papers/blob/master/papers/learning-to-make-better-mistakes-semantics-aware-visual-food-recognition.pdf

12.Densely Connected Convolutional Networks

时间：2016 年 8 月 25 日

地址：https://arxiv.org/pdf/1608.06993

13.Residual Networks of Residual Networks: Multilevel Residual Networks

时间：2016 年 8 月 9 日

地址：https://arxiv.org/pdf/1608.02908

14.Context Matters: Refining Object Detection in Video with Recurrent Neural Networks

时间：2016 年 7 月 15 日

地址：https://arxiv.org/pdf/1607.04648

15.R-FCN: Object Detection via Region-based Fully Convolutional Networks

时间：2016 年 5 月 20 日

地址：https://arxiv.org/pdf/1605.06409

16.Training Region-based Object Detectors with Online Hard Example Mining

时间：2016 年 4 月 12 日

地址：https://arxiv.org/pdf/1604.03540

17.T-CNN: Tubelets with Convolutional Neural Networks for Object Detection from Videos

时间：2016 年 4 月 9 日

地址：https://arxiv.org/pdf/1604.02532

18.Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning

时间：2016 年 2 月 23 日

地址：https://arxiv.org/pdf/1602.07261

19.Deep Residual Learning for Image Recognition

时间：2015 年 12 月 10 日

地址：https://arxiv.org/pdf/1512.03385

20.SSD: Single Shot MultiBox Detector

时间：2015 年 12 月 8 日

地址：https://arxiv.org/pdf/1512.02325

21.ParseNet: Looking Wider to See Better

时间：2015 年 6 月 15 日

地址：https://arxiv.org/pdf/1506.04579

22.You Only Look Once: Unified, Real-Time Object Detection

时间：2015 年 6 月 8 日

地址：https://arxiv.org/pdf/1506.02640

23.Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks

时间：2015 年 6 月 4 日

地址：https://arxiv.org/pdf/1506.01497

24.Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification

时间：2015 年 2 月 6 日

地址：https://arxiv.org/pdf/1502.01852

25.Deep Image: Scaling up Image Recognition

时间：2015 年 1 月 13 日

地址：https://arxiv.org/pdf/1501.02876

26.Rich feature hierarchies for accurate object detection and semantic segmentation

时间：2013 年 11 月 11 日

地址：https://arxiv.org/pdf/1311.2524

27.Selective Search for Object Recognition

时间：2013 年 3 月 11 日

地址：https://github.com/sbrugman/deep-learning-papers/blob/master/papers/selective-search-for-object-recognition.pdf

28.ImageNet Classification with Deep Convolutional Neural Networks

时间：2012 年 12 月 3 日

地址：https://github.com/sbrugman/deep-learning-papers/blob/master/papers/imagenet-classification-with-deep-convolutional-neural-networks.pdf

标识识别（Logo Recognition）

1.Deep Learning Logo Detection with Data Expansion by Synthesising Context

时间：2016 年 12 月 29 日

地址：https://arxiv.org/pdf/1612.09322

2.Automatic Graphic Logo Detection via Fast Region-based Convolutional Networks

时间：2016 年 4 月 20 日

地址：https://arxiv.org/pdf/1604.06083

3.LOGO-Net: Large-scale Deep Logo Detection and Brand Recognition with Deep Region-based Convolutional Networks

时间：2015 年 11 月 8 日

地址：https://arxiv.org/pdf/1511.02462

4.DeepLogo: Hitting Logo Recognition with the Deep Neural Network Hammer

时间：2015 年 10 月 7 日

地址：https://arxiv.org/pdf/1510.02131

超分辨率（Super Resolution）

1.Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network

时间：2016 年 9 月 16 日

地址：https://arxiv.org/pdf/1609.05158

2.Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network

时间：2016 年 9 月 15 日

地址：https://arxiv.org/pdf/1609.04802

3.RAISR: Rapid and Accurate Image Super Resolution

时间：2016 年 6 月 3 日

地址：https://arxiv.org/pdf/1606.01299

4.Perceptual Losses for Real-Time Style Transfer and Super-Resolution

时间：2016 年 3 月 27 日

地址：https://arxiv.org/pdf/1603.08155

开源项目：http://github.com/jcjohnson/fast-neural-style

5.Image Super-Resolution Using Deep Convolutional Networks

时间：2014 年 12 月 31 日

地址：https://arxiv.org/pdf/1501.00092

姿态估计（Pose Estimation）

1.Forecasting Human Dynamics from Static Images

时间：2017 年 4 月 11 日

地址：https://arxiv.org/pdf/1704.03432

2.Fast Single Shot Detection and Pose Estimation

时间：2016 年 9 月 19 日

地址：https://arxiv.org/pdf/1609.05590

图像描述（Image Captioning）

1.Detecting and Recognizing Human-Object Interactions

时间：2017 年 4 月 24 日

地址：https://arxiv.org/pdf/1704.07333

2.Deep Reinforcement Learning-based Image Captioning with Embedding Reward

时间：2017 年 4 月 12 日

地址：https://arxiv.org/pdf/1704.03899

3.Generation and Comprehension of Unambiguous Object Descriptions

时间：2015 年 11 月 7 日

地址：https://arxiv.org/pdf/1511.02283

4.Long-term Recurrent Convolutional Networks for Visual Recognition and Description

时间：2014 年 11 月 17 日

地址：https://arxiv.org/pdf/1411.4389

图像压缩（Image Compression）

1.Full Resolution Image Compression with Recurrent Neural Networks

时间：2016 年 8 月 18 日

地址：https://arxiv.org/pdf/1608.05148

图像合成（Image Synthesis）

1.A Neural Representation of Sketch Drawings

时间：2017 年 4 月 11 日

地址：https://arxiv.org/pdf/1704.03477

2.BEGAN: Boundary Equilibrium Generative Adversarial Networks

时间：2017 年 3 月 31 日

地址：https://arxiv.org/pdf/1703.10717

开源项目：https://github.com/carpedm20/BEGAN-tensorflow

3.Improved Training of Wasserstein GANs

时间：2017 年 3 月 31 日

地址：https://arxiv.org/pdf/1704.00028

4.Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks

时间：2017 年 3 月 30 日

地址：https://arxiv.org/pdf/1703.10593

开源项目：https://github.com/junyanz/CycleGAN

5.RenderGAN: Generating Realistic Labeled Data

时间：2016 年 11 月 4 日

地址：https://arxiv.org/pdf/1611.01331

6.Conditional Image Generation with PixelCNN Decoders

时间：2016 年 6 月 16 日

地址：https://arxiv.org/pdf/1606.05328

7.Pixel Recurrent Neural Networks

时间：2016 年 1 月 25 日

地址：https://arxiv.org/pdf/1601.06759

面部识别（Face Recognition）

1.Accessorize to a Crime: Real and Stealthy Attacks on State-of-the-Art Face Recognition

时间：2016 年 10 月 24 日

地址：https://github.com/sbrugman/deep-learning-papers/blob/master/papers/accessorize-to-a-crime-real-and-stealthy-attacks-on-state-of-the-art-face-recognition.pdf

2.OpenFace: A general-purpose face recognition library with mobile applications

时间：2016 年 6 月 1 日

地址：https://github.com/sbrugman/deep-learning-papers/blob/master/papers/openface-a-general-purpose-face-recognition-library-with-mobile-applications.pdf

3.Emotion Recognition in the Wild via Convolutional Neural Networks and Mapped Binary Patterns

时间：2015 年 11 月 9 日

地址：https://github.com/sbrugman/deep-learning-papers/blob/master/papers/emotion-recognition-in-the-wild-via-convolutional-neural-networks-and-mapped-binary-patterns.pdf

4.Deep Face Recognition

时间：2015 年 9 月 11 日

地址：https://github.com/sbrugman/deep-learning-papers/blob/master/papers/deep-face-recognition.pdf

5.Compact Convolutional Neural Network Cascade for Face Detection

时间：2015 年 8 月 6 日

地址：https://arxiv.org/pdf/1508.01292

6.Learning Robust Deep Face Representation

时间：2015 年 7 月 17 日

地址：https://arxiv.org/pdf/1507.04844

7.Facenet: A unified embedding for face recognition and clustering

时间：2015 年 6 月 12 日

地址： https://github.com/sbrugman/deep-learning-papers/blob/master/papers/facenet-a-unified-embedding-for-face-recognition-and-clustering.pdf

8.Multi-view Face Detection Using Deep Convolutional Neural Networks

时间：2015 年 2 月 10 日

地址：https://arxiv.org/pdf/1502.02766

音频

音频合成（Audio Synthesis）

1.A Neural Parametric Singing Synthesizer

时间：2017 年 4 月 12 日

地址：https://arxiv.org/pdf/1704.03809

2.Neural Audio Synthesis of Musical Notes with WaveNet Autoencoders

时间：2017 年 4 月 5 日

地址：https://arxiv.org/pdf/1704.01279

开源项目：https://github.com/tensorflow/magenta/tree/master/magenta/models/nsynth

3.Tacotron: Towards End-to-End Speech Synthesis

时间：2017 年 3 月 29 日

地址：https://arxiv.org/pdf/1703.10135

4.Deep Voice: Real-time Neural Text-to-Speech

时间：2017 年 2 月 25 日

地址：https://arxiv.org/pdf/1702.07825

5.WaveNet: A Generative Model for Raw Audio

时间：2016 年 9 月 12 日

地址：https://arxiv.org/pdf/1609.03499

开源项目：https://github.com/ibab/tensorflow-wavenet

其它

未分类

1.Who Said What: Modeling Individual Labelers Improves Classification

时间：2017 年 3 月 26 日

地址：https://arxiv.org/pdf/1703.08774

2.Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data

时间：2016 年 10 月 18 日

地址：https://arxiv.org/pdf/1610.05755

3.DeepMath - Deep Sequence Models for Premise Selection

时间：2016 年 6 月 14 日

地址：https://arxiv.org/pdf/1606.04442

4.Long Short-Term Memory

时间：1997 年 11 月 15 日

地址：https://github.com/sbrugman/deep-learning-papers/blob/master/papers/long-short-term-memory.pdf

正则化（Regularization）

1.Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning

时间：2015 年 6 月 6 日

地址：https://arxiv.org/pdf/1506.02142

2.Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

时间：2015 年 2 月 11 日

地址：https://arxiv.org/pdf/1502.03167

神经网络压缩（Neural Network Compression）

1.SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size

时间：2016 年 2 月 24 日

地址：https://arxiv.org/pdf/1602.07360

2.Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding

时间：2015 年 10 月 1 日

地址：https://arxiv.org/pdf/1510.00149

优化器（Optimizers）

1.Adam: A Method for Stochastic Optimization

时间：2014 年 12 月 22 日

地址：https://arxiv.org/pdf/1412.6980

2.Deep learning with Elastic Averaging SGD

时间：2014 年 12 月 20 日

地址：https://arxiv.org/pdf/1412.6651

3.ADADELTA: An Adaptive Learning Rate Method

时间：2012 年 12 月 22 日

地址：https://arxiv.org/pdf/1212.5701

4.Advances in Optimizing Recurrent Networks

时间：2012 年 12 月 4 日

地址：https://arxiv.org/pdf/1212.0901

5.Efficient Backprop

时间：1998 年 7 月 1 日

地址：https://github.com/sbrugman/deep-learning-papers/blob/master/papers/efficient-backprop.pdf