Deconvolutional layers have been widely used in a variety of deep
 models for up-sampling, including encoder-decoder networks for
 semantic segmentation and deep generative models for unsupervised
 learning. One of the key limitations of deconvolutional operations
 is that they result in the so-called checkerboard problem. This is
 caused by the fact that no direct relationship exists among adjacent
 pixels on the output feature map. To address this problem, we
 propose the pixel deconvolutional layer (PixelDCL) to establish
 direct relationships among adjacent pixels on the up-sampled feature
 map. Our method is based on a fresh interpretation of the regular
 deconvolution operation. The resulting PixelDCL can be used to
 replace any deconvolutional layer in a plug-and-play manner without
 compromising the fully trainable capabilities of original models.
 The proposed PixelDCL may result in slight decrease in efficiency,
 but this can be overcome by an implementation trick. Experimental
 results on semantic segmentation demonstrate that PixelDCL can
 consider spatial features such as edges and shapes and yields more
 accurate segmentation outputs than deconvolutional layers. When used
 in image generation tasks, our PixelDCL can largely overcome the
 checkerboard problem suffered by regular deconvolution operations.

Lösung des Schachbrettproblems in der Deconvolutional Layer durch Aufbau von Abhängigkeiten zwischen Pixeln.

In dieser Arbeit werden Pixel Deconvolutional Layers für Convolutional Neural Networks vorgeschlagen, um den Schachbretteffekt zu mildern.

Eine neuartige Technik zur Verallgemeinerung von Deconvolution Operationen, die in Standard CNN Architekturen verwendet werden, die eine sequentielle Vorhersage von benachbarten Pixelmerkmalen vorschlägt, was zu räumlich glatteren Ausgaben für Deconvolution Layers führt.


In this paper, the preparation of a neural network for pruning and few-bit quantization is formulated as a variational inference problem. To this end, a quantizing prior that leads to a multi-modal, sparse posterior distribution over weights, is introduced and a differentiable Kullback-Leibler divergence approximation for this prior is derived. After training with Variational Network Quantization, weights can be replaced by deterministic quantization values with small to negligible loss of task accuracy (including pruning by setting weights to 0). The method does not require fine-tuning after quantization. Results are shown for ternary quantization on LeNet-5 (MNIST) and DenseNet (CIFAR-10).

Wir quantisieren und prunen die Gewichte des neuronalen Netzes mit Hilfe von Bayes'scher Variationsinferenz mit einem multimodalen, Seltenheit induzierenden Prior.

Schlägt vor, eine Mischung aus kontinuierlichem Spike-Propto 1/abs als Prior für ein Bayes'sches neuronales Netz zu verwenden und demonstriert die gute Leistung mit relativ sparsamen Convnets für Minist und Cifar-10.

In diesem Beitrag wird ein variationaler Bayes'scher Ansatz vorgestellt, mit dem die Gewichte neuronaler Netze nach dem Training auf prinzipielle Weise auf ternäre Werte quantifiziert werden können.


Deep neural networks (DNNs) although achieving human-level performance in many domains, have very large model size that hinders their broader applications on edge computing devices. Extensive research work have been conducted on DNN model compression or pruning. However, most of the previous work took heuristic approaches. This work proposes a progressive weight pruning approach based on ADMM (Alternating Direction Method of Multipliers), a powerful technique to deal with non-convex optimization problems with potentially combinatorial constraints. Motivated by dynamic programming, the proposed method reaches extremely high pruning rate by using partial prunings with moderate pruning rates. Therefore, it resolves the accuracy degradation and long convergence time problems when pursuing extremely high pruning ratios. It achieves up to 34× pruning rate for ImageNet dataset and 167× pruning rate for MNIST dataset, significantly higher than those reached by the literature work. Under the same number of epochs, the proposed method also achieves faster convergence and higher compression rates. The codes and pruned DNN models are released in the anonymous link bit.ly/2zxdlss.

Wir implementieren einen DNN-Gewichts Pruning Ansatz, der die höchsten Pruning Raten erzielt.

Diese Arbeit konzentriert sich auf das Pruning von Gewichten für die Kompression neuronaler Netze und erreicht eine 30-fache Kompressionsrate für AlexNet und VGG für ImageNet.

Eine progressive Pruning Technik, die den Gewichtsparametern eine strukturelle Seltenheitsbeschränkung auferlegt und die Optimierung als ADMM Framework umschreibt, wodurch eine höhere Genauigkeit als beim projizierten Gradientenabstieg erreicht wird.


In this paper, we present a new deep learning architecture for addressing the problem of supervised learning with sparse and irregularly sampled multivariate time series. The architecture is based on the use of a semi-parametric interpolation network followed by the application of a prediction network. The interpolation network allows for information to be shared across multiple dimensions of a multivariate time series during the interpolation stage, while any standard deep learning model can be used for the prediction network. This work is motivated by the analysis of physiological time series data in electronic health records, which are sparse, irregularly sampled, and multivariate. We investigate the performance of this architecture on both classification and regression tasks, showing that our approach outperforms a range of baseline and recently proposed models.

In dieser Arbeit wird eine neue Deep Learning Architektur zur Lösung des Problems des überwachten Lernens mit spärlichen und unregelmäßig abgetasteten multivariaten Zeitreihen vorgestellt.

Schlägt einen Rahmen für die Erstellung von Vorhersagen für spärliche, unregelmäßig abgetastete Zeitreihendaten unter Verwendung eines Interpolationsmoduls vor, das die fehlenden Werte durch glatte Interpolation, nicht glatte Interpolation und Intensität modelliert.

Löst das Problem des überwachten Lernens mit spärlichen und unregelmäßig abgetasteten multivariaten Zeitreihen mit Hilfe eines semiparametrischen Interpolationsnetzwerks, gefolgt von einem Vorhersagenetzwerk.


We introduce an analytic distance function for moderately sized point sets of known cardinality that is shown to have very desirable properties, both as a loss function as well as a regularizer for machine learning applications. We compare our novel construction to other point set distance functions and show proof of concept experiments for training neural networks end-to-end on point set prediction tasks such as object detection.

Permutationsinvariante Verlustfunktion für die Punktmengenvorhersage.

Schlägt einen neuen Verlust für die Punktregistrierung (Ausrichten von zwei Punktmengen) mit vorteilhafter permutationsinvarianter Eigenschaft vor.

In diesem Beitrag wird eine neuartige Distanzfunktion zwischen Punktmengen eingeführt, zwei weitere Permutationsdistanzen in einer durchgängigen Objekterkennungsaufgabe angewendet und gezeigt, dass in zwei Dimensionen alle lokalen Minima des holographischen Verlustes globale Minima sind.

Vorschlagen permutationsinvarianter Verlustfunktionen, die von der Entfernung der Mengen abhängen.


We introduce a hierarchical model for efficient placement of computational graphs onto hardware devices, especially in heterogeneous environments with a mixture of CPUs, GPUs, and other computational devices. Our method learns to assign graph operations to groups and to allocate those groups to available devices. The grouping and device allocations are learned jointly. The proposed method is trained with policy gradient and requires no human intervention. Experiments with widely-used
 computer vision and natural language models show that our algorithm can find optimized, non-trivial placements for TensorFlow computational graphs with over 80,000 operations. In addition, our approach outperforms placements by human
 experts as well as a previous state-of-the-art placement method based on deep reinforcement learning. Our method achieves runtime reductions of up to 60.6% per training step when applied to models such as Neural Machine Translation.

Wir stellen ein hierarchisches Modell für die effiziente, durchgängige Platzierung von Berechnungsgraphen auf Hardwaregeräten vor.

Es wird vorgeschlagen, Gruppen von Operatoren gemeinsam zu erlernen und auf Geräten zu platzieren, um Operationen für tiefes Lernen durch Reinforcement Learning zu verteilen.

Die Autoren verwenden ein vollständig verbundenes Netzwerk, um den Schritt der Kollokation in einer automatischen Platzierungsmethode zu ersetzen, die zur Beschleunigung der Laufzeit eines TensorFlow-Modells vorgeschlagen wurde.

Schlägt einen Geräteplatzierungsalgorithmus vor, um Operationen von Tensorflow auf Geräten zu platzieren.


Motion is an important signal for agents in dynamic environments, but learning to represent motion from unlabeled video is a difficult and underconstrained problem. We propose a model of motion based on elementary group properties of transformations and use it to train a representation of image motion. While most methods of estimating motion are based on pixel-level constraints, we use these group properties to constrain the abstract representation of motion itself. We demonstrate that a deep neural network trained using this method captures motion in both synthetic 2D sequences and real-world sequences of vehicle motion, without requiring any labels. Networks trained to respect these constraints implicitly identify the image characteristic of motion in different sequence types. In the context of vehicle motion, this method extracts information useful for localization, tracking, and odometry. Our results demonstrate that this representation is useful for learning motion in the general setting where explicit labels are difficult to obtain.

Wir schlagen eine Methode vor, die Gruppeneigenschaften nutzt, um eine Darstellung von Bewegung ohne Labels zu erlernen, und demonstrieren die Verwendung dieser Methode zur Darstellung von 2D- und 3D-Bewegungen.

Schlägt vor, die starre Bewegungsgruppe aus einer latenten Repräsentation von Bildsequenzen zu lernen, ohne dass explizite Beschriftungen erforderlich sind, und demonstriert die Methode experimentell an Sequenzen von MINST-Ziffern und dem KITTI-Datensatz.

Diese Arbeit schlägt einen Ansatz für das Erlernen von Video-Bewegungsmerkmalen in einer unbeaufsichtigten Art und Weise, unter Verwendung von Einschränkungen zur Optimierung des neuronalen Netzes, um Merkmale zu erzeugen, die zur Regression der Odometrie verwendet werden können.


This paper introduces the concept of continuous convolution to neural networks and deep learning applications in general. Rather than directly using discretized information, input data is first projected into a high-dimensional Reproducing Kernel Hilbert Space (RKHS), where it can be modeled as a continuous function using a series of kernel bases. We then proceed to derive a closed-form solution to the continuous convolution operation between two arbitrary functions operating in different RKHS. Within this framework, convolutional filters also take the form of continuous functions, and the training procedure involves learning the RKHS to which each of these filters is projected, alongside their weight parameters. This results in much more expressive filters, that do not require spatial discretization and benefit from properties such as adaptive support and non-stationarity. Experiments on image classification are performed, using classical datasets, with results indicating that the proposed continuous convolutional neural network is able to achieve competitive accuracy rates with far fewer parameters and a faster convergence rate.

In dieser Arbeit wird eine neuartige Convolutional Layer vorgeschlagen, die in einem kontinuierlichen Reproduzierenden Kernel-Hilbert-Raum arbeitet.

Projektion von Beispielen in einen RK-Hilbert-Raum und Durchführung von Convolution und Filterung in diesem Raum.

Diese Arbeit formuliert eine Variante von Convolutional Neural Networks, die beides, Aktivierungen und Filter, als kontinuierliche Funktionen modelliert, die aus Kernel-Basen zusammengesetzt sind.


Convolutional Neural Networks (CNNs) are commonly thought to recognise objects by learning increasingly complex representations of object shapes. Some recent studies suggest a more important role of image textures. We here put these conflicting hypotheses to a quantitative test by evaluating CNNs and human observers on images with a texture-shape cue conflict. We show that ImageNet-trained CNNs are strongly biased towards recognising textures rather than shapes, which is in stark contrast to human behavioural evidence and reveals fundamentally different classification strategies. We then demonstrate that the same standard architecture (ResNet-50) that learns a texture-based representation on ImageNet is able to learn a shape-based representation instead when trained on 'Stylized-ImageNet', a stylized version of ImageNet. This provides a much better fit for human behavioural performance in our well-controlled psychophysical lab setting (nine experiments totalling 48,560 psychophysical trials across 97 observers) and comes with a number of unexpected emergent benefits such as improved object detection performance and previously unseen robustness towards a wide range of image distortions, highlighting advantages of a shape-based representation.

ImageNet-trainierte CNNs sind auf die Textur von Objekten ausgerichtet (statt auf die Form wie beim Menschen). Die Überwindung dieses großen Unterschieds zwischen menschlichem und maschinellem Sehen führt zu einer verbesserten Erkennungsleistung und einer bisher nicht gekannten Robustheit gegenüber Bildverzerrungen.

Verwendung von Bildstilisierung zur Erweiterung der Trainingsdaten für ImageNet-trainierte CNNs, um die resultierenden Netzwerke besser an die menschlichen Urteile anzugleichen.

Diese Arbeit untersucht CNNs wie AlexNet, VGG, GoogleNet und ResNet50, zeigt, dass diese Modelle in Richtung Textur voreingenommen sind, wenn sie auf ImageNet trainiert werden, und schlägt einen neuen ImageNet-Datensatz vor.


In this work, we exploited different strategies to provide prior knowledge to commonly used generative modeling approaches aiming to obtain speaker-dependent low dimensional representations from short-duration segments of speech data, making use of available information of speaker identities. Namely, convolutional variational autoencoders are employed, and statistics of its learned posterior distribution are used as low dimensional representations of fixed length short-duration utterances. In order to enforce speaker dependency in the latent layer, we introduced a variation of the commonly used prior within the variational autoencoders framework, i.e. the model is simultaneously trained for reconstruction of inputs along with a discriminative task performed on top of latent layers outputs. The effectiveness of both triplet loss minimization and speaker recognition are evaluated as implicit priors on the challenging cross-language NIST SRE 2016 setting and compared against fully supervised and unsupervised baselines.

Wir evaluieren die Effektivität von zusätzlichen diskriminierenden Aufgaben, die zusätzlich zu den Statistiken der Posterior-Verteilung durchgeführt werden, die von variativen Autoencodern gelernt wurden, um die Sprecherabhängigkeit zu erzwingen.

Vorschlag eines Autoencoder Modells zum Erlernen einer Repräsentation für die Sprecherverifikation unter Verwendung von Analysefenstern kurzer Dauer.

Eine modifizierte Version des variationalen Autoencoder Modells, das das Problem der Sprechererkennung im Zusammenhang mit kurzen Segmenten angeht.


The importance-weighted autoencoder (IWAE) approach of Burda et al. defines a sequence of increasingly tighter bounds on the marginal likelihood of latent variable models. Recently, Cremer et al. reinterpreted the IWAE bounds as ordinary variational evidence lower bounds (ELBO) applied to increasingly accurate variational distributions. In this work, we provide yet another perspective on the IWAE bounds. We interpret each IWAE bound as a biased estimator of the true marginal likelihood where for the bound defined on $K$ samples we show the bias to be of order O(1/K). In our theoretical analysis of the IWAE objective we derive asymptotic bias and variance expressions. Based on this analysis we develop jackknife variational inference (JVI),
 a family of bias-reduced estimators reducing the bias to $O(K^{-(m+1)})$ for any given m < K while retaining computational efficiency. Finally, we demonstrate that JVI leads to improved evidence estimates in variational autoencoders. We also report first results on applying JVI to learning variational autoencoders.

 Our implementation is available at https://github.com/Microsoft/jackknife-variational-inference

Die Variationsinferenz ist verzerrt, wir sollten sie entzerren.

Einführung in die Jackknife-Variationsinferenz, eine Methode zur Entschärfung von Monte Carlo Zielen, wie z. B. dem nach Wichtigkeit gewichteten Autoencoder.

Die Autoren analysieren die Verzerrung und Varianz der IWAE-Schranke und leiten einen Jacknife-Ansatz zur Schätzung von Momenten als eine Möglichkeit zur Entlastung von IWAE für endliche, nach Wichtigkeit gewichtete Stichproben ab.


In this paper, we consider the problem of autonomous lane changing for self driving vehicles in a multi-lane, multi-agent setting. We present a framework that demonstrates a more structured and data efficient alternative to end-to-end complete policy learning on problems where the high-level policy is hard to formulate using traditional optimization or rule based methods but well designed low-level controllers are available. Our framework uses deep reinforcement learning solely to obtain a high-level policy for tactical decision making, while still maintaining a tight integration with the low-level controller, thus getting the best of both worlds. We accomplish this with Q-masking, a technique with which we are able to incorporate prior knowledge, constraints, and information from a low-level controller, directly in to the learning process thereby simplifying the reward function and making learning faster and data efficient. We provide preliminary results in a simulator and show our approach to be more efficient than a greedy baseline, and more successful and safer than human driving.

Ein Framework, das eine Strategie für den autonomen Fahrspurwechsel bereitstellt, indem es mit Hilfe von Deep Reinforcement Learning taktische Entscheidungen auf hoher Ebene trifft und eine enge Integration mit einer Low-Level Steuerung aufrechterhält, um Aktionen auf niedriger Ebene durchzuführen.

Betrachtet das Problem des autonomen Spurwechsels für selbstfahrende Autos in einer mehrspurigen Multi-Agenten Slotcar Umgebung und schlägt eine neue Lernstrategie Q-Masking vor, die eine definierte Steuerung auf niedriger Ebene mit taktischen Entscheidungsregeln auf hoher Ebene verbindet.

In diesem Beitrag wird ein Deep-Q-Learning-Ansatz für das Problem des Spurwechsels mit Hilfe von "Q-Masking" vorgeschlagen, der den Aktionsraum entsprechend den Einschränkungen oder dem Vorwissen reduziert.

Die Autoren schlagen eine Methode vor, bei der eine auf Q-Learning basierende High-Level Regelwerk mit einer kontextuellen Maske kombiniert wird, die aus Sicherheitsbedingungen und Low-Level Steuerungen abgeleitet wird, die bestimmte Aktionen in bestimmten Zuständen nicht auswählbar machen.


Despite the recent successes in robotic locomotion control, the design of robot relies heavily on human engineering. Automatic robot design has been a long studied subject, but the recent progress has been slowed due to the large combinatorial search space and the difficulty in evaluating the found candidates. To address the two challenges, we formulate automatic robot design as a graph search problem and perform evolution search in graph space. We propose Neural Graph Evolution (NGE), which performs selection on current candidates and evolves new ones iteratively. Different from previous approaches, NGE uses graph neural networks to parameterize the control policies, which reduces evaluation cost on new candidates with the help of skill transfer from previously evaluated designs. In addition, NGE applies Graph Mutation with Uncertainty (GM-UC) by incorporating model uncertainty, which reduces the search space by balancing exploration and exploitation. We show that NGE significantly outperforms previous methods by an order of magnitude. As shown in experiments, NGE is the first algorithm that can automatically discover kinematically preferred robotic graph structures, such as a fish with two symmetrical flat side-fins and a tail, or a cheetah with athletic front and back legs. Instead of using thousands of cores for weeks, NGE efficiently solves searching problem within a day on a single 64 CPU-core Amazon EC2
 machine.

Automatische Robotersuche mit graphischen neuronalen Netzen.

Vorschlagen eines Ansatz für die automatische Entwicklung von Robotern auf der Grundlage der Evolution neuronaler Graphen. Die Experimente zeigen, dass die Optimierung von Steuerung und Hardware besser ist als nur die Optimierung der Steuerung.

Die Autoren schlagen ein Schema vor, das auf einer graphischen Darstellung der Roboterstruktur und einem graphisch-neuronalen Netz als Steuerung basiert, um Roboterstrukturen in Kombination mit ihren Steuerungen zu optimieren.


Deep learning on graphs has become a popular research topic with many applications. However, past work has concentrated on learning graph embedding tasks only, which is in contrast with advances in generative models for images and text. Is it possible to transfer this progress to the domain of graphs? We propose to sidestep hurdles associated with linearization of such discrete structures by having a decoder output a probabilistic fully-connected graph of a predefined maximum size directly at once. Our method is formulated as a variational autoencoder. We evaluate on the challenging task of conditional molecule generation.

Wir demonstrieren einen Autoencoder für Graphen.

Erlernen der Erstellung von Graphen mit Hilfe von Deep-Learning-Methoden in "one shot", wobei die Wahrscheinlichkeit des Vorhandenseins von Knoten und Kanten sowie Knotenattributvektoren direkt ausgegeben werden.

Ein automatischer variationaler Autoencoder zur Erzeugung von Graphen.


Long Short-Term Memory (LSTM) is one of the most widely used recurrent structures in sequence modeling. Its goal is to use gates to control the information flow (e.g., whether to skip some information/transformation or not) in the recurrent computations, although its practical implementation based on soft gates only partially achieves this goal and is easy to overfit. In this paper, we propose a new way for LSTM training, which pushes the values of the gates towards 0 or 1. By doing so, we can (1) better control the information flow: the gates are mostly open or closed, instead of in a middle state; and (2) avoid overfitting to certain extent: the gates operate at their flat regions, which is shown to correspond to better generalization ability. However, learning towards discrete values of the gates is generally difficult. To tackle this challenge, we leverage the recently developed Gumbel-Softmax trick from the field of variational methods, and make the model trainable with standard backpropagation. Experimental results on language modeling and machine translation show that (1) the values of the gates generated by our method are more reasonable and intuitively interpretable, and (2) our proposed method generalizes better and achieves better accuracy on test sets in all tasks. Moreover, the learnt models are not sensitive to low-precision approximation and low-rank approximation of the gate parameters due to the flat loss surface.

Wir schlagen einen neuen Algorithmus für das LSTM Training durch Lernen in Richtung binärwertiger Gatter vor, von dem wir zeigen, dass er viele gute Eigenschaften hat.

Eine neue "Gate"-Funktion für LSTM vorschlagen, um die Werte der Gates auf 0 oder 1 zu setzen.

Die Arbeit zielt darauf ab, LSTM-Gatter zu binären Gattern zu machen, indem es den neuen Gumbel-Softmax Trick anwendet, um eine durchgängig trainierbare kategoriale Verteilung zu erhalten.


We present a personalized recommender system using neural network for recommending
 products, such as eBooks, audio-books, Mobile Apps, Video and Music.
 It produces recommendations based on customer’s implicit feedback history such
 as purchases, listens or watches. Our key contribution is to formulate recommendation
 problem as a model that encodes historical behavior to predict the future
 behavior using soft data split, combining predictor and auto-encoder models. We
 introduce convolutional layer for learning the importance (time decay) of the purchases
 depending on their purchase date and demonstrate that the shape of the time
 decay function can be well approximated by a parametrical function. We present
 offline experimental results showing that neural networks with two hidden layers
 can capture seasonality changes, and at the same time outperform other modeling
 techniques, including our recommender in production. Most importantly, we
 demonstrate that our model can be scaled to all digital categories, and we observe
 significant improvements in an online A/B test. We also discuss key enhancements
 to the neural network model and describe our production pipeline. Finally
 we open-sourced our deep learning library which supports multi-gpu model parallel
 training. This is an important feature in building neural network based recommenders
 with large dimensionality of input and output data.

Verbesserung der Empfehlungen durch zeitabhängige Modellierung mit neuronalen Netzen in mehreren Produktkategorien auf einer Einzelhandelswebsite.

In dem Beitrag wird eine neue, auf einem neuronalen Netz basierende Methode für Empfehlungen vorgeschlagen.

Die Autoren beschreiben ein Verfahren, mit dem sie ihr Empfehlungssystem von Grund auf neu aufbauen und den zeitlichen Verfall von Käufen in den Lern Frameworks integrieren.


Deep Learning (DL) algorithms based on Generative Adversarial Network (GAN) have demonstrated great potentials in computer vision tasks such as image restoration. Despite the rapid development of image restoration algorithms using DL and GANs, image restoration for specific scenarios, such as medical image enhancement and super-resolved identity recognition, are still facing challenges. How to ensure visually realistic restoration while avoiding hallucination or mode- collapse? How to make sure the visually plausible results do not contain hallucinated features jeopardizing downstream tasks such as pathology identification and subject identification?
 Here we propose to resolve these challenges by coupling the GAN based image restoration framework with another task-specific network. With medical imaging restoration as an example, the proposed model conducts additional pathology recognition/classification task to ensure the preservation of detailed structures that are important to this task. Validated on multiple medical datasets, we demonstrate the proposed method leads to improved deep learning based image restoration while preserving the detailed structure and diagnostic features. Additionally, the trained task network show potentials to achieve super-human level performance in identifying pathology and diagnosis.
 Further validation on super-resolved identity recognition tasks also show that the proposed method can be generalized for diverse image restoration tasks.

Kopplung des GAN-basierten Rahmens für die Bildwiederherstellung mit einem anderen aufgabenspezifischen Netzwerk, um ein realistisches Bild zu erzeugen und gleichzeitig die aufgabenspezifischen Merkmale zu erhalten.

Eine neuartige Methode der Task-GAN Bildkopplung, die GAN und ein aufgabenspezifisches Netzwerk koppelt, um Halluzinationen oder einen Moduskollaps zu vermeiden.

Die Autoren schlagen vor, die GAN-basierte Bildrestauration mit einem anderen aufgabenspezifischen Zweig, wie z. B. Klassifizierungsaufgaben, zu erweitern, um weitere Verbesserungen zu erzielen.


Unsupervised anomaly detection on multi- or high-dimensional data is of great importance in both fundamental machine learning research and industrial applications, for which density estimation lies at the core. Although previous approaches based on dimensionality reduction followed by density estimation have made fruitful progress, they mainly suffer from decoupled model learning with inconsistent optimization goals and incapability of preserving essential information in the low-dimensional space. In this paper, we present a Deep Autoencoding Gaussian Mixture Model (DAGMM) for unsupervised anomaly detection. Our model utilizes a deep autoencoder to generate a low-dimensional representation and reconstruction error for each input data point, which is further fed into a Gaussian Mixture Model (GMM). Instead of using decoupled two-stage training and the standard Expectation-Maximization (EM) algorithm, DAGMM jointly optimizes the parameters of the deep autoencoder and the mixture model simultaneously in an end-to-end fashion, leveraging a separate estimation network to facilitate the parameter learning of the mixture model. The joint optimization, which well balances autoencoding reconstruction, density estimation of latent representation, and regularization, helps the autoencoder escape from less attractive local optima and further reduce reconstruction errors, avoiding the need of pre-training. Experimental results on several public benchmark datasets show that, DAGMM significantly outperforms state-of-the-art anomaly detection techniques, and achieves up to 14% improvement based on the standard F1 score.

Ein durchgängig trainiertes tiefes neuronales Netzwerk, das Gaussian Mixture Modeling nutzt, um Dichteabschätzungen und unbeaufsichtigte Anomalieerkennung in einem niedrigdimensionalen Raum durchzuführen, der von einem tiefen Autoencoder gelernt wird.

Die Arbeit präsentiert ein gemeinsames Deep Learning Framework für Dimensionsreduktion Clustering, das zu einer wettbewerbsfähigen Anomalieerkennung führt.

Ein neues Verfahren zur Erkennung von Anomalien, bei dem die Schritte Dimensionsreduzierung und Dichteschätzung gemeinsam optimiert werden.


Generalization from limited examples, usually studied under the umbrella of meta-learning, equips learning techniques with the ability to adapt quickly in dynamical environments and proves to be an essential aspect of lifelong learning. In this paper, we introduce the Projective Subspace Networks (PSN), a deep learning paradigm that learns non-linear embeddings from limited supervision. In contrast to previous studies, the embedding in PSN deems samples of a given class to form an affine subspace. We will show that such modeling leads to robust solutions, yielding competitive results on supervised and semi-supervised few-shot classification. Moreover, our PSN approach has the ability of end-to-end learning. In contrast to previous works, our projective subspace can be thought of as a richer representation capturing higher-order information datapoints for modeling new concepts.

Wir haben projektive Unterraumnetzwerke für das Few-Shot Learning und das halbüberwachte Few-Shot Learning vorgeschlagen.

In diesem Beitrag wird ein neuer, auf Einbettung basierender Ansatz für das Problem des Few-Shot Learnings und eine Erweiterung dieses Modells auf das semiüberwachte Few-Shot Learning vorgeschlagen.

Neue Methode zur voll- und halbüberwachten Few-Shot Klassifizierung, die auf dem Erlernen einer allgemeinen Einbettung und dem anschließenden Erlernen eines Unterraums davon für jede Klasse basiert.


This paper investigates whether learning contingency-awareness and controllable aspects of an environment can lead to better exploration in reinforcement learning. To investigate this question, we consider an instantiation of this hypothesis evaluated on the Arcade Learning Element (ALE). In this study, we develop an attentive dynamics model (ADM) that discovers controllable elements of the observations, which are often associated with the location of the character in Atari games. The ADM is trained in a self-supervised fashion to predict the actions taken by the agent. The learned contingency information is used as a part of the state representation for exploration purposes. We demonstrate that combining actor-critic algorithm with count-based exploration using our representation achieves impressive results on a set of notoriously challenging Atari games due to sparse rewards. For example, we report a state-of-the-art score of >11,000 points on Montezuma's Revenge without using expert demonstrations, explicit high-level information (e.g., RAM states), or supervisory data. Our experiments confirm that contingency-awareness is indeed an extremely powerful concept for tackling exploration problems in reinforcement learning and opens up interesting research questions for further investigations.

Wir untersuchen kontingenzbewusste und kontrollierbare Aspekte bei der Erkundung und erreichen die beste Leistung auf Montezumas Rache ohne Expertendemonstrationen.

In diesem Beitrag wird das Problem der Extraktion einer aussagekräftigen Zustandsrepräsentation untersucht, die bei der Erkundung einer spärlichen Belohnungsaufgabe hilft, indem kontrollierbare (erlernte) Merkmale des Zustands identifiziert werden.

In diesem Beitrag wird die neuartige Idee vorgestellt, Kontingenzbewusstsein zur Unterstützung der Exploration bei spärlich belohnten Reinforcement Learning Aufgaben zu verwenden, und es werden Ergebnisse auf dem neuesten Stand der Technik erzielt.


Disentangling factors of variation has always been a challenging problem in representation learning. Existing algorithms suffer from many limitations, such as unpredictable disentangling factors, bad quality of generated images from encodings, lack of identity information, etc. In this paper, we proposed a supervised algorithm called DNA-GAN trying to disentangle different attributes of images. The latent representations of images are DNA-like, in which each individual piece represents an independent factor of variation. By annihilating the recessive piece and swapping a certain piece of two latent representations, we obtain another two different representations which could be decoded into images. In order to obtain realistic images and also disentangled representations, we introduced the discriminator for adversarial training. Experiments on Multi-PIE and CelebA datasets demonstrate the effectiveness of our method and the advantage of overcoming limitations existing in other methods.

Wir haben einen überwachten Algorithmus, DNA-GAN, vorgeschlagen, um mehrere Attribute von Bildern zu entwirren.

Diese Arbeit untersucht das Problem der attributbedingten Bilderzeugung mit Hilfe von generativen adversen Netzwerken und schlägt vor, Bilder aus Attributen und latentem Code als High-Level-Repräsentation zu erzeugen.

In diesem Beitrag wird eine neue Methode zur Entflechtung verschiedener Bildattribute unter Verwendung einer neuartigen DNA-Struktur GAN vorgeschlagen.


Representations learnt through deep neural networks tend to be highly informative, but opaque in terms of what information they learn to encode. We introduce an approach to probabilistic modelling that learns to represent data with two separate deep representations: an invariant representation that encodes the information of the class from which the data belongs, and an equivariant representation that encodes the symmetry transformation defining the particular data point within the class manifold (equivariant in the sense that the representation varies naturally with symmetry transformations). This approach to representation learning is conceptually transparent, easy to implement, and in-principle generally applicable to any data comprised of discrete classes of continuous distributions (e.g. objects in images, topics in language, individuals in behavioural data). We demonstrate qualitatively compelling representation learning and competitive quantitative performance, in both supervised and semi-supervised settings, versus comparable modelling approaches in the literature with little fine tuning.

In diesem Beitrag wird ein neuartiges generatives Modellierungsverfahren für latente Variablen vorgestellt, das die Darstellung globaler Informationen in einer latenten Variable und lokaler Informationen in einer anderen latenten Variable ermöglicht.

Die Arbeit stellt eine VAE vor, die Etiketten verwendet, um die gelernte Repräsentation in einen invarianten und einen kovarianten Teil zu trennen.


Convolutional neural networks (CNNs) have been successfully applied to many recognition and learning tasks using a universal recipe;  training a deep model on a very large dataset of supervised examples. However, this approach is rather restrictive in practice since collecting a large set of labeled images is very expensive. One way to ease this problem is coming up with smart ways for choosing images to be labelled from a  very large collection (i.e. active learning).

 Our empirical study suggests that many of the active learning heuristics in the literature are not effective when applied to CNNs when applied in batch setting. Inspired by these limitations, we define the problem of active learning as core-set selection, i.e. choosing set of points such that a model learned over the selected subset is competitive for the remaining data points. We further present a theoretical result characterizing the performance of any selected subset using the geometry of the datapoints. As an active learning algorithm, we choose the subset which is expected to yield best result according to our characterization. Our experiments show that the proposed method significantly outperforms existing approaches in image classification experiments by a large margin.

Wir nähern uns dem Problem des aktiven Lernens als einem Kernmengenauswahlproblem und zeigen, dass dieser Ansatz besonders in der Batch Active Learning Umgebung nützlich ist, die beim Training von CNNs entscheidend ist.

Die Autoren stellen einen Algorithmus-agnostischen aktiven Lernalgorithmus für die Mehrklassen-Klassifizierung vor.

In dem Beitrag wird ein aktiver Lernalgorithmus im Batch-Modus für CNN als Kernmengenproblem vorgeschlagen, der Zufallsstichproben und Unsicherheitsstichproben übertrifft.

Untersucht aktives Lernen für Convolutional Neural Networks und formuliert das aktive Lernproblem als Kernmengenauswahl und stellt eine neue Strategie vor.


Recurrent neural networks are known for their notorious exploding and vanishing gradient problem (EVGP). This problem becomes more evident in tasks where the information needed to correctly solve them exist over long time scales, because EVGP prevents important gradient components from being back-propagated adequately over a large number of steps. We introduce a simple stochastic algorithm (\textit{h}-detach) that is specific to LSTM optimization and targeted towards addressing this problem. Specifically, we show that when the LSTM weights are large, the gradient components through the linear path (cell state) in the LSTM computational graph get suppressed. Based on the hypothesis that these components carry information about long term dependencies (which we show empirically), their suppression can prevent LSTMs from capturing them. Our algorithm\footnote{Our code is available at https://github.com/bhargav104/h-detach. } prevents gradients flowing through this path from getting suppressed, thus allowing the LSTM to capture such dependencies better. We show significant improvements over vanilla LSTM gradient based training in terms of convergence speed, robustness to seed and learning rate, and generalization using our modification of LSTM gradient on various benchmark datasets.

Ein einfacher Algorithmus zur Verbesserung der Optimierung und Handhabung langfristiger Abhängigkeiten in LSTM.

In diesem Beitrag wird ein einfacher stochastischer Algorithmus namens h-detach vorgestellt, der speziell für die LSTM-Optimierung entwickelt wurde und auf die Lösung dieses Problems ausgerichtet ist.

Vorschlagen einer einfachen Änderung des LSTM-Trainingsverfahrens, um die Gradientenfortpflanzung entlang der Zellzustände oder den "linearen zeitlichen Pfad" zu erleichtern.


Convolutional Neural Networks (CNNs) significantly improve the state-of-the-art for many applications, especially in computer vision. However, CNNs still suffer from a tendency to confidently classify out-distribution samples from unknown classes into pre-defined known classes. Further, they are also vulnerable to adversarial examples. We are relating these two issues through the tendency of CNNs to over-generalize for areas of the input space not covered well by the training set. We show that a CNN augmented with an extra output class can act as a simple yet effective end-to-end model for controlling over-generalization. As an appropriate training set for the extra class, we introduce two resources that are computationally efficient to obtain: a representative natural out-distribution set and interpolated in-distribution samples. To help select a representative natural out-distribution set among available ones, we propose a simple measurement to assess an out-distribution set's fitness. We also demonstrate that training such an augmented CNN with representative out-distribution natural datasets and some interpolated samples allows it to better handle a wide range of unseen out-distribution samples and black-box adversarial examples without training it on any adversaries. Finally, we show that generation of white-box adversarial attacks using our proposed augmented CNN can become harder, as the attack algorithms have to get around the rejection regions when generating actual adversaries.

Das richtige Training von CNNs mit der Dustbin-Klasse erhöht ihre Robustheit gegenüber adversarial Angriffen und ihre Fähigkeit, mit out-of-distribution Beispielen umzugehen.

In dieser Arbeit wird vorgeschlagen, ein zusätzliches Label zur Erkennung von OOD-Proben und adversarial Beispielen in CNN-Modellen hinzuzufügen.

In dem Beitrag wird eine zusätzliche Klasse vorgeschlagen, die natürliche out-of-distribution Bilder und interpolierte Bilder für adversarial und Out-of-Distribution Beispiele in CNNs einbezieht.


Modern deep artificial neural networks have achieved impressive results through models with very large capacity---compared to the number of training examples---that control overfitting with the help of different forms of regularization. Regularization can be implicit, as is the case of stochastic gradient descent or parameter sharing in convolutional layers, or explicit. Most common explicit regularization techniques, such as dropout and weight decay, reduce the effective capacity of the model and typically require the use of deeper and wider architectures to compensate for the reduced capacity. Although these techniques have been proven successful in terms of results, they seem to waste capacity. In contrast, data augmentation techniques reduce the generalization error by increasing the number of training examples and without reducing the effective capacity. In this paper we systematically analyze the effect of data augmentation on some popular architectures and conclude that data augmentation alone---without any other explicit regularization techniques---can achieve the same performance or higher as regularized models, especially when training with fewer examples.

In einem tiefen Convolutional Neural Network, das mit einem ausreichenden Maß an Datenerweiterung trainiert und durch SGD optimiert wurde, könnten explizite Regularisierer (Gewichtsverfall und Dropout) keine zusätzliche Verbesserung der Generalisierung bewirken.

In diesem Beitrag wird die Datenerweiterung als Alternative zu den gängigen Regularisierungstechniken vorgeschlagen. Es wird gezeigt, dass für einige wenige Referenzmodelle/Aufgaben die gleiche Generalisierungsleistung nur durch Datenerweiterung erreicht werden kann.

In dieser Arbeit wird eine systematische Studie zur Datenerweiterung bei der Bildklassifizierung mit tiefen neuronalen Netzen vorgestellt, die zeigt, dass die Datenerweiterung einige gängige Regularisierer wie Gewichtsverfall und Dropout ersetzen kann.


Text editing on mobile devices can be a tedious process. To perform various editing operations, a user must repeatedly move his or her fingers between the text input area and the keyboard, making multiple round trips and breaking the flow of typing. In this work, we present Gedit, a system of on-keyboard gestures for convenient mobile text editing. Our design includes a ring gesture and flicks for cursor control, bezel gestures for mode switching, and four gesture shortcuts for copy, paste, cut, and undo. Variations of our gestures exist for one and two hands. We conducted an experiment to compare Gedit with the de facto touch+widget based editing interactions. Our results showed that Gedit’s gestures were easy to learn, 24% and 17% faster than the de facto interactions for one- and two-handed use, respectively, and preferred by participants.

In dieser Arbeit stellen wir Gedit vor, ein System von Gesten auf der Tastatur zur bequemen mobilen Textbearbeitung.

Berichtet über den Entwurf und die Bewertung der Gedit-Interaktionstechniken.

Präsentiert eine neue Reihe von Touch-Gesten für den nahtlosen Übergang zwischen Texteingabe und Textbearbeitung auf mobilen Geräten.


Deep learning achieves remarkable generalization capability with overwhelming number of model parameters. Theoretical understanding of deep learning generalization receives recent attention yet remains not fully explored. This paper attempts to provide an alternative understanding from the perspective of maximum entropy. We first derive two feature conditions that softmax regression strictly apply maximum entropy principle. DNN is then regarded as approximating the feature conditions with multilayer feature learning, and proved to be a recursive solution towards maximum entropy principle. The connection between DNN and maximum entropy well explains why typical designs such as shortcut and regularization improves model generalization, and provides instructions for future model development.

Wir beweisen, dass DNN eine rekursiv approximierte Lösung für das Prinzip der maximalen Entropie ist.

Es wird eine Herleitung vorgestellt, die ein DNN mit der rekursiven Anwendung der maximalen Entropie-Modellanpassung verbindet.

Die Arbeit zielt darauf ab, das Deep Learning aus der Perspektive des Prinzips der maximalen Entropie zu betrachten.


As people learn to navigate the world, autonomic nervous system (e.g., ``fight or flight) responses provide intrinsic feedback about the potential consequence of action choices (e.g., becoming nervous when close to a cliff edge or driving fast around a bend.) Physiological changes are correlated with these biological preparations to protect one-self from danger. We present a novel approach to reinforcement learning that leverages a task-independent intrinsic reward function trained on peripheral pulse measurements that are correlated with human autonomic nervous system responses. Our hypothesis is that such reward functions can circumvent the challenges associated with sparse and skewed rewards in reinforcement learning settings and can help improve sample efficiency. We test this in a simulated driving environment and show that it can increase the speed of learning and reduce the number of collisions during the learning stage.

Wir stellen einen neuartigen Ansatz zum Reinforcement Learning vor, der eine aufgabenunabhängige intrinsische Belohnungsfunktion nutzt, die anhand von peripheren Pulsmessungen trainiert wird, die mit den Reaktionen des menschlichen autonomen Nervensystems korreliert sind.

Schlägt einen Rahmen für das Reinforcement Learning vor, der auf der menschlichen emotionalen Reaktion im Kontext des autonomen Fahrens basiert.

Die Autoren schlagen vor, Signale, wie z.B. grundlegende autonome viszerale Reaktionen, die die Entscheidungsfindung beeinflussen, innerhalb des RL-Rahmens zu verwenden, indem RL-Belohnungsfunktionen mit einem Modell ergänzt werden, das direkt aus den Reaktionen des menschlichen Nervensystems gelernt wurde.

Schlägt vor, physiologische Signale zu nutzen, um die Leistung von Algorithmen des Reinforcement Learnings zu verbessern und eine intrinsische Belohnungsfunktion zu erstellen, die weniger spärlich ist, indem die Herzpulsamplitude gemessen wird.


Deep convolutional neural networks (CNNs) are known to be robust against label noise on extensive datasets. However, at the same time, CNNs are capable of memorizing all labels even if they are random, which means they can memorize corrupted labels. Are CNNs robust or fragile to label noise? Much of researches focusing on such memorization uses class-independent label noise to simulate label corruption, but this setting is simple and unrealistic. In this paper, we investigate the behavior of CNNs under class-dependently simulated label noise, which is generated based on the conceptual distance between classes of a large dataset (i.e., ImageNet-1k). Contrary to previous knowledge, we reveal CNNs are more robust to such class-dependent label noise than class-independent label noise. We also demonstrate the networks under class-dependent noise situations learn similar representation to the no noise situation, compared to class-independent noise situations.

Sind CNNs robust oder anfällig für Labelstörungen? Praktisch gesehen sind sie robust.

Die Autoren testen die Robustheit von CNNs gegenüber Labelstörungen anhand des ImageNet 1k-Baums von WordNet.

Eine Analyse der Leistung des Modells eines Convolutional Neural Networks, wenn klassenabhängige und klassenunabhängige Störungen eingeführt werden.

Zeigt, dass CNNs robuster gegenüber klassenrelevantem Labelstörungen sind und argumentiert, dass reale Störungen klassenrelevant sein sollten.


Efficient audio synthesis is an inherently difficult machine learning task, as human perception is sensitive to both global structure and fine-scale waveform coherence. Autoregressive models, such as WaveNet, model local structure at the expense of global latent structure and slow iterative sampling, while Generative Adversarial Networks (GANs), have global latent conditioning and efficient parallel sampling, but struggle to generate locally-coherent audio waveforms. Herein, we demonstrate that GANs can in fact generate high-fidelity and locally-coherent audio by modeling log magnitudes and instantaneous frequencies  with sufficient frequency resolution in the spectral domain. Through extensive empirical investigations on the NSynth dataset, we demonstrate that GANs are able to outperform strong WaveNet baselines on automated and human evaluation metrics, and efficiently generate audio several orders of magnitude faster than their autoregressive counterparts.

Schlägt einen Ansatz vor, der das GAN-Framework nutzt, um Audio durch die Modellierung von logarithmischen Größen und momentanen Frequenzen mit ausreichender Frequenzauflösung im Spektralbereich zu erzeugen.

Eine Strategie zur Erzeugung von Audio-Samples aus Rauschen mit GANs, mit Änderungen an der Architektur und der Darstellung, die notwendig sind, um überzeugende Audios zu erzeugen, die einen interpretierbaren latenten Code enthalten.

Stellt eine einfache Idee zur besseren Darstellung von Audiodaten vor, so dass Convolutional Modelle wie generative adversarische Netze angewendet werden können.


In this work we propose a novel approach for learning graph representation of the data using gradients obtained via backpropagation. Next we build a neural network architecture compatible with our optimization approach and motivated by graph filtering in the vertex domain. We demonstrate that the learned graph has richer structure than often used nearest neighbors graphs constructed based on features similarity. Our experiments demonstrate that we can improve prediction quality for several convolution on graphs architectures, while others appeared to be insensitive to the input graph.

Graph-Optimierung mit Signalfilterung im Vertex-Bereich.

Die Arbeit untersucht das Lernen der Adjazenzmatrix eines Graphen mit spärlich verbunden ungerichteten Graphen mit nicht-negativen Rand Gewichten unter Verwendung eines projizierten Sub-Gradient Descent Algorithmus.

Entwicklung eines neuen Verfahrens zur Rückkopplung auf der Adjazenzmatrix eines neuronalen Netzes


The use of AR in an industrial context could help for the training of new operators. To be able to use an AR guidance system, we need a tool to quickly create a 3D representation of the assembly line and of its AR annotations. This tool should be very easy to use by an operator who is not an AR or VR specialist: typically the manager of the assembly line. This is why we proposed WAAT, a 3D authoring tool allowing user to quickly create 3D models of the workstations, and also test the AR guidance placement. WAAT makes on-site authoring possible, which should really help to have an accurate 3D representation of the assembly line. The verification of AR guidance should also be very useful to make sure everything is visible and doesn't interfere with technical tasks. In addition to these features, our future work will be directed in the deployment of WAAT into a real boiler assembly line to assess the usability of this solution.

Dieses Papier beschreibt ein 3D Authoring Tool für die Bereitstellung von AR in Montagelinien der Industrie 4.0.

Das Papier befasst sich mit der Frage, wie AR Authoring Tools das Training von Fließbandsystemen unterstützen und schlägt einen Ansatz vor.

Ein AR-Leitsystem für industrielle Montagelinien, das die Erstellung von AR-Inhalten vor Ort ermöglicht.

Stellt ein System vor, mit dem Fabrikarbeiter mithilfe eines Augmented-Reality-Systems effizienter geschult werden können.


Generative adversarial network (GAN) is one of the best known unsupervised learning techniques these days due to its superior ability to learn data distributions. In spite of its great success in applications, GAN is known to be notoriously hard to train. The tremendous amount of time it takes to run the training algorithm and its sensitivity to hyper-parameter tuning have been haunting researchers in this area. To resolve these issues, we need to first understand how GANs work. Herein, we take a step toward this direction by examining the dynamics of GANs. We relate a large class of GANs including the Wasserstein GANs to max-min optimization problems with the coupling term being linear over the discriminator. By developing new primal-dual optimization tools, we show that, with a proper stepsize choice, the widely used first-order iterative algorithm in training GANs would in fact converge to a stationary solution with a sublinear rate. The same framework also applies to multi-task learning and distributional robust learning problems. We verify our analysis on numerical examples with both synthetic and real data sets. We hope our analysis shed light on future studies on the theoretical properties of relevant machine learning problems.

Wir zeigen, dass der beim Training von GANs weit verbreitete iterative Algorithmus erster Ordnung bei richtiger Wahl der Schrittweite tatsächlich mit einer sublinearen Rate zu einer stationären Lösung konvergiert.

Diese Arbeit verwendet GANs und Multi-Task-Lernen, um eine Konvergenzgarantie für primär-duale Algorithmen auf bestimmten Min-Max-Problemen zu geben.

Analysiert die Lerndynamik von GANs durch Formulierung des Problems als primär-duales Optimierungsproblem unter Annahme einer begrenzten Klasse von Modellen.


Social dilemmas, where mutual cooperation can lead to high payoffs but participants face incentives to cheat, are ubiquitous in multi-agent interaction. We wish to construct agents that cooperate with pure cooperators, avoid exploitation by pure defectors, and incentivize cooperation from the rest. However, often the actions taken by a partner are (partially) unobserved or the consequences of individual actions are hard to predict. We show that in a large class of games good strategies can be constructed by conditioning one's behavior solely on outcomes (ie. one's past rewards). We call this consequentialist conditional cooperation. We show how to construct such strategies using deep reinforcement learning techniques and demonstrate, both analytically and experimentally, that they are effective in social dilemmas beyond simple matrix games. We also show the limitations of relying purely on consequences and discuss the need for understanding both the consequences of and the intentions behind an action.

Wir zeigen, wie man Deep RL nutzt, um Agenten zu konstruieren, die soziale Dilemmata jenseits von Matrixspielen lösen können.

Lernen von Zwei-Spieler General-Summen-Spielen mit unvollkommenen Informationen.

Spezifiziert eine Auslösestrategie (CCC) und einen entsprechenden Algorithmus, der die Konvergenz zu effizienten Ergebnissen in sozialen Dilemmas zeigt, ohne dass die Agenten die Handlungen der anderen beobachten müssen.


In distributed training, the communication cost due to the transmission of gradients
 or the parameters of the deep model is a major bottleneck in scaling up the number
 of processing nodes. To address this issue, we propose dithered quantization for
 the transmission of the stochastic gradients and show that training with Dithered
 Quantized Stochastic Gradients (DQSG) is similar to the training with unquantized
 SGs perturbed by an independent bounded uniform noise, in contrast to the other
 quantization methods where the perturbation depends on the gradients and hence,
 complicating the convergence analysis. We study the convergence of training
 algorithms using DQSG and the trade off between the number of quantization
 levels and the training time. Next, we observe that there is a correlation among the
 SGs computed by workers that can be utilized to further reduce the communication
 overhead without any performance loss. Hence, we develop a simple yet effective
 quantization scheme, nested dithered quantized SG (NDQSG), that can reduce the
 communication significantly without requiring the workers communicating extra
 information to each other. We prove that although NDQSG requires significantly
 less bits, it can achieve the same quantization variance bound as DQSG. Our
 simulation results confirm the effectiveness of training using DQSG and NDQSG
 in reducing the communication bits or the convergence time compared to the
 existing methods without sacrificing the accuracy of the trained model.

Die Arbeit schlägt zwei Quantisierungsschemata für die Kommunikation von stochastischen Gradienten beim verteilten Lernen vor und analysiert diese, um die Kommunikationskosten im Vergleich zum Stand der Technik zu reduzieren und gleichzeitig die gleiche Genauigkeit zu erhalten.

Die Autoren schlagen vor, die stochastischen Gradienten, die durch den Trainingsprozess berechnet werden, mit einer Dither-Quantisierung zu versehen, um den Quantisierungsfehler zu verbessern und im Vergleich zu den Grundlinien bessere Ergebnisse zu erzielen, und schlagen ein verschachteltes Schema zur Reduzierung der Kommunikationskosten vor.

Die Autoren stellen eine Verbindung zwischen der Reduzierung der Kommunikation bei der verteilten Optimierung und der Dither-Quantisierung her und entwickeln zwei neue verteilte Trainingsalgorithmen, bei denen der Kommunikationsaufwand erheblich reduziert wird.


Deep neural networks have been shown to perform well in many classical machine learning problems, especially in image classification tasks. However, researchers have found that neural networks can be easily fooled, and they are surprisingly sensitive to small perturbations imperceptible to humans.   Carefully crafted input images (adversarial examples) can force a well-trained neural network to provide arbitrary outputs.   Including adversarial examples during training is a popular defense mechanism against adversarial attacks. In this paper we propose a new defensive mechanism under the generative adversarial network~(GAN) framework. We model the adversarial noise using a generative network, trained jointly with a classification discriminative network as a minimax game. We show empirically that our adversarial network approach works well against black box attacks, with performance on par with state-of-art methods such as ensemble adversarial training and adversarial training with projected gradient descent.

Gemeinsames Trainieren eines Netzes zur Erzeugung von Störgeräuschen und eines Klassifizierungsnetzes, um eine bessere Robustheit gegenüber adversarial Angriffen zu erreichen.

Eine GAN-Lösung für tiefe Klassifizierungsmodelle, die gegenüber White- und Blackbox-Angriffen robuste Modelle erzeugt.

Die Arbeit schlägt einen Verteidigungsmechanismus gegen adversarial Angriffe vor, der GANs verwendet, wobei generierte Störungen als adversarial Beispiele und ein Diskriminator zur Unterscheidung zwischen ihnen verwendet werden.


Deep learning has become the state of the art approach in many machine learning problems such as classification. It has recently been shown that deep learning is highly vulnerable to adversarial perturbations. Taking the camera systems of self-driving cars as an example, small adversarial perturbations can cause the system to  make errors in important tasks, such as classifying traffic signs or detecting pedestrians. Hence, in order to use deep learning without safety concerns a proper defense strategy is required. We propose to use ensemble methods as a defense strategy against adversarial perturbations. We find that an attack leading one model to misclassify does not imply the same for other networks performing the same task. This makes ensemble methods an attractive defense strategy against adversarial attacks. We empirically show for the MNIST and the CIFAR-10 data sets that ensemble methods not only improve the accuracy of neural networks on test data but also increase their robustness against adversarial perturbations.

Verwendung von Ensemble-Methoden zur Verteidigung gegen adversarial Störungen bei tiefen neuronalen Netzen.

In diesem Beitrag wird vorgeschlagen, Ensembling als gegnerischen Verteidigungsmechanismus zu verwenden.

Empirische Untersuchung der Robustheit verschiedener Ensembles tiefer neuronaler Netze gegenüber den beiden Arten von Angriffen, FGSM und BIM, auf zwei populären Datensätzen, MNIST und CIFAR10.


In this paper, we propose the Associative Conversation Model that generates visual information from textual information and uses it for generating sentences in order to utilize visual information in a dialogue system without image input. In research on Neural Machine Translation, there are studies that generate translated sentences using both images and sentences, and these studies show that visual information improves translation performance. However, it is not possible to use sentence generation algorithms using images for the dialogue systems since many text-based dialogue systems only accept text input. Our approach generates (associates) visual information from input text and generates response text using context vector  fusing associative visual information and sentence textual information. A comparative experiment between our proposed model and a model without association showed that our proposed model is generating useful sentences by associating visual information related to sentences. Furthermore, analysis experiment of visual association showed that our proposed model generates (associates) visual information effective for sentence generation.

Vorschlag für eine Methode zur Erzeugung von Sätzen, die auf der Fusion von Textinformationen und visuellen Informationen, die mit den Textinformationen verbunden sind, basiert.

Diese Arbeit beschreibt ein Deep Learning Modell für Dialogsysteme, das sich visuelle Informationen zunutze macht.

In diesem Beitrag wird ein neuartiger Datensatz für geerdete Dialoge vorgeschlagen und eine rechnerische Beobachtung gemacht, dass er helfen könnte, auch bei textbasierten Dialogen über das Sehen nachzudenken.

Schlägt vor, die traditionellen textbasierten Ansätze zur Satzgenerierung/Dialog durch die Einbeziehung visueller Informationen zu ergänzen, indem ein Datenpaket gesammelt wird, das sowohl aus Text als auch aus zugehörigen Bildern oder Videos besteht.


Feedforward convolutional neural network has achieved a great success in many computer vision tasks. While it validly imitates the hierarchical structure of biological visual system, it still lacks one essential architectural feature: contextual recurrent connections with feedback, which widely exists in biological visual system. In this work, we designed a Contextual Recurrent Convolutional Network with this feature embedded in a standard CNN structure. We found that such feedback connections could enable lower layers to ``rethink" about their representations given the top-down contextual information. We carefully studied the components of this network, and showed its robustness and superiority over feedforward baselines in such tasks as noise image classification, partially occluded object recognition and fine-grained image classification. We believed this work could be an important step to help bridge the gap between computer vision models and real biological visual system.

Wir haben ein neuartiges kontextuelles rekurrentes Convolutional Network mit robusten Eigenschaften für visuelles Lernen vorgeschlagen.

In diesem Beitrag wird eine Feedback Verbindung vorgestellt, um das Lernen von Merkmalen durch die Einbeziehung von Kontextinformationen zu verbessern.

In der Arbeit wird vorgeschlagen, "rekurrente" Verbindungen in ein Convolution Network mit Gating-Mechanismus einzufügen.


Deep neural networks have led to a series of breakthroughs, dramatically improving the state-of-the-art in many domains. The techniques driving these advances, however, lack a formal method to account for model uncertainty. While the Bayesian approach to learning provides a solid theoretical framework to handle uncertainty, inference in Bayesian-inspired deep neural networks is difficult. In this paper, we provide a practical approach to Bayesian learning that relies on a regularization technique found in nearly every modern network, batch normalization. We show that training a deep network using batch normalization is equivalent to approximate inference in Bayesian models, and we demonstrate how this finding allows us to make useful estimates of the model uncertainty. Using our approach, it is possible to make meaningful uncertainty estimates using conventional architectures without modifying the network or the training procedure. Our approach is thoroughly validated in a series of empirical experiments on different tasks and using various measures, showing it to outperform baselines on a majority of datasets with strong statistical significance.

Wir zeigen, dass das Training eines tiefen Netzwerks unter Verwendung von Batch-Normalisierung gleichbedeutend ist mit approximativer Inferenz in Bayes'schen Modellen, und wir demonstrieren, wie diese Erkenntnis es uns ermöglicht, nützliche Schätzungen der Modellunsicherheit in konventionellen Netzwerken vorzunehmen.

In diesem Beitrag wird vorgeschlagen, die Batch-Normalisierung zum Testzeitpunkt zu verwenden, um die Vorhersageunsicherheit zu erhalten, und es wird gezeigt, dass die Monte-Carlo Vorhersage zum Testzeitpunkt unter Verwendung der Batch-Norm besser ist als der Dropout.

Schlägt vor, dass das Regularisierungsverfahren, das als Batch-Normalisierung bezeichnet wird, als Durchführung einer approximativen Bayes'schen Inferenz verstanden werden kann, die in Bezug auf die Schätzungen der Unsicherheit, die sie produziert, ähnlich wie MC-Dropout funktioniert.


Data-parallel neural network training is network-intensive, so gradient dropping was designed to exchange only large gradients.   However, gradient dropping has been shown to slow convergence.   We propose to improve convergence by having each node combine its locally computed gradient with the sparse global gradient exchanged over the network. We empirically confirm with machine translation tasks that gradient dropping with local gradients approaches convergence 48% faster than non-compressed multi-node training and 28% faster compared to vanilla gradient dropping. We also show that gradient dropping with a local gradient update does not reduce the model's final quality.

Wir verbessern das Gradient Dropping (eine Technik, bei der nur große Gradienten bei verteiltem Training ausgetauscht werden), indem wir lokale Gradienten bei der Aktualisierung der Parameter einbeziehen, um den Qualitätsverlust zu verringern und die Trainingszeit weiter zu verkürzen.

In dieser Arbeit werden 3 Modi für die Kombination von lokalen und globalen Gradienten vorgeschlagen, um mehr Rechenknoten besser zu nutzen.

Befasst sich mit dem Problem der Verringerung des Kommunikationsbedarfs bei der Umsetzung verteilter Optimierungsverfahren, insbesondere SGD.


    We establish the relation between Distributional RL and the Upper Confidence Bound (UCB) approach to exploration.
     In this paper we show that the density of the Q function estimated by Distributional RL can be successfully used for the estimation of UCB. This approach does not require counting and, therefore, generalizes well to the Deep RL. We also point to the asymmetry of the empirical densities estimated by the Distributional RL algorithms like QR-DQN. This observation leads to the reexamination of the variance's performance in the UCB type approach to exploration. We introduce truncated variance as an alternative estimator of the UCB and a novel algorithm based on it. We empirically show that newly introduced algorithm achieves better performance in multi-armed bandits setting. Finally, we extend this approach to high-dimensional setting and test it on the Atari 2600 games. New approach achieves better performance compared to QR-DQN in 26 of games, 13 ties out of 49 games.

Exploration mit Distributional RL und trunkierter Varianz.

Stellt eine RL-Methode vor, um mit Hilfe von UCB-Techniken Kompromisse zwischen Entdeckung und Ausnutzen zu verwalten.

Eine Methode zur Verwendung der durch die Quantile Regression DQN gelernten Verteilung für die Entdeckung, anstelle der üblichen Epsilon-Greedy-Strategie.

Schlägt neue Algorithmen (QUCB und QUCB+) vor, um den Kompromiss der Entdeckung bei mehrarmigen Banditen und allgemeiner beim Reinforcement Learning zu bewältigen.


Good representations facilitate transfer learning and few-shot learning. Motivated by theories of language and communication that explain why communities with large number of speakers have, on average, simpler languages with more regularity, we cast the representation learning problem in terms of learning to communicate. Our starting  point sees traditional autoencoders as  a single encoder with a fixed decoder partner that must learn to communicate. Generalizing from there, we introduce community-based autoencoders in which multiple encoders and decoders collectively learn representations by being randomly paired up on successive training iterations. Our experiments show that increasing community sizes reduce idiosyncrasies in the learned codes, resulting in more invariant representations with increased reusability and structure.

Auf der Grundlage von Sprach- und Kommunikationstheorien stellen wir gemeinschaftsbasierte Autoencoder vor, bei denen mehrere Encoder und Decoder gemeinsam strukturierte und wiederverwendbare Repräsentationen lernen.

Die Autoren befassen sich mit dem Problem des Repräsentationslernens, zielen darauf ab, wiederverwendbare und strukturierte Repräsentationen zu erstellen, argumentieren, dass die Koadaptation zwischen Encoder und Decoder in der traditionellen AE zu einer schlechten Repräsentation führt, und führen gemeinschaftsbasierte Auto-Encoder ein.

In diesem Beitrag wird ein gemeinschaftsbasierter Autoencoder vorgestellt, der sich mit der Koadaptation von Encodern und Decodern befasst und darauf abzielt, bessere Repräsentationen zu erstellen.


Humans are experts at high-fidelity imitation -- closely mimicking a demonstration, often in one attempt. Humans use this ability to quickly solve a  task instance, and to bootstrap learning of new tasks. Achieving these abilities in autonomous agents is an open problem. In this paper, we introduce an off-policy RL algorithm (MetaMimic) to narrow this gap. MetaMimic can learn both (i) policies for high-fidelity one-shot imitation of diverse novel skills, and (ii) policies that enable the agent to solve tasks more efficiently than the demonstrators. MetaMimic relies on the principle of storing all experiences in a memory and replaying these to learn massive deep neural network policies by off-policy RL. This paper introduces, to the best of our knowledge, the largest existing neural networks for deep RL and shows that larger networks with normalization are needed to achieve one-shot high-fidelity imitation on a challenging manipulation task.
 The results also show that both types of policy can be learned from vision, in spite of the task rewards being sparse, and without access to demonstrator actions.

Wir stellen MetaMimic vor, einen Algorithmus, der als Input einen Demonstrationsdatensatz nimmt und (i) eine One-Shot High-Fidelity Imitationsstrategie und (ii) eine unbedingte Aufgabenregel ausgibt.

Die Arbeit befasst sich mit dem Problem der One-Shot-Imitation mit hoher Imitationsgenauigkeit, indem es DDPGfD so erweitert, dass nur Zustandstrajektorien verwendet werden.

In diesem Papier wird ein Ansatz für eine One-Shot Imitation mit hoher Genauigkeit vorgeschlagen, der das allgemeine Problem der Exploration beim Imitationslernen angeht.

Präsentiert eine RL-Methode zum Lernen aus Videodemonstrationen ohne Zugang zu Expertenhandlungen.


Normalization methods are a central building block in the deep learning toolbox. They accelerate and stabilize training, while decreasing the dependence on manually tuned learning rate schedules. When learning from multi-modal distributions, the effectiveness of batch normalization (BN), arguably the most prominent normalization method, is reduced. As a remedy, we propose a more flexible approach: by extending the normalization to more than a single mean and variance, we detect modes of data on-the-fly, jointly normalizing samples that share common features. We demonstrate that our method outperforms BN and other widely used normalization techniques in several experiments, including single and multi-task datasets.

Wir stellen eine neuartige Normalisierungsmethode für tiefe neuronale Netze vor, die robust gegenüber Multimodalitäten in den dazwischenliegenden Merkmalsverteilungen ist.

Normalisierungsmethode, die eine multimodale Verteilung im Merkmalsraum lernt.

Vorschlagen einer Verallgemeinerung der Batch-Normalisierung unter der Annahme, dass die Statistik der Aktivierungen der Einheiten über die Batches und über die räumlichen Dimensionen nicht unimodal ist.


Multilingual machine translation, which translates multiple languages with a single model, has attracted much attention due to its efficiency of offline training and online serving. However, traditional multilingual translation usually yields inferior accuracy compared with the counterpart using individual models for each language pair, due to language diversity and model capacity limitations. In this paper, we propose a distillation-based approach to boost the accuracy of multilingual machine translation. Specifically, individual models are first trained and regarded as teachers, and then the multilingual model is trained to fit the training data and match the outputs of individual models simultaneously through knowledge distillation. Experiments on IWSLT, WMT and Ted talk translation datasets demonstrate the effectiveness of our method. Particularly, we show that one model is enough to handle multiple languages (up to 44 languages in our experiment), with comparable or even better accuracy than individual models.

Wir haben eine auf Wissensdestillation basierende Methode vorgeschlagen, um die Genauigkeit der mehrsprachigen neuronalen maschinellen Übersetzung zu erhöhen.

Ein mehrsprachiges neuronales maschinelles Übersetzungsmodell, das zunächst separate Modelle für jedes Sprachpaar trainiert und dann eine Destillation durchführt.

Ziel der Arbeit ist es, ein maschinelles Übersetzungsmodell zu trainieren, indem der standardmäßige Cross-Entropie-Verlust durch eine Destillationskomponente ergänzt wird, die auf individuellen Lehrermodellen (für einzelne Sprachpaare) basiert.


What makes humans so good at solving seemingly complex video games?   Unlike computers, humans bring in a great deal of prior knowledge about the world, enabling efficient decision making. This paper investigates the role of human priors for solving video games. Given a sample game, we conduct a series of ablation studies to quantify the importance of various priors. We do this by modifying the video game environment to systematically mask different types of visual information that could be used by humans as priors. We find that removal of some prior knowledge causes a drastic degradation in the speed with which human players solve the game, e.g. from 2 minutes to over 20 minutes. Furthermore, our results indicate that general priors, such as the importance of objects and visual consistency, are critical for efficient game-play.

Wir untersuchen die verschiedenen Arten von Vorwissen, die das menschliche Lernen unterstützen, und stellen fest, dass allgemeine Vorannahmen über Objekte die wichtigste Rolle bei der Steuerung des menschlichen Spielverhaltens spielen.

Die Autoren untersuchen experimentell, welche Aspekte der menschlichen Vorurteile für das Reinforcement Learning in Videospielen wichtig sind.

Die Autoren stellen eine Studie über die von Menschen beim Spielen von Videospielen verwendeten Vorurteile vor und zeigen, dass es eine Taxonomie von Merkmalen gibt, die sich in unterschiedlichem Maße auf die Fähigkeit auswirken, Aufgaben im Spiel zu erledigen.


Driven by the need for parallelizable hyperparameter optimization methods, this paper studies \emph{open loop} search methods: sequences that are predetermined and can be generated before a single configuration is evaluated. Examples include grid search, uniform random search, low discrepancy sequences, and other sampling distributions.
 In particular, we propose the use of $k$-determinantal point processes in  hyperparameter optimization via random search. Compared to conventional uniform random search where hyperparameter settings are sampled independently, a $k$-DPP promotes diversity.   We describe an approach that transforms hyperparameter search spaces for efficient use with a $k$-DPP. In addition, we introduce a novel Metropolis-Hastings algorithm which can sample from $k$-DPPs defined over spaces with a mixture of discrete and continuous dimensions. Our experiments show significant benefits over uniform random search  in realistic scenarios with a limited budget for training supervised learners, whether in serial or parallel.

Aufgrund des Bedarfs an parallelisierbaren, offenen Hyperparameter-Optimierungsverfahren schlagen wir die Verwendung von k-determinanten Punktprozessen in der Hyperparameter-Optimierung mittels Zufallssuche vor.

Schlägt die Verwendung des k-DPP zur Auswahl von Kandidatenpunkten bei der Suche nach Hyperparametern vor.

Die Autoren schlagen k-DPP als Open-Loop-Methode für die Hyperparameter-Optimierung vor und bieten eine empirische Studie und einen Vergleich mit anderen Methoden.

Betrachtet die nicht-sequenzielle und uninformierte Hyperparametersuche unter Verwendung determinanter Punktprozesse, die Wahrscheinlichkeitsverteilungen über Teilmengen einer Grundmenge sind, mit der Eigenschaft, dass Teilmengen mit "vielfältigeren" Elementen eine höhere Wahrscheinlichkeit haben.


In inductive transfer learning, fine-tuning pre-trained convolutional networks substantially outperforms training from scratch.
 When using fine-tuning, the underlying assumption is that the pre-trained model extracts generic features, which are at least partially relevant for solving the target task, but would be difficult to extract from the limited amount of data available on the target task.
 However, besides the initialization with the pre-trained model and the early stopping, there is no mechanism in fine-tuning for retaining the features learned on the source task.
 In this paper, we investigate several regularization schemes that explicitly promote the similarity of the final solution with the initial model.
 We eventually recommend a simple $L^2$ penalty using the pre-trained model as a reference, and we show that this approach behaves much better than the standard scheme using weight decay on a partially frozen network.

Beim induktiven Transferlernen übertrifft die Feinabstimmung von vortrainierten Convolutional Networks das Training von Grund auf erheblich.

Befasst sich mit dem Problem des Transferlernens in tiefen Netzwerken und schlägt einen Regularisierungsterm vor, der die Abweichung von der Initialisierung bestraft.

schlägt eine Analyse verschiedener adaptiver Regularisierungstechniken für tiefes Transferlernen vor und konzentriert sich dabei auf die Verwendung einer L@-SP-Bedingung.


Artificial neural networks have opened up a world of possibilities in data science and artificial intelligence, but neural networks are cumbersome tools that grow with the complexity of the learning problem. We make contributions to this issue by considering a modified version of the fully connected layer we call a block diagonal inner product layer. These modified layers have weight matrices that are block diagonal, turning a single fully connected layer into a set of densely connected neuron groups. This idea is a natural extension of group, or depthwise separable, convolutional layers applied to the fully connected layers. Block diagonal inner product layers can be achieved by either initializing a purely block diagonal weight matrix or by iteratively pruning off diagonal block entries. This method condenses network storage and speeds up the run time without significant adverse effect on the testing accuracy, thus offering a new approach to improve network computation efficiency.

Wir betrachten neuronale Netze mit blockdiagonalen inneren Produktschichten aus Gründen der Effizienz.

In diesem Beitrag wird vorgeschlagen, die inneren Schichten in einem neuronalen Netz blockdiagonal zu gestalten, und es wird erörtert, dass blockdiagonale Matrizen effizienter sind als Pruning und dass blockdiagonale Schichten zu effizienteren Netzen führen.

Ersetzen von vollständig zusammenhängenden Schichten durch blockdiagonale vollständig zusammenhängende Schichten.


One of the challenges in the study of generative adversarial networks is the instability of its training.
 In this paper, we propose a novel weight normalization technique called spectral normalization to stabilize the training of the discriminator.
 Our new normalization technique is computationally light and easy to incorporate into existing implementations.
 We tested the efficacy of spectral normalization on CIFAR10, STL-10, and ILSVRC2012 dataset, and we experimentally confirmed that spectrally normalized GANs (SN-GANs) is capable of generating images of better or equal quality relative to the previous training stabilization techniques.

Wir schlagen eine neue Technik zur Gewichtsnormalisierung vor, die als spektrale Normalisierung bezeichnet wird, um das Training des Diskriminators von GANs zu stabilisieren.

In dieser Arbeit wird die spektrale Regularisierung zur Normalisierung von GAN-Zielen verwendet, und das daraus resultierende GAN, SN-GAN genannt, gewährleistet im Wesentlichen die Lipschitz-Eigenschaft des Diskriminators.

In dieser Arbeit wird eine "spektrale Normalisierung" vorgeschlagen, die einen großen Schritt nach vorne bei der Verbesserung des Trainings von GANs darstellt.


Humans acquire complex skills by exploiting previously learned skills and making transitions between them. To empower machines with this ability, we propose a method that can learn transition policies which effectively connect primitive skills to perform sequential tasks without handcrafted rewards. To efficiently train our transition policies, we introduce proximity predictors which induce rewards gauging proximity to suitable initial states for the next skill. The proposed method is evaluated on a set of complex continuous control tasks in bipedal locomotion and robotic arm manipulation which traditional policy gradient methods struggle at. We demonstrate that transition policies enable us to effectively compose complex skills with existing primitive skills. The proposed induced rewards computed using the proximity predictor further improve training efficiency by providing more dense information than the sparse rewards from the environments. We make our environments, primitive skills, and code public for further research at https://youngwoon.github.io/transition .

Übergangsstrategien ermöglichen es den Agenten, komplexe Fertigkeiten zusammenzustellen, indem sie zuvor erworbene primitive Fertigkeiten nahtlos miteinander verbinden.

Schlägt ein Schema für den Übergang zu günstigen Strategiezuständen für die Ausführung gegebener Optionen in kontinuierlichen Domänen vor. Dabei kommen zwei gleichzeitig ablaufende Lernprozesse zum Einsatz.

Vorgestellt wird eine Methode zum Erlernen von Strategien für den Übergang von einer Aufgabe zu einer anderen mit dem Ziel, komplexe Aufgaben unter Verwendung eines Schätzers für die Zustandsnähe zur Belohnung für die Übergangsstrategie abzuschließen.

Schlägt ein neues Trainingsschema mit einer erlernten Hilfsbelohnungsfunktion zur Optimierung von Übergangsstrategien vor, die den Endzustand einer vorherigen Makroaktion/Option mit guten Anfangszuständen der folgenden Makroaktion/Option verbinden.


Gated recurrent units (GRUs) were inspired by the common gated recurrent unit, long short-term memory (LSTM), as a means of capturing temporal structure with less complex memory unit architecture. Despite their incredible success in tasks such as natural and artificial language processing, speech, video, and polyphonic music, very little is understood about the specific dynamic features representable in a GRU network. As a result, it is difficult to know a priori how successful a GRU-RNN will perform on a given data set. In this paper, we develop a new theoretical framework to analyze one and two dimensional GRUs as a continuous dynamical system, and classify the dynamical features obtainable with such system.
 We found rich repertoire that includes stable limit cycles over time (nonlinear oscillations), multi-stable state transitions with various topologies, and homoclinic orbits. In addition, we show that any finite dimensional GRU cannot precisely replicate the dynamics of a ring attractor, or more generally, any continuous attractor, and is limited to finitely many isolated fixed points in theory. These findings were then experimentally verified in two dimensions by means of time series prediction.

Wir klassifizieren die dynamischen Merkmale, die eine und zwei GRU-Zellen in kontinuierlicher Zeit erfassen können und die nicht erfasst werden können, und verifizieren unsere Ergebnisse experimentell mit k-schrittigen Zeitreihenvorhersagen.

Die Autoren analysieren GRUs mit versteckten Größen von eins und zwei als zeitkontinuierliche dynamische Systeme und behaupten, dass die Ausdruckskraft der versteckten Zustandsdarstellung Vorwissen darüber liefern kann, wie gut eine GRU bei einem bestimmten Datensatz abschneiden wird.

In diesem Beitrag werden GRUs aus der Perspektive dynamischer Systeme analysiert und es wird gezeigt, dass 2d-GRUs so trainiert werden können, dass sie eine Vielzahl von Fixpunkten annehmen und Linienattraktoren annähern können, aber keinen Ringattraktor nachahmen können.

Konvertiert GRU-Gleichungen in kontinuierliche Zeit und nutzt Theorie und Erfahrungen, um 1- und 2-dimensionale GRU-Netzwerke zu untersuchen und jede Vielfalt der dynamischen Topologie in diesen Systemen zu zeigen.


Stacked hourglass network has become an important model for Human pose estimation. The estimation of human body posture depends on the global information of the keypoints type and the local information of the keypoints location. The consistent processing of inputs and constraints makes it difficult to form differentiated and determined collaboration mechanisms for each stacked hourglass network. In this paper, we propose a Multi-Scale Stacked Hourglass (MSSH) network to high-light the differentiation capabilities of each Hourglass network for human pose estimation.   The pre-processing network forms feature maps of different scales,and dispatch them to various locations of the stack hourglass network, where the small-scale features reach the front of stacked hourglass network, and large-scale features reach the rear of stacked hourglass network.    And a new loss function is proposed for multi-scale stacked hourglass network.   Different keypoints have different weight coefficients of loss function at different scales, and the keypoints weight coefficients are dynamically adjusted from the top-level hourglass network to the bottom-level hourglass network.   Experimental results show that the pro-posed method is competitive with respect to the comparison algorithm on MPII and LSP datasets.

Differenzierte Eingaben führen zu einer funktionalen Differenzierung des Netzes, und die Interaktion von Verlustfunktionen zwischen Netzen kann den Optimierungsprozess beeinflussen.

Eine Abwandlung des ursprünglichen Sanduhrnetzes für die Schätzung von Einzelposen, die Verbesserungen gegenüber der ursprünglichen Basislinie bringt.

Die Autoren erweitern ein gestapeltes Sanduhr-Netzwerk mit Inception-Resnet-A-Modulen und schlagen einen mehrskaligen Ansatz zur Schätzung der menschlichen Pose in RGB-Standbildern vor.


We present a new unsupervised method for learning general-purpose sentence embeddings.
 Unlike existing methods which rely on local contexts, such as words
 inside the sentence or immediately neighboring sentences, our method selects, for
 each target sentence, influential sentences in the entire document based on a document
 structure. We identify a dependency structure of sentences using metadata
 or text styles. Furthermore, we propose a novel out-of-vocabulary word handling
 technique to model many domain-specific terms, which were mostly discarded by
 existing sentence embedding methods. We validate our model on several tasks
 showing 30% precision improvement in coreference resolution in a technical domain,
 and 7.5% accuracy increase in paraphrase detection compared to baselines.

Um eine Satzeinbettung anhand von technischen Dokumenten zu trainieren, berücksichtigt unser Ansatz die Dokumentstruktur, um einen breiteren Kontext zu finden und Wörter außerhalb des Vokabulars zu behandeln.

Präsentiert Ideen zur Verbesserung der Satzeinbettung durch die Einbeziehung von mehr Kontext.

Lernen von Satzrepräsentationen mit Informationen über Satzabhängigkeiten.

Erweitert die Idee der Bildung einer unüberwachten Repräsentation von Sätzen, wie sie im SkipThough-Ansatz verwendet wird, durch die Verwendung einer breiteren Reihe von Beweisen für die Bildung der Repräsentation eines Satzes.


Neural network training relies on our ability to find ````````"good" minimizers of highly non-convex loss functions. It is well known that certain network architecture designs (e.g., skip connections) produce loss functions that train easier, and well-chosen training parameters (batch size, learning rate, optimizer) produce minimizers that generalize better. However, the reasons for these differences, and their effect on the underlying loss landscape, is not well understood.

 In this paper, we explore the structure of neural loss functions, and the effect of loss landscapes on generalization, using a range of visualization methods. First, we introduce a simple ``"filter normalization" method that helps us visualize loss function curvature, and make meaningful side-by-side comparisons between loss functions. Then, using a variety of visualizations, we explore how network architecture effects the loss landscape, and how training parameters affect the shape of minimizers.

Wir erforschen die Struktur neuronaler Verlustfunktionen und die Auswirkung von Verlustlandschaften auf die Generalisierung, indem wir eine Reihe von Visualisierungsmethoden verwenden.

Diese Arbeit schlägt eine Methode zur Visualisierung der Verlustfunktion eines NN vor und gibt Einblicke in die Trainierbarkeit und Generalisierung von NNs.

Untersucht die Nicht-Konvexität der Verlustfläche und der Optimierungspfade.


Deep models are state-of-the-art for many computer vision tasks including image classification and object detection. However, it has been shown that deep models are vulnerable to adversarial examples. We highlight how one-hot encoding directly contributes to this vulnerability and propose breaking away from this widely-used, but highly-vulnerable mapping. We demonstrate that by leveraging a different output encoding, multi-way encoding, we can make models more robust. Our approach makes it more difficult for adversaries to find useful gradients for generating adversarial attacks. We present state-of-the-art robustness results for black-box, white-box attacks, and achieve higher clean accuracy on four benchmark datasets: MNIST, CIFAR-10, CIFAR-100, and SVHN when combined with adversarial training. The strength of our approach is also presented in the form of an attack for model watermarking, raising challenges in detecting stolen models.

Wir zeigen, dass wir tiefe Modelle robuster gegen adversarial Angriffe machen können, indem wir eine Multi-way Output Encoding anstelle des weit verbreiteten One-Hot Encoding verwenden.

In diesem Beitrag wird vorgeschlagen, die abschließende Cross-Entropie-Schicht, die auf One-Hot-Labels in Klassifikatoren trainiert wird, durch die Kodierung jedes Labels als hochdimensionalen Vektor zu ersetzen und den Klassifikator so zu trainieren, dass der L2-Abstand zur Kodierung der richtigen Klasse minimiert wird.

Die Autoren schlagen eine neue Methode zur Abwehr von Angriffen vor, die im Vergleich zu den Basislinien erhebliche Vorteile bietet.


Existing approaches to neural machine translation condition each output word on previously generated outputs. We introduce a model that avoids this autoregressive property and produces its outputs in parallel, allowing an order of magnitude lower latency during inference. Through knowledge distillation, the use of input token fertilities as a latent variable, and policy gradient fine-tuning, we achieve this at a cost of as little as 2.0 BLEU points relative to the autoregressive Transformer network used as a teacher. We demonstrate substantial cumulative improvements associated with each of the three aspects of our training strategy, and validate our approach on IWSLT 2016 English–German and two WMT language pairs. By sampling fertilities in parallel at inference time, our non-autoregressive model achieves near-state-of-the-art performance of 29.8 BLEU on WMT 2016 English–Romanian.

Wir stellen das erste NMT-Modell mit vollständig paralleler Dekodierung vor, das die Inferenzlatenz um das 10-fache reduziert.

Diese Arbeit schlägt einen nicht-autoregressiven Decoder für den Encoder-Decoder-Rahmen vor, bei dem die Entscheidung, ein Wort zu erzeugen, nicht von der vorherigen Entscheidung der erzeugten Wörter abhängt.

Diese Arbeit beschreibt einen Ansatz zur nicht-autoregressiven Dekodierung für neuronale maschinelle Übersetzung mit der Möglichkeit einer paralleleren Dekodierung, die zu einer erheblichen Geschwindigkeitssteigerung führen kann.

Schlägt die Einführung einer Reihe latenter Variablen vor, die die Fruchtbarkeit jedes Ausgangswortes darstellen, um die Generierung des Zielsatzes nicht autoregressiv zu gestalten.


While neural networks have achieved high accuracy on standard image classification benchmarks, their accuracy drops to nearly zero in the presence of small adversarial perturbations to test inputs. Defenses based on regularization and adversarial training have been proposed, but often followed by new, stronger attacks that defeat these defenses. Can we somehow end this arms race? In this work, we study this problem for neural networks with one hidden layer. We first propose a method based on a semidefinite relaxation that outputs a certificate that for a given network and test input, no attack can force the error to exceed a certain value. Second, as this certificate is differentiable, we jointly optimize it with the network parameters, providing an adaptive regularizer that encourages robustness against all attacks. On MNIST, our approach produces a network and a certificate that no that perturbs each pixel by at most $\epsilon = 0.1$ can cause more than $35\%$ test error.

Wir demonstrieren ein zertifizierbares, trainierbares und skalierbares Verfahren zur Verteidigung gegen adversarial Beispiele.

Schlägt eine neue Verteidigung gegen Sicherheitsangriffe auf neuronale Netze mit dem attack-Modell vor, das ein Sicherheitszertifikat für den Algorithmus ausgibt.

Ableitung einer oberen Schranke für adversarial Störungen für neuronale Netze mit einer versteckten Schicht.


We formulate an information-based optimization problem for supervised classification. For invertible neural networks, the control of these information terms is passed down to the latent features and parameter matrix in the last fully connected layer, given that mutual information is invariant under invertible map.   We propose an objective function and prove that it solves the optimization problem. Our framework allows us to learn latent features in an more interpretable form while improving the classification performance. We perform extensive quantitative and qualitative experiments in comparison with the existing state-of-the-art classification models.

Wir schlagen einen Regularisierer vor, der die Klassifizierungsleistung neuronaler Netze verbessert.

Die Autoren schlagen vor, ein Modell unter dem Gesichtspunkt der Maximierung der gegenseitigen Information zwischen den Vorhersagen und den wahren Ausgaben zu trainieren, mit einem Regularisierungsterm, der irrelevante Informationen beim Lernen minimiert.

Schlägt vor, die Parameter in eine invertierbare Merkmalskarte F und eine lineare Transformation w in der letzten Schicht zu zerlegen, um die gegenseitige Information I(Y, \hat{T}) zu maximieren und gleichzeitig irrelevante Informationen einzuschränken.