The recently presented idea to learn heuristics for combinatorial optimization problems is promising as it can save costly development. However, to push this idea towards practical implementation, we need better models and better ways of training. We contribute in both directions: we propose a model based on attention layers with benefits over the Pointer Network and we show how to train this model using REINFORCE with a simple baseline based on a deterministic greedy rollout, which we find is more efficient than using a value function. We significantly improve over recent learned heuristics for the Travelling Salesman Problem (TSP), getting close to optimal results for problems up to 100 nodes. With the same hyperparameters, we learn strong heuristics for two variants of the Vehicle Routing Problem (VRP), the Orienteering Problem (OP) and (a stochastic variant of) the Prize Collecting TSP (PCTSP), outperforming a wide range of baselines and getting results close to highly optimized and specialized algorithms.

Aufmerksamkeitsbasiertes Modell, das mit REINFORCE trainiert wurde, um Heuristiken mit konkurrenzfähigen Ergebnissen bei TSP und anderen Routing-Problemen zu lernen.

Präsentiert einen aufmerksamkeitsbasierten Ansatz zum Erlernen einer Strategie zur Lösung von TSP und anderen kombinatorischen Optimierungsproblemen vom Typ Routing.

In diesem Beitrag wird versucht, Heuristiken für die Lösung kombinatorischer Optimierungsprobleme zu erlernen.


We propose an efficient online hyperparameter optimization method which uses a joint dynamical system to evaluate the gradient with respect to the hyperparameters. While similar methods are usually limited to hyperparameters with a smooth impact on the model, we show how to apply it to the probability of dropout in neural networks. Finally, we show its effectiveness on two distinct tasks.

Ein Algorithmus zur Optimierung von Regularisierungs-Hyperparametern während des Trainings.

Die Arbeit schlägt einen Weg vor, um y bei jeder Aktualisierung von Lambda neu zu initialisieren und ein Clipping-Verfahren von y, um die Stabilität des dynamischen Systems zu erhalten.

Schlägt einen Algorithmus zur Hyperparameter-Optimierung vor, der als Erweiterung von Franceschi 2017 angesehen werden kann, bei dem einige Schätzungen warm neu gestartet werden, um die Stabilität der Methode zu erhöhen.

Schlägt eine Erweiterung einer bestehenden Methode zur Optimierung von Regularisierungshyperparametern vor.


Ongoing innovations in recurrent neural network architectures have provided a steady influx of apparently state-of-the-art results on language modelling benchmarks. However, these have been evaluated using differing codebases and limited computational resources, which represent uncontrolled sources of experimental variation. We reevaluate several popular architectures and regularisation methods with large-scale automatic black-box hyperparameter tuning and arrive at the somewhat surprising conclusion that standard LSTM architectures, when properly regularised, outperform more recent models. We establish a new state of the art on the Penn Treebank and Wikitext-2 corpora, as well as strong baselines on the Hutter Prize dataset.

Zeigen Sie, dass LSTMs genauso gut oder besser sind als die jüngsten Innovationen für LM und dass die Modellbewertung oft unzuverlässig ist.

Diese Arbeit beschreibt eine umfassende Validierung von LSTM basierten Wort- und Zeichensprachmodellen, die zu einem bedeutenden Ergebnis in der Sprachmodellierung und einem Meilenstein im Deep Learning führt.


  Residual and skip connections play an important role in many current
  generative models. Although their theoretical and numerical advantages
  are understood, their role in speech enhancement systems has not been
  investigated so far. When performing spectral speech enhancement,
  residual connections are very similar in nature to spectral subtraction,
  which is the one of the most commonly employed speech enhancement approaches.
   Highway networks, on the other hand, can be seen as a combination of spectral
  masking and spectral subtraction. However, when using deep neural networks, such operations would
  normally happen in a transformed spectral domain, as opposed to traditional speech
  enhancement where all operations are often done directly on the spectrum.
   In this paper, we aim to investigate the role of residual and highway
  connections in deep neural networks for speech enhancement, and verify whether
  or not they operate similarly to their traditional, digital signal processing
  counterparts. We visualize the outputs of such connections, projected back to
  the spectral domain, in models trained for speech denoising, and show that while
  skip connections do not necessarily improve performance with regards to the
  number of parameters, they make speech enhancement models more interpretable.

Wir zeigen, wie die Verwendung von Skip Verbindungen Sprachverbesserungsmodelle interpretierbarer machen kann, da sie ähnliche Mechanismen verwenden, die in der DSP Literatur erforscht worden sind.

Die Autoren schlagen vor, Residual-, Highway- und Maskierungsblöcke in eine vollständig gefaltete Pipeline einzubauen, um zu verstehen, wie die iterative Inferenz des Outputs und der Maskierung in einer Sprachverbesserungsaufgabe durchgeführt wird

Die Autoren interpretieren Autobahn-, Rest- und Verdeckungsverbindungen.

Die Autoren erzeugen ihre eigene verrauschte Sprache, indem sie künstlich Rauschen aus einem gut etablierten Rauschdatensatz zu einem weniger bekannten Datensatz mit sauberer Sprache hinzufügen.


Bayesian neural networks (BNNs) hold great promise as a flexible and principled solution to deal with uncertainty when learning from finite data. Among approaches to realize probabilistic inference in deep neural networks, variational Bayes (VB) is theoretically grounded, generally applicable, and computationally efficient. With wide recognition of potential advantages, why is it that variational Bayes has seen very limited practical use for BNNs in real applications? We argue that variational inference in neural networks is fragile: successful implementations require careful initialization and tuning of prior variances, as well as controlling the variance of Monte Carlo gradient estimates. We provide two innovations that aim to turn VB into a robust inference tool for Bayesian neural networks: first, we introduce a novel deterministic method to approximate moments in neural networks, eliminating gradient variance; second, we introduce a hierarchical prior for parameters and a novel Empirical Bayes procedure for automatically selecting prior variances. Combining these two innovations, the resulting method is highly efficient and robust. On the application of heteroscedastic regression we demonstrate good predictive performance over alternative approaches.

Eine Methode zur Eliminierung der Gradientenvarianz und zur automatischen Abstimmung von Prioritäten für ein effektives Training von Bayes'schen Neuronalen Netzen.

Schlägt einen neuen Ansatz vor, um deterministische Variationsinferenz für Feed-Forward BNN mit spezifischen nichtlinearen Aktivierungsfunktionen durch Annäherung der schichtweisen Momente durchzuführen.

Die Arbeit betrachtet einen rein deterministischen Ansatz zum Erlernen von Variationsapproximationen für Bayes'sche neuronale Netze.


Skills learned through (deep) reinforcement learning often generalizes poorly
 across tasks and re-training is necessary when presented with a new task. We
 present a framework that combines techniques in formal methods with reinforcement
 learning (RL) that allows for the convenient specification of complex temporal
 dependent tasks with logical expressions and construction of new skills from existing
 ones with no additional exploration. We provide theoretical results for our
 composition technique and evaluate on a simple grid world simulation as well as
 a robotic manipulation task.

Ein formaler Methodenansatz für die Zusammensetzung von Fähigkeiten in Reinforcement Learning Aufgaben.

Die Arbeit kombiniert RL und Constraints, die durch logische Formeln ausgedrückt werden, indem es eine Automatisierung aus scTLTL-Formeln einrichtet.

Schlägt eine Methode vor, die hilft, Richtlinien aus gelernten Teilaufgaben zum Thema Kombination von RL-Aufgaben mit linearen zeitlogischen Formeln zu konstruieren.


The application of multi-modal generative models by means of a Variational Auto Encoder (VAE) is an upcoming research topic for sensor fusion and bi-directional modality exchange.
 This contribution gives insights into the learned joint latent representation and shows that expressiveness and coherence are decisive properties for multi-modal datasets.
 Furthermore, we propose a multi-modal VAE derived from the full joint marginal log-likelihood that is able to learn the most meaningful representation for ambiguous observations.
 Since the properties of multi-modal sensor setups are essential for our approach but hardly available, we also propose a technique to generate correlated datasets from uni-modal ones.

Ableitung einer allgemeinen Formulierung einer multimodalen VAE aus der gemeinsamen marginalen Log-Likelihood.

Vorschlag einer multimodalen VAE mit einer aus der Kettenregel abgeleiteten Variationsschranke.

In diesem Beitrag wird ein Ziel, M^2VAE, für multimodale VAEs vorgeschlagen, das eine aussagekräftigere latente Raumrepräsentation erlernen soll.


We build on auto-encoding sequential Monte Carlo (AESMC): a method for model and proposal learning based on maximizing the lower bound to the log marginal likelihood in a broad family of structured probabilistic models. Our approach relies on the efficiency of sequential Monte Carlo (SMC) for performing inference in structured probabilistic models and the flexibility of deep neural networks to model complex conditional probability distributions. We develop additional theoretical insights and introduce a new training procedure which improves both model and proposal learning. We demonstrate that our approach provides a fast, easy-to-implement and scalable means for simultaneous model learning and proposal adaptation in deep generative models.

Wir bauen auf der sequenziellen Monte Carlo Methode mit automatischer Kodierung auf, gewinnen neue theoretische Erkenntnisse und entwickeln ein verbessertes Trainingsverfahren auf der Grundlage dieser Erkenntnisse.

Die Arbeit schlägt eine Version des IWAE-Trainings vor, die SMC anstelle des klassischen Wichtigkeits-Samplings verwendet.

In dieser Arbeit wird die automatische Kodierung sequentieller Monte Carlo Verfahren (SMC) vorgeschlagen, die den VAE Rahmen um ein neues Monte Carlo Ziel auf der Grundlage von SMC erweitert.


A key component for many reinforcement learning agents is to learn a value function, either for policy evaluation or control. Many of the algorithms for learning values, however, are designed for linear function approximation---with a fixed basis or fixed representation. Though there have been a few sound extensions to nonlinear function approximation, such as nonlinear gradient temporal difference learning, these methods have largely not been adopted, eschewed in favour of simpler but not sound methods like temporal difference learning and Q-learning. In this work, we provide a two-timescale network (TTN) architecture that enables linear methods to be used to learn values, with a nonlinear representation learned at a slower timescale. The approach facilitates the use of algorithms developed for the linear setting, such as data-efficient least-squares methods, eligibility traces and the myriad of recently developed linear policy evaluation algorithms, to provide nonlinear value estimates. We prove convergence for TTNs, with particular care given to ensure convergence of the fast linear component under potentially dependent features provided by the learned representation. We empirically demonstrate the benefits of TTNs, compared to other nonlinear value function approximation algorithms, both for policy evaluation and control.

Wir schlagen eine Architektur für das Lernen von Wertfunktionen vor, die den Einsatz beliebiger linearer Algorithmen zur Bewertung von Richtlinien in Verbindung mit nichtlinearem Merkmalslernen ermöglicht.

Die Arbeit schlägt einen Rahmen mit zwei Zeitskalen für das Lernen der Wertfunktion und einer Zustandsdarstellung mit nichtlinearen Approximatoren vor.

In diesem Beitrag werden Two-Timescale Networks (TTNs) vorgeschlagen und die Konvergenz dieser Methode mit Methoden der stochastischen Approximation auf zwei Zeitskalen nachgewiesen.

In diesem Beitrag wird ein Two-Timescale Network (TTN) vorgestellt, mit dem lineare Methoden zum Lernen von Werten verwendet werden können.


Large-scale Long Short-Term Memory (LSTM) cells are often the building blocks of many state-of-the-art algorithms for tasks in Natural Language Processing (NLP). However, LSTMs are known to be computationally inefficient because the memory capacity of the models depends on the number of parameters, and the inherent recurrence that models the temporal dependency is not parallelizable. In this paper, we propose simple, but effective, low-rank matrix factorization (MF) algorithms to compress network parameters and significantly speed up LSTMs with almost no loss of performance (and sometimes even gain). To show the effectiveness of our method across different tasks, we examine two settings: 1) compressing core LSTM layers in Language Models, 2) compressing biLSTM layers of ELMo~\citep{ELMo} and evaluate in three downstream NLP tasks (Sentiment Analysis, Textual Entailment, and Question Answering). The latter is particularly interesting as embeddings from large pre-trained biLSTM Language Models are often used as contextual word representations. Finally, we discover that matrix factorization performs better in general, additive recurrence is often more important than multiplicative recurrence, and we identify an interesting correlation between matrix norms and compression performance.

Wir schlagen einfache, aber effektive Algorithmen zur Matrixfaktorisierung (MF) mit niedrigem Rang vor, um die Laufzeit zu beschleunigen, Speicher zu sparen und die Leistung von LSTMs zu verbessern.

Er schlägt vor, LSTM durch die Verwendung von MF als Nachbearbeitungs-Kompressionsstrategie zu beschleunigen und führt umfangreiche Experimente durch, um die Leistung zu zeigen.


Manipulation and re-use of images in scientific publications is a recurring problem, at present lacking a scalable solution.   Existing tools for detecting image duplication are mostly manual or semi-automated, despite the fact that generating data for a learning-based approach is straightforward, as we here illustrate. This paper addresses the problem of determining if, given two images, one is a manipulated version of the other by means of certain geometric and statistical manipulations, e.g. copy, rotation, translation, scale, perspective transform, histogram adjustment, partial erasing, and compression artifacts. We propose a solution based on a 3-branch Siamese Convolutional Neural Network. The ConvNet model is trained to map images into a 128-dimensional space, where the Euclidean distance between duplicate (respectively, unique) images is no greater (respectively, greater) than 1. Our results suggest that such an approach can serve as tool to improve surveillance of the published and in-peer-review literature for image manipulation. We also show that as a byproduct the network learns useful representations for semantic segmentation, with performance comparable to that of domain-specific models.

Eine forensische Metrik zur Bestimmung, ob ein bestimmtes Bild eine Kopie (mit möglicher Manipulation) eines anderen Bildes aus einem bestimmten Datensatz ist.

Einführung des siamesischen Netzwerks zur Identifizierung von doppelten und kopierten/veränderten Bildern, das zur Verbesserung der Überwachung der veröffentlichten und begutachteten Literatur eingesetzt werden kann.

Die Arbeit präsentiert eine Anwendung von tiefen Convolutional Networks für die Aufgabe der Erkennung von Bildduplikaten.

Diese Arbeit befasst sich mit dem Problem des Auffindens von doppelten/fast doppelten Bildern aus biomedizinischen Veröffentlichungen und schlägt ein Standard-CNN und Verlustfunktionen vor und wendet sie auf diesen Bereich an.


Training generative adversarial networks is unstable in high-dimensions as the true data distribution tends to be concentrated in a small fraction of the ambient space. The discriminator is then quickly able to classify nearly all generated samples as fake, leaving the generator without meaningful gradients and causing it to deteriorate after a point in training. In this work, we propose training a single generator simultaneously against an array of discriminators, each of which looks at a different random low-dimensional projection of the data. Individual discriminators, now provided with restricted views of the input, are unable to reject generated samples perfectly and continue to provide meaningful gradients to the generator throughout training.   Meanwhile, the generator learns to produce samples consistent with the full data distribution to satisfy all discriminators simultaneously. We  demonstrate the practical utility of this approach experimentally, and show that it is able to produce image samples with higher quality than traditional training with a single discriminator.

Stabiles GAN-Training in hohen Dimensionen durch Verwendung eines Arrays von Diskriminatoren, jeder mit einer niedrigdimensionalen Ansicht der erzeugten Beispiele.

In dem Beitrag wird vorgeschlagen, das GAN-Training zu stabilisieren, indem ein Ensemble von Diskriminatoren verwendet wird, von denen jeder auf einer zufälligen Projektion der Eingabedaten arbeitet, um das Trainingssignal für das Generatormodell zu liefern.

In der Arbeit wird eine GAN-Trainingsmethode zur Verbesserung der Trainingsstabilität vorgeschlagen.

In dem Beitrag wird ein neuer Ansatz für das GAN-Training vorgeschlagen, der stabile Gradienten für das Training des Generators liefert.


We present a novel method to precisely impose tree-structured category information onto word-embeddings, resulting in ball embeddings in higher dimensional spaces (N-balls for short). Inclusion relations among N-balls implicitly encode subordinate relations among categories. The similarity measurement in terms of the cosine function is enriched by category information. Using a geometric construction method instead of back-propagation, we create large N-ball embeddings that satisfy two conditions: (1) category trees are precisely imposed onto word embeddings at zero energy cost; (2) pre-trained word embeddings are well preserved. A new benchmark data set is created for validating the category of unknown words. Experiments show that N-ball embeddings, carrying category information, significantly outperform word embeddings in the test of nearest neighborhoods, and demonstrate surprisingly good performance in validating categories of unknown words. Source codes and data-sets are free for public access \url{https://github.com/gnodisnait/nball4tree.git} and \url{https://github.com/gnodisnait/bp94nball.git}.

Zeigen wir eine geometrische Methode zur perfekten Kodierung von Kategoriebaum-Informationen in vortrainierte Worteinbettungen.

Die Arbeit schlägt eine N-Ball-Einbettung für taxonomische Daten vor, wobei ein N-Ball ein Paar aus einem Schwerpunktvektor und dem Radius vom Zentrum ist.

In diesem Beitrag wird eine Methode vorgestellt, mit der bestehende Vektoreinbettungen von kategorialen Objekten (wie z. B. Wörtern) so verändert werden können, dass sie in Balleinbettungen umgewandelt werden, die Hierarchien folgen.

Konzentriert sich auf die Anpassung der vortrainierten Worteinbettungen, so dass sie die Hypernymie/Hyponymie-Beziehung durch geeignete n-ball Kapselung respektieren.


For the challenging semantic image segmentation task the best performing models
 have traditionally combined the structured modelling capabilities of Conditional
 Random Fields (CRFs) with the feature extraction power of CNNs. In more recent
 works however, CRF post-processing has fallen out of favour. We argue that this
 is mainly due to the slow training and inference speeds of CRFs, as well as the
 difficulty of learning the internal CRF parameters. To overcome both issues we
 propose to add the assumption of conditional independence to the framework of
 fully-connected CRFs. This allows us to reformulate the inference in terms of
 convolutions, which can be implemented highly efficiently on GPUs.Doing so
 speeds up inference and training by two orders of magnitude. All parameters of
 the convolutional CRFs can easily be optimized using backpropagation. Towards
 the goal of facilitating further CRF research we have made our implementations
 publicly available.

Wir schlagen Convolutional CRFs als schnelle, leistungsstarke und trainierbare Alternative zu Fully Connected CRFs vor.

Die Autoren ersetzen den großen Filterschritt im permutoförmigen Gitter durch einen räumlich variierenden Convolutional Kernel und zeigen, dass die Inferenz effizienter und das Training einfacher ist.

Schlägt vor, die Nachrichtenübermittlung auf einer CRF mit abgeschnittenem Gauß-Kernel unter Verwendung eines definierten Kernels und parallelisierter Nachrichtenübermittlung auf einer GPU durchzuführen.


Deep Learning NLP domain lacks procedures for the analysis of model robustness. In this paper we propose a framework which validates robustness of any Question Answering model through model explainers. We propose that output of a robust model should be invariant to alterations that do not change its semantics. We test this property by manipulating question in two ways: swapping important question word for 1) its semantically correct synonym and 2) for word vector that is close in embedding space. We estimate importance of words in asked questions with Locally Interpretable Model Agnostic Explanations method (LIME). With these two steps we compare state-of-the-art Q&A models. We show that although accuracy of state-of-the-art models is high, they are very fragile to changes in the input. We can choose architecture that is more immune to attacks and thus more robust and stable in production environment. Morevoer, we propose 2 adversarial training scenarios which raise model sensitivity to true synonyms by up to 7% accuracy measure. Our findings help to understand which models are more stable and how they can be improved. In addition, we have created and published a new dataset that may be used for validation of robustness of a Q&A model.

Wir schlagen einen modellunabhängigen Ansatz zur Validierung der Robustheit von Q&A-Systemen vor und demonstrieren die Ergebnisse anhand modernster Q&A-Modelle.

Befasst sich mit dem Problem der Robustheit gegenüber gegnerischen Informationen bei der Beantwortung von Fragen.

Verbesserung der Robustheit des maschinellen Verstehens/Fragenbeantwortens.


In this paper, we propose a mix-generator generative adversarial networks (PGAN) model that works in parallel by mixing multiple disjoint generators to approximate a complex real distribution. In our model, we propose an adjustment component that collects all the generated data points from the generators, learns the boundary between each pair of generators, and provides error to separate the support of each of the generated distributions. To overcome the instability in a multiplayer game, a shrinkage adjustment component method is introduced to gradually reduce the boundary between generators during the training procedure. To address the linearly growing training time problem in a multiple generators model, we propose a method to train the generators in parallel. This means that our work can be scaled up to large parallel computation frameworks. We present an efficient loss function for the discriminator, an effective adjustment component, and a suitable generator. We also show how to introduce the decay factor to stabilize the training procedure. We have performed extensive experiments on synthetic datasets, MNIST, and CIFAR-10. These experiments reveal that the error provided by the adjustment component could successfully separate the generated distributions and each of the generators can stably learn a part of the real distribution even if only a few modes are contained in the real distribution.

Multi-Generator zur Erfassung von Pdata, zur Lösung des Wettbewerbs und des One-beat-all-Problems.

Schlägt parallele GANs vor, um durch eine Kombination mehrerer schwacher Generatoren einen Moduskollaps in GANs zu vermeiden.


We capitalize on the natural compositional structure of images in order to learn object segmentation with weakly labeled images. The intuition behind our approach is that removing objects from images will yield natural images, however removing random patches will yield unnatural images. We leverage this signal to develop a generative model that decomposes an image into layers, and when all layers are combined, it reconstructs the input image. However, when a layer is removed, the model learns to produce a different image that still looks natural to an adversary, which is possible by removing objects. Experiments and visualizations suggest that this model automatically learns object segmentation on images labeled only by scene better than baselines.

Schwach überwachte Bildsegmentierung unter Verwendung der kompositorischen Struktur von Bildern und generativen Modellen.

In diesem Beitrag wird eine mehrschichtige Darstellung erstellt, um die Segmentierung von unbeschrifteten Bildern besser zu lernen.

In dieser Arbeit wird ein generatives Modell auf GAN-Basis vorgeschlagen, das Bilder in mehrere Schichten zerlegt, wobei das Ziel des GAN darin besteht, echte Bilder von Bildern zu unterscheiden, die durch die Kombination der Schichten entstehen.

In diesem Beitrag wird eine neuronale Netzarchitektur vorgeschlagen, die auf der Idee einer mehrschichtigen Szenenkomposition basiert.


Adversarial examples are a pervasive phenomenon of machine learning models where seemingly imperceptible perturbations to the input lead to misclassifications for otherwise statistically accurate models. We propose a geometric framework, drawing on tools from the manifold reconstruction literature, to analyze the high-dimensional geometry of adversarial examples. In particular, we highlight the importance of codimension: for low-dimensional data manifolds embedded in high-dimensional space there are many directions off the manifold in which to construct adversarial examples. Adversarial examples are a natural consequence of learning a decision boundary that classifies the low-dimensional data manifold well, but classifies points near the manifold incorrectly. Using our geometric framework we prove (1) a tradeoff between robustness under different norms, (2) that adversarial training in balls around the data is sample inefficient, and (3) sufficient sampling conditions under which nearest neighbor classifiers and ball-based adversarial training are robust.

Wir stellen einen geometrischen Rahmen für den Nachweis von Robustheitsgarantien vor und heben die Bedeutung der Kodimension in gegnerischen Beispielen hervor.

In dieser Arbeit wird eine theoretische Analyse von adversarial Beispielen durchgeführt, die zeigt, dass es einen Kompromiss zwischen der Robustheit in verschiedenen Normen gibt, dass adversarial Training ineffizient ist und dass der Nearest Neighbor Classifier unter bestimmten Bedingungen robust sein kann.


Character-based neural machine translation (NMT) models alleviate out-of-vocabulary issues, learn morphology, and move us closer to completely end-to-end translation systems.   Unfortunately, they are also very brittle and easily falter when presented with noisy data. In this paper, we confront NMT models with synthetic and natural sources of noise. We find that state-of-the-art models fail to translate even moderately noisy texts that humans have no trouble comprehending. We explore two approaches to increase model robustness: structure-invariant word representations and robust training on noisy texts. We find that a model based on a character convolutional neural network is able to simultaneously learn representations robust to multiple kinds of noise.

In dieser Arbeit werden die Auswirkungen von Rauschen auf Zeichenebene auf 4 verschiedene neuronale maschinelle Übersetzungssysteme untersucht.

In dieser Arbeit wird die Leistung von NMT-Systemen auf Zeichenebene angesichts von synthetischen und natürlichen Geräuschen auf Zeichenebene empirisch untersucht.

Diese Arbeit untersucht die Auswirkungen von verrauschten Eingaben auf die maschinelle Übersetzung und testet Möglichkeiten, NMT-Modelle robuster zu machen.


As neural networks grow deeper and wider, learning networks with hard-threshold activations is becoming increasingly important, both for network quantization, which can drastically reduce time and energy requirements, and for creating large integrated systems of deep networks, which may have non-differentiable components and must avoid vanishing and exploding gradients for effective learning. However, since gradient descent is not applicable to hard-threshold functions, it is not clear how to learn them in a principled way. We address this problem by observing that setting targets for hard-threshold hidden units in order to minimize loss is a discrete optimization problem, and can be solved as such. The discrete optimization goal is to find a set of targets such that each unit, including the output, has a linearly separable problem to solve. Given these targets, the network decomposes into individual perceptrons, which can then be learned with standard convex approaches. Based on this, we develop a recursive mini-batch algorithm for learning deep hard-threshold networks that includes the popular but poorly justified straight-through estimator as a special case. Empirically, we show that our algorithm improves classification accuracy in a number of settings, including for AlexNet and ResNet-18 on ImageNet, when compared to the straight-through estimator.

Wir lernen tiefe Netzwerke von Einheiten mit harten Schwellenwerten, indem wir Ziele für versteckte Einheiten durch kombinatorische Optimierung und Gewichte durch konvexe Optimierung festlegen, was zu einer verbesserten Leistung bei ImageNet führt.

Die Arbeit erklärt und verallgemeinert Ansätze zum Lernen neuronaler Netze mit harter Aktivierung.

In dieser Arbeit wird das Problem der Optimierung von tiefen Netzen mit hartschwelligen Einheiten untersucht.

Die Arbeit erörtert das Problem der Optimierung neuronaler Netze mit harten Schwellenwerten und schlägt eine neuartige Lösung mit einer Sammlung von Heuristiken/Annäherungen dafür vor.


The robust and efficient recognition of visual relations in images is a hallmark of biological vision. Here, we argue that, despite recent progress in visual recognition, modern machine vision algorithms are severely limited in their ability to learn visual relations. Through controlled experiments, we demonstrate that visual-relation problems strain convolutional neural networks (CNNs). The networks eventually break altogether when rote memorization becomes impossible such as when the intra-class variability exceeds their capacity. We further show that another type of feedforward network, called a relational network (RN), which was shown to successfully solve seemingly difficult visual question answering (VQA) problems on the CLEVR datasets, suffers similar limitations. Motivated by the comparable success of biological vision, we argue that feedback mechanisms including working memory and attention are the key computational components underlying abstract visual reasoning.

Anhand einer neuartigen, kontrollierten visuellen Beziehungsaufgabe zeigen wir, dass gleich-unterschiedliche Aufgaben die Kapazität von CNNs kritisch belasten; wir argumentieren, dass visuelle Beziehungen mit Hilfe von Aufmerksamkeits-Gedächtnisstrategien besser gelöst werden können.

Zeigt, dass Convolutional und relationale neuronale Netze visuelle Beziehungsprobleme nicht lösen können, indem die Netze mit künstlich erzeugten visuellen Beziehungsdaten trainiert werden.

In diesem Beitrag wird untersucht, wie aktuelle CNNs und Relationale Netzwerke visuelle Beziehungen in Bildern nicht erkennen können.


Visual Active Tracking (VAT) aims at following a target object by autonomously controlling the motion system of a tracker given visual observations. Previous work has shown that the tracker can be trained in a simulator via reinforcement learning and deployed in real-world scenarios. However, during training, such a method requires manually specifying the moving path of the target object to be tracked, which cannot ensure the tracker’s generalization on the unseen object moving patterns. To learn a robust tracker for VAT, in this paper, we propose a novel adversarial RL method which adopts an Asymmetric Dueling mechanism, referred to as AD-VAT. In AD-VAT, both the tracker and the target are approximated by end-to-end neural networks, and are trained via RL in a dueling/competitive manner: i.e., the tracker intends to lockup the target, while the target tries to escape from the tracker. They are asymmetric in that the target is aware of the tracker, but not vice versa. Specifically, besides its own observation, the target is fed with the tracker’s observation and action, and learns to predict the tracker’s reward as an auxiliary task. We show that such an asymmetric dueling mechanism produces a stronger target, which in turn induces a more robust tracker. To stabilize the training, we also propose a novel partial zero-sum reward for the tracker/target. The experimental results, in both 2D and 3D environments, demonstrate that the proposed method leads to a faster convergence in training and yields more robust tracking behaviors in different testing scenarios. For supplementary videos, see: https://www.youtube.com/playlist?list=PL9rZj4Mea7wOZkdajK1TsprRg8iUf51BS
 The code is available at https://github.com/zfw1226/active_tracking_rl

Wir schlagen AD-VAT vor, bei dem der Tracker und das Zielobjekt, die als zwei lernfähige Agenten betrachtet werden, Gegner sind und sich während des Trainings gegenseitig verbessern können.

Diese Arbeit zielt darauf ab, das visuelle aktive Verfolgungsproblem mit einem Trainingsmechanismus anzugehen, bei dem der Tracker und das Ziel als gegenseitige Gegner dienen.

In diesem Beitrag wird eine einfache Multi-Agenten-Deep-RL-Aufgabe vorgestellt, bei der ein beweglicher Tracker versucht, einem beweglichen Ziel zu folgen.

Er schlägt eine neuartige Belohnungsfunktion vor - eine "partielle Nullsumme", die den Wettbewerb zwischen Tracker und Ziel nur dann fördert, wenn sie sich nahe beieinander befinden, und bestraft, wenn sie zu weit entfernt sind.


Identifying the hypernym relations that hold between words is a fundamental task in NLP. Word embedding methods have recently shown some capability to encode hypernymy. However, such methods tend not to explicitly encode the hypernym hierarchy that exists between words. In this paper, we propose a method to learn a hierarchical word embedding in a speciﬁc order to capture the hypernymy. To learn the word embeddings, the proposed method considers not only the hypernym relations that exists between words on a taxonomy, but also their contextual information in a large text corpus. The experimental results on a supervised hypernymy detection and a newly-proposed hierarchical path completion tasks show the ability of the proposed method to encode the hierarchy. Moreover, the proposed method outperforms previously proposed methods for learning word and hypernym-speciﬁc word embeddings on multiple benchmarks.

Wir präsentierten eine Methode zum gemeinsamen Erlernen einer hierarchischen Worteinbettung (Hierarchical Word Embedding, HWE) unter Verwendung eines Korpus und einer Taxonomie zur Identifizierung der hypernymischen Beziehungen zwischen Wörtern.

In diesem Beitrag wird eine Methode zum gemeinsamen Lernen von Worteinbettungen unter Verwendung von Koinzidenzstatistiken und unter Einbeziehung von hierarchischen Informationen aus semantischen Netzwerken vorgestellt.

In dieser Arbeit wird eine gemeinsame Lernmethode für Hypernyme aus Rohtext und überwachten Taxonomiedaten vorgeschlagen.

In diesem Beitrag wird vorgeschlagen, dem GloVE Ziel ein Maß für die "distributionelle Einschlussdifferenz" hinzuzufügen, um Hypernym-Relationen darzustellen.


While self-organizing principles have motivated much of early learning models, such principles have rarely been included in deep learning architectures. Indeed, from a supervised learning perspective it seems that topographic constraints are rather decremental to optimal performance. Here we study a network model that incorporates self-organizing maps into a supervised network and show how gradient learning results in a form of a self-organizing learning rule. Moreover, we show that such a model is robust in the sense of its application to a variety of  areas, which is believed to be a hallmark of biological learning systems.

Integration von Selbstorganisation und überwachtem Lernen in einem hierarchischen neuronalen Netz.

Der Beitrag diskutiert das Lernen in einem neuronalen Netz mit drei Schichten, wobei die mittlere Schicht topographisch organisiert ist, und untersucht das Zusammenspiel von unbeaufsichtigtem und hierarchisch überwachtem Lernen im biologischen Kontext.

Eine überwachte Variante der selbstorganisierenden Karte (SOM) von Kohonen, bei der jedoch die lineare Ausgabeschicht mit quadratischem Fehler durch eine Softmax-Schicht mit Cross-Entropy ersetzt wird.

Schlägt ein Modell mit versteckten Neuronen mit selbstorganisierender Aktivierungsfunktion vor, deren Ausgänge einen Klassifikator mit Softmax-Ausgangsfunktion speisen.


Quantization of a neural network has an inherent problem called accumulated quantization error, which is the key obstacle towards ultra-low precision, e.g., 2- or 3-bit precision. To resolve this problem, we propose precision highway, which forms an end-to-end high-precision information flow while performing the ultra-low-precision computation. First, we describe how the precision highway reduce the accumulated quantization error in both convolutional and recurrent neural networks. We also provide the quantitative analysis of the benefit of precision highway and evaluate the overhead on the state-of-the-art hardware accelerator. In the experiments, our proposed method outperforms the best existing quantization methods while offering 3-bit weight/activation quantization with no accuracy loss and 2-bit quantization with a 2.45 % top-1 accuracy loss in ResNet-50. We also report that the proposed method significantly outperforms the existing method in the 2-bit quantization of an LSTM for language modeling.

Präzisionsautobahn; ein verallgemeinertes Konzept des hochpräzisen Informationsflusses für Sub 4-Bit Quantisierung .

Untersucht das Problem der Quantisierung neuronaler Netze durch den Einsatz eines Präzisions-Highways von Ende-zu-Ende, um den akkumulierten Quantisierungsfehler zu reduzieren und eine extrem niedrige Präzision in tiefen neuronalen Netzen zu ermöglichen.

Diese Arbeit untersucht Methoden zur Verbesserung der Leistung quantisierter neuronaler Netze.

In diesem Beitrag wird vorgeschlagen, einen hohen Aktivierungs-/Gradientenfluss in zwei Arten von Netzwerkstrukturen, ResNet und LSTM, beizubehalten.


The vast majority of natural sensory data is temporally redundant. For instance, video frames or audio samples which are sampled at nearby points in time tend to have similar values.   Typically, deep learning algorithms take no advantage of this redundancy to reduce computations.   This can be an obscene waste of energy.   We present a variant on backpropagation for neural networks in which computation scales with the rate of change of the data - not the rate at which we process the data.   We do this by implementing a form of Predictive Coding wherein neurons communicate a combination of their state, and their temporal change in state, and quantize this signal using Sigma-Delta modulation.   Intriguingly, this simple communication rule give rise to units that resemble biologically-inspired leaky integrate-and-fire neurons, and to a spike-timing-dependent weight-update similar to Spike-Timing Dependent Plasticity (STDP), a synaptic learning rule observed in the brain.   We demonstrate that on MNIST, on a temporal variant of MNIST, and on Youtube-BB, a dataset with videos in the wild, our algorithm performs about as well as a standard deep network trained with backpropagation, despite only communicating discrete values between layers.

Ein Algorithmus zum effizienten Training neuronaler Netze auf zeitlich redundanten Daten.

Die Arbeit beschreibt ein neuronales Kodierungsschema für spike-basiertes Lernen in tiefen neuronalen Netzen.

In diesem Beitrag wird eine Methode für spike-basiertes Lernen vorgestellt, die darauf abzielt, den Rechenaufwand beim Lernen und Testen zu reduzieren, wenn zeitlich redundante Daten klassifiziert werden.

In dieser Arbeit wird eine prädiktive Kodierungsversion des Sigma-Delta-Kodierungsschemas angewandt, um die Rechenlast eines Deep-Learning-Netzes zu verringern, wobei die drei Komponenten in einer bisher unbekannten Weise kombiniert werden.


Information bottleneck (IB) is a method for extracting information from one random variable X that is relevant for predicting another random variable Y. To do so, IB identifies an intermediate "bottleneck" variable T that has low mutual information I(X;T) and high mutual information I(Y;T). The "IB curve" characterizes the set of bottleneck variables that achieve maximal I(Y;T) for a given I(X;T), and is typically explored by maximizing the "IB Lagrangian", I(Y;T) - βI(X;T). In some cases, Y is a deterministic function of X, including many classification problems in supervised learning where the output class Y is a deterministic function of the input X. We demonstrate three caveats when using IB in any situation where Y is a deterministic function of X: (1) the IB curve cannot be recovered by maximizing the IB Lagrangian for different values of β; (2) there are "uninteresting" trivial solutions at all points of the IB curve; and (3) for multi-layer classifiers that achieve low prediction error, different layers cannot exhibit a strict trade-off between compression and prediction, contrary to a recent proposal. We also show that when Y is a small perturbation away from being a deterministic function of X, these three caveats arise in an approximate way. To address problem (1), we propose a functional that, unlike the IB Lagrangian, can recover the IB curve in all cases. We demonstrate the three caveats on the MNIST dataset.

Informationsengpässe verhalten sich auf überraschende Weise, wenn der Output eine deterministische Funktion des Inputs ist.

Argumentiert, dass die meisten realen Klassifizierungsprobleme eine solche deterministische Beziehung zwischen den Klassenbezeichnungen und den Eingaben X aufweisen, und untersucht mehrere Probleme, die sich aus solchen Pathologien ergeben.

Untersuchung von Problemen, die bei der Anwendung von Konzepten des Informationsengpasses auf deterministische überwachte Lernmodelle auftreten.

Die Autoren erläutern mehrere kontraintuitive Verhaltensweisen der Informationsengpass-Methode für das überwachte Lernen einer deterministischen Regel.


We prove, under two sufficient conditions, that idealised models can have no adversarial examples. We discuss which idealised models satisfy our conditions, and show that idealised Bayesian neural networks (BNNs) satisfy these. We continue by studying near-idealised BNNs using HMC inference, demonstrating the theoretical ideas in practice. We experiment with HMC on synthetic data derived from MNIST for which we know the ground-truth image density, showing that near-perfect epistemic uncertainty correlates to density under image manifold, and that adversarial images lie off the manifold in our setting. This suggests why MC dropout, which can be seen as performing approximate inference, has been observed to be an effective defence against adversarial examples in practice; We highlight failure-cases of non-idealised BNNs relying on dropout, suggesting a new attack for dropout models and a new defence as well. Lastly, we demonstrate the defence on a cats-vs-dogs image classification task with a VGG13 variant.

Wir beweisen, dass idealisierte Bayes'sche neuronale Netze keine gegnerischen Beispiele haben können, und geben empirische Beweise mit realen BNNs.

Die Arbeit untersucht die Robustheit von Bayes'schen Klassifizierern gegenüber widrigen Umständen und nennt zwei Bedingungen, die nachweislich ausreichen, damit "idealisierte Modelle" auf "idealisierten Datensätzen" keine adversarial Beispiele haben.

Die Arbeit stellt eine Klasse von diskriminativen Bayes'schen Klassifikatoren vor, die keine gegnerischen Beispiele haben.


Deep neural networks are susceptible to adversarial attacks. In computer vision, well-crafted perturbations to images can cause neural networks to make mistakes such as confusing a cat with a computer. Previous adversarial attacks have been designed to degrade performance of models or cause machine learning models to produce specific outputs chosen ahead of time by the attacker. We introduce attacks that instead reprogram the target model to perform a task chosen by the attacker without the attacker needing to specify or compute the desired output for each test-time input. This attack finds a single adversarial perturbation, that can be added to all test-time inputs to a machine learning model in order to cause the model to perform a task chosen by the adversary—even if the model was not trained to do this task. These perturbations can thus be considered a program for the new task. We demonstrate adversarial reprogramming on six ImageNet classification models, repurposing these models to perform a counting task, as well as classification tasks: classification of MNIST and CIFAR-10 examples presented as inputs to the ImageNet model.

Wir stellen die erste Instanz von adversarial Angriffen vor, die das Zielmodell so umprogrammieren, dass es eine vom Angreifer gewählte Aufgabe ausführt - ohne dass der Angreifer die gewünschte Ausgabe für jede Testzeiteingabe angeben oder berechnen muss.

Die Autoren stellen ein neuartiges adversarial Angriffsschema vor, bei dem ein neuronales Netz umfunktioniert wird, um eine andere Aufgabe zu erfüllen als die, für die es ursprünglich trainiert wurde.

In diesem Beitrag wird die "adversarial Umprogrammierung" von gut trainierten und festen neuronalen Netzen vorgeschlagen und gezeigt, dass die adversarial Umprogrammierung bei untrainierten Netzen weniger effektiv ist.

Die Arbeit erweitert die Idee der "adversarial Angriffe" beim überwachten Lernen von NNs auf eine vollständige Umwidmung der Lösung eines trainierten Netzes.


As shown in recent research, deep neural networks can perfectly fit randomly labeled data, but with very poor accuracy on held out data. This phenomenon indicates that loss functions such as cross-entropy are not a reliable indicator of generalization. This leads to the crucial question of how generalization gap should be predicted from the training data and network parameters. In this paper, we propose such a measure, and conduct extensive empirical studies on how well it can predict the generalization gap. Our measure is based on the concept of margin distribution, which are the distances of training points to the decision boundary. We find that it is necessary to use margin distributions at multiple layers of a deep network. On the CIFAR-10 and the CIFAR-100 datasets, our proposed measure correlates very strongly with the generalization gap. In addition, we find the following other factors to be of importance: normalizing margin values for scale independence, using characterizations of margin distribution rather than just the margin (closest distance to decision boundary), and working in log space instead of linear space (effectively using a product of margins rather than a sum).
 Our measure can be easily applied to feedforward deep networks with any architecture and may point towards new training loss functions that could enable better generalization.

Wir entwickeln ein neues Verfahren, um die Generalisierungslücke in tiefen Netzen mit hoher Genauigkeit vorherzusagen.

Die Autoren schlagen vor, eine geometrische Marge und eine schichtweise Margenverteilung zur Vorhersage der Generalisierungslücke zu verwenden.

Empirisch zeigt sich ein interessanter Zusammenhang zwischen den vorgeschlagenen Margin-Statistiken und der Generalisierungslücke, der genutzt werden kann, um einige präskriptive Erkenntnisse zum Verständnis der Generalisierung in tiefen neuronalen Netzen zu liefern.


We propose a new algorithm to learn a one-hidden-layer convolutional neural network where both the convolutional weights and the outputs weights are parameters to be learned. Our algorithm works for a general class of (potentially overlapping) patches, including commonly used structures for computer vision tasks. Our algorithm draws ideas from (1) isotonic regression for learning neural networks and (2) landscape analysis of non-convex matrix factorization problems. We believe these findings may inspire further development in designing provable algorithms for learning neural networks and other complex models. While our focus is theoretical, we also present experiments that illustrate our theoretical findings.

Wir schlagen einen Algorithmus zur beweisbaren Wiederherstellung von Parametern (Convolutional und Ausgangsgewichte) eines Convolutional Networks mit überlappenden Patches vor.

In dieser Arbeit wird das theoretische Lernen von einschichtigen Convolutional Neural Networks untersucht. Das Ergebnis ist ein Lernalgorithmus und nachweisbare Garantien, die diesen Algorithmus verwenden.

In diesem Beitrag wird ein neuer Algorithmus für das Lernen eines zweischichtigen neuronalen Netzes vorgestellt, der einen einzigen Convolutional Filter und einen Gewichtsvektor für verschiedene Orte umfasst.


Since their invention, generative adversarial networks (GANs) have become a popular approach for learning to model a distribution of real (unlabeled) data. Convergence problems during training are overcome by Wasserstein GANs which minimize the distance between the model and the empirical distribution in terms of a different metric, but thereby introduce a Lipschitz constraint into the optimization problem. A simple way to enforce the Lipschitz constraint on the class of functions, which can be modeled by the neural network, is weight clipping. Augmenting the loss by a regularization term that penalizes the deviation of the gradient norm of the critic (as a function of the network's input) from one, was proposed as an alternative that improves training. We present theoretical arguments why using a weaker regularization term enforcing the Lipschitz constraint is preferable. These arguments are supported by experimental results on several data sets.

Ein neuer Regularisierungsbegriff kann das Training von Wasserstein GANs verbessern.

Die Arbeit schlägt ein Regularisierungsschema für Wasserstein GAN vor, das auf einer Lockerung der Beschränkungen der Lipschitz-Konstante von 1 basiert.

Der Artikel befasst sich mit der Regularisierung/Bestrafung bei der Anpassung von GANs, wenn diese auf einer L_1 Wasserstein-Metrik basieren.


We introduce a new method for training GANs by applying the Wasserstein-2 metric proximal on the generators.
 The approach is based on the gradient operator induced by optimal transport, which connects the geometry of sample space and parameter space in implicit deep generative models. From this theory, we obtain an easy-to-implement regularizer for the parameter updates. Our experiments demonstrate that this method improves the speed and stability in training GANs in terms of wall-clock time and Fr\'echet Inception Distance (FID) learning curves.

Wir schlagen die Wasserstein-Proximal-Methode für das Training von GANs vor.

Schlägt ein neues GAN-Verfahren vor, das die in der vorangegangenen Iteration erzeugten Punkte berücksichtigt und den Generator aktualisiert, der l-mal auszuführen ist.

Betrachtet das natürliche Gradientenlernen beim GAN-Lernen, wobei die durch den Wasserstein-2-Abstand induzierte Riemannsche Struktur verwendet wird.

Die Arbeit beabsichtigt, den durch die Wasserstein-2-Distanz induzierten natürlichen Gradienten zu nutzen, um den Generator im GAN zu trainieren, und die Autoren schlagen den Wasserstein-Proximaloperator als Regularisierung vor.


Influence diagrams provide a modeling and inference framework for sequential decision problems, representing the probabilistic knowledge by a Bayesian network and the preferences of an agent by utility functions over the random variables and decision variables.
 MDPs and POMDPS, widely used for planning under uncertainty can also be represented by influence diagrams.
 The time and space complexity of computing the maximum expected utility (MEU) and its maximizing policy is exponential in the induced width of the underlying graphical model, which is often prohibitively large due to the growth of the information set under the sequence of decisions.
 In this paper, we develop a weighted mini-bucket approach for bounding the MEU.  These bounds can be used as a stand-alone approximation that can be improved as a function of a controlling i-bound parameter .
They can also be used as heuristic  functions to guide search, especially for planning
 such as MDPs and POMDPs.
 We evaluate the scheme empirically against state-of-the-art, thus illustrating its potential.

In diesem Beitrag wird eine auf Eliminierung basierende heuristische Funktion für die sequentielle Entscheidungsfindung vorgestellt, die sich zur Steuerung von AND/OR-Suchalgorithmen zur Lösung von Einflussdiagrammen eignet.

Verallgemeinert die Minibuckets-Inferenzheuristik auf Einflussdiagramme.


Probabilistic Neural Networks deal with various sources of stochasticity: input noise, dropout, stochastic neurons, parameter uncertainties modeled as random variables, etc.
 In this paper we revisit a feed-forward propagation approach that allows one to estimate for each neuron its mean and variance w.r.t. all mentioned sources of stochasticity. In contrast, standard NNs propagate only point estimates, discarding the uncertainty.
 Methods propagating also the variance have been proposed by several authors in different context. The view presented here attempts to clarify the assumptions and derivation behind such methods, relate them to classical NNs and broaden their scope of applicability.
 The main technical contributions are new approximations for the distributions of argmax and max-related transforms, which allow for fully analytic uncertainty propagation in networks with softmax and max-pooling layers as well as leaky ReLU activations.
 We evaluate the accuracy of the approximation and suggest a simple calibration. Applying the method to networks with dropout allows for faster training and gives improved test likelihoods without the need of sampling.

Annäherung von Mittelwert und Varianz des NN-Outputs bei verrauschtem Input / Dropout / unsicheren Parametern. Analytische Approximationen für Argmax-, Softmax- und Max-Schichten.

Die Autoren konzentrieren sich auf das Problem der Unsicherheitsfortpflanzung in DNN.

In diesem Beitrag wird die Feed-Forward Ausbreitung von Mittelwert und Varianz in Neuronen neu betrachtet, indem das Problem der Ausbreitung von Unsicherheit durch Max-Pooling Schichten und Softmax behandelt wird.


Generative Adversarial Networks are one of the leading tools in generative modeling, image editing and content creation.
 However, they are hard to train as they require a delicate balancing act between two deep networks fighting a never ending duel. Some of the most promising adversarial models today minimize a Wasserstein objective. It is smoother and more stable to optimize. In this paper, we show that the Wasserstein distance is just one out of a large family of objective functions that yield these properties. By making the discriminator of a GAN robust to adversarial attacks we can turn any GAN objective into a smooth and stable loss. We experimentally show that any GAN objective, including Wasserstein GANs, benefit from adversarial robustness both quantitatively and qualitatively. The training additionally becomes more robust to suboptimal choices of hyperparameters, model architectures, or objective functions.

Ein Diskriminator, der sich nicht so leicht durch adversarial Beispiele täuschen lässt, macht das GAN-Training robuster und führt zu einem glatteren Ziel.

Dieser Beitrag schlägt einen neuen Weg vor, um den Trainingsprozess von GAN zu stabilisieren, indem der Diskriminator so reguliert wird, dass er gegenüber adversarial Beispielen robust ist.

Die Arbeit schlägt eine systematische Methode für das Training von GANs mit Robustheits-Regularisierungs Terms vor, die ein reibungsloseres Training von GANs ermöglicht.

Es wird die Idee vorgestellt, dass das GAN Ziel durch die Robustheit eines Diskriminators gegenüber negativen Störungen geglättet werden kann, was zu besseren Ergebnissen sowohl visuell als auch in Bezug auf die FID führt.


We propose a method to learn stochastic activation functions for use in probabilistic neural networks.
 First, we develop a framework to embed stochastic activation functions based on Gaussian processes in probabilistic neural networks.
 Second, we analytically derive expressions for the propagation of means and covariances in such a network, thus allowing for an efficient implementation and training without the need for sampling.
 Third, we show how to apply variational Bayesian inference to regularize and efficiently train this model.
 The resulting model can deal with uncertain inputs and implicitly provides an estimate of the confidence of its predictions.
 Like a conventional neural network it can scale to datasets of arbitrary size and be extended with convolutional and recurrent connections, if desired.

Wir modellieren die Aktivierungsfunktion jedes Neurons als Gaußschen Prozess und lernen sie zusammen mit dem Gewicht mit Variational Inference.

Es wird vorgeschlagen, die funktionale Form jeder Aktivierungsfunktion im neuronalen Netz mit Gaußschen Prozessprioritäten zu versehen, um die Form der Aktivierungsfunktionen zu lernen.


Recent results from linear algebra stating that any matrix can be decomposed into products of diagonal and circulant matrices has lead to the design of compact deep neural network architectures that perform well in practice. In this paper, we bridge the gap between these good empirical results
 and the theoretical approximation capabilities of Deep diagonal-circulant ReLU networks. More precisely, we first demonstrate  that a Deep diagonal-circulant ReLU networks of
 bounded width and small depth can approximate a deep ReLU network in which the dense matrices are
 of low rank. Based on this result, we provide new bounds on the expressive power and universal approximativeness of this type of networks. We support our experimental results with thorough experiments on a large, real world video classification problem.

Wir bieten eine theoretische Studie über die Eigenschaften von tiefen zirkulant-diagonalen ReLU-Netzen und zeigen, dass sie universelle Approximatoren mit begrenzter Breite sind.

In dem Beitrag wird vorgeschlagen, zirkulierende und diagonale Matrizen zu verwenden, um die Berechnung zu beschleunigen und den Speicherbedarf in neuronalen Netzen zu verringern.

Diese Arbeit beweist, dass diagonal-zirkulierende ReLU-Netze mit begrenzter Breite (DC-ReLU) universelle Approximatoren sind.


Camera drones, a rapidly emerging technology, offer people the ability to remotely inspect an environment with a high degree of mobility and agility. However, manual remote piloting of a drone is prone to errors. In contrast, autopilot systems can require a significant degree of environmental knowledge and are not necessarily designed to support flexible visual inspections. Inspired by camera manipulation techniques in interactive graphics, we designed StarHopper, a novel touch screen interface for efficient object-centric camera drone navigation, in which a user directly specifies the navigation of a drone camera relative to a specified object of interest. The system relies on minimal environmental information and combines both manual and automated control mechanisms to give users the freedom to remotely explore an environment with efficiency and accuracy. A lab study shows that StarHopper offers an efficiency gain of 35.4% over manual piloting, complimented by an overall user preference towards our object-centric navigation system.

StarHopper ist ein neuartiges Touchscreen-Interface für die effiziente und flexible objektzentrierte Kameradrohnen-Navigation.

Die Autoren skizzieren die von ihnen entwickelte neue Drohnensteuerungsschnittstelle StarHopper, die automatisierte und manuelle Steuerung in einer neuen hybriden Navigationsschnittstelle kombiniert und sich durch den Einsatz einer zusätzlichen Überkopfkamera von der Annahme befreit, dass sich das Zielobjekt bereits im Blickfeld der Drohne befindet.

In diesem Beitrag wird StarHopper vorgestellt, ein System zur halbautomatischen Drohnennavigation im Rahmen von Ferninspektionen.

Stellt StarHopper vor, eine Anwendung, die Computer-Vision-Techniken mit Touch-Eingabe nutzt, um die Drohnensteuerung mit einem objektzentrierten Ansatz zu unterstützen.


Recurrent neural networks (RNN), convolutional neural networks (CNN) and self-attention networks (SAN) are commonly used to produce context-aware representations. RNN can capture long-range dependency but is hard to parallelize and not time-efficient. CNN focuses on local dependency but does not perform well on some tasks. SAN can model both such dependencies via highly parallelizable computation, but memory requirement grows rapidly in line with sequence length. In this paper, we propose a model, called "bi-directional block self-attention network (Bi-BloSAN)", for RNN/CNN-free sequence encoding. It requires as little memory as RNN but with all the merits of SAN. Bi-BloSAN splits the entire sequence into blocks, and applies an intra-block SAN to each block for modeling local context, then applies an inter-block SAN to the outputs for all blocks to capture long-range dependency. Thus, each SAN only needs to process a short sequence, and only a small amount of memory is required. Additionally, we use feature-level attention to handle the variation of contexts around the same word, and use forward/backward masks to encode temporal order information. On nine benchmark datasets for different NLP tasks, Bi-BloSAN achieves or improves upon state-of-the-art accuracy, and shows better efficiency-memory trade-off than existing RNN/CNN/SAN.

Ein Selbstbeobachtungsnetzwerk für RNN/CNN-freie Sequenzkodierung mit geringem Speicherverbrauch, hochgradig parallelisierbarer Berechnung und modernster Leistung bei verschiedenen NLP-Aufgaben.

Es wird vorgeschlagen, die Selbstaufmerksamkeit auf zwei Ebenen anzuwenden, um den Speicherbedarf in aufmerksamkeitsbasierten Modellen mit vernachlässigbaren Auswirkungen auf die Geschwindigkeit zu begrenzen.

In diesem Beitrag wird ein bidirektionales Block-Selbstaufmerksamkeitsmodell als Allzweck-Encoder für verschiedene Sequenzmodellierungsaufgaben im NLP vorgestellt.


End-to-end neural models have made significant progress in question answering, however recent studies show that these models implicitly assume that the answer and evidence appear close together in a single document. In this work, we propose the Coarse-grain Fine-grain Coattention Network (CFC), a new question answering model that combines information from evidence across multiple documents. The CFC consists of a coarse-grain module that interprets documents with respect to the query then finds a relevant answer, and a fine-grain module which scores each candidate answer by comparing its occurrences across all of the documents with the query. We design these modules using hierarchies of coattention and self-attention, which learn to emphasize different parts of the input. On the Qangaroo WikiHop multi-evidence question answering task, the CFC obtains a new state-of-the-art result of 70.6% on the blind test set, outperforming the previous best by 3% accuracy despite not using pretrained contextual encoders.

Ein neues hochmodernes Modell für die Beantwortung von Fragen mit mehreren Beweisen unter Verwendung grobkörniger, feinkörniger, hierarchischer Aufmerksamkeit.

Schlägt eine Methode für die Multi-Hop-QS vor, die auf zwei getrennten Modulen (grobkörnige und feinkörnige Module) basiert.

Dieses Arbeit schlägt eine interessante Grobkorn-Feinkorn Co-Attention Netzwerk Architektur zur Beantwortung von Fragen mit mehreren Evidenzen vor.

Konzentriert sich auf Multi-Choice QA und schlägt ein Framework für die Grob- bis Feinbewertung vor.


Generative adversarial networks (GANs) are an expressive class of neural generative models with tremendous success in modeling high-dimensional continuous measures. In this paper, we present a scalable method for unbalanced optimal transport (OT) based on the generative-adversarial framework. We formulate unbalanced OT as a problem of simultaneously learning a transport map and a scaling factor that push a source measure to a target measure in a cost-optimal manner. We provide theoretical justification for this formulation, showing that it is closely related to an existing static formulation by Liero et al. (2018). We then propose an algorithm for solving this problem based on stochastic alternating gradient updates, similar in practice to GANs, and perform numerical experiments demonstrating how this methodology can be applied to population modeling.

Wir schlagen eine neue Methode für den unausgewogenen optimalen Transport unter Verwendung generativer adversarialer Netzwerke vor.

Die Autoren betrachten das unausgewogene optimale Transportproblem zwischen zwei Maßnahmen mit unterschiedlicher Gesamtmasse unter Verwendung eines stochastischen Min-Max Algorithmus und lokaler Skalierung.

Die Autoren schlagen einen Ansatz zur Schätzung des unausgewogenen optimalen Transports zwischen Stichprobenmaßen vor, der gut in der Dimension und in der Anzahl der Stichproben skaliert.

Die Arbeit führt eine statische Formulierung für unausgewogenen optimalen Transport durch gleichzeitiges Lernen einer Transportzoprdnung T und eines Skalierungsfaktors xi ein.


Extracting saliency maps, which indicate parts of the image important to classification, requires many tricks to achieve satisfactory performance when using classifier-dependent methods. Instead, we propose classifier-agnostic saliency map extraction, which finds all parts of the image that any classifier could use, not just one given in advance. We observe that the proposed approach extracts higher quality saliency maps and outperforms existing weakly-supervised localization techniques, setting the new state of the art result on the ImageNet dataset.

Wir schlagen eine neue Methode zur Extraktion von Auffälligkeitszuordnungen vor, die zu einer höheren Qualität der Zuordnungen führt.

Schlägt eine klassifikatorunabhängige Methode zur Extraktion von Saliency Zuordnungen vor.

In diesem Beitrag wird ein neuer Saliency Zuordnungen Extraktor vorgestellt, der die Ergebnisse des Standes der Technik zu verbessern scheint.

Die Autoren argumentieren, dass eine extrahierte Saliency Zuordnung, die direkt von einem Modell abhängt, für einen anderen Klassifikator möglicherweise nicht nützlich ist, und schlagen ein Schema zur Annäherung der Lösung vor.


Unsupervised image-to-image translation has gained considerable attention due to the recent impressive progress based on generative adversarial networks (GANs). However, previous methods often fail in challenging cases, in particular, when an image has multiple target instances and a translation task involves significant changes in shape, e.g., translating pants to skirts in fashion images. To tackle the issues, we propose a novel method, coined instance-aware GAN (InstaGAN), that incorporates the instance information (e.g., object segmentation masks) and improves multi-instance transfiguration. The proposed method translates both an image and the corresponding set of instance attributes while maintaining the permutation invariance property of the instances. To this end, we introduce a context preserving loss that encourages the network to learn the identity function outside of target instances. We also propose a sequential mini-batch inference/training technique that handles multiple instances with a limited GPU memory and enhances the network to generalize better for multiple instances. Our comparative evaluation demonstrates the effectiveness of the proposed method on different image datasets, in particular, in the aforementioned challenging cases. Code and results are available in https://github.com/sangwoomo/instagan

Wir schlagen eine neue Methode vor, um die Menge der Instanzattribute für die Bild-zu-Bild Übersetzung einzubeziehen.

Diese Arbeit schlägt eine Methode - InstaGAN - vor, die auf CycleGAN aufbaut, indem sie Instanzinformationen in Form von Segmentierungsmasken pro Instanz berücksichtigt, mit Ergebnissen, die mit CycleGAN und anderen Baselines vergleichbar sind.

Schlägt vor, instanzspezifische Segmentierungsmasken für das Problem der ungepaarten Bild-zu-Bild Übersetzung hinzuzufügen.


Deep neural networks (DNNs) generalize remarkably well without explicit regularization even in the strongly over-parametrized regime  where classical learning theory would instead predict that they would severely overfit.   While many proposals for some kind of implicit regularization have been made to rationalise this success, there is no consensus for the fundamental reason why DNNs do not strongly overfit.   In this paper, we provide a new explanation. By applying a very general probability-complexity bound recently derived from  algorithmic information theory (AIT), we argue that the parameter-function map of many DNNs should be exponentially biased towards simple functions. We then provide clear evidence for this strong simplicity bias in a model DNN for Boolean functions, as well as in much larger fully connected and convolutional networks trained on CIFAR10 and MNIST.
 As the target functions in many real problems are expected to be highly structured, this intrinsic simplicity bias helps explain why deep networks generalize well on real world problems.
 This picture also facilitates a novel PAC-Bayes approach where the prior is taken over the DNN input-output function space, rather than  the more conventional prior over parameter space.   If we assume that the training algorithm samples parameters close to uniformly within the zero-error region then the PAC-Bayes theorem can be used to guarantee good expected generalization for target functions producing high-likelihood training sets.   By exploiting recently discovered connections between DNNs and Gaussian processes to estimate the marginal likelihood,  we produce relatively tight generalization PAC-Bayes error bounds which correlate well with the true error on realistic datasets such as MNIST and CIFAR10 and for architectures including convolutional and fully connected networks.

Die Parameter-Funktionszuordnung von tiefen Netzwerken ist stark verzerrt; dies kann erklären, warum sie verallgemeinern. Wir verwenden PAC-Bayes und Gauß-Prozesse, um nicht-variable Grenzen zu erhalten.

Die Arbeit untersucht die Generalisierungsfähigkeiten von tiefen neuronalen Netzen mit Hilfe der PAC-Bayesianischen Lerntheorie und empirisch gestützten Intuitionen.

In diesem Beitrag wird eine Erklärung für das Generalisierungsverhalten von großen, überparametrisierten neuronalen Netzen vorgeschlagen, indem behauptet wird, dass die Parameter-Funktionszuordnung in neuronalen Netzen auf "einfache" Funktionen ausgerichtet ist und das Generalisierungsverhalten gut ist, wenn das Zielkonzept ebenfalls "einfach" ist.


We establish a theoretical link between evolutionary algorithms and variational parameter optimization of probabilistic generative models with binary hidden variables.
 While the novel approach is independent of the actual generative model, here we use two such models to investigate its applicability and scalability: a noisy-OR Bayes Net (as a standard example of binary data) and Binary Sparse Coding (as a model for continuous data).

 Learning of probabilistic generative models is first formulated as approximate maximum likelihood optimization using variational expectation maximization (EM).
 We choose truncated posteriors as variational distributions in which discrete latent states serve as variational parameters. In the variational E-step,
 the latent states are then
optimized according to a tractable free-energy objective . Given a data point, we can show that evolutionary algorithms can be used for the variational optimization loop by (A)~considering the bit-vectors of the latent states as genomes of individuals, and by (B)~defining the fitness of the
 individuals as the (log) joint probabilities given by the used generative model.

 As a proof of concept, we apply the novel evolutionary EM approach to the optimization of the parameters of noisy-OR Bayes nets and binary sparse coding on artificial and real data (natural image patches). Using point mutations and single-point cross-over for the evolutionary algorithm, we find that scalable variational EM algorithms are obtained which efficiently improve the data likelihood. In general we believe that, with the link established here, standard as well as recent results in the field of evolutionary optimization can be leveraged to address the difficult problem of parameter optimization in generative models.

Wir stellen Evolutionary EM als einen neuartigen Algorithmus für das unbeaufsichtigte Training generativer Modelle mit binären latenten Variablen vor, der eine enge Verbindung zwischen variationalem EM und evolutionärer Optimierung herstellt.

Der Beitrag stellt eine Kombination aus evolutionärer Berechnung und Variations-EM für Modelle mit binären latenten Variablen vor, die durch eine partikelbasierte Approximation dargestellt werden.

In diesem Beitrag wird der Versuch unternommen, Trainingsalgorithmen mit Erwartungsmaximierung und evolutionäre Algorithmen eng zu integrieren.


While deep neural networks have achieved groundbreaking prediction results in many tasks, there is a class of data where existing architectures are not optimal -- sequences of probability distributions. Performing forward prediction on sequences of distributions has many important applications. However, there are two main challenges in designing a network model for this task. First, neural networks are unable to encode distributions compactly as each node encodes just a real value. A recent work of Distribution Regression Network (DRN) solved this problem with a novel network that encodes an entire distribution in a single node, resulting in improved accuracies while using much fewer parameters than neural networks. However, despite its compact distribution representation, DRN does not address the second challenge, which is the need to model time dependencies in a sequence of distributions. In this paper, we propose our Recurrent Distribution Regression Network (RDRN) which adopts a recurrent architecture for DRN. The combination of compact distribution representation and shared weights architecture across time steps makes RDRN suitable for modeling the time dependencies in a distribution sequence. Compared to neural networks and DRN, RDRN achieves the best prediction performance while keeping the network compact.

Wir schlagen ein effizientes rekurrentes Netzwerkmodell für Forward Prediction bei zeitlich variierenden Verteilungen vor.

In diesem Beitrag wird eine Methode zur Erstellung neuronaler Netze vorgeschlagen, die historische Verteilungen auf Verteilungen abbildet, und die Methode wird auf verschiedene Aufgaben der Verteilungsvorhersage angewendet.

Schlägt ein Reccurent Distribution Regression Network vor, das eine rekurrente Architektur auf einem früheren Distribution Regression Network Modell verwendet.

Diese Arbeit befasst sich mit der Regression über Wahrscheinlichkeitsverteilungen durch die Untersuchung zeitlich variierender Verteilungen in einem rekurrenten neuronalen Netz.


We present graph attention networks (GATs), novel neural network architectures that operate on graph-structured data, leveraging masked self-attentional layers to address the shortcomings of prior methods based on graph convolutions or their approximations. By stacking layers in which nodes are able to attend over their neighborhoods' features, we enable (implicitly) specifying different weights to different nodes in a neighborhood, without requiring any kind of computationally intensive matrix operation (such as inversion) or depending on knowing the graph structure upfront. In this way, we address several key challenges of spectral-based graph neural networks simultaneously, and make our model readily applicable to inductive as well as transductive problems. Our GAT models have achieved or matched state-of-the-art results across four established transductive and inductive graph benchmarks: the Cora, Citeseer and Pubmed citation network datasets, as well as a protein-protein interaction dataset (wherein test graphs remain unseen during training).

Ein neuartiger Ansatz zur Verarbeitung graphenstrukturierter Daten durch neuronale Netze, der die Aufmerksamkeit auf die Nachbarschaft eines Knotens lenkt. Erzielt Spitzenergebnisse bei transduktiven Zitationsnetzwerk Aufgaben und einer induktiven Protein-Protein Interaktionsaufgabe.

In diesem Beitrag wird eine neue Methode zur Klassifizierung von Knoten in einem Graphen vorgeschlagen, die in halbüberwachten Szenarien und auf einem völlig neuen Graphen eingesetzt werden kann.

Die Arbeit stellt eine neuronale Netzarchitektur vor, die mit graphisch strukturierten Daten arbeitet, die Graph Attention Networks.

Bietet eine faire und nahezu umfassende Diskussion über den Stand der Technik beim Lernen von Vektordarstellungen für die Knoten eines Graphen.


While bigger and deeper neural network architectures continue to advance the state-of-the-art for many computer vision tasks, real-world adoption of these networks is impeded by hardware and speed constraints. Conventional model compression methods attempt to address this problem by modifying the architecture manually or using pre-defined heuristics. Since the space of all reduced architectures is very large, modifying the architecture of a deep neural network in this way is a difficult task. In this paper, we tackle this issue by introducing a principled method for learning reduced network architectures in a data-driven way using reinforcement learning. Our approach takes a larger 'teacher' network as input and outputs a compressed 'student' network derived from the 'teacher' network. In the first stage of our method, a recurrent policy network aggressively removes layers from the large 'teacher' model. In the second stage, another  recurrent policy network carefully reduces the size of each remaining layer. The resulting network is then evaluated to obtain a reward -- a score based on the accuracy and compression of the network. Our approach uses this reward signal with policy gradients to train the policies to find a locally optimal student network. Our experiments show that we can achieve compression rates of more than 10x for models such as ResNet-34 while maintaining similar performance to the input 'teacher' network. We also present a valuable transfer learning result which shows that policies which are pre-trained on smaller 'teacher' networks can be used to rapidly speed up training on larger 'teacher' networks.

Ein neuartiger, auf Reinforcement Learning basierender Ansatz zur Komprimierung tiefer neuronaler Netze mit Wissensdestillation.

In diesem Beitrag wird vorgeschlagen, anstelle von vordefinierten Heuristiken Reinforcement Learning einzusetzen, um die Struktur des komprimierten Modells im Prozess der Wissensdestillation zu bestimmen.

Stellt eine prinzipielle Methode der Netz-zu-Netz Komprimierung vor, die Policy-Gradienten zur Optimierung von zwei Strategien verwendet, die ein starkes Lehrermodell in ein starkes, aber kleineres Schülermodell komprimieren.


Recent advances in conditional image generation tasks, such as image-to-image translation and image inpainting, are largely accounted to the success of conditional GAN models, which are often optimized by the joint use of the GAN loss with the reconstruction loss. However, we reveal that this training recipe shared by almost all existing methods causes one critical side effect: lack of diversity in output samples. In order to accomplish both training stability and multimodal output generation, we propose novel training schemes with a new set of losses named moment reconstruction losses that simply replace the reconstruction loss. We show that our approach is applicable to any conditional generation tasks by performing thorough experiments on image-to-image translation, super-resolution and image inpainting using Cityscapes and CelebA dataset. Quantitative evaluations also confirm that our methods achieve a great diversity in outputs while retaining or even improving the visual fidelity of generated samples.

Wir beweisen, dass der Modus-Kollaps in bedingten GANs größtenteils auf ein Missverhältnis zwischen Rekonstruktionsverlust und GAN-Verlust zurückzuführen ist, und stellen eine Reihe neuartiger Verlustfunktionen als Alternativen zum Rekonstruktionsverlust vor.

Die Arbeit schlägt eine Modifikation des traditionellen bedingten GAN-Ziels vor, um eine vielfältige, multimodale Erzeugung von Bildern zu fördern.

In diesem Beitrag wird eine Alternative zu L1/L2-Fehlern vorgeschlagen, die beim Training von bedingten GANs als Ergänzung zu den Verlusten der Gegner verwendet werden.


Generative models are important tools to capture and investigate the properties of complex empirical data. Recent developments such as Generative Adversarial Networks (GANs) and Variational Auto-Encoders (VAEs) use two very similar, but \textit{reverse}, deep convolutional architectures, one to generate and one to extract information from data. Does learning the parameters of both architectures obey the same rules? We exploit the causality principle of independence of mechanisms to quantify how the weights of successive layers adapt to each other. Using the recently introduced Spectral Independence Criterion, we quantify the dependencies between the kernels of successive convolutional layers and show that those are more independent for the generative process than for information extraction, in line with results from the field of causal inference. In addition, our experiments on generation of human faces suggest that more independence between successive layers of generators results in improved performance of these architectures.

Wir verwenden kausale Schlussfolgerungen, um die Architektur von generativen Modellen zu charakterisieren.

In diesem Beitrag wird die Beschaffenheit von Convolutional Filtern im Kodierer und Dekodierer einer VAE sowie in einem Generator und einem Diskriminator eines GAN untersucht.

Diese Arbeit nutzt das Kausalitätsprinzip, um zu quantifizieren, wie sich die Gewichte aufeinanderfolgender Schichten aneinander anpassen.


Many deep reinforcement learning approaches use graphical state representations,
 this means visually distinct games that share the same underlying structure cannot
 effectively share knowledge. This paper outlines a new approach for learning
 underlying game state embeddings irrespective of the visual rendering of the game
 state. We utilise approaches from multi-task learning and domain adaption in
 order to place visually distinct game states on a shared embedding manifold. We
 present our results in the context of deep reinforcement learning agents.

Ein Ansatz zum Erlernen eines gemeinsamen Einbettungsraums zwischen visuell unterschiedlichen Spielen.

Ein neuer Ansatz zum Erlernen der zugrundeliegenden Struktur visuell unterschiedlicher Spiele, der Convolutional Layers zur Verarbeitung von Eingabebildern, asynchrone Advantage Actor Critic für tiefes Reinforcement Learning und einen gegnerischen Ansatz kombiniert, um die Einbettungsrepräsentation unabhängig von der visuellen Repräsentation von Spielen zu machen.

Es wird eine Methode zum Erlernen einer Strategie für visuell unterschiedliche Spiele durch die Anpassung von Deep Reinforcement Learning vorgestellt.

In diesem Beitrag wird eine Agentenarchitektur diskutiert, die eine gemeinsame Darstellung verwendet, um mehrere Aufgaben mit unterschiedlichen visuellen Statistiken auf Sprite-Ebene zu trainieren.


We study discrete time dynamical systems governed by the state equation $h_{t+1}=ϕ(Ah_t+Bu_t)$. Here A,B are weight matrices, ϕ is an activation function, and $u_t$ is the input data. This relation is the backbone of recurrent neural networks (e.g. LSTMs) which have broad applications in sequential learning tasks. We utilize stochastic gradient descent to learn the weight matrices from a finite input/state trajectory $(u_t,h_t)_{t=0}^N$. We prove that SGD estimate linearly converges to the ground truth weights while using near-optimal sample size. Our results apply to increasing activations whose derivatives are bounded away from zero. The analysis is based on i) an SGD convergence result with nonlinear activations and ii) careful statistical characterization of the state vector. Numerical experiments verify the fast convergence of SGD on ReLU and leaky ReLU in consistence with our theory.

Wir untersuchen die Zustandsgleichung eines rekurrenten neuronalen Netzes. Wir zeigen, dass SGD die unbekannte Dynamik aus wenigen Input/Output-Beobachtungen unter geeigneten Annahmen effizient erlernen kann.

Die Arbeit untersucht zeitdiskrete dynamische Systeme mit einer nichtlinearen Zustandsgleichung und beweist, dass die Ausführung von SGD auf einer Trajektorie fester Länge logarithmische Konvergenz ergibt.

Diese Arbeit befasst sich mit dem Problem des Lernens eines nichtlinearen dynamischen Systems, bei dem die Ausgabe gleich dem Zustand ist.

In diesem Beitrag wird die Fähigkeit von SGD untersucht, die Dynamik eines linearen Systems und die nichtlineare Aktivierung zu erlernen.


Although deep neural networks show their extraordinary power in various tasks, they are not feasible for deploying such large models on embedded systems due to high computational cost and storage space limitation. The recent work knowledge distillation (KD) aims at transferring model knowledge from a well-trained teacher model to a small and fast student model which can significantly help extending the usage of large deep neural networks on portable platform. In this paper, we show that, by properly defining the neuron manifold of deep neuron network (DNN), we can significantly improve the performance of student DNN networks through approximating neuron manifold of powerful teacher network. To make this, we propose several novel methods for learning neuron manifold from DNN model. Empowered with neuron manifold knowledge, our experiments show the great improvement across a variety of DNN architectures and training data. Compared with other KD methods, our Neuron Manifold Transfer (NMT) has best transfer ability of the learned features.

Eine neue Methode zur Wissensdestillation für das Transferlernen.

In der Arbeit wird eine Methode zur Wissensdestillation vorgestellt, die das vorgeschlagene Konzept der Neuronenverteiler nutzt.

Schlägt eine Methode zur Wissensdestillation vor, bei der die neuronalen Verteiler als übertragenes Wissen betrachtet werden.


We present a simple and general method to train a single neural network executable at different widths (number of channels in a layer), permitting instant and adaptive accuracy-efficiency trade-offs at runtime. Instead of training individual networks with different width configurations, we train a shared network with switchable batch normalization. At runtime, the network can adjust its width on the fly according to on-device benchmarks and resource constraints, rather than downloading and offloading different models. Our trained networks, named slimmable neural networks, achieve similar (and in many cases better) ImageNet classification accuracy than individually trained models of MobileNet v1, MobileNet v2, ShuffleNet and ResNet-50 at different widths respectively. We also demonstrate better performance of slimmable models compared with individual ones across a wide range of applications including COCO bounding-box object detection, instance segmentation and person keypoint detection without tuning hyper-parameters. Lastly we visualize and discuss the learned features of slimmable networks. Code and models are available at: https://github.com/JiahuiYu/slimmable_networks

Wir stellen eine einfache und allgemeine Methode vor, um ein einzelnes neuronales Netz zu trainieren, das mit verschiedenen Breiten (Anzahl der Kanäle in einer Schicht) ausgeführt werden kann, was sofortige und adaptive Kompromisse zwischen Genauigkeit und Effizienz zur Laufzeit ermöglicht.

In dem Beitrag wird vorgeschlagen, verschiedene Größenmodelle in einem gemeinsamen Netz zu kombinieren, was die Erkennungsleistung erheblich verbessert.

In dieser Arbeit wird ein einziges ausführbares Netz mit unterschiedlichen Breiten trainiert.


Measuring visual (dis)similarity between two or more instances within a data distribution is a fundamental task in many applications, specially in image retrieval. Theoretically, non-metric distances are able to generate a more complex and accurate similarity model than metric distances, provided that the non-linear data distribution is precisely captured by the similarity model. In this work, we analyze a simple approach for deep learning networks to be used as an approximation of non-metric similarity functions and we study how these models generalize across different image retrieval datasets.

Ähnlichkeitsnetz zum Erlernen einer nicht-metrischen visuellen Ähnlichkeitsschätzung zwischen einem Bildpaar.

Die Autoren schlagen ein lernendes Ähnlichkeitsmaß für visuelle Ähnlichkeit vor und erzielen damit eine Verbesserung in sehr bekannten Datensätzen von Oxford und Paris für die Bildwiedererkennung.

In dem Beitrag wird argumentiert, dass es besser ist, nicht-metrische Entfernungen anstelle von metrischen Entfernungen zu verwenden.


Training a model to perform a task typically requires a large amount of data from the domains in which the task will be applied.
 However, it is often the case that data are abundant in some domains but scarce in others. Domain adaptation deals with the challenge of adapting a model trained from a data-rich source domain to perform well in a data-poor target domain. In general, this requires learning plausible mappings between domains. CycleGAN is a powerful framework that efficiently learns to map inputs from one domain to another using adversarial training and a cycle-consistency constraint. However, the conventional approach of enforcing cycle-consistency via reconstruction may be overly restrictive in cases where one or more domains have limited training data. In this paper, we propose an augmented cyclic adversarial learning model that enforces the cycle-consistency constraint via an external task specific model, which encourages the preservation of task-relevant content as opposed to exact reconstruction. We explore digit classification in a low-resource setting in supervised, semi and unsupervised situation, as well as high resource unsupervised. In low-resource supervised setting, the results show that our approach improves absolute performance by 14% and 4% when adapting SVHN to MNIST and vice versa, respectively, which outperforms unsupervised domain adaptation methods that require high-resource unlabeled target domain.   Moreover, using only few unsupervised target data, our approach can still outperforms many high-resource unsupervised models. Our model also outperforms on USPS to MNIST and synthetic digit to SVHN for high resource unsupervised adaptation. In speech domains, we similarly adopt a speech recognition model from each domain as the task specific model. Our approach improves absolute performance of speech recognition by 2% for female speakers in the TIMIT dataset, where the majority of training samples are from male voices.

Ein neues zyklisches kontradiktorisches Lernen, ergänzt durch ein Modell für Hilfsaufgaben, das die Leistung der Bereichsanpassung in überwachten und unbeaufsichtigten Situationen mit geringen Ressourcen verbessert.

Es wird eine Erweiterung der zykluskonsistenten adversen Anpassungsmethoden vorgeschlagen, um die Domänenanpassung zu bewältigen, wenn nur begrenzte überwachte Zieldaten verfügbar sind.

In diesem Beitrag wird ein Ansatz zur Domänenanpassung vorgestellt, der auf der Idee des zyklischen GAN basiert, und es werden zwei verschiedene Algorithmen vorgeschlagen.


Nodes residing in different parts of a graph can have similar structural roles within their local network topology. The identification of such roles provides key insight into the organization of networks and can also be used to inform machine learning on graphs. However, learning structural representations of nodes is a challenging unsupervised-learning task, which typically involves manually specifying and tailoring topological features for each node. Here we develop GraphWave, a method that represents each node’s local network neighborhood via a low-dimensional embedding by leveraging spectral graph wavelet diffusion patterns. We prove that nodes with similar local network neighborhoods will have similar GraphWave embeddings even though these nodes may reside in very different parts of the network. Our method scales linearly with the number of edges and does not require any hand-tailoring of topological features. We evaluate performance on both synthetic and real-world datasets, obtaining improvements of up to 71% over state-of-the-art baselines.

Wir entwickeln eine Methode zum Erlernen von strukturellen Signaturen in Netzwerken, die auf der Diffusion von Spektralgraphen-Wavelets basiert.

Verwendung spektraler Graph-Wavelet Diffusionsmuster der lokalen Nachbarschaft eines Knotens zur Einbettung des Knotens in einen niedrigdimensionalen Raum.

In der Arbeit wird eine Methode zum Vergleich von Knoten in einem Graphen auf der Grundlage der Wavelet-Analyse des Graphen-Laplacian abgeleitet.


Driving simulators play an important role in vehicle research. However, existing virtual reality simulators do not give users a true sense of presence. UniNet is our driving simulator, designed to allow users to interact with and visualize simulated traffic in mixed reality. It is powered by SUMO and Unity. UniNet's modular architecture allows us to investigate interdisciplinary research topics such as vehicular ad-hoc networks, human-computer interaction, and traffic management. We accomplish this by giving users the ability to observe and interact with simulated traffic in a high fidelity driving simulator. We present a user study that subjectively measures user's sense of presence in UniNet. Our findings suggest that our novel mixed reality system does increase this sensation.

Ein Mixed-Reality Fahrsimulator mit Stereokameras und Passthrough-VR wurde in einer Nutzerstudie mit 24 Teilnehmern evaluiert.

Er schlägt ein kompliziertes System zur Fahrsimulation vor.

In diesem Beitrag wird ein Mixed-Reality Fahrsimulator vorgestellt, der das Gefühl der Anwesenheit verstärkt.

Er schlägt einen Mixed-Reality Fahrsimulator vor, der die Erzeugung von Verkehr einbezieht und eine verbesserte "Präsenz" durch ein MR-System verspricht.


We consider the problem of improving kernel approximation via feature maps. These maps arise as Monte Carlo approximation to integral representations of kernel functions and scale up kernel methods for larger datasets. We propose to use more efficient numerical integration technique to obtain better estimates of the integrals compared to the state-of-the-art methods. Our approach allows to use information about the integrand to enhance approximation and facilitates fast computations. We derive the convergence behavior and conduct an extensive empirical study that supports our hypothesis.

Quadraturregeln für die Kernel-Approximation.

In dem Beitrag wird vorgeschlagen, die Kernel-Approximation von Zufallsmerkmalen durch die Verwendung von Quadraturregeln wie stochastischen sphärisch-radialen Regeln zu verbessern.

Die Autoren schlagen eine neue Version des Random-Feature-Map Ansatzes zur näherungsweisen Lösung großer Kernel-Probleme vor.

In diesem Beitrag wird gezeigt, dass die Techniken von Genz & Monahan (1998) verwendet werden können, um einen geringen Fehler bei der Kernel Approximation im Rahmen eines zufälligen Fourier Merkmals zu erreichen, eine neue Methode zur Anwendung von Quadraturregeln zur Verbesserung der Kernel Approximation.


Human world knowledge is both structured and flexible. When people see an object, they represent it not as a pixel array but as a meaningful arrangement of semantic parts. Moreover, when people refer to an object, they provide descriptions that are not merely true but also relevant in the current context. Here, we combine these two observations in order to learn fine-grained correspondences between language and contextually relevant geometric properties of 3D objects. To do this, we employed an interactive communication task with human participants to construct a large dataset containing natural utterances referring to 3D objects from ShapeNet in a wide variety of contexts. Using this dataset, we developed neural listener and speaker models with strong capacity for generalization. By performing targeted lesions of visual and linguistic input, we discovered that the neural listener depends heavily on part-related words and associates these words correctly with the corresponding geometric properties of objects, suggesting that it has learned task-relevant structure linking the two input modalities. We further show that a neural speaker that is `listener-aware' --- that plans its utterances according to how an imagined listener would interpret its words in context --- produces more discriminative referring expressions than an `listener-unaware' speaker, as measured by human performance in identifying the correct object.

Wie kann man neuronale Sprecher / Hörer entwickeln, die anhand von Referenzsprache feinkörnige Merkmale von 3D-Objekten lernen?

Die Autoren stellen eine Studie über das Lernen von 3D Objekten vor, in der sie einen Datensatz von referenziellen Ausdrücken sammeln und verschiedene Modelle trainieren, indem sie mit einer Reihe von architektonischen Entscheidungen experimentieren.