Incremental class learning involves sequentially learning classes in bursts of examples from the same class. This violates the assumptions that underlie  methods for training standard deep neural networks, and will cause them to suffer from catastrophic forgetting. Arguably, the best method for incremental class learning is iCaRL, but it requires storing  training examples for each class, making it challenging to scale. Here, we propose FearNet for incremental class learning. FearNet is a generative model that does not store previous examples, making it memory efficient. FearNet uses a brain-inspired dual-memory system in which new memories are consolidated from a network for recent memories inspired by the mammalian hippocampal complex to a network for long-term storage inspired by medial prefrontal cortex. Memory consolidation is inspired by mechanisms that occur during sleep. FearNet also uses a module inspired by the basolateral amygdala for determining which memory system to use for recall.   FearNet achieves state-of-the-art performance at incremental class learning on image (CIFAR-100, CUB-200) and audio classification (AudioSet) benchmarks.

FearNet ist ein speichereffizientes neuronales Netz, das von der Gedächtnisbildung im Säugetiergehirn inspiriert ist und inkrementelles Klassenlernen ohne katastrophales Vergessen ermöglicht.

In diesem Beitrag wird eine neuartige Lösung für ein inkrementelles Klassifizierungsproblem auf der Grundlage eines dualen Speichersystems vorgestellt.


Multi-view learning can provide self-supervision when different views are available of the same data. Distributional hypothesis provides another form of useful self-supervision from adjacent sentences which are plentiful in large unlabelled corpora. Motivated by the asymmetry in the two hemispheres of the human brain as well as the observation that different learning architectures tend to emphasise different aspects of sentence meaning, we present two multi-view frameworks for learning sentence representations in an unsupervised fashion. One framework uses a generative objective and the other a discriminative one. In both frameworks, the final representation is an ensemble of two views, in which, one view encodes the input sentence with a Recurrent Neural Network (RNN), and the other view encodes it with a simple linear model. We show that, after learning, the vectors produced by our multi-view frameworks provide improved representations over their single-view learnt counterparts, and the combination of different views gives representational improvement over each view and demonstrates solid transferability on standard downstream tasks.

Lernen mit mehreren Ansichten verbessert das unüberwachte Lernen von Satzrepräsentationen

Der Ansatz verwendet verschiedene, komplementäre Kodierer des Eingabesatzes und eine Konsensmaximierung.

Der Artikel präsentiert einen Multi-View-Rahmen zur Verbesserung der Satzrepräsentation in NLP-Aufgaben unter Verwendung generativer und diskriminativer Zielarchitekturen.

Diese Arbeit zeigt, dass Multi-View Frameworks beim Lernen von Satzrepräsentationen effektiver sind als die Verwendung einzelner Encoder.


We show how discrete objects can be learnt in an unsupervised fashion from pixels, and how to perform reinforcement learning using this object representation.

 More precisely, we construct a differentiable mapping from an image to a discrete tabular list of objects, where each object consists of a differentiable position, feature vector, and scalar presence value that allows the representation to be learnt using an attention mechanism.

 Applying this mapping to Atari games, together with an interaction net-style architecture for calculating quantities from objects, we construct agents that can play Atari games using objects learnt in an unsupervised fashion. During training, many natural objects emerge, such as the ball and paddles in Pong, and the submarine and fish in Seaquest.

 This gives the first reinforcement learning agent for Atari with an interpretable object representation, and opens the avenue for agents that can conduct object-based exploration and generalization.

Wir zeigen, wie diskrete Objekte auf unüberwachte Weise aus Pixeln gelernt werden können und wie man mit dieser Objektrepräsentation Reinforcement Learning durchführen kann.

Eine Methode zum Lernen von Objektrepräsentationen aus Pixeln für die Durchführung von Reinforcement Learning.

Die Arbeit schlägt eine neuronale Architektur vor, um Videoströme auf eine diskrete Sammlung von Objekten abzubilden, ohne menschliche Annotationen, unter Verwendung eines unbeaufsichtigten Pixel-Rekonstruktionsverlustes.


Most recent gains in visual recognition have originated from the inclusion of attention mechanisms in deep convolutional networks (DCNs). Because these networks are optimized for object recognition, they learn where to attend using only a weak form of supervision derived from image class labels. Here, we demonstrate the benefit of using stronger supervisory signals by teaching DCNs to attend to image regions that humans deem important for object recognition. We first describe a large-scale online experiment (ClickMe) used to supplement ImageNet with nearly half a million human-derived "top-down" attention maps. Using human psychophysics, we confirm that the identified top-down features from ClickMe are more diagnostic than "bottom-up" saliency features for rapid image categorization. As a proof of concept, we extend a state-of-the-art attention network and demonstrate that adding ClickMe supervision significantly improves its accuracy and yields visual features that are more interpretable and more similar to those used by human observers.

Ein umfangreicher Datensatz zum Training von Aufmerksamkeitsmodellen für die Objekterkennung führt zu einer genaueren, interpretierbaren und menschenähnlichen Objekterkennung.

Die jüngsten Fortschritte in der visuellen Erkennung sind auf die Verwendung visueller Aufmerksamkeitsmechanismen in tiefen Convolutional Networks zurückzuführen, die durch eine schwache Form der Überwachung auf der Grundlage von Bildklassenbezeichnungen lernen, worauf sie sich konzentrieren sollen.

Es wird ein neuer Ansatz zum Thema Aufmerksamkeit vorgestellt, bei dem ein großer Aufmerksamkeitsdatensatz gesammelt und verwendet wird, um ein NN auf überwachte Weise zu trainieren, um die selbstberichtete menschliche Aufmerksamkeit zu nutzen.

Diese Arbeit schlägt einen neuen Ansatz vor, um informativere Signale zu verwenden, insbesondere Regionen, die Menschen auf Bildern als wichtig erachten, um tiefe Convolutional Neural Networks zu verbessern.


In recent years, deep neural networks have demonstrated outstanding performancein many machine learning tasks. However, researchers have discovered that thesestate-of-the-art models are vulnerable to adversarial examples:  legitimate examples added by small perturbations which are unnoticeable to human eyes. Adversarial training, which augments the training data with adversarial examples duringthe training process,  is a well known defense to improve the robustness of themodel against adversarial attacks.   However, this robustness is only effective tothe same attack method used for adversarial training.   Madry et al. (2017) suggest that effectiveness of iterative multi-step adversarial attacks and particularlythat projected gradient descent (PGD) may be considered the universal first order adversary and applying the adversarial training with PGD implies resistanceagainst many other first order attacks.    However,  the computational cost of theadversarial training with PGD and other multi-step adversarial examples is muchhigher than that of the adversarial training with other simpler attack techniques. In this paper, we show how strong adversarial examples can be generated only ata cost similar to that of two runs of the fast gradient sign method (FGSM), allowing defense against adversarial attacks with a robustness level comparable to thatof the adversarial training with multi-step adversarial examples.   We empiricallydemonstrate the effectiveness of the proposed two-step defense approach againstdifferent attack methods and its improvements over existing defense strategies.

Wir haben eine zeiteffiziente Verteidigungsmethode gegen einstufige und iterative adversarial Angriffe vorgeschlagen.

Vorschlag einer neuartigen, rechnerisch effizienten Methode mit dem Namen e2SAD, die für jede saubere Trainingsprobe einen Satz von zwei adversarial Trainingsbeispielen erzeugt.

Der Beitrag stellt eine zweistufige adversarische Verteidigungsmethode vor, die zwei adversarische Beispiele pro sauberer Probe erzeugt und sie in die eigentliche Trainingsschleife einbezieht, um Robustheit zu erreichen, und behauptet, dass sie teurere iterative Methoden übertreffen kann.

Die Arbeit stellt einen 2-Schritt-Ansatz vor, um starke Gegenbeispiele zu generieren, und zwar zu weitaus geringeren Kosten als bei aktuellen iterativen mehrstufigen Gegenangriffen.


Recently several different deep learning architectures have been proposed that take a string of characters as the raw input signal and automatically derive features for text classification. Little studies are available that compare the effectiveness of these approaches for character based text classification with each other. In this paper we perform such an empirical comparison for the important cybersecurity problem of DGA detection: classifying domain names as either benign vs. produced by malware (i.e., by a Domain Generation Algorithm). Training and evaluating on a dataset with 2M domain names shows that there is surprisingly little difference between various convolutional neural network (CNN) and recurrent neural network (RNN) based architectures in terms of accuracy, prompting a preference for the simpler architectures, since they are faster to train and less prone to overfitting.

Ein Vergleich von fünf tiefen neuronalen Netzwerkarchitekturen zur Erkennung bösartiger Domänennamen zeigt erstaunlich wenig Unterschiede.

Die Autoren schlagen die Verwendung von fünf tiefgreifenden Architekturen für die Cybersicherheitsaufgabe der Erkennung von Algorithmen der Domänenerzeugung vor.

Wendet verschiedene NN-Architekturen zur Klassifizierung von URLs an, die mit Gutartig und Malware in Verbindung stehen.

In diesem Beitrag wird vorgeschlagen, Domänennamen automatisch als bösartig oder gutartig zu erkennen, indem tiefe Netzwerke trainiert werden, um die Zeichenfolge direkt als solche zu klassifizieren.


Recognizing the relationship between two texts is an important aspect of natural language understanding (NLU), and a variety of neural network models have been proposed for solving NLU tasks. Unfortunately, recent work showed that the datasets these models are trained on often contain biases that allow models to achieve non-trivial performance without possibly learning the relationship between the two texts. We propose a framework for building robust models by using adversarial learning to encourage models to learn latent, bias-free representations. We test our approach in a Natural Language Inference (NLI) scenario, and show that our adversarially-trained models learn robust representations that ignore known dataset-specific biases. Our experiments demonstrate that our models are more robust to new NLI datasets.

Adversarial-Learning-Methoden ermutigen NLI-Modelle dazu, datensatzspezifische Verzerrungen zu ignorieren und helfen bei der Übertragung von Modellen auf andere Datensätze.

Die Arbeit schlägt einen adversarial Aufbau vor, um Annotationsartefakte in natürlichsprachlichen Inferenzdaten zu entschärfen

In diesem Beitrag wird eine Methode zur Beseitigung von Verzerrungen eines textuellen Entailment-Modells durch ein adversarial Trainingsziel vorgestellt.


We study the problem of learning representations of entities and relations in knowledge graphs for predicting missing links. The success of such a task heavily relies on the ability of modeling and inferring the patterns of (or between) the relations. In this paper, we present a new approach for knowledge graph embedding called RotatE, which is able to model and infer various relation patterns including: symmetry/antisymmetry, inversion, and composition. Specifically, the RotatE model defines each relation as a rotation from the source entity to the target entity in the complex vector space. In addition, we propose a novel self-adversarial negative sampling technique for efficiently and effectively training the RotatE model. Experimental results on multiple benchmark knowledge graphs show that the proposed RotatE model is not only scalable, but also able to infer and model various relation patterns and significantly outperform existing state-of-the-art models for link prediction.

Ein neuer hochmoderner Ansatz für die Einbettung von Wissensgraphen.

Es wird eine neuronale Bewertungsfunktion für Verknüpfungsvorhersagen vorgestellt, die Symmetrie, Antisymmetrie, Inversion und Kompositionsmuster von Beziehungen in einer Wissensbasis ableiten kann.

In diesem Beitrag wird ein Ansatz zur Einbettung von Wissensgraphen vorgeschlagen, bei dem Beziehungen als Rotationen im komplexen Vektorraum modelliert werden.

Vorschlagen einer Methode zur Einbettung von Graphen, die für die Vorhersage von Links verwendet werden kann.


Deep learning algorithms have been known to be vulnerable to adversarial perturbations in various tasks such as image classification. This problem was addressed by employing several defense methods for detection and rejection of particular types of attacks. However, training and manipulating networks according to particular defense schemes increases computational complexity of the learning algorithms. In this work, we propose a simple yet effective method to improve robustness of convolutional neural networks (CNNs) to adversarial attacks by using data dependent adaptive convolution kernels. To this end, we propose a new type of HyperNetwork in order to employ statistical properties of input data and features for computation of statistical adaptive maps. Then, we filter convolution weights of CNNs with the learned statistical maps to compute dynamic kernels. Thereby, weights and kernels are collectively optimized for learning of image classification models robust to
 adversarial attacks without employment of additional target detection and rejection algorithms.
 We empirically demonstrate that the proposed method enables CNNs to spontaneously defend against different types of attacks, e.g. attacks generated by Gaussian noise, fast gradient sign methods (Goodfellow et al., 2014) and a black-box attack (Narodytska & Kasiviswanathan, 2016).

Wir haben das CNN mit Hilfe von HyperNetworks modifiziert und eine bessere Robustheit gegenüber ungünstigen Beispielen festgestellt.

Verbesserung der Robustheit und Zuverlässigkeit von tiefen neuronalen Convolutional Neural Networks durch Verwendung datenabhängiger Convolution Kernerls.


Adapting deep networks to new concepts from a few examples is challenging, due to the high computational requirements of standard fine-tuning procedures.
 Most work on few-shot learning has thus focused on simple learning techniques for adaptation, such as nearest neighbours or gradient descent.
 Nonetheless, the machine learning literature contains a wealth of methods that learn non-deep models very efficiently.
 In this paper, we propose to use these fast convergent methods as the main adaptation mechanism for few-shot learning.
 The main idea is to teach a deep network to use standard machine learning tools, such as ridge regression, as part of its own internal model, enabling it to quickly adapt to novel data.
 This requires back-propagating errors through the solver steps.
 While normally the cost of the matrix operations involved in such a process would be significant, by using the Woodbury identity we can make the small number of examples work to our advantage.
 We propose both closed-form and iterative solvers, based on ridge regression and logistic regression components.
 Our methods constitute a simple and novel approach to the problem of few-shot learning and achieve performance competitive with or superior to the state of the art on three benchmarks.

Wir schlagen einen Meta-Learning-Ansatz für die Few-Shot Klassifizierung vor, der durch Backpropagation über die Lösung von schnellen Solvern wie Ridge-Regression oder logistischer Regression eine hohe Leistung bei hoher Geschwindigkeit erzielt.

In dem Papier wird ein Algorithmus für das Meta-Lernen vorgeschlagen, der darauf hinausläuft, die Merkmale festzulegen (d. h. alle verborgenen Schichten eines tiefen NN) und jede Aufgabe als eigene Endschicht zu behandeln, die eine Ridge-Regression oder eine logistische Regression sein könnte.

In diesem Papier wird ein Meta-Learning-Ansatz für das Problem der Few-Shot Klassifizierung vorgeschlagen. Die Methode basiert auf der Parametrisierung des Lerners für jede Aufgabe durch einen geschlossene Form Löser.


While many active learning papers assume that the learner can simply ask for a label and receive it, real annotation often presents a mismatch between the form of a label (say, one among many classes), and the form of an annotation (typically yes/no binary feedback). To annotate examples corpora for multiclass classification, we might need to ask multiple yes/no questions, exploiting a label hierarchy if one is available. To address this more realistic setting, we propose active learning with partial feedback (ALPF), where the learner must actively choose both which example to label and which binary question to ask. At each step, the learner selects an example, asking if it belongs to a chosen (possibly composite) class. Each answer eliminates some classes, leaving the learner with a partial label. The learner may then either ask more questions about the same example (until an exact label is uncovered) or move on immediately, leaving the first example partially labeled. Active learning with partial labels requires (i) a sampling strategy to choose (example, class) pairs, and (ii) learning from partial labels between rounds. Experiments on Tiny ImageNet demonstrate that our most effective method improves 26% (relative) in top-1 classification accuracy compared to i.i.d. baselines and standard active learners given 30% of the annotation budget that would be required (naively) to annotate the dataset. Moreover, ALPF-learners fully annotate TinyImageNet at 42% lower cost. Surprisingly, we observe that accounting for per-example annotation costs can alter the conventional wisdom that active learners should solicit labels for hard examples.

Wir bieten eine neue Perspektive auf das Training eines maschinellen Lernmodells von Grund auf in einer hierarchischen Umgebung, d.h. wir betrachten es als eine wechselseitige Kommunikation zwischen Mensch und Algorithmus und untersuchen, wie wir die Effizienz messen und verbessern können.

Es wird eine neue Einstellung für aktives Lernen eingeführt, bei der das Orakel eine partielle oder schwache Kennzeichnung anbietet, anstatt nach der Kennzeichnung eines bestimmten Beispiels zu fragen, was zu einem einfacheren Abruf von Informationen führt.

In dieser Arbeit wird eine Methode des aktiven Lernens mit partiellem Feedback vorgeschlagen, die bei einem begrenzten Budget besser abschneidet als die existierenden Basissysteme.

In dem Beitrag wird ein Mehrklassen-Klassifizierungsproblem betrachtet, bei dem Etiketten in eine bestimmte Anzahl M von Teilmengen gruppiert werden, die alle einzelnen Etiketten als Singletons enthalten.


Despite their prevalence, Euclidean embeddings of data are fundamentally limited in their ability to capture latent semantic structures, which need not conform to Euclidean spatial assumptions. Here we consider an alternative, which embeds data as discrete probability distributions in a Wasserstein space, endowed with an optimal transport metric. Wasserstein spaces are much larger and more flexible than Euclidean spaces, in that they can successfully embed a wider variety of metric structures. We propose to exploit this flexibility by learning an embedding that captures the semantic information in the Wasserstein distance between embedded distributions. We examine empirically the representational capacity of such learned Wasserstein embeddings, showing that they can embed a wide variety of complex metric structures with smaller distortion than an equivalent Euclidean embedding. We also investigate an application to word embedding, demonstrating a unique advantage of Wasserstein embeddings: we can directly visualize the high-dimensional embedding, as it is a probability distribution on a low-dimensional space. This obviates the need for dimensionality reduction techniques such as t-SNE for visualization.

Wir zeigen, dass Wasserstein-Räume gute Ziele für die Einbettung von Daten mit komplexer semantischer Struktur sind.

Lernt Einbettungen in einem diskreten Raum von Wahrscheinlichkeitsverteilungen unter Verwendung einer minimierten, regularisierten Version von Wasserstein-Distanzen.

Die Arbeit beschreibt eine neue Einbettungsmethode, die Daten in den Raum der Wahrscheinlichkeitsmaße einbettet, die mit der Wasserstein-Distanz ausgestattet sind.

In dem Beitrag wird vorgeschlagen, die Daten in niedrigdimensionale Wasserstein-Räume einzubetten, die die zugrunde liegende Struktur der Daten genauer erfassen können.


Clustering high-dimensional datasets is hard because interpoint distances become less informative in high-dimensional spaces. We present a clustering algorithm that performs nonlinear dimensionality reduction and clustering jointly. The data is embedded into a lower-dimensional space by a deep autoencoder. The autoencoder is optimized as part of the clustering process. The resulting network produces clustered data. The presented approach does not rely on prior knowledge of the number of ground-truth clusters. Joint nonlinear dimensionality reduction and clustering are formulated as optimization of a global continuous objective. We thus avoid discrete reconfigurations of the objective that characterize prior clustering algorithms. Experiments on datasets from multiple domains demonstrate that the presented algorithm outperforms state-of-the-art clustering schemes, including recent methods that use deep networks.

Ein Clustering-Algorithmus, der eine gemeinsame nichtlineare Dimensionalitätsreduktion und ein Clustering durch Optimierung eines globalen kontinuierlichen Ziels durchführt.

Stellt einen Clustering-Algorithmus vor, der tiefe Autoencoder und Clustering als ein globales, kontinuierliches Ziel gemeinsam löst und bessere Ergebnisse als moderne Clustering-Schemata zeigt.

Deep Continuous Clustering ist eine Clustering-Methode, die das Ziel des Autoencoders mit dem Ziel des Clustering verbindet und dann mit SGD trainiert.


Deep convolutional neural networks (CNNs) are deployed in various applications but demand immense computational requirements. Pruning techniques and Winograd convolution are two typical methods to reduce the CNN computation. However, they cannot be directly combined because Winograd transformation fills in the sparsity resulting from pruning. Li et al. (2017) propose sparse Winograd convolution in which weights are directly pruned in the Winograd domain, but this technique is not very practical because Winograd-domain retraining requires low learning rates and hence significantly longer training time. Besides, Liu et al. (2018) move the ReLU function into the Winograd domain, which can help increase the weight sparsity but requires changes in the network structure. To achieve a high Winograd-domain weight sparsity without changing network structures, we propose a new pruning method, spatial-Winograd pruning. As the first step, spatial-domain weights are pruned in a structured way, which efficiently transfers the spatial-domain sparsity into the Winograd domain and avoids Winograd-domain retraining. For the next step, we also perform pruning and retraining directly in the Winograd domain but propose to use an importance factor matrix to adjust weight importance and weight gradients. This adjustment makes it possible to effectively retrain the pruned Winograd-domain network without changing the network structure. For the three models on the datasets of CIFAR-10, CIFAR-100, and ImageNet, our proposed method can achieve the Winograd-domain sparsities of 63%, 50%, and 74%, respectively.

Um die Berechnung von Convolutional Neural Networks zu beschleunigen, schlagen wir eine neue zweistufige Pruning Technik vor, die eine höhere Sparsamkeit der Winograd-Domäne erreicht, ohne die Netzstruktur zu verändern.

Schlägt ein räumliches Winograd Pruning Framework vor, das es ermöglicht, Pruned Gewichte aus dem räumlichen Bereich im Winograd-Bereich zu behalten und die Spärlichkeit des Winograd-Bereichs zu verbessern.

Schlägt zwei Techniken für das Pruning von Convolutional Layers vor, die den Winograd-Algorithmus verwenden.


In federated learning problems, data is scattered across different servers and exchanging or pooling it is often impractical or prohibited. We develop a Bayesian nonparametric framework for federated learning with neural networks. Each data server is assumed to train local neural network weights, which are modeled through our framework. We then develop an inference approach that allows us to synthesize a more expressive global network without additional supervision or data pooling. We then demonstrate the efficacy of our approach on federated learning problems simulated from two popular image classification datasets.

Wir schlagen ein nichtparametrisches Bayes'sches Modell für föderiertes Lernen mit neuronalen Netzen vor.

Verwendet das Beta-Verfahren für den föderalen neuronalen Abgleich.

Die Arbeit befasst sich mit dem föderativen Lernen neuronaler Netze, bei dem die Daten auf mehrere Rechner verteilt sind und die Verteilung der Datenpunkte potenziell inhomogen und unausgewogen ist.


We present a general-purpose method to train Markov chain Monte Carlo kernels, parameterized by deep neural networks, that converge and mix quickly to their target distribution. Our method generalizes Hamiltonian Monte Carlo and is trained to maximize expected squared jumped distance, a proxy for mixing speed. We demonstrate large empirical gains on a collection of simple but challenging distributions, for instance achieving a 106x improvement in effective sample size in one case, and mixing when standard HMC makes no measurable progress in a second. Finally, we show quantitative and qualitative gains on a real-world task: latent-variable generative modeling. Python source code will be open-sourced with the camera-ready paper.

Allgemeine Methode zum Trainieren ausdrucksstarker MCMC-Kerne, die mit tiefen neuronalen Netzen parametrisiert sind. Bei einer Zielverteilung p bietet unsere Methode einen schnell mischenden Sampler, der den Zustandsraum effizient erkunden kann.

Er schlägt eine verallgemeinerte HMC vor, indem er den Leapfrog-Integrator mit Hilfe neuronaler Netze modifiziert, um den Sampler schnell konvergieren und mischen zu lassen.


This paper addresses the problem of evaluating learning systems in safety critical domains such as autonomous driving, where failures can have catastrophic consequences. We focus on two problems: searching for scenarios when learned agents fail and assessing their probability of failure. The standard method for agent evaluation in reinforcement learning, Vanilla Monte Carlo, can miss failures entirely, leading to the deployment of unsafe agents. We demonstrate this is an issue for current agents, where even matching the compute used for training is sometimes insufficient for evaluation. To address this shortcoming, we draw upon the rare event probability estimation literature and propose an adversarial evaluation approach. Our approach focuses evaluation on adversarially chosen situations, while still providing unbiased estimates of failure probabilities. The key difficulty is in identifying these adversarial situations -- since failures are rare there is little signal to drive optimization. To solve this we propose a continuation approach that learns failure modes in related but less robust agents. Our approach also allows reuse of data already collected for training the agent. We demonstrate the efficacy of adversarial evaluation on two standard domains: humanoid control and simulated driving. Experimental results show that our methods can find catastrophic failures and estimate failures rates of agents multiple orders of magnitude faster than standard evaluation schemes, in minutes to hours rather than days.

Wir zeigen, dass seltene, aber katastrophale Fehler bei Zufallstests völlig übersehen werden können, was Probleme für einen sicheren Einsatz mit sich bringt. Unser vorgeschlagener Ansatz für adversarial Tests behebt dieses Problem.

Es wird eine Methode vorgeschlagen, mit der eine Vorhersage der Ausfallwahrscheinlichkeit für einen gelernten Agenten erlernt werden kann, was zu Vorhersagen darüber führt, welche Anfangszustände zum Ausfall eines Systems führen.

In dieser Arbeit wird ein Ansatz für die Auswahl von Fehlerfällen für RL-Algorithmen vorgeschlagen, der auf einer Funktion basiert, die über ein neuronales Netz für Fehler gelernt wird, die während des Agententrainings auftreten.

In dieser Arbeit wird ein kontradiktorischer Ansatz zur Identifizierung von katastrophalen Fehlern beim Reinforcement Learning vorgeschlagen.


The variational autoencoder (VAE) is a popular combination of deep latent variable model and accompanying variational learning technique. By using a neural inference network to approximate the model's posterior on latent variables, VAEs efficiently parameterize a lower bound on marginal data likelihood that can be optimized directly via gradient methods. In practice, however, VAE training often results in a degenerate local optimum known as "posterior collapse" where the model learns to ignore the latent variable and the approximate posterior mimics the prior. In this paper, we investigate posterior collapse from the perspective of training dynamics. We find that during the initial stages of training the inference network fails to approximate the model's true posterior, which is a moving target. As a result, the model is encouraged to ignore the latent encoding and posterior collapse occurs. Based on this observation, we propose an extremely simple modification to VAE training to reduce inference lag: depending on the model's current mutual information between latent variable and observation, we aggressively optimize the inference network before performing each model update. Despite introducing neither new model components nor significant complexity over basic VAE, our approach is able to avoid the problem of collapse that has plagued a large amount of previous work. Empirically, our approach outperforms strong autoregressive baselines on text and image benchmarks in terms of held-out likelihood, and is competitive with more complex techniques for avoiding collapse while being substantially faster.

Um den posterioren Kollaps in VAEs zu bekämpfen, schlagen wir ein neuartiges, aber einfaches Trainingsverfahren vor, das das Inferenznetzwerk mit mehr Updates aggressiv optimiert. Dieses neue Trainingsverfahren mildert den posterioren Kollaps und führt zu einem besseren VAE-Modell.

Untersucht das Phänomen des posterioren Kollaps und zeigt, dass ein verstärktes Training des Inferenznetzes das Problem verringern und zu besseren Optima führen kann.

Die Autoren schlagen vor, das Trainingsverfahren der VAEs nur als Lösung für den posterioren Kollaps zu ändern und das Modell und das Ziel unangetastet zu lassen.


Online healthcare services can provide the general public with ubiquitous access to medical knowledge and reduce the information access cost for both individuals and societies. To promote these benefits, it is desired to effectively expand the scale of high-quality yet novel relational medical entity pairs that embody rich medical knowledge in a structured form. To fulfill this goal, we introduce a generative model called Conditional Relationship Variational Autoencoder (CRVAE), which can discover meaningful and novel relational medical entity pairs without the requirement of additional external knowledge. Rather than discriminatively identifying the relationship between two given medical entities in a free-text corpus, we directly model and understand medical relationships from diversely expressed medical entity pairs. The proposed model introduces the generative modeling capacity of variational autoencoder to entity pairs, and has the ability to discover new relational medical entity pairs solely based on the existing entity pairs. Beside entity pairs, relationship-enhanced entity representations are obtained as another appealing benefit of the proposed method. Both quantitative and qualitative evaluations on real-world medical datasets demonstrate the effectiveness of the proposed method in generating relational medical entity pairs that are meaningful and novel.

Generative Entdeckung bedeutungsvoller, neuartiger Entitätspaare mit einer bestimmten medizinischen Beziehung durch reines Lernen aus den vorhandenen bedeutungsvollen Entitätspaaren, ohne dass ein zusätzlicher Textkorpus für die diskriminative Extraktion erforderlich ist.

Präsentiert einen variationalen Autoencoder zur Generierung von Entity-Paaren anhand einer Beziehung in einem medizinischen Umfeld.

Im medizinischen Kontext wird in diesem Beitrag das klassische Problem der "Vervollständigung der Wissensbasis" aus ausschließlich strukturierten Daten beschrieben.


Although variational autoencoders (VAEs) represent a widely influential deep generative model, many aspects of the underlying energy function remain poorly understood.  In particular, it is commonly believed that Gaussian encoder/decoder assumptions reduce the effectiveness of VAEs in generating realistic samples .  In this regard, we rigorously analyze the VAE objective, differentiating situations where this belief is and is not actually true .  We then leverage the corresponding insights to develop a simple VAE enhancement that requires no additional hyperparameters or sensitive tuning .  Quantitatively, this proposal produces crisp samples and stable FID scores that are actually competitive with a variety of GAN models, all while retaining desirable attributes of the original VAE architecture . The code for our model is available at \url{https://github.com/daib13/TwoStageVAE}.

Wir analysieren die VAE-Zielfunktion genau und ziehen neue Schlussfolgerungen, die zu einfachen Verbesserungen führen.

schlägt eine zweistufige VAE-Methode vor, um qualitativ hochwertige Beispiele zu erzeugen und Unschärfen zu vermeiden.

In diesem Beitrag werden die Gaußschen VAEs analysiert.

Die Arbeit liefert eine Reihe von theoretischen Ergebnissen über "vanilla" Gaussian Variational Auto-Encoders, die dann verwendet werden, um einen neuen Algorithmus namens "2 stage VAEs" zu bauen.


We give a simple, fast algorithm for hyperparameter optimization inspired by techniques from the analysis of Boolean functions.   We focus on the high-dimensional regime where the canonical example is training a neural network with a large number of hyperparameters. The algorithm --- an iterative application of compressed sensing techniques for orthogonal polynomials --- requires only uniform sampling of the hyperparameters and is thus easily parallelizable.

 Experiments for training deep neural networks on Cifar-10 show that compared to state-of-the-art tools (e.g., Hyperband and Spearmint), our algorithm finds significantly improved solutions, in some cases better than what is attainable by hand-tuning.   In terms of overall running time (i.e., time required to sample various settings of hyperparameters plus additional computation time), we are at least an order of magnitude faster than Hyperband and Bayesian Optimization.   We also outperform Random Search $8\times$.

Our method is inspired by provably-efficient algorithms for learning decision trees using the discrete Fourier transform.   We obtain improved sample-complexty bounds for learning decision trees while matching state-of-the-art bounds on running time (polynomial and quasipolynomial, respectively).

Ein Algorithmus zur Abstimmung der Hyperparameter unter Verwendung der diskreten Fourier-Analyse und des komprimierten Sensings.

Untersucht das Problem der Optimierung von Hyperparametern unter der Annahme, dass die unbekannte Funktion approximiert werden kann, und zeigt, dass die approximative Minimierung über den booleschen Hyperwürfel durchgeführt werden kann.

Die Arbeit untersucht die Optimierung von Hyperparametern durch die Annahme einer Struktur in der unbekannten Funktion, die Hyperparameter auf die Klassifizierungsgenauigkeit abbildet.


Permutations and matchings are core building blocks in a variety of latent variable models, as they allow us to align, canonicalize, and sort data. Learning in such models is difficult, however, because exact marginalization over these combinatorial objects is intractable. In response, this paper introduces a collection of new methods for end-to-end learning in such models that approximate discrete maximum-weight matching using the continuous Sinkhorn operator.   Sinkhorn iteration is attractive because it functions as a simple, easy-to-implement analog of the softmax operator. With this, we can define the Gumbel-Sinkhorn method, an extension of the Gumbel-Softmax method (Jang et al. 2016, Maddison2016 et al. 2016) to distributions over latent matchings. We demonstrate the effectiveness of our method by outperforming competitive baselines on a range of qualitatively different tasks: sorting numbers, solving jigsaw puzzles, and identifying neural signals in worms.

Eine neue Methode für die Gradientenabstammung von Permutationen, mit Anwendungen für die Inferenz von latenten Übereinstimmungen und das überwachte Lernen von Permutationen mit neuronalen Netzen.

Die Arbeit verwendet eine endliche Annäherung des Sinkhorn-Operators, um zu beschreiben, wie man ein neuronales Netz zum Lernen aus permutationsbewerteten Trainingsdaten konstruieren kann.

Die Arbeit schlägt eine neue Methode vor, die das diskrete Max-Gewicht für das Lernen latenter Permutationen annähert.


Recent work in network quantization has substantially reduced the time and space complexity of neural network inference, enabling their deployment on embedded and mobile devices with limited computational and memory resources. However, existing quantization methods often represent all weights and activations with the same precision (bit-width). In this paper, we explore a new dimension of the design space: quantizing different layers with different bit-widths. We formulate this problem as a neural architecture search problem and propose a novel differentiable neural architecture search (DNAS) framework to efficiently explore its exponential search space with gradient-based optimization. Experiments show we surpass the state-of-the-art compression of ResNet on CIFAR-10 and ImageNet. Our quantized models with 21.1x smaller model size or 103.9x lower computational cost can still outperform baseline quantized or even full precision models.

Ein neuartiger Suchrahmen für differenzierbare neuronale Architekturen zur gemischten Quantisierung von ConvNets.

Die Autoren stellen eine neue Methode für die Suche nach einer neuronalen Architektur vor, die die Präzisionsquantisierung der Gewichte in jeder Schicht des neuronalen Netzes auswählt, und verwenden sie im Zusammenhang mit der Netzkompression.

In diesem Beitrag wird ein neuer Ansatz für die Quantisierung von Netzwerken vorgestellt, bei dem verschiedene Schichten mit unterschiedlichen Bitbreiten quantisiert werden, und es wird ein neuer Suchrahmen für differenzierbare neuronale Architekturen eingeführt.


The top-$k$ error is a common measure of performance in machine learning and computer vision. In practice, top-$k$ classification is typically performed with deep neural networks trained with the cross-entropy loss. Theoretical results indeed suggest that cross-entropy is an optimal learning objective for such a task in the limit of infinite data. In the context of limited and noisy data however, the use of a loss function that is specifically designed for top-$k$ classification can bring significant improvements.
 Our empirical evidence suggests that the loss function must be smooth and have non-sparse gradients in order to work well with deep neural networks. Consequently, we introduce a family of smoothed loss functions that are suited to top-$k$ optimization via deep learning. The widely used cross-entropy is a special case of our family. Evaluating our smooth loss functions is computationally challenging: a na{\"i}ve algorithm would require $\mathcal{O}(\binom{n}{k})$ operations, where $n$ is the number of classes. Thanks to a connection to polynomial algebra and a divide-and-conquer approach, we provide an algorithm with a time complexity of $\mathcal{O}(k n)$. Furthermore, we present a novel approximation to obtain fast and stable algorithms on GPUs with single floating point precision. We compare the performance of the cross-entropy loss and our margin-based losses in various regimes of noise and data size, for the predominant use case of $k=5$. Our investigation reveals that our loss is more robust to noise and overfitting than cross-entropy.

Glättende Verlustfunktion für Top-k-Fehlerminimierung.

Schlägt vor, den Top-k-Verlust mit tiefen Modellen zu verwenden, um das Problem der Klassenverwechslung mit ähnlichen Klassen zu lösen, die im Trainingsdatensatz sowohl vorhanden als auch nicht vorhanden sind.

In dieser Arbeit wird eine glatte Surrogate-Verlustfunktion für die Top-k-SVM eingeführt, um die SVM mit den tiefen neuronalen Netzen zu verbinden.


Designing a molecule with desired properties is one of the biggest challenges in drug development, as it requires optimization of chemical compound structures with respect to many complex properties. To augment the compound design process we introduce Mol-CycleGAN -- a CycleGAN-based model that generates optimized compounds with a chemical scaffold of interest. Namely, given a molecule our model generates a structurally similar one with an optimized value of the considered property. We evaluate the performance of the model on selected optimization objectives related to structural properties (presence of halogen groups, number of aromatic rings) and to a physicochemical property (penalized logP). In the task of optimization of penalized logP of drug-like molecules our model significantly outperforms previous results.

Wir stellen Mol-CycleGAN vor - ein neues generatives Modell zur Optimierung von Molekülen, um das Design von Medikamenten zu verbessern.

Die Arbeit stellt einen Ansatz zur Optimierung molekularer Eigenschaften vor, der auf der Anwendung von CycleGANs auf variationalen Autoencodern für Moleküle basiert und eine domänenspezifische VAE namens Junction Tree VAE (JT-VAE) verwendet.

In diesem Beitrag wird ein variationaler Autoencoder verwendet, um eine Übersetzungsfunktion zu erlernen, die von der Menge der Moleküle ohne die gewünschte Eigenschaft zur Menge der Moleküle mit der Eigenschaft führt.


Knowledge distillation is a potential solution for model compression. The idea is to make a small student network imitate the target of a large teacher network, then the student network can be competitive to the teacher one. Most previous studies focus on model distillation in the classification task, where they propose different architectures and initializations for the student network. However, only the classification task is not enough, and other related tasks such as regression and retrieval are barely considered. To solve the problem, in this paper, we take face recognition as a breaking point and propose model distillation with knowledge transfer from face classification to alignment and verification. By selecting appropriate initializations and targets in the knowledge transfer, the distillation can be easier in non-classification tasks. Experiments on the CelebA and CASIA-WebFace datasets demonstrate that the student network can be competitive to the teacher one in alignment and verification, and even surpasses the teacher network under specific compression rates. In addition, to achieve stronger knowledge transfer, we also use a common initialization trick to improve the distillation performance of classification. Evaluations on the CASIA-Webface and large-scale MS-Celeb-1M datasets show the effectiveness of this simple trick.

Wir nehmen die Gesichtserkennung als Bruchstelle und schlagen eine Modelldestillation mit Wissenstransfer von der Gesichtsklassifizierung zum Abgleich und zur Verifizierung vor.

In diesem Beitrag wird vorgeschlagen, den Klassifikator aus dem Modell für die Gesichtsklassifizierung auf die Aufgabe der Ausrichtung und Überprüfung zu übertragen.

Das Manuskript stellt Experimente vor, bei denen Wissen aus einem Gesichtsklassifizierungsmodell in Studentenmodelle für die Ausrichtung und Verifizierung von Gesichtern destilliert wurde.


RNNs have been shown to be excellent models for sequential data and in particular for session-based user behavior. The use of RNNs provides impressive performance benefits over classical methods in session-based recommendations. In this work we introduce a novel ranking loss function tailored for RNNs in recommendation settings. The better performance of such loss over alternatives, along with further tricks and improvements described in this work, allow to achieve an overall improvement of up to 35% in terms of MRR and Recall@20 over previous session-based RNN solutions and up to 51% over classical collaborative filtering approaches. Unlike data augmentation-based improvements, our method does not increase training times significantly.

Verbesserung der sitzungsbasierten Empfehlungen mit RNNs (GRU4Rec) um 35% durch neu entwickelte Verlustfunktionen und Beispiele.

Diese Arbeit analysiert bestehende Verlustfunktionen für sitzungsbasierte Empfehlungen und schlägt zwei neuartige Verlustfunktionen vor, die eine Gewichtung zu bestehenden rangbasierten Verlustfunktionen hinzufügen.

Vorstellen von Änderungen an früheren Arbeiten für sitzungsbasierte Empfehlungen unter Verwendung von RNN, indem negative Beispiele nach ihrer "Relevanz" gewichtet werden.

In diesem Beitrag werden die Probleme bei der Optimierung der Verlustfunktionen in GRU4Rec erörtert, Tricks zur Optimierung vorgeschlagen und eine verbesserte Version vorgeschlagen.


In representational lifelong learning an agent aims to continually learn to solve novel tasks while updating its representation in light of previous tasks. Under the assumption that future tasks are related to previous tasks, representations should be learned in such a way that they capture the common structure across learned tasks, while allowing the learner sufficient flexibility to adapt to novel aspects of a new task. We develop a framework for lifelong learning in deep neural networks that is based on generalization bounds, developed within the PAC-Bayes framework. Learning takes place through the construction of a distribution over networks based on the tasks seen so far, and its utilization for learning a new task. Thus, prior knowledge is incorporated through setting a history-dependent prior for novel tasks. We develop a gradient-based algorithm implementing these ideas, based on minimizing an objective function motivated by generalization bounds, and demonstrate its effectiveness through numerical examples.

Wir entwickeln einen auf der PAC-Bayes-Theorie basierenden Ansatz des lifelong Learnings für das Transferlernen, bei dem die Prioritäten angepasst werden, wenn neue Aufgaben auftreten, wodurch das Lernen neuer Aufgaben erleichtert wird.

Eine neuartige PAC-Bayes'sche Risikogrenze, die als Zielfunktion für maschinelles Lernen mit mehreren Aufgaben dient, und ein Algorithmus zur Minimierung einer vereinfachten Version dieser Zielfunktion.

Erweitert die bestehenden PAC-Bayes-Grenzen auf Multi-Task-Lernen, damit der Prior für verschiedene Aufgaben angepasst werden kann.


Optimization algorithms for training deep models not only affects the convergence rate and stability of the training process, but are also highly related to the generalization performance of trained models. While adaptive algorithms, such as Adam and RMSprop, have shown better optimization performance than stochastic gradient descent (SGD) in many scenarios, they often lead to worse generalization performance than SGD, when used for training deep neural networks (DNNs). In this work, we identify two problems regarding the direction and step size for updating the weight vectors of hidden units, which may degrade the generalization performance of Adam. As a solution, we propose the normalized direction-preserving Adam (ND-Adam) algorithm, which controls the update direction and step size more precisely, and thus bridges the generalization gap between Adam and SGD. Following a similar rationale, we further improve the generalization performance in classification tasks by regularizing the softmax logits. By bridging the gap between SGD and Adam, we also shed some light on why certain optimization algorithms generalize better than others.

Eine maßgeschneiderte Version von Adam für das Training von DNNs, die die Generalisierungslücke zwischen Adam und SGD schließt.

Vorschlagen einer Variante des ADAM-Optimierungsalgorithmus, bei der die Gewichte jeder versteckten Einheit durch Batch-Normalisierung normalisiert werden.

Erweiterung des Adam-Optimierungsalgorithmus, um die Aktualisierungsrichtung zu erhalten, indem die Lernrate für die eingehenden Gewichte einer versteckten Einheit gemeinsam unter Verwendung der L2-Norm des Gradientenvektors angepasst wird.


Options in reinforcement learning allow agents to hierarchically decompose a task into subtasks, having the potential to speed up learning and planning. However, autonomously learning effective sets of options is still a major challenge in the field. In this paper we focus on the recently introduced idea of using representation learning methods to guide the option discovery process. Specifically, we look at eigenoptions, options obtained from representations that encode diffusive information flow in the environment. We extend the existing algorithms for eigenoption discovery to settings with stochastic transitions and in which handcrafted features are not available.   We propose an algorithm that discovers eigenoptions while learning non-linear state representations from raw pixels. It exploits recent successes in the deep reinforcement learning literature and the equivalence between proto-value functions and the successor representation. We use traditional tabular domains to provide intuition about our approach and Atari 2600 games to demonstrate its potential.

Wir zeigen, wie wir die Nachfolgerepräsentation verwenden können, um Eigenoptionen in stochastischen Domänen aus rohen Pixeln zu entdecken. Eigenoptionen sind Optionen, die gelernt werden, um in den latenten Dimensionen einer gelernten Darstellung zu navigieren.

Erweitert die Idee der Eigenoptionen auf Bereiche mit stochastischen Übergängen und in denen Zustandsmerkmale gelernt werden.

Zeigt die Äquivalenz zwischen Proto-Wertfunktionen und Nachfolgedarstellungen und leitet die Idee der Eigenoptionen als Mechanismus der Optionsfindung ab.

Das Papier knüpft an frühere Arbeiten von Machado et al. (2017) an, die zeigen, wie Proto-Wert-Funktionen verwendet werden können, um Optionen, sogenannte "Eigenoptionen", zu definieren.


One form of characterizing the expressiveness of a piecewise linear neural network is by the number of linear regions, or pieces, of the function modeled. We have observed substantial progress in this topic through lower and upper bounds on the maximum number of linear regions and a counting procedure. However, these bounds only account for the dimensions of the network and the exact counting may take a prohibitive amount of time, therefore making it infeasible to benchmark the expressiveness of networks. In this work, we approximate the number of linear regions of specific rectifier networks with an algorithm for probabilistic lower bounds of mixed-integer linear sets. In addition, we present a tighter upper bound that leverages network coefficients. We test both on trained networks. The algorithm for probabilistic lower bounds is several orders of magnitude faster than exact counting and the values reach similar orders of magnitude, hence making our approach a viable method to compare the expressiveness of such networks. The refined upper bound is particularly stronger on networks with narrow layers.

Wir bieten verbesserte obere Schranken für die Anzahl der linearen Regionen, die in der Netzwerkexpressivität verwendet werden, und einen hocheffizienten Algorithmus (mit exakter Zählung), um probabilistische untere Schranken für die tatsächliche Anzahl der linearen Regionen zu erhalten.

Beitrag zur Untersuchung der Anzahl linearer Regionen in neuronalen Netzen von RELU durch Verwendung eines approximativen probabilistischen Zählalgorithmus und einer Analyse.

Aufbauen auf früheren Arbeiten, die die Zählung linearer Regionen in tiefen neuronalen Netzen untersuchten, und verbesserern der zuvor vorgeschlagene Obergrenze durch Änderung der Dimensionalitätsbeschränkung.

Die Arbeit befasst sich mit der Ausdruckskraft eines stückweise linearen neuronalen Netzes, das durch die Anzahl der linearen Regionen der modellierten Funktion gekennzeichnet ist, und nutzt probabilistische Algorithmen, um die Grenzen schneller zu berechnen und engere Grenzen zu beweisen.


The ability to look multiple times through a series of pose-adjusted glimpses is fundamental to human vision. This critical faculty allows us to understand highly complex visual scenes. Short term memory plays an integral role in aggregating the information obtained from these glimpses and informing our interpretation of the scene. Computational models have attempted to address glimpsing and visual attention but have failed to incorporate the notion of memory. We introduce a novel, biologically inspired visual working memory architecture that we term the Hebb-Rosenblatt memory. We subsequently introduce a fully differentiable Short Term Attentive Working Memory model (STAWM) which uses transformational attention to learn a memory over each image it sees. The state of our Hebb-Rosenblatt memory is embedded in STAWM as the weights space of a layer. By projecting different queries through this layer we can obtain goal-oriented latent representations for tasks including classification and visual reconstruction. Our model obtains highly competitive classification performance on MNIST and CIFAR-10. As demonstrated through the CelebA dataset, to perform reconstruction the model learns to make a sequence of updates to a canvas which constitute a parts-based representation. Classification with the self supervised representation obtained from MNIST is shown to be in line with the state of the art models (none of which use a visual attention mechanism). Finally, we show that STAWM can be trained under the dual constraints of classification and reconstruction to provide an interpretable visual sketchpad which helps open the `black-box' of deep learning.

Ein biologisch inspirierter Arbeitsspeicher, das in rekurrente visuelle Aufmerksamkeitsmodelle integriert werden kann, um den neuesten Stand der Technik zu erreichen.

Einführung einer neuen Netzarchitektur, die sich am visuell-aufmerksamen Arbeitsspeicher orientiert, und Anwendung auf Klassifizierungsaufgaben findest, sowie Verwendung als generatives Modell.

Die Arbeit erweitert das rekurrente Aufmerksamkeitsmodell um ein neuartiges Hebb-Rosenblatt-Arbeitsspeichermodell und erzielt konkurrenzfähige Ergebnisse auf MNIST.


Generative models have been successfully applied to image style transfer and domain translation. However, there is still a wide gap in the quality of results when learning such tasks on musical audio. Furthermore, most translation models only enable one-to-one or one-to-many transfer by relying on separate encoders or decoders and complex, computationally-heavy models. In this paper, we introduce the Modulated Variational auto-Encoders (MoVE) to perform musical timbre transfer. First, we define timbre transfer as applying parts of the auditory properties of a musical instrument onto another. We show that we can achieve and improve this task by conditioning existing domain translation techniques with Feature-wise Linear Modulation (FiLM). Then, by replacing the usual adversarial translation criterion by a Maximum Mean Discrepancy (MMD) objective, we alleviate the need for an auxiliary pair of discriminative networks. This allows a faster and more stable training, along with a controllable latent space encoder. By further conditioning our system on several different instruments, we can generalize to many-to-many transfer within a single variational architecture able to perform multi-domain transfers. Our models map inputs to 3-dimensional representations, successfully translating timbre from one instrument to another and supporting sound synthesis on a reduced set of control parameters. We evaluate our method in reconstruction and generation tasks while analyzing the auditory descriptor distributions across transferred domains. We show that this architecture incorporates generative controls in multi-domain transfer, yet remaining rather light, fast to train and effective on small datasets.

Die Arbeit verwendet variational Auto-Encoding und Netzwerk Konditionierung für Übertragung musikalischer Klangfarben, wir entwickeln und verallgemeinern unsere Architektur für Many-to-Many Instrumenten Transfers zusammen mit Visualisierungen und Bewertungen.

Vorschlagen eines modulierten variationalen Auto-Encoders für die Übertragung musikalischer Klangfarben durch Ersetzen des üblichen adversarial Übersetzungskriteriums durch eine Maximum Mean Discrepancy.

Beschreibt ein Many-to-many Modell für die Übertragung musikalischer Klangfarben, das auf den jüngsten Entwicklungen im Bereich der Übertragung von Bereichen und Stilen aufbaut.

Vorschlag eines hybriden VAE-basierten Modells zur Übertragung von Klangfarben auf Aufnahmen von Musikinstrumenten.


We study the behavior of weight-tied multilayer vanilla autoencoders under the assumption of random weights. Via an exact characterization in the limit of large dimensions, our analysis reveals interesting phase transition phenomena when the depth becomes large. This, in particular, provides quantitative answers and insights to three questions that were yet fully understood in the literature. Firstly, we provide a precise answer on how the random deep weight-tied autoencoder model performs “approximate inference” as posed by Scellier et al. (2018), and its connection to reversibility considered by several theoretical studies. Secondly, we show that deep autoencoders display a higher degree of sensitivity to perturbations in the parameters, distinct from the shallow counterparts. Thirdly, we obtain insights on pitfalls in training initialization practice, and demonstrate experimentally that it is possible to train a deep autoencoder, even with the tanh activation and a depth as large as 200 layers, without resorting to techniques such as layer-wise pre-training or batch normalization. Our analysis is not specific to any depths or any Lipschitz activations, and our analytical techniques may have broader applicability.

Wir untersuchen das Verhalten von gewichtsgebundenen mehrschichtigen einfachen Autoencodern unter der Annahme zufälliger Gewichte. Durch eine exakte Charakterisierung im Grenzbereich großer Dimensionen zeigt unsere Analyse interessante Phasenübergangsphänomene.

Eine theoretische Analyse von Autoencodern mit zwischen Encoder und Decoder gebundenen Gewichten (weight-tied) mittels Mean Field Analysis.

Analyse der Leistungen von gewichteten gebundenen Autoencodern auf der Grundlage der jüngsten Fortschritte bei der Analyse hochdimensionaler statistischer Probleme und insbesondere des Message-Passing-Algorithmus.

In diesem Beitrag werden Auto-Encoder unter verschiedenen Annahmen untersucht und es wird aufgezeigt, dass dieses Modell eines zufälligen Auto-Encoders elegant und rigoros mit eindimensionalen Gleichungen analysiert werden kann.


Assessing distance betweeen the true and the sample distribution is a key component of many state of the art generative models, such as Wasserstein Autoencoder (WAE). Inspired by prior work on Sliced-Wasserstein Autoencoders (SWAE) and
 kernel smoothing we construct a new generative model – Cramer-Wold AutoEncoder (CWAE). CWAE cost function, based on introduced Cramer-Wold distance between samples, has a simple closed-form in the case of normal prior. As a consequence, while simplifying the optimization procedure (no need of sampling necessary to evaluate the distance function in the training loop), CWAE performance matches quantitatively and qualitatively that of WAE-MMD (WAE using maximum mean discrepancy based distance function) and often improves upon SWAE.

Inspiriert von früheren Arbeiten zu Sliced-Wasserstein-Autoencodern (SWAE) und Kernel-Glättung konstruieren wir ein neues generatives Modell - den Cramer-Wold AutoEncoder (CWAE).

In dieser Arbeit wird eine WAE-Variante vorgeschlagen, die auf einem neuen statistischen Abstand zwischen der kodierten Datenverteilung und der latenten Prioritätsverteilung beruht.

Vorstellen einer Variation des Wasserstein-AudoEncoders, eine neuartige regulierte Auto-Encoder Architektur, die eine spezifische Wahl der Divergenzstrafe vorschlägt.

In diesem Beitrag wird der Cramer-Wold-Autoencoder vorgeschlagen, der den Cramer-Wold-Abstand zwischen zwei Verteilungen auf der Grundlage des Cramer-Wold-Theorems verwendet.


We propose a rejection sampling scheme using the discriminator of a GAN to
 approximately correct errors in the GAN generator distribution. We show that
 under quite strict assumptions, this will allow us to recover the data distribution
 exactly. We then examine where those strict assumptions break down and design a
 practical algorithm—called Discriminator Rejection Sampling (DRS)—that can be
 used on real data-sets. Finally, we demonstrate the efficacy of DRS on a mixture of
 Gaussians and on the state of the art SAGAN model. On ImageNet, we train an
 improved baseline that increases the best published Inception Score from 52.52 to
 62.36 and reduces the Frechet Inception Distance from 18.65 to 14.79. We then use
 DRS to further improve on this baseline, improving the Inception Score to 76.08
 and the FID to 13.75.

Wir verwenden einen GAN-Diskriminator, um am Ausgang des GAN-Generators ein annäherndes Rückweisungsstichprobenverfahren durchzuführen.

Vorschlagen eines Algorithmus für die Rückweisung von Stichproben aus dem GAN-Generator.

In diesem Beitrag wird ein Post-Processing-Rejection-Sampling-Verfahren für GANs vorgeschlagen, das so genannte Discriminator Rejection Sampling, mit dem gute Beispiele aus dem GAN-Generator herausgefiltert werden können.


The quality of the features used in visual recognition is of fundamental importance for the overall system. For a long time, low-level hand-designed feature algorithms as SIFT and HOG have obtained the best results on image recognition. Visual features have recently been extracted from trained convolutional neural networks. Despite the high-quality results, one of the main drawbacks of this approach, when compared with hand-designed features, is the training time required during the learning process. In this paper, we propose a simple and fast way to train supervised convolutional models to feature extraction while still maintaining its high-quality. This methodology is evaluated on different datasets and compared with state-of-the-art approaches.

Eine einfache und schnelle Methode zur Extraktion visueller Merkmale aus Convolutional Neural Networks.

Vorschlagen eines schnellen Wegs zum Erlernen von Convolutional Features, die später mit jedem Klassifikator verwendet werden können, indem eine geringere Anzahl von Trainings Epocs und spezifische Zeitplanverzögerungen der Lernrate verwendet werden.

Verwenden eines Schema zum Abklingen der Lernrate, das relativ zur Anzahl der beim Training verwendeten Epochen festgelegt ist, und extrahieren der Ausgabe der vorletzten Schicht als Merkmale, um einen herkömmlichen Klassifikator zu trainieren.


We develop a framework for understanding and improving recurrent neural networks (RNNs) using max-affine spline operators (MASOs). We prove that RNNs using piecewise affine and convex nonlinearities can be written as a simple piecewise affine spline operator. The resulting representation provides several new perspectives for analyzing RNNs, three of which we study in this paper. First, we show that an RNN internally partitions the input space during training and that it builds up the partition through time. Second, we show that the affine slope parameter of an RNN corresponds to an input-specific template, from which we can interpret an RNN as performing a simple template matching (matched filtering) given the input. Third, by carefully examining the MASO RNN affine mapping, we prove that using a random initial hidden state corresponds to an explicit L2 regularization of the affine parameters, which can mollify exploding gradients and improve generalization. Extensive experiments on several datasets of various modalities demonstrate and validate each of the above conclusions. In particular, using a random initial hidden states elevates simple RNNs to near state-of-the-art performers on these datasets.

Wir bieten neue Einblicke und Interpretationen von RNNs aus der Perspektive der max-affinen Spline-Operatoren.

Schreibt die Gleichungen des Elman RNN in Form von sogenannten max-affine Spline-Operatoren um.

Bereitstellen eines neuen Ansatz zum Verständnis von RNNs mit Max-Affine-Spline-Operatoren (MASO), indem sie mit stückweise affinen und konvexen MASOs Aktivierungen umgeschrieben werden.

Die Autoren bauen auf der Max-Affine-Spline-Operator Interpretation einer umfangreichen Klasse von tiefen Netzen auf und konzentrieren sich dabei auf rekurrente neuronale Netze, bei denen Störungen im anfänglichen verborgenen Zustand als Regularisierung dient.


Reasoning over text and Knowledge Bases (KBs) is a major challenge for Artificial Intelligence, with applications in machine reading, dialogue, and question answering.  Transducing text to logical forms which can be operated on is a brittle and error-prone process . Operating directly on text by jointly learning representations and transformations thereof by means of neural architectures that lack the ability to learn and exploit general rules can be very data-inefficient and not generalise correctly . These issues are addressed by Neural Theorem Provers (NTPs) (Rocktäschel & Riedel, 2017), neuro-symbolic systems based on a continuous relaxation of Prolog’s backward chaining algorithm, where symbolic unification between atoms is replaced by a differentiable operator computing the similarity between their embedding representations . In this paper, we first propose Neighbourhood-approximated Neural Theorem Provers (NaNTPs) consisting of two extensions toNTPs, namely a) a method for drastically reducing the previously prohibitive time and space complexity during inference and learning, and b) an attention mechanism for improving the rule learning process, deeming them usable on real-world datasets. Then, we propose a novel approach for jointly reasoning over KB facts and textual mentions, by jointly embedding them in a shared embedding space. The proposed method is able to extract rules and provide explanations—involving both textual patterns and KB relations—from large KBs and text corpora. We show that NaNTPs perform on par with NTPs at a fraction of a cost, and can achieve competitive link prediction results on challenging large-scale datasets, including WN18, WN18RR, and FB15k-237 (with and without textual mentions) while being able to provide explanations for each prediction and extract interpretable rules.

Wir skalieren Neuronale Theorembeweiser auf große Datensätze, verbessern den Regel-Lernprozess und erweitern ihn, um gemeinsam Schlussfolgerungen über Text und Wissensdatenbanken zu ziehen.

Vorschlagen einer Erweiterung des Systems der neuronalen Theorembeweiser, die die wichtigsten Probleme dieser Modelle angeht, indem die zeitliche und räumliche Komplexität der Modelle verringert wird.

Skalierung von NTPs durch approximierte Suche nach nächsten Nachbarn über Fakten und Regeln während der Vereinheitlichung und Vorschlag zur Parametrisierung von Prädikaten mit Hilfe von Aufmerksamkeit über bekannte Prädikate.

Verbessern des zuvor vorgeschlagenen Ansatz des Neuronalen Theoremprüfers durch die Verwendung der nächste Nachbarn Suche.


We investigate the methods by which a Reservoir Computing Network (RCN) learns concepts such as 'similar' and 'different' between pairs of images using a small training dataset and generalizes these concepts to previously unseen types of data. Specifically, we show that an RCN trained to identify relationships between image-pairs drawn from a subset of digits from the MNIST database or the depth maps of subset of visual scenes from a moving camera generalizes the learned transformations to images of digits unseen during training or depth maps of different visual scenes. We infer, using Principal Component Analysis, that the high dimensional reservoir states generated from an input image pair with a specific transformation converge over time to a unique relationship. Thus, as opposed to training the entire high dimensional reservoir state, the reservoir only needs to train on these unique relationships, allowing the reservoir to perform well with very few training examples. Thus, generalization of learning to unseen images is interpretable in terms of clustering of the reservoir state onto the attractor corresponding to the transformation in reservoir space. We find that RCNs can identify and generalize linear and non-linear transformations, and combinations of transformations, naturally and be a robust and effective image classifier. Additionally, RCNs perform significantly better than state of the art neural network classification techniques such as deep Siamese Neural Networks (SNNs) in generalization tasks both on the MNIST dataset and more complex depth maps of visual scenes from a moving camera. This work helps bridge the gap between explainable machine learning and biological learning through analogies using small datasets, and points to new directions in the investigation of learning processes.

Verallgemeinerung der zwischen Bildpaaren erlernten Beziehungen anhand einer kleinen Anzahl von Trainingsdaten auf bisher ungesehene Bildtypen mit Hilfe eines erklärbaren dynamischen Systemmodells, Reservoir Computing, und einer biologisch plausiblen Lerntechnik auf der Grundlage von Analogien.

Behauptet Ergebnisse der "kombinierten Transformationen" im Zusammenhang mit RC unter Verwendung eines Echo-State-Netzes mit Standard-Tanh-Aktivierungen zu erzielen, mit dem Unterschied, dass keine rekurrenten Gewichte trainiert werden.

Neuartige Methode zur Klassifizierung verschiedener Verteilungen von MNIST-Daten.

Die Arbeit verwendet ein Echo-State-Netzwerk, um zu lernen, Bildtransformationen zwischen Bildpaaren in eine von fünf Klassen zu klassifizieren.


We present Generative Adversarial Privacy and Fairness (GAPF), a data-driven framework for learning private and fair representations of the data. GAPF leverages recent advances in adversarial learning to allow a data holder to learn "universal" representations that decouple a set of sensitive attributes from the rest of the dataset. Under GAPF, finding the optimal decorrelation scheme is formulated as a constrained minimax game between a generative decorrelator and an adversary. We show that for appropriately chosen adversarial loss functions, GAPF provides privacy guarantees against strong information-theoretic adversaries and enforces demographic parity. We also evaluate the performance of GAPF on multi-dimensional Gaussian mixture models and real datasets, and show how a designer can certify that representations learned under an adversary with a fixed architecture perform well against more complex adversaries.

Wir stellen Generative Adversarial Privacy and Fairness (GAPF) vor, ein datengesteuertes Verfahren zum Erlernen privater und fairer Repräsentationen mit zertifizierten Garantien für Privatsphäre und Fairness.

In diesem Beitrag wird ein GAN-Modell verwendet, um einen Überblick über die mit dem Private/Fair Representation Learning (PRL) verbundenen Arbeiten zu geben.

In diesem Beitrag wird ein kontradiktorischer Ansatz für private und faire Repräsentationen durch erlernte Verzerrung von Daten vorgestellt, der die Abhängigkeit von sensiblen Variablen minimiert, während der Grad der Verzerrung begrenzt ist.

Die Autoren beschreiben einen Rahmen für das Erlernen einer demografischen Paritätsrepräsentation, die zum Trainieren bestimmter Klassifikatoren verwendet werden kann.


Current machine learning algorithms can be easily fooled by adversarial examples. One possible solution path is to make models that use confidence thresholding to avoid making mistakes. Such models refuse to make a prediction when they are not confident of their answer. We propose to evaluate such models in terms of tradeoff curves with the goal of high success rate on clean examples and low failure rate on adversarial examples. Existing untargeted attacks developed for models that do not use confidence thresholding tend to underestimate such models' vulnerability. We propose the MaxConfidence family of attacks, which are optimal in a variety of theoretical settings, including one realistic setting: attacks against linear models. Experiments show the attack attains good results in practice. We show that simple defenses are able to perform well on MNIST but not on CIFAR, contributing further to previous calls that MNIST should be retired as a benchmarking dataset for adversarial robustness research.   We release code for these evaluations as part of the cleverhans (Papernot et al 2018) library  (ICLR reviewers should be careful not to look at who contributed these features to cleverhans to avoid de-anonymizing this submission).

Wir stellen Metriken und einen optimalen Angriff für die Bewertung von Modellen vor, die sich mit Hilfe von Vertrauensschwellen gegen gegnerische Beispiele verteidigen.

In dieser Arbeit wird eine Familie von Angriffen auf Vertrauensschwellenalgorithmen vorgestellt, die sich hauptsächlich auf Bewertungsmethoden konzentrieren.

Vorschlagen einer Bewertungsmethode für Verteidigungsmodelle mit Vertrauensschwellenwerten und einen Ansatz zur Generierung von adversarial Beispielen durch Auswahl der falschen Klasse mit dem größten Vertrauen bei gezielten Angriffen.

In dem Beitrag wird eine Bewertungsmethode für die Beurteilung von Angriffen auf Vertrauensschwellenverfahren vorgestellt und eine neue Art von Angriff vorgeschlagen.


Deep learning has achieved remarkable successes in solving challenging reinforcement learning (RL) problems when dense reward function is provided. However, in sparse reward environment it still often suffers from the need to carefully shape reward function to guide policy optimization. This limits the applicability of RL in the real world since both reinforcement learning and domain-specific knowledge are required. It is therefore of great practical importance to develop algorithms which can learn from a binary signal indicating successful task completion or other unshaped, sparse reward signals. We propose a novel method called competitive experience replay, which efficiently supplements a sparse reward by placing learning in the context of an exploration competition between a pair of agents. Our method complements the recently proposed hindsight experience replay (HER) by inducing an automatic exploratory curriculum. We evaluate our approach on the tasks of reaching various goal locations in an ant maze and manipulating objects with a robotic arm. Each task provides only binary rewards indicating whether or not the goal is achieved. Our method asymmetrically augments these sparse rewards for a pair of agents each learning the same task, creating a competitive game designed to drive exploration. Extensive experiments demonstrate that this method leads to faster converge and improved task performance.

Eine neuartige Methode zum Lernen mit spärlicher Belohnung unter Verwendung von adversarialer Belohnungsumetikettierung.

Vorschlagen der Nutzung einer wettbewerbsorientierten Multi-Agenten Umgebung zur Förderung der Erkundung und zeigen, dass CER + HER > HER ~ CER.

Vorschlag für eine neue Methode zum Lernen aus spärlichen Belohnungen in modellfreien Reinforcement Learning Umgebungen und zur Verdichtung von Belohnungen.

Um die spärlichen Belohnungsprobleme anzugehen und die Exploration in RL-Algorithmen zu fördern, schlagen die Autoren eine Relabeling-Strategie namens Competitive Experience Reply (CER) vor.


This paper proposes a neural end-to-end text-to-speech (TTS) model which can control latent attributes in the generated speech that are rarely annotated in the training data, such as speaking style, accent, background noise, and recording conditions. The model is formulated as a conditional generative model with two levels of hierarchical latent variables. The first level is a categorical variable, which represents attribute groups (e.g. clean/noisy) and provides interpretability. The second level, conditioned on the first, is a multivariate Gaussian variable, which characterizes specific attribute configurations (e.g. noise level, speaking rate) and enables disentangled fine-grained control over these attributes. This amounts to using a Gaussian mixture model (GMM) for the latent distribution. Extensive evaluation demonstrates its ability to control the aforementioned attributes. In particular, it is capable of consistently synthesizing high-quality clean speech regardless of the quality of the training data for the target speaker.

Der Aufbau eines TTS-Modells mit Gaussian Mixture VAEs ermöglicht eine feinkörnige Steuerung des Sprechstils, der Geräuschbedingungen und mehr.

Beschreibt das konditionierte GAN-Modell zur Erzeugung von sprecherkonditionierten Mel-Spektren durch Erweiterung des z-Raums entsprechend der Identifizierung.

In dieser Arbeit wird ein zweischichtiges Modell latenter Variablen vorgeschlagen, um eine entwirrte latente Repräsentation zu erhalten, die eine feinkörnige Kontrolle über verschiedene Attribute ermöglicht.

In diesem Beitrag wird ein Modell vorgeschlagen, das nicht-annotierte Attribute wie Sprechstil, Akzent, Hintergrundgeräusche usw. kontrollieren kann.


Visual Question Answering (VQA) models have struggled with counting objects in natural images so far. We identify a fundamental problem due to soft attention in these models as a cause. To circumvent this problem, we propose a neural network component that allows robust counting from object proposals. Experiments on a toy task show the effectiveness of this component and we obtain state-of-the-art accuracy on the number category of the VQA v2 dataset without negatively affecting other categories, even outperforming ensemble models with our single model. On a difficult balanced pair metric, the component gives a substantial improvement in counting over a strong baseline by 6.6%.

Ermöglichung der Zählung von Modellen für die visuelle Beantwortung von Fragen durch die Behandlung sich überschneidender Objektvorschläge.

In dieser Arbeit wird eine von Hand entworfene Netzwerkarchitektur auf einem Graphen von Objektvorschlägen vorgeschlagen, um eine weiche nichtmaximale Unterdrückung durchzuführen, um die Objektanzahl zu erhalten.

Konzentriert sich auf ein Zählproblem bei der Beantwortung visueller Fragen unter Verwendung eines Aufmerksamkeitsmechanismus und schlägt einen differenzierbaren Zählkomplex vor, der explizit die Anzahl der Objekte zählt.

Diese Arbeit befasst sich mit dem Problem der Objektzählung bei der Beantwortung visueller Fragen und schlägt mehrere Heuristiken vor, um die richtige Zählung zu finden.


We propose a simple and robust training-free approach for building sentence representations. Inspired by the Gram-Schmidt Process in geometric theory, we build an orthogonal basis of the subspace spanned by a word and its surrounding context in a sentence. We model the semantic meaning of a word in a sentence based on two aspects. One is its relatedness to the word vector subspace already spanned by its contextual words. The other is its novel semantic meaning which shall be introduced as a new basis vector perpendicular to this existing subspace.   Following this motivation, we develop an innovative method based on orthogonal basis to combine pre-trained word embeddings into sentence representation. This approach requires zero training and zero parameters, along with efficient inference performance. We evaluate our approach on 11 downstream NLP tasks. Experimental results show that our model outperforms all existing zero-training alternatives in all the tasks and it is competitive to other approaches relying on either large amounts of labelled data or prolonged training time.

Ein einfacher und trainingsfreier Ansatz für Satzeinbettungen mit konkurrenzfähiger Leistung im Vergleich zu ausgefeilten Modellen, die entweder große Mengen an Trainingsdaten oder eine lange Trainingszeit benötigen.

Vorstellung eines neuen trainingsfreien Verfahrens zur Erzeugung von Satzeinbettungen mit systematischer Analyse

Vorschlag einer neuen, auf Geometrie basierenden Methode zur Satzeinbettung aus Worteinbettungsvektoren, indem die Neuheit, Bedeutung und Korpuseinzigartigkeit jedes Wortes quantifiziert wird.

In diesem Beitrag wird die Satzeinbettung auf der Grundlage einer orthogonalen Zerlegung des aufgespannten Raums durch Worteinbettungen untersucht.


In few-shot classification, we are interested in learning algorithms that train a classifier from only a handful of labeled examples. Recent progress in few-shot classification has featured meta-learning, in which a parameterized model for a learning algorithm is defined and trained on episodes representing different classification problems, each with a small labeled training set and its corresponding test set. In this work, we advance this few-shot classification paradigm towards a scenario where unlabeled examples are also available within each episode. We consider two situations: one where all unlabeled examples are assumed to belong to the same set of classes as the labeled examples of the episode, as well as the more challenging situation where examples from other distractor classes are also provided. To address this paradigm, we propose novel extensions of Prototypical Networks (Snell et al., 2017) that are augmented with the ability to use unlabeled examples when producing prototypes. These models are trained in an end-to-end way on episodes, to learn to leverage the unlabeled examples successfully. We evaluate these methods on versions of the Omniglot and miniImageNet benchmarks, adapted to this new framework augmented with unlabeled examples. We also propose a new split of ImageNet, consisting of a large set of classes, with a hierarchical structure. Our experiments confirm that our Prototypical Networks can learn to improve their predictions due to unlabeled examples, much like a semi-supervised algorithm would.

Wir schlagen neuartige Erweiterungen von Prototypischen Netzen vor, die durch die Möglichkeit ergänzt werden, bei der Erstellung von Prototypen unmarkierte Beispiele zu verwenden.

Diese Arbeit ist eine Erweiterung eines prototypischen Netzwerks, das die Verwendung von unmarkierten Beispielen für das Training jeder Episode berücksichtigt.

Untersucht das Problem der halbüberwachten Few-Shot Klassifizierung durch Erweiterung der prototypischen Netze in die Umgebung des halbüberwachten Lernens mit Beispielen aus Ablenkungsklassen.

Erweitert das Prototypische Netzwerk auf die halb-überwachte Einstellung, indem es Prototypen unter Verwendung zugewiesener Pseudo-Labels aktualisiert, mit Distraktoren umgeht und Proben anhand des Abstands zu den ursprünglichen Prototypen gewichtet.


We investigate the properties of multidimensional probability distributions in the context of latent space prior distributions of implicit generative models. Our work revolves around the phenomena arising while decoding linear interpolations between two random latent vectors -- regions of latent space in close proximity to the origin of the space are oversampled, which restricts the usability of linear interpolations as a tool to analyse the latent space. We show that the distribution mismatch can be eliminated completely by a proper choice of the latent probability distribution or using non-linear interpolations. We prove that there is a trade off between the interpolation being linear, and the latent distribution having even the most basic properties required for stable training, such as finite mean. We use the multidimensional Cauchy distribution as an example of the prior distribution, and also provide a general method of creating non-linear interpolations, that is easily applicable to a large family of commonly used latent distributions.

Wir beweisen theoretisch, dass lineare Interpolationen für die Analyse von trainierten impliziten generativen Modellen ungeeignet sind.

Untersuchung des Problems, wann der lineare Interpolant zwischen zwei Zufallsvariablen der gleichen Verteilung folgt, in Bezug auf die vorherige Verteilung eines impliziten generativen Modells.

In dieser Arbeit geht es um die Frage, wie man bei einem latenten Variablenmodell im latenten Raum interpolieren kann.


Deep neural networks (DNN) have shown promising performance in computer vision. In medical imaging, encouraging results have been achieved with deep learning for applications such as segmentation, lesion detection and classification. Nearly all of the deep learning based image analysis methods work on reconstructed images, which are obtained from original acquisitions via solving inverse problems (reconstruction). The reconstruction algorithms are designed for human observers, but not necessarily optimized for DNNs which can often observe features that are incomprehensible for human eyes. Hence, it is desirable to train the DNNs directly from the original data which lie in a different domain with the images. In this paper, we proposed an end-to-end DNN for abnormality detection in medical imaging. To align the acquisition with the annotations made by radiologists in the image domain, a DNN was built as the unrolled version of iterative reconstruction algorithms to map the acquisitions to images, and followed by a 3D convolutional neural network (CNN) to detect the abnormality in the reconstructed images. The two networks were trained jointly in order to optimize the entire DNN for the detection task from the original acquisitions. The DNN was implemented for lung nodule detection in low-dose chest computed tomography (CT), where a numerical simulation was done to generate acquisitions from 1,018 chest CT images with radiologists' annotations. The proposed end-to-end DNN demonstrated better sensitivity and accuracy for the task compared to a two-step approach, in which the reconstruction and detection DNNs were trained separately. A significant reduction of false positive rate on suspicious lesions were observed, which is crucial for the known over-diagnosis in low-dose lung CT imaging. The images reconstructed by the proposed end-to-end network also presented enhanced details in the region of interest.

Erkennung von Lungenknoten anhand von Projektionsdaten anstelle von Bildern.

DNNs werden für die patchbasierte Erkennung von Lungenknoten in CT-Projektionsdaten verwendet.

Gemeinsame Modellierung von Computertomographie-Rekonstruktion und Läsionserkennung in der Lunge durch Training der Zuordnungen von Rohsinogrammen zu Erkennungsergebnissen in einer Ende-zu-Ende Weise.

Präsentiert ein Ende-zu-Ende Training einer CNN-Architektur, die CT-Bildsignalverarbeitung und Bildanalyse kombiniert.


Deep reinforcement learning (DRL) algorithms have demonstrated progress in learning to find a goal in challenging environments. As the title of the paper by Mirowski et al. (2016) suggests, one might assume that DRL-based algorithms are able to “learn to navigate” and are thus ready to replace classical mapping and path-planning algorithms, at least in simulated environments. Yet, from experiments and analysis in this earlier work, it is not clear what strategies are used by these algorithms in navigating the mazes and finding the goal. In this paper, we pose and study this underlying question: are DRL algorithms doing some form of mapping and/or path-planning? Our experiments show that the algorithms are not memorizing the maps of mazes at the testing stage but, rather, at the training stage. Hence, the DRL algorithms fall short of qualifying as mapping or path-planning algorithms with any reasonable definition of mapping. We extend the experiments in Mirowski et al. (2016) by separating the set of training and testing maps and by a more ablative coverage of the space of experiments. Our systematic experiments show that the NavA3C-D1-D2-L algorithm, when trained and tested on the same maps, is able to choose the shorter paths to the goal. However, when tested on unseen maps the algorithm utilizes a wall-following strategy to find the goal without doing any mapping or path planning.

Wir evaluieren quantitativ und qualitativ tiefgehende, auf Reinforcement Learning basierende Navigationsmethoden unter einer Vielzahl von Bedingungen, um die Frage zu beantworten, inwieweit sie in der Lage sind, klassische Pfadplaner und Zordnungs Algorithmen zu ersetzen.

Evaluierung eines Deep RL-basierten Modells in Trainingslabyrinthen durch Messung der wiederholten Latenzzeit zum Ziel und Vergleich mit dem kürzesten Weg.


In many robotic applications, it is crucial to maintain a belief about the state of
 a system, like the location of a robot or the pose of an object.
 These state estimates serve as input for planning and decision making and
 provide feedback during task execution.
 Recursive Bayesian Filtering algorithms address the state estimation problem,
 but they require a model of the process dynamics and the sensory observations as well as
 noise estimates that quantify the accuracy of these models.
 Recently, multiple works have demonstrated that the process and sensor models can be
 learned by end-to-end training through differentiable versions of Recursive Filtering methods.
 However, even if the predictive models are known, finding suitable noise models
 remains challenging. Therefore, many practical applications rely on very simplistic noise
 models.
 Our hypothesis is that end-to-end training through differentiable Bayesian
 Filters enables us to learn more complex heteroscedastic noise models for
 the system dynamics. We evaluate learning such models with different types of
 filtering algorithms and on two different robotic tasks. Our experiments show that especially
 for sampling-based filters like the Particle Filter, learning heteroscedastic noise
 models can drastically improve the tracking performance in comparison to using
 constant noise models.

Wir evaluieren das Lernen heteroskedastischer Rauschmodelle mit verschiedenen Differentiable Bayes Filtern.

Vorschlag, heteroskedastische Rauschmodelle aus Daten zu lernen, indem die Vorhersagewahrscheinlichkeit von Ende zu Ende durch differenzierbare Bayes'sche Filter und zwei verschiedene Versionen des unscented Kalman Filters optimiert wird.

Überarbeitung der Bayes-Filter und Bewertung des Nutzens des Trainings von Beobachtungs- und Prozessrauschmodellen bei gleichzeitiger Beibehaltung aller anderen Modelle.

In diesem Beitrag wird eine Methode zum Erlernen und Verwenden von zustands- und beobachtungsabhängigem Störungen in herkömmlichen Bayes'schen Filteralgorithmen vorgestellt. Der Ansatz besteht darin, ein neuronales Netzmodell zu konstruieren, das als Eingabe die rohen Beobachtungsdaten nimmt und eine kompakte Darstellung und eine zugehörige diagonale Kovarianz erzeugt.


Graph convolutional neural networks have recently shown great potential for the task of zero-shot learning. These models are highly sample efficient as related concepts in the graph structure share statistical strength allowing generalization to new classes when faced with a lack of data. However, we find that the extensive use of Laplacian smoothing at each layer in current approaches can easily dilute the knowledge from distant nodes and consequently decrease the performance in zero-shot learning. In order to still enjoy the benefit brought by the graph structure while preventing the dilution of knowledge from distant nodes, we propose a Dense Graph Propagation (DGP) module with carefully designed direct links among distant nodes. DGP allows us to exploit the hierarchical graph structure of the knowledge graph through additional connections. These connections are added based on a node's relationship to its ancestors and descendants. A weighting scheme is further used to weigh their contribution depending on the distance to the node. Combined with finetuning of the representations in a two-stage training approach our method outperforms state-of-the-art zero-shot learning approaches.

Wir überdenken die Art und Weise, wie Informationen im Wissensgraphen effizienter genutzt werden können, um die Leistung bei der Zero-Shot Learning Aufgabe zu verbessern, und schlagen zu diesem Zweck ein Dense Graph Propagation (DGP) Modul vor.

Die Autoren schlagen eine Lösung für das Problem der Überglättung in Graph Convolutional Networks vor, indem sie eine dichte Ausbreitung zwischen allen verwandten Knoten, gewichtet nach dem gegenseitigen Abstand, ermöglichen.

Vorschlagen eines neuartigen Graph Convolutional Networks, um das Problem der Zero-Shot Klassifizierung anzugehen, indem relationale Strukturen zwischen Klassen als Input für Graph Convolutional Networks verwendet werden, um Klassifizierer für ungesehene Klassen zu lernen.


In this paper, we propose a capsule-based neural network model to solve the semantic segmentation problem. By taking advantage of the extractable part-whole dependencies available in capsule layers, we derive the probabilities of the class labels for individual capsules through a recursive, layer-by-layer procedure. We model this procedure as a traceback pipeline and take it as a central piece to build an end-to-end segmentation network. Under the proposed framework, image-level class labels and object boundaries are jointly sought in an explicit manner, which poses a significant advantage over the state-of-the-art fully convolutional network (FCN) solutions. Experiments conducted on modified MNIST and neuroimages demonstrate that our model considerably enhance the segmentation performance compared to the leading FCN variant.

Eine kapselbasierte semantische Segmentierung, bei der die Wahrscheinlichkeiten der Klassenbezeichnungen durch die Kapselpipeline zurückverfolgt werden.

Die Autoren stellen einen Rückverfolgungsmechanismus vor, um die unterste Ebene der Kapseln mit ihren jeweiligen Klassen zu verbinden.

Vorschlagen einer Rückverfolgungsschicht für Kapselnetze, um eine semantische Segmentierung vorzunehmen, und ausdrückliches nutzen der Teil-Ganzes-Beziehung in den Kapselschichten.

Vorschlagen einer Rückverfolgungsmethode, die auf dem CapsNet-Konzept von Sabour basiert, um parallel zur Klassifizierung eine semantische Segmentierung durchzuführen.


Studying the evolution of information theoretic quantities during Stochastic Gradient Descent (SGD) learning of Artificial Neural Networks (ANNs) has gained popularity in recent years.
 Nevertheless, these type of experiments require estimating mutual information and entropy which becomes intractable for moderately large problems. In this work we propose a framework for understanding SGD learning in the information plane which consists of observing entropy and conditional entropy of the output labels of ANN. Through experimental results and theoretical justifications it is shown that, under some assumptions, the SGD learning trajectories appear to be similar for different ANN architectures. First, the SGD learning is modeled as a Hidden Markov Process (HMP) whose entropy tends to increase to the maximum. Then, it is shown that the SGD learning trajectory appears to move close to the shortest path between the initial and final joint distributions in the space of probability measures equipped with the total variation metric. Furthermore, it is shown that the trajectory of learning in the information plane can provide an alternative for observing the learning process, with potentially richer information about the learning than the trajectories in training and test error.

Wir betrachten SGD als eine Trajektorie im Raum der Wahrscheinlichkeitsmaße, zeigen ihre Verbindung zu Markov-Prozessen, schlagen ein einfaches Markov-Modell des SGD-Lernens vor und vergleichen es experimentell mit SGD unter Verwendung informationstheoretischer Größen.

Konstruiert eine Markov-Kette, die einem verkürzten Pfad in der TV-Metrik auf P folgt, und zeigt, dass die Trajektorien von SGD und \alpha-SMLC eine ähnliche bedingte Entropie aufweisen.

Untersuchung des Verlaufs von H(\hat{y}) gegenüber H(\hat{y}|y) auf der Informationsebene für stochastische Gradientenabstiegsmethoden zum Training neuronaler Netze.

Beschreibt SGD unter dem Gesichtspunkt der Verteilung p(y',y), wobei y ein (möglicherweise verfälschtes) wahres Klassenzeichen und y' eine Modellvorhersage ist.