Stochastic gradient Markov chain Monte Carlo (SG-MCMC) has become increasingly popular for simulating posterior samples in large-scale Bayesian modeling. However, existing SG-MCMC schemes are not tailored to any specific probabilistic model, even a simple modification of the underlying dynamical system requires significant physical intuition. This paper presents the first meta-learning algorithm that allows automated design for the underlying continuous dynamics of an SG-MCMC sampler. The learned sampler generalizes Hamiltonian dynamics with state-dependent drift and diffusion, enabling fast traversal and efficient exploration of energy landscapes. Experiments validate the proposed approach on Bayesian fully connected neural network, Bayesian convolutional neural network and Bayesian recurrent neural network tasks, showing that the learned sampler outperforms generic, hand-designed SG-MCMC algorithms, and generalizes to different datasets and larger architectures.

In diesem Beitrag wird eine Methode zur Automatisierung des Entwurfs von stochastischen Gradienten-MCMC-Vorschlägen unter Verwendung eines Meta-Lernansatzes vorgeschlagen.

Stellt einen Meta-Lernansatz vor, um automatisch MCMC-Sampler auf der Grundlage der Hamilton'schen Dynamik zu entwickeln, die bei Problemen, die den Trainingsproblemen ähneln, schneller mischen.

Parametrisierung von Diffusions- und Curl-Matrizen durch neuronale Netze und Meta-Lernen und Optimierung eines sg-mcmc-Algorithmus.


We propose a new, multi-component energy function for energy-based Generative Adversarial Networks (GANs) based on methods from the image quality assessment literature. Our approach expands on the Boundary Equilibrium Generative Adversarial Network (BEGAN) by outlining some of the short-comings of the original energy and loss functions. We address these short-comings by incorporating an l1 score, the Gradient Magnitude Similarity score, and a chrominance score into the new energy function. We then provide a set of systematic experiments that explore its hyper-parameters. We show that each of the energy function's components is able to represent a slightly different set of features, which require their own evaluation criteria to assess whether they have been adequately learned. We show that models using the new energy function are able to produce better image representations than the BEGAN model in predicted ways.

Techniken zur Bewertung der Bildqualität verbessern das Training und die Bewertung energiebasierter generativer adversarischer Netzwerke.

Vorschlagen einer energiebasierten Formulierung des BEGAN-Modells und modifizieren des Modells, so dass es einen auf der Bewertung der Bildqualität basierenden Begriff enthält.

Schlägt einige neue Energiefunktionen im BEGAN (boundary equilibrium GAN framework) vor, darunter l_1 score, Gradient magnitude similarity score und chrominance score.


Momentum is a simple and widely used trick which allows gradient-based optimizers to pick up speed along low curvature directions. Its performance depends crucially on a damping coefficient. Largecamping  coefficients can potentially deliver much larger speedups, but are prone to oscillations and instability; hence one typically resorts to small values such as 0.5 or 0.9. We propose Aggregated Momentum (AggMo), a variant of momentum which combines multiple velocity vectors with different damping coefficients. AggMo is trivial to implement, but significantly dampens oscillations, enabling it to remain stable even for aggressive damping coefficients such as 0.999. We reinterpret Nesterov's accelerated gradient descent as a special case of AggMo and analyze rates of convergence for quadratic objectives. Empirically, we find that AggMo is a suitable drop-in replacement for other momentum methods, and frequently delivers faster convergence with little to no tuning.

Wir stellen eine einfache Variante der Momentum-Optimierung vor, die in der Lage ist, klassisches Momentum, Nesterov und Adam bei Deep-Learning-Aufgaben mit minimalem Hyperparameter-Tuning zu übertreffen.

Einführung einer Impulsvariante, bei der mehrere Geschwindigkeiten mit unterschiedlichen Dämpfungskoeffizienten zusammengefasst werden, was die Schwingungen deutlich verringert.

Vorschlag einer aggregierten Impulsmethode für die gradientenbasierte Optimierung durch Verwendung mehrerer Geschwindigkeitsvektoren mit unterschiedlichen Dämpfungsfaktoren anstelle eines einzelnen Geschwindigkeitsvektors zur Verbesserung der Stabilität.

Die Autoren kombinieren mehrere Aktualisierungsschritte miteinander, um ein aggregiertes Momentum zu erreichen, und zeigen, dass es stabiler ist als andere Momentum-Methoden.


Recurrent Neural Networks architectures excel at processing sequences by
 modelling dependencies over different timescales. The recently introduced
 Recurrent Weighted Average (RWA) unit captures long term dependencies
 far better than an LSTM on several challenging tasks. The RWA achieves
 this by applying attention to each input and computing a weighted average
 over the full history of its computations. Unfortunately, the RWA cannot
 change the attention it has assigned to previous timesteps, and so struggles
 with carrying out consecutive tasks or tasks with changing requirements.
 We present the Recurrent Discounted Attention (RDA) unit that builds on
 the RWA by additionally allowing the discounting of the past.
 We empirically compare our model to RWA, LSTM and GRU units on
 several challenging tasks. On tasks with a single output the RWA, RDA and
 GRU units learn much quicker than the LSTM and with better performance.
 On the multiple sequence copy task our RDA unit learns the task three
 times as quickly as the LSTM or GRU units while the RWA fails to learn at
 all. On the Wikipedia character prediction task the LSTM performs best
 but it followed closely by our RDA unit. Overall our RDA unit performs
 well and is sample efficient on a large variety of sequence tasks.

Wir führen die Recurrent Discounted Unit ein, die die Aufmerksamkeit in linearer Zeit auf eine beliebig lange Sequenz anwendet.

In diesem Papier wird die Recurrent Discounted Attention (RDA) vorgeschlagen, eine Erweiterung des Recurrent Weighted Average (RWA) durch Hinzufügen eines Diskontierungsfaktors.

Erweitert den rekurrenten Gewichtsdurchschnitt, um die Beschränkungen der ursprünglichen Methode zu überwinden und gleichzeitig ihre Vorteile beizubehalten, und schlägt die Methode vor, Elman-Netze als Basis-RNN zu verwenden.


Ordinary stochastic neural networks mostly rely on the expected values of their weights to make predictions, whereas the induced noise is mostly used to capture the uncertainty, prevent overfitting and slightly boost the performance through test-time averaging. In this paper, we introduce variance layers, a different kind of stochastic layers. Each weight of a variance layer follows a zero-mean distribution and is only parameterized by its variance. It means that each object is represented by a zero-mean distribution in the space of the activations. We show that such layers can learn surprisingly well, can serve as an efficient exploration tool in reinforcement learning tasks and provide a decent defense against adversarial attacks. We also show that a number of conventional Bayesian neural networks naturally converge to such zero-mean posteriors. We observe that in these cases such zero-mean parameterization leads to a much better training objective than more flexible conventional parameterizations where the mean is being learned.

Es ist möglich, eine null-zentrierte Gauß-Verteilung über die Gewichte eines neuronalen Netzes zu lernen, indem man nur die Varianzen lernt, und das funktioniert erstaunlich gut.

Diese Arbeit untersucht die Auswirkungen des Mittelwerts des Variationsposteriores und schlägt eine Varianzschicht vor, die nur die Varianz zur Speicherung von Informationen verwendet.

Studien über neuronale Netze mit Varianz, die das Posterior von neuronalen Netzen nach Bayes mit Gaußverteilungen mit Null-Mittelwert approximieren.


Graph Convolutional Networks (GCNs) are a recently proposed architecture which has had success in semi-supervised learning on graph-structured data. At the same time, unsupervised learning of graph embeddings has benefited from the information contained in random walks. In this paper we propose a model, Network of GCNs (N-GCN), which marries these two lines of work. At its core, N-GCN trains multiple instances of GCNs over node pairs discovered at different distances in random walks, and learns a combination of the instance outputs which optimizes the classification objective. Our experiments show that our proposed N-GCN model achieves state-of-the-art performance on all of the challenging node classification tasks we consider: Cora, Citeseer, Pubmed, and PPI. In addition, our proposed method has other desirable properties, including generalization to recently proposed semi-supervised learning methods such as GraphSAGE, allowing us to propose N-SAGE, and resilience to adversarial input perturbations.

Wir erstellen ein Netzwerk von Graph Convolution Networks, wobei wir jedes mit einer anderen Potenz der Adjazenzmatrix füttern und alle ihre Repräsentationen zu einem Klassifizierungs-Subnetzwerk kombinieren und so den neuesten Stand der Technik bei der halbüberwachten Knotenklassifizierung erreichen.

Vorschlagen eines neuen Netzwerks von GCNs mit zwei Ansätzen: eine vollständig verbundene Schicht auf gestapelten Merkmalen und einen Aufmerksamkeitsmechanismus, der skalare Gewichte pro GCN verwendet.

Stellt ein Netz von Graph Convolutional Networks vor, das mit Hilfe von Random-Walk-Statistiken Informationen von nahen und entfernten Nachbarn im Graphen extrahiert.


Recent DNN pruning algorithms have succeeded in reducing the number of parameters in fully connected layers often with little or no drop in classification accuracy. However most of the existing pruning schemes either have to be applied during training or require a costly retraining procedure after pruning to regain classification accuracy. In this paper we propose a cheap pruning algorithm based on difference of convex (DC) optimisation. We also provide theoretical analysis for the growth in the Generalisation Error (GE) of the new pruned network. Our method can be used with any convex regulariser and allows for a controlled degradation in classification accuracy while being orders of magnitude faster than competing approaches. Experiments on common feedforward neural networks show that for sparsity levels above 90% our method achieves 10% higher classification accuracy compared to Hard Thresholding.

Ein schneller Pruning Algroithmus für vollständig verbundene DNN-Schichten mit theoretischer Analyse der Verschlechterung des Generalisierungsfehlers.

Stellt einen günstigen Pruning Algorithmus für dichte Schichten von DNNs vor.

Schlägt eine Lösung für das Problem des Pruning von DNNs vor, indem die Net-trim Zielfunktion als eine Difference of convex (DC) Funktion dargestellt wird.


Action segmentation as a milestone towards building automatic systems to understand untrimmed videos has received considerable attention in the recent years. It is typically being modeled as a sequence labeling problem but contains intrinsic and sufficient differences than text parsing or speech processing. In this paper, we introduce a novel hybrid temporal convolutional and recurrent network (TricorNet), which has an encoder-decoder architecture: the encoder consists of a hierarchy of temporal convolutional kernels that capture the local motion changes of different actions; the decoder is a hierarchy of recurrent neural networks that are able to learn and memorize long-term action dependencies after the encoding stage. Our model is simple but extremely effective in terms of video sequence labeling. The experimental results on three public action segmentation datasets have shown that the proposed model achieves superior performance over the state of the art.

Wir schlagen ein neues hybrides temporales Netzwerk vor, das die beste Leistung bei der Segmentierung von Videoaktionen in drei öffentlichen Datensätzen erzielt.

Erörtert das Problem der Segmentierung von Handlungen in langen Videos, die bis zu 10 Minuten lang sein können, unter Verwendung einer zeitlichen Convolutional Encoder-Decoder Architektur.

Schlägt eine Kombination aus temporalem Convolutional und rekurrentem Netzwerk für die Segmentierung von Videoaktionen vor.


Convolutional Neural Networks (CNNs) become deeper and deeper in recent years, making the study of model acceleration imperative. It is a common practice to employ a shallow network, called student, to learn from a deep one, which is termed as teacher. Prior work made many attempts to transfer different types of knowledge from teacher to student, however, there are two problems remaining unsolved. Firstly, the knowledge used by existing methods is highly dependent on task and dataset, limiting their applications. Secondly, there lacks an effective training scheme for the transfer process, leading to degradation of performance. In this work, we argue that feature is the most important knowledge from teacher. It is sufficient for student to just learn good features regardless of the target task. From this discovery, we further present an efficient learning strategy to mimic features stage by stage. Extensive experiments demonstrate the importance of features and show that the proposed approach significantly narrows down the gap between student and teacher, outperforming the state-of-the-art methods.

In dieser Arbeit wird vorgeschlagen, Wissen von einem tiefen Modell auf ein oberflächliches Modell zu übertragen, indem Merkmale Schritt für Schritt nachgeahmt werden.

Erläutert eine Methode zur stufenweisen Wissensvermittlung unter Verwendung verschiedener Netzstrukturen.

In diesem Beitrag wird vorgeschlagen, ein Netz in mehrere Teile zu unterteilen und jeden Teil nacheinander zu destillieren, um die Destillationsleistung in tiefen Lehrernetzen zu verbessern.


We augment adversarial training (AT) with worst case adversarial training
 (WCAT) which improves adversarial robustness by 11% over the current state-
 of-the-art result in the `2-norm on CIFAR-10. We interpret adversarial training as
 Total Variation Regularization, which is a fundamental tool in mathematical im-
 age processing, and WCAT as Lipschitz regularization, which appears in Image
 Inpainting. We obtain verifiable worst and average case robustness guarantees,
 based on the expected and maximum values of the norm of the gradient of the
 loss.

Verbesserungen in der Robustheit von adversarialem Training sowie nachweisbare Robustheitsgarantien werden durch die Ergänzung von adversarialem Training mit einer nachvollziehbaren Lipschitz-Regularisierung erreicht.

Untersucht die Erweiterung des Trainingsverlustes mit einem zusätzlichen Gradienten-Regularisierungsterm, um die Robustheit der Modelle gegenüber ungünstigen Beispielen zu verbessern.

Durch einen Trick wird der adversarial Verlust durch einen vereinfacht, bei dem die gegnerische Störung in geschlossener Form erscheint.


The task of Reading Comprehension with Multiple Choice Questions, requires a human (or machine) to read a given \{\textit{passage, question}\} pair and select one of the $n$ given options. The current state of the art model for this task first computes a query-aware representation for the passage and then \textit{selects} the option which has the maximum similarity with this representation. However, when humans perform this task they do not just focus on option selection but use a combination of \textit{elimination} and \textit{selection}. Specifically, a human would first try to eliminate the most irrelevant option and then read the document again in the light of this new information (and perhaps ignore portions corresponding to the eliminated option). This process could be repeated multiple times till the reader is finally ready to select the correct option. We propose \textit{ElimiNet}, a neural network based model which tries to mimic this process. Specifically, it has gates which decide whether an option can be eliminated given the \{\textit{document, question}\} pair and if so it tries to make the document representation orthogonal to this eliminatedd option (akin to ignoring portions of the document corresponding to the eliminated option). The model makes multiple rounds of partial elimination to refine the document representation and finally uses a selection module to pick the best option. We evaluate our model on the recently released large scale RACE dataset and show that it outperforms the current state of the art model on 7 out of the 13 question types in this dataset. Further we show that taking an ensemble of our \textit{elimination-selection} based method with a \textit{selection} based method gives us an improvement of 7\% (relative) over the best reported performance on this dataset.

Ein Modell, das Eliminierung und Auswahl zur Beantwortung von Multiple-Choice-Fragen kombiniert.

Erläutert den Gated Attention Reader und fügt Gates hinzu, die auf der Eliminierung von Antworten beim Multiple-Choice-Leseverständnis basieren.

Diese Arbeit schlägt die Verwendung eines Eliminationsgatters in Modellarchitekturen für Leseverständnisaufgaben vor, erzielt aber keine State-of-the-Art-Ergebnisse.

In diesem Beitrag wird ein neues Modell für das Leseverständnis mit mehreren Auswahlmöglichkeiten vorgestellt, das auf der Idee basiert, dass einige Optionen eliminiert werden sollten, um bessere Darstellungen der Passagen/Fragen zu erhalten.


Humans are capable of attributing latent mental contents such as beliefs, or intentions to others. The social skill is critical in everyday life to reason about the potential consequences of their behaviors so as to plan ahead. It is known that humans use this reasoning ability recursively, i.e. considering what others believe about their own beliefs.   In this paper, we start  from level-$1$ recursion and introduce a probabilistic recursive reasoning (PR2) framework for multi-agent reinforcement learning. Our hypothesis is that it is beneficial for each agent to account for how the opponents would react to its future behaviors. Under the PR2 framework, we adopt variational Bayes methods to approximate the opponents' conditional policy, to which each agent finds the  best response and then improve their own policy. We develop  decentralized-training-decentralized-execution  algorithms, PR2-Q and PR2-Actor-Critic, that are proved to converge in the self-play scenario when there is one Nash equilibrium. Our methods are tested on both the matrix game and the differential game, which have a non-trivial equilibrium where common gradient-based methods fail to converge. Our experiments show that it is critical to reason about how the opponents believe about what the agent believes. We expect our work to contribute a new idea of modeling the opponents to the multi-agent reinforcement learning community.

Wir haben ein neuartiges probabilisitisches rekursives Schlussfolgerungsmodell (PR2) für Multi-Agenten Aufgaben mit tiefem Reinforcement Learning vorgeschlagen.

Vorschlagen eines neuen Ansatz für vollständig dezentralisiertes Training in Multi-Agenten Reinforcement Learning.

Befasst sich mit dem Problem, RL-Agenten mit rekursiven Argumentationsfähigkeiten in einem Multi-Agenten Umfeld auszustatten, basierend auf der Hypothese, dass rekursive Argumentation für sie vorteilhaft ist, um zu nicht-trivalen Gleichgewichten zu konvergieren.

Die Arbeit stellt eine dezentralisierte Trainingsmethode für Multi-Agenten Reinforcement Learning vor, bei der die Agenten die Strategien anderer Agenten ableiten und die abgeleiteten Modelle zur Entscheidungsfindung verwenden.


Due to the substantial computational cost, training state-of-the-art deep neural networks for large-scale datasets often requires distributed training using multiple computation workers. However, by nature, workers need to frequently communicate gradients, causing severe bottlenecks, especially on lower bandwidth connections. A few methods have been proposed to compress gradient for efficient communication, but they either suffer a low compression ratio or significantly harm the resulting model accuracy, particularly when applied to convolutional neural networks. To address these issues, we propose a method to reduce the communication overhead of distributed deep learning. Our key observation is that gradient updates can be delayed until an unambiguous (high amplitude, low variance) gradient has been calculated. We also present an efficient algorithm to compute the variance and prove that it can be obtained with negligible additional cost. We experimentally show that our method can achieve very high compression ratio while maintaining the result model accuracy. We also analyze the efficiency using computation and communication cost models and provide the evidence that this method enables distributed deep learning for many scenarios with commodity environments.

Ein neuer Algorithmus zur Reduzierung des Kommunikations Overheads bei verteiltem Deep Learning durch Unterscheidung von eindeutigen Gradienten.

Vorschlag einer varianzbasierten Gradientenkomprimierung zur Reduzierung des Kommunikationsaufwands beim verteilten Deep Learning.

Schlägt eine neue Methode zur Komprimierung von Gradientenaktualisierungen für verteilte SGD vor, um die Gesamtausführung zu beschleunigen.

Einführung einer varianzbasierten Gradientenkompressionsmethode für effizientes verteiltes Training neuronaler Netze und Messung der Mehrdeutigkeit.


In this work, we face the problem of unsupervised domain adaptation with a novel deep learning approach which leverages our finding that entropy minimization is induced by the optimal alignment of second order statistics between source and target domains. We formally demonstrate this hypothesis and, aiming at achieving an optimal alignment in practical cases, we adopt a more principled strategy which, differently from the current Euclidean approaches, deploys alignment along geodesics. Our pipeline can be implemented by adding to the standard classification loss (on the labeled source domain), a source-to-target regularizer that is weighted in an unsupervised and data-driven fashion. We provide extensive experiments to assess the superiority of our framework on standard domain and modality adaptation benchmarks.

Ein neues unbeaufsichtigtes Verfahren zur Anpassung von tiefen Bereichen, das Korrelationsabgleich und Entropieminimierung effizient vereint.

Verbessert den Korrelationsabgleichsansatz zur Domänenanpassung, indem der euklidische Abstand durch den geodätischen Log-Euklidischen Abstand zwischen zwei Kovarianzmatrizen ersetzt wird und die Ausgleichskosten automatisch anhand der Entropie auf der Zieldomäne ausgewählt werden.

Vorschlag für einen Korrelationsabgleich mit minimaler Entropie, einen unüberwachten Algorithmus zur Bereichsanpassung, der Entropieminimierung und Korrelationsabgleichsmethoden miteinander verbindet.


Catastrophic interference has been a major roadblock in the research of continual learning. Here we propose a variant of the back-propagation algorithm, "Conceptor-Aided Backprop" (CAB), in which gradients are shielded by conceptors against degradation of previously learned tasks. Conceptors have their origin in reservoir computing, where they have been previously shown to overcome catastrophic forgetting. CAB extends these results to deep feedforward networks. On the disjoint and permuted MNIST tasks, CAB outperforms two other methods for coping with catastrophic interference that have recently been proposed.

Wir schlagen eine Variante des Backpropagation-Algorithmus vor, bei der die Gradienten durch Konzeptoren gegen eine Verschlechterung der zuvor gelernten Aufgaben abgeschirmt werden.

In diesem Beitrag wird der Begriff der Konzeptoren, eine Art Regularisierer, verwendet, um das Vergessen beim kontinuierlichen Lernen beim Training neuronaler Netze für sequenzielle Aufgaben zu verhindern.

Es wird eine Methode zum Erlernen neuer Aufgaben vorgestellt, ohne dass frühere Aufgaben beeinträchtigt werden, indem Konzeptoren verwendet werden.


Recent advances in neural Sequence-to-Sequence (Seq2Seq) models reveal a purely data-driven approach to the response generation task. Despite its diverse variants and applications, the existing Seq2Seq models are prone to producing short and generic replies, which blocks such neural network architectures from being utilized in practical open-domain response generation tasks. In this research, we analyze this critical issue from the perspective of the optimization goal of models and the specific characteristics of human-to-human conversational corpora. Our analysis is conducted by decomposing the goal of Neural Response Generation (NRG) into the optimizations of word selection and ordering. It can be derived from the decomposing that Seq2Seq based NRG models naturally tend to select common words to compose responses, and ignore the semantic of queries in word ordering. On the basis of the analysis, we propose a max-marginal ranking regularization term to avoid Seq2Seq models from producing the generic and uninformative responses. The empirical experiments on benchmarks with several metrics have validated our analysis and proposed methodology.

Analysieren Sie den Grund dafür, dass generative Modelle für neuronale Reaktionen universelle Antworten bevorzugen; schlagen Sie eine Methode vor, um dies zu vermeiden.

Untersucht das Problem der universellen Antworten, das die neuronalen Seq2Seq-Generierungsmodelle plagt.

Die Arbeit untersucht die Verbesserung der neuronalen Antwort Generierungsaufgabe durch die Vernachlässigung der gemeinsamen Antworten mit Modifikation der Verlustfunktion und Präsentation der gemeinsamen/universellen Antworten während der Trainingsphase.


The ability to generate natural language sequences from source code snippets has a variety of applications such as code summarization, documentation, and retrieval. Sequence-to-sequence (seq2seq) models, adopted from neural machine translation (NMT), have achieved state-of-the-art performance on these tasks by treating source code as a sequence of tokens. We present code2seq: an alternative approach that leverages the syntactic structure of programming languages to better encode source code. Our model represents a code snippet as the set of compositional paths in its abstract syntax tree (AST) and uses attention to select the relevant paths while decoding.
 We demonstrate the effectiveness of our approach for two tasks, two programming languages, and four datasets of up to 16M examples. Our model significantly outperforms previous models that were specifically designed for programming languages, as well as general state-of-the-art NMT models. An interactive online demo of our model is available at http://code2seq.org. Our code, data and trained models are available at http://github.com/tech-srl/code2seq.

Wir nutzen die syntaktische Struktur des Quellcodes, um natürlichsprachliche Sequenzen zu erzeugen.

Vorstellen einer Methode zur Erzeugung von Sequenzen aus Code durch Parsing und Erstellung eines Syntaxbaums.

Diese Arbeit stellt eine AST-basierte Kodierung für Programmiercode vor und zeigt deren Effektivität in den Aufgaben der extremen Codezusammenfassung und des Code Captioning.

In diesem Beitrag wird ein neues Code-zu-Sequenz-Modell vorgestellt, das die syntaktische Struktur von Programmiersprachen nutzt, um Quellcode-Schnipsel zu kodieren und sie anschließend in natürliche Sprache zu dekodieren.


We propose a novel attention mechanism to enhance Convolutional Neural Networks for fine-grained recognition. The proposed mechanism reuses CNN feature activations to find the most informative parts of the image at different depths with the help of gating mechanisms and without part annotations. Thus, it can be used to augment any layer of a CNN to extract low- and high-level local information to be more discriminative.

 Differently, from other approaches, the mechanism we propose just needs a single pass through the input and it can be trained end-to-end through SGD. As a consequence, the proposed mechanism is modular, architecture-independent, easy to implement, and faster than iterative approaches.

 Experiments show that, when augmented with our approach, Wide Residual Networks systematically achieve superior performance on each of five different fine-grained recognition datasets: the Adience age and gender recognition benchmark, Caltech-UCSD Birds-200-2011, Stanford Dogs, Stanford Cars, and UEC Food-100, obtaining competitive and state-of-the-art scores.

Wir verbessern CNNs mit einem neuartigen Aufmerksamkeitsmechanismus für feinkörnige Erkennung. Bei 5 Datensätzen wird eine überragende Leistung erzielt.

Beschreibt einen neuartigen Aufmerksamkeitsmechanismus, der auf die feinkörnige Erkennung angewandt wird und die Erkennungsgenauigkeit der Grundlinie konsequent verbessert.

In diesem Beitrag wird ein Feed-Forward Attention Mechanismus für die feinkörnige Bildklassifizierung vorgeschlagen.

In diesem Beitrag wird ein interessanter Aufmerksamkeitsmechanismus für die feinkörnige Bildklassifizierung vorgestellt.


Most existing GANs architectures that generate images use transposed convolution or resize-convolution as their upsampling algorithm from lower to higher resolution feature maps in the generator. We argue that this kind of fixed operation is problematic for GANs to model objects that have very different visual appearances. We propose a novel adaptive convolution method that learns the upsampling algorithm based on the local context at each location to address this problem. We modify a baseline GANs architecture by replacing normal convolutions with adaptive convolutions in the generator. Experiments on CIFAR-10 dataset show that our modified models improve the baseline model by a large margin. Furthermore, our models achieve state-of-the-art performance on CIFAR-10 and STL-10 datasets in the unsupervised setting.

Wir ersetzen normale Convolutions durch adaptive Convolutions, um GAN-Generatoren zu verbessern.

Es wird vorgeschlagen, die Convolutions im Generator durch einen adaptiven Convolution Block zu ersetzen, der lernt, Convolution Gewichte und Verzerrungen von Upsampling-Operationen adaptiv pro Pixelposition zu erzeugen.

Verwendet Adaptive Convolution im Kontext von GANs mit einem Block namens AdaConvBlock, der die reguläre Convolution ersetzt. Dies gibt mehr lokalen Kontext pro Kernelgewicht, so dass es lokal flexible Objekte erzeugen kann.


Techniques such as ensembling and distillation promise model quality improvements when paired with almost any base model. However, due to increased test-time cost (for ensembles) and increased complexity of the training pipeline (for distillation), these techniques are challenging to use in industrial settings. In this paper we explore a variant of distillation which is relatively straightforward to use as it does not require a complicated multi-stage setup or many new hyperparameters. Our first claim is that online distillation enables us to use extra parallelism to fit very large datasets about twice as fast. Crucially, we can still speed up training even after we have already reached the point at which additional parallelism provides no benefit for synchronous or asynchronous stochastic gradient descent. Two neural networks trained on disjoint subsets of the data can share knowledge by encouraging each model to agree with the predictions the other model would have made. These predictions can come from a stale version of the other model so they can be safely computed using weights that only rarely get transmitted. Our second claim is that online distillation is a cost-effective way to make the exact predictions of a model dramatically more reproducible. We support our claims using experiments on the Criteo Display Ad Challenge dataset, ImageNet, and the largest to-date dataset used for neural language modeling, containing $6\times 10^{11}$ tokens and based on the Common Crawl repository of web data.

Wir führen groß angelegte Experimente durch, um zu zeigen, dass eine einfache Online-Variante der Destillation uns helfen kann, das Training verteilter neuronaler Netze auf mehr Maschinen zu skalieren.

Vorschlag einer Methode zur Skalierung des verteilten Trainings, die über die derzeitigen Grenzen des stochastischen Mini-Batch Gradientenabstiegs hinausgeht.

Vorschlag für eine Online-Destillationsmethode, die so genannte Co-Destillation, bei der zwei verschiedene Modelle so trainiert werden, dass sie mit den Vorhersagen des anderen Modells übereinstimmen, um den eigenen Verlust zu minimieren.

Einführung einer Online-Destillationstechnik zur Beschleunigung herkömmlicher Algorithmen für das Training groß angelegter verteilter neuronaler Netze.


Support Vector Machines (SVMs) are one of the most popular algorithms for classification and regression analysis. Despite their popularity, even efficient implementations have proven to be computationally expensive to train at a large-scale, especially in streaming settings. In this paper, we propose a novel coreset construction algorithm for efficiently generating compact representations of massive data sets to speed up SVM training. A coreset is a weighted subset of the original data points such that SVMs trained on the coreset are provably competitive with those trained on the original (massive) data set. We provide both lower and upper bounds on the number of samples required to obtain accurate approximations to the SVM problem as a function of the complexity of the input data. Our analysis also establishes sufficient conditions on the existence of sufficiently compact and representative coresets for the SVM problem. We empirically evaluate the practical effectiveness of our algorithm against synthetic and real-world data sets.

Wir stellen einen Algorithmus zur Beschleunigung des SVM-Trainings auf massiven Datensätzen vor, indem wir kompakte Darstellungen konstruieren, die eine effiziente und nachweislich ungefähre Inferenz ermöglichen.

Untersucht den Ansatz der Kernmenge für SVM und zielt darauf ab, eine kleine Menge gewichteter Punkte so zu wählen, dass sich die Verlustfunktion über die Punkte nachweislich derjenigen über den gesamten Datensatz annähert.

Die Arbeit schlägt eine auf Wichtigkeitssampling basierende Coreset-Konstruktion zur Darstellung großer Trainingsdaten für SVMs vor.


The sign stochastic gradient descent method (signSGD) utilizes only the sign of the stochastic gradient in its updates. Since signSGD carries out one-bit quantization of the gradients, it is extremely practical for distributed optimization where gradients need to be aggregated from different processors. For the first time, we establish convergence rates for signSGD on general non-convex functions under transparent conditions. We show that the rate of signSGD to reach first-order critical points matches that of SGD in terms of number of stochastic gradient calls, up to roughly a linear factor in the dimension. We carry out simple experiments to explore the behaviour of sign gradient descent (without the stochasticity) close to saddle points and show that it often helps completely avoid them without using either stochasticity or curvature information.

Wir beweisen eine nicht-konvexe Konvergenzrate für die stochastische Gradientenmethode mit Vorzeichen. Der Algorithmus hat Verbindungen zu Algorithmen wie Adam und Rprop sowie zu Gradientenquantisierungsverfahren, die beim verteilten maschinellen Lernen verwendet werden.

Bereitstellung einer Konvergenzanalyse des Sign SGD-Algorithmus für nicht-konvexe Fälle.

Die Arbeit untersucht einen Algorithmus, der das Vorzeichen der Gradienten anstelle der tatsächlichen Gradienten für das Training tiefer Modelle verwendet.


Deep learning has found numerous applications thanks to its versatility and accuracy on pattern recognition problems such as visual object detection. Learning and inference in deep neural networks, however, are memory and compute intensive and so improving efficiency is one of the major challenges for frameworks such as PyTorch, Tensorflow, and Caffe. While the efficiency problem can be partially addressed with specialized hardware and its corresponding proprietary libraries, we believe that neural network acceleration should be transparent to the user and should support all hardware platforms and deep learning libraries.

 To this end, we introduce a transparent middleware layer for neural network acceleration. The system is built around a compiler for deep learning, allowing one to combine device-specific libraries and custom optimizations while supporting numerous hardware devices. In contrast to other projects, we explicitly target the optimization of both prediction and training of neural networks. We present the current development status and some preliminary but encouraging results: on a standard x86 server, using CPUs our system achieves a 11.8x speed-up for inference and a 8.0x for batched-prediction (128); on GPUs we achieve a 1.7x and 2.3x speed-up respectively.

Wir stellen eine transparente Middleware für die Beschleunigung neuronaler Netze mit eigener Compiler-Engine vor, die eine bis zu 11,8-fache Beschleunigung auf CPUs und eine 2,3-fache Beschleunigung auf GPUs erreicht.

In diesem Beitrag wird eine transparente Middleware-Schicht für die Beschleunigung neuronaler Netze vorgeschlagen und es werden einige Beschleunigungsergebnisse auf einfachen CPU- und GPU-Architekturen erzielt.


Performance of neural networks can be significantly improved by encoding known invariance for particular tasks. Many image classification tasks, such as those related to cellular imaging, exhibit invariance to rotation. In particular, to aid convolutional neural networks in learning rotation invariance, we consider a simple, efficient conic convolutional scheme that encodes rotational equivariance, along with a method for integrating the magnitude response of the 2D-discrete-Fourier transform (2D-DFT) to encode global rotational invariance. We call our new method the Conic Convolution and DFT Network (CFNet). We evaluated the efficacy of CFNet as compared to a standard CNN and group-equivariant CNN (G-CNN) for several different image classification tasks and demonstrated improved performance, including classification accuracy, computational efficiency, and its robustness to hyperparameter selection. Taken together, we believe CFNet represents a new scheme that has the potential to improve many imaging analysis applications.

Wir schlagen eine konische Convolution und die 2D-DFT vor, um die Rotationsäquivarianz in einem neuronalen Netz zu kodieren.

Im Zusammenhang mit der Bildklassifikation wird in diesem Papier eine Architektur für Cpnvolutional Neural Networks mit rotationsäquivarianten Merkmalskarten vorgeschlagen, die schließlich durch Verwendung des Betrags der diskreten 2D-Fouriertransformation (DFT) rotationsinvariant gemacht werden.

Die Autoren bieten ein rotationsinvariantes neuronales Netzwerk durch die Kombination von konischer Convolution und 2D-DFT.


The problem of visual metamerism is defined as finding a family of perceptually
 indistinguishable, yet physically different images. In this paper, we propose our
 NeuroFovea metamer model, a foveated generative model that is based on a mixture
 of peripheral representations and style transfer forward-pass algorithms. Our
 gradient-descent free model is parametrized by a foveated VGG19 encoder-decoder
 which allows us to encode images in high dimensional space and interpolate
 between the content and texture information with adaptive instance normalization
 anywhere in the visual field. Our contributions include: 1) A framework for
computing metamers that resembles a noisy communication system via a foveated
feed-forward encoder-decoder network – We observe that metamerism arises as a
byproduct of noisy perturbations that partially lie in the perceptual null space; 2)
A perceptual optimization scheme as a solution to the hyperparametric nature of
our metamer model that requires tuning of the image-texture tradeoff coefficients
everywhere in the visual field which are a consequence of internal noise; 3) An
 ABX psychophysical evaluation of our metamers where we also find that the rate
 of growth of the receptive fields in our model match V1 for reference metamers
 and V2 between synthesized samples. Our model also renders metamers at roughly
 a second, presenting a ×1000 speed-up compared to the previous work, which now
 allows for tractable data-driven metamer experiments.

Wir stellen ein neuartiges Feed-Forward System zur Erzeugung visueller Metamere vor.

Vorschlag eines NeuroFovea Modells für die Erzeugung von Fixpunkt-Metameren unter Verwendung eines Stiltransfer-Ansatzes über eine Encoder-Decoder Stilarchitektur.

Eine Analyse des Metamerismus und ein Modell zur schnellen Herstellung von Metameren, die für die experimentelle Psychophysik und andere Bereiche von Nutzen sind.

Die Arbeit schlägt eine schnelle Methode zur Erzeugung visueller Metamere vor für physikalisch unterschiedliche Bilder, die nicht von einem Original unterschieden werden können mittels foveatierter, schneller, beliebiger Stilübertragung.


Past works have shown that, somewhat surprisingly, over-parametrization can help generalization in neural networks. Towards explaining this phenomenon, we adopt a margin-based perspective. We establish: 1) for multi-layer feedforward relu networks, the global minimizer of a weakly-regularized cross-entropy loss has the maximum normalized margin among all networks, 2) as a result, increasing the over-parametrization improves the normalized margin and generalization error bounds for deep networks. In the case of two-layer networks, an infinite-width neural network enjoys the best generalization guarantees. The typical infinite feature methods are kernel methods; we compare the neural net margin with that of kernel methods and construct natural instances where kernel methods have much weaker generalization guarantees. We validate this gap between the two approaches empirically. Finally, this infinite-neuron viewpoint is also fruitful for analyzing optimization. We show that a perturbed gradient flow on infinite-size networks finds a global optimizer in polynomial time.

Wir zeigen, dass das Training von Feedforward-Relu-Netzen mit einem schwachen Regularizer zu einer maximalen Marge führt und analysieren die Auswirkungen dieses Ergebnisses.

Erforscht die Margentheorie für neuronale Netze und zeigt, dass die maximale Marge mit der Größe des Netzes monoton zunimmt.

Diese Arbeit untersucht die implizite Verzerrung von Minimierern eines regulierten Kreuzentropieverlustes eines zweischichtigen Netzes mit ReLU-Aktivierungen und erhält eine obere Schranke für die Verallgemeinerung, die nicht mit der Netzgröße zunimmt.


We propose a distributed architecture for deep reinforcement learning at scale, that enables agents to learn effectively from orders of magnitude more data than previously possible. The algorithm decouples acting from learning: the actors interact with their own instances of the environment by selecting actions according to a shared neural network, and accumulate the resulting experience in a shared experience replay memory; the learner replays samples of experience and updates the neural network. The architecture relies on prioritized experience replay to focus only on the most significant data generated by the actors. Our architecture substantially improves the state of the art on the Arcade Learning Environment, achieving better final performance in a fraction of the wall-clock training time.

Eine verteilte Architektur für Deep Reinforcement Learning im großen Maßstab, die parallele Datengenerierung nutzt, um den Stand der Technik beim Arcade Learning Environment Benchmark in einem Bruchteil der Trainingszeit früherer Ansätze zu verbessern.

Untersucht ein distirbuted Deep RL System, in dem Erfahrungen, anstatt Gradienten, zwischen den parallelen Arbeiten und dem zentralisierten Lernenden geteilt werden.

Ein paralleler Ansatz für das DQN-Training, der auf der Idee beruht, dass mehrere Akteure parallel Daten sammeln, während ein einzelner Lerner das Modell anhand von Erfahrungen aus dem zentralen Wiedergabespeicher trainiert.

Dieser Beitrag schlägt eine verteilte Architektur für Deep Reinforcement Learning im großen Maßstab vor, wobei der Schwerpunkt auf der Parallelisierung des Akteursalgorithmus im Prioritized Experience Replay Framework liegt.


Designing neural networks for continuous-time stochastic processes is challenging, especially when observations are made irregularly. In this article, we analyze neural networks from a frame theoretic perspective to identify the sufficient conditions that enable smoothly recoverable representations of signals in L^2(R). Moreover, we show that, under certain assumptions, these properties hold even when signals are irregularly observed. As we converge to the family of (convolutional) neural networks that satisfy these conditions, we show that we can optimize our convolution filters while constraining them so that they effectively compute a Discrete Wavelet Transform. Such a neural network can efficiently divide the time-axis of a signal into orthogonal sub-spaces of different temporal scale and localization. We evaluate the resulting neural network on an assortment of synthetic and real-world tasks: parsimonious auto-encoding, video classification, and financial forecasting.

Neuronale Architekturen, die Darstellungen von unregelmäßig beobachteten Signalen liefern und nachweislich eine Signalrekonstruktion ermöglichen.

Beweist, dass Convolutional Neural Networks mit Leaky-ReLU Aktivierungsfunktion nichtlineare Rahmen sind, mit ähnlichen Ergebnissen für ungleichmäßig abgetastete Zeitreihen.

In diesem Artikel werden neuronale Netze über Zeitreihen betrachtet und es wird gezeigt, dass die ersten Convolutional Filter zur Darstellung einer diskreten Wavelet-Transformation gewählt werden können.


Most state-of-the-art neural machine translation systems, despite being different
 in architectural skeletons (e.g., recurrence, convolutional), share an indispensable
 feature: the Attention. However, most existing attention methods are token-based
 and ignore the importance of phrasal alignments, the key ingredient for the success
 of phrase-based statistical machine translation. In this paper, we propose
 novel phrase-based attention methods to model n-grams of tokens as attention
 entities. We incorporate our phrase-based attentions into the recently proposed
 Transformer network, and demonstrate that our approach yields improvements of
 1.3 BLEU for English-to-German and 0.5 BLEU for German-to-English translation
 tasks, and 1.75 and 1.35 BLEU points in English-to-Russian and Russian-to-English translation tasks
 on WMT newstest2014 using WMT’16 training data.

Phrasenbasierte Aufmerksamkeitsmechanismen zur Zuweisung von Aufmerksamkeit auf Phrasen, die zusätzlich zu den bestehenden Token-to-Token-Attentionen Phrase-to-Token- und Phrase-to-Phrase-Attention-Alignments erreichen.

Die Arbeit stellt einen Aufmerksamkeitsmechanismus vor, der eine gewichtete Summe nicht nur über einzelne Token, sondern auch über Ngramme (Phrasen) berechnet.


Intuitively, unfamiliarity should lead to lack of confidence. In reality, current algorithms often make highly confident yet wrong predictions when faced with unexpected test samples from an unknown distribution different from training. Unlike domain adaptation methods, we cannot gather an "unexpected dataset" prior to test, and unlike novelty detection methods, a best-effort original task prediction is still expected. We compare a number of methods from related fields such as calibration and epistemic uncertainty modeling, as well as two proposed methods that reduce overconfident errors of samples from an unknown novel distribution without drastically increasing evaluation time: (1) G-distillation, training an ensemble of classifiers and then distill into a single model using both labeled and unlabeled examples, or (2) NCR, reducing prediction confidence based on its novelty detection score. Experimentally, we investigate the overconfidence problem and evaluate our solution by creating "familiar" and "novel" test splits, where "familiar" are identically distributed with training and "novel" are not. We discover that calibrating using temperature scaling on familiar data is the best single-model method for improving novel confidence, followed by our proposed methods. In addition, some methods' NLL performance are roughly equivalent to a regularly trained model with certain degree of smoothing. Calibrating can also reduce confident errors, for example, in gender recognition by 95% on demographic groups different from the training data.

Tiefe Netze liegen mit größerer Wahrscheinlichkeit falsch, wenn sie mit unerwarteten Daten getestet werden. Wir schlagen eine experimentelle Methodik vor, um das Problem zu untersuchen, und zwei Methoden, um die Fehlerwahrscheinlichkeit bei unbekannten Eingangsverteilungen zu verringern.

Es werden zwei Ideen zur Verringerung übermäßiger falscher Vorhersagen vorgeschlagen: "G-Distillation" eines Ensembles mit zusätzlichen unüberwachten Daten und Verringerung des Neuheitsvertrauens mit Hilfe eines Neuheitsdetektors.

Die Autoren schlagen zwei Methoden zur Schätzung der Klassifizierungssicherheit bei neuartigen, ungesehenen Datenverteilungen vor. Die erste Idee besteht darin, Ensemble-Methoden als Basis zu verwenden, um unsichere Fälle zu identifizieren, und dann Destillationsmethoden zu verwenden, um das Ensemble in ein einzelnes Modell zu reduzieren, das das Verhalten des Ensembles nachahmt. Die zweite Idee besteht darin, einen Neuheitsdetektor-Klassifikator zu verwenden und die Netzwerkausgabe nach dem Neuheitswert zu gewichten.


Progress in deep learning is slowed by the days or weeks it takes to train large models. The natural solution of using more hardware is limited by diminishing returns, and leads to inefficient use of additional resources. In this paper, we present a large batch, stochastic optimization algorithm that is both faster than widely used algorithms for fixed amounts of computation, and also scales up substantially better as more computational resources become available. Our algorithm implicitly computes the inverse Hessian of each mini-batch to produce descent directions; we do so without either an explicit approximation to the Hessian or Hessian-vector products. We demonstrate the effectiveness of our algorithm by successfully training large ImageNet models (InceptionV3, ResnetV1-50, ResnetV1-101 and InceptionResnetV2) with mini-batch sizes of up to 32000 with no loss in validation error relative to current baselines, and no increase in the total number of steps. At smaller mini-batch sizes, our optimizer improves the validation error in these models by 0.8-0.9\%. Alternatively, we can trade off this accuracy to reduce the number of training steps needed by roughly 10-30\%. Our work is practical and easily usable by others -- only one hyperparameter (learning rate) needs tuning, and furthermore, the algorithm is as computationally cheap as the commonly used Adam optimizer.

Wir beschreiben einen praktischen Optimierungsalgorithmus für tiefe neuronale Netze, der im Vergleich zu weit verbreiteten Algorithmen schneller arbeitet und bessere Modelle erzeugt.

Schlägt einen neuen Algorithmus vor, bei dem die Hess'sche Formel implizit verwendet wird und eine Motivation aus Potenzreihen verwendet wird.

Stellt einen neuen Algorithmus 2. Ordnung vor, der implizit Krümmungsinformationen verwendet, und zeigt die Intuition hinter den Näherungsschemata in den Algorithmen und validiert die Heuristiken in verschiedenen Experimenten.


Recent work has shown that performing inference with fast, very-low-bitwidth
 (e.g., 1 to 2 bits) representations of values in models can yield surprisingly accurate
 results. However, although 2-bit approximated networks have been shown to
 be quite accurate, 1 bit approximations, which are twice as fast, have restrictively
 low accuracy. We propose a method to train models whose weights are a mixture
 of bitwidths, that allows us to more finely tune the accuracy/speed trade-off. We
 present the “middle-out” criterion for determining the bitwidth for each value, and
 show how to integrate it into training models with a desired mixture of bitwidths.
 We evaluate several architectures and binarization techniques on the ImageNet
 dataset. We show that our heterogeneous bitwidth approximation achieves superlinear
 scaling of accuracy with bitwidth. Using an average of only 1.4 bits, we are
 able to outperform state-of-the-art 2-bit architectures.

Wir führen die Annäherung mit gebrochener Bitbreite ein und zeigen, dass sie erhebliche Vorteile hat.

Vorschlagen einer Methode zur Veränderung des Quantisierungsgrades in einem neuronalen Netz während der Vorwärtsausbreitungsphase.

Beibehaltung der Genauigkeit eines 2-Bit Networds bei Verwendung von weniger als 2-Bit Gewichten.


Pruning units in a deep network can help speed up inference and training as well as reduce the size of the model. We show that bias propagation is a pruning technique which consistently outperforms the common approach of merely removing units,  regardless of the architecture and the dataset.   We also show how a simple adaptation to an existing scoring function allows us to select the best units to prune.   Finally,  we show that the units selected by the best performing scoring functions are somewhat consistent over the course of training, implying the dead parts of the network appear during the stages of training.

Mean Replacement ist eine effiziente Methode, um den Verlust nach dem Pruning zu verbessern, und auf Taylor-Approximation basierende Scoring-Funktionen funktionieren besser mit absoluten Werten.

Vorschlag einer einfachen Verbesserung der Methoden für das Pruning von Einheiten unter Verwendung der "mittleren Ersetzung".

In diesem Beitrag wird eine Strategie zum Pruning des Mittelwerts vorgestellt und die absolutwertige Taylor-Erweiterung als Bewertungsfunktion für das Pruning verwendet.


Due to the phenomenon of “posterior collapse,” current latent variable generative models pose a challenging design choice that either weakens the capacity of the decoder or requires altering the training objective. We develop an alternative that utilizes the most powerful generative models as decoders, optimize the variational lower bound, and ensures that the latent variables preserve and encode useful information. Our proposed δ-VAEs achieve this by constraining the variational family for the posterior to have a minimum distance to the prior. For sequential latent variable models, our approach resembles the classic representation learning approach of slow feature analysis. We demonstrate our method’s efficacy at modeling text on LM1B and modeling images: learning representations, improving sample quality, and achieving state of the art log-likelihood on CIFAR-10 and ImageNet 32 × 32.

Vermeiden des posterior Collapse, indem die Rate nach unten begrenzt wird.

Vorstellung eines Ansatzes zur Verhinderung eines posterior Kollapses bei VAEs durch Begrenzung der Familie der Variationsannäherung auf das Posterior.

In dieser Arbeit wird eine Einschränkung für die Familie der Variationsposterioren eingeführt, so dass der KL-Term kontrolliert werden kann, um den Posterior-Kollaps in tiefen generativen Modellen wie VAEs zu bekämpfen.


Mini-batch gradient descent and its variants are commonly used in deep learning. The principle of mini-batch gradient descent is to use noisy gradient calculated on a batch to estimate the real gradient, thus balancing the computation cost per iteration and the uncertainty of noisy gradient. However, its batch size is a fixed hyper-parameter requiring manual setting before training the neural network. Yin et al. (2017) proposed a batch adaptive stochastic gradient descent (BA-SGD) that can dynamically choose a proper batch size as learning proceeds. We extend the BA-SGD to momentum algorithm and evaluate both the BA-SGD and the batch adaptive momentum (BA-Momentum) on two deep learning tasks from natural language processing to image classification. Experiments confirm that batch adaptive methods can achieve a lower loss compared with mini-batch methods after scanning the same epochs of data. Furthermore, our BA-Momentum is more robust against larger step sizes, in that it can dynamically enlarge the batch size to reduce the larger uncertainty brought by larger step sizes. We also identified an interesting phenomenon, batch size boom. The code implementing batch adaptive framework is now open source, applicable to any gradient-based optimization problems.

Wir haben ein adaptives Batch-Momentum entwickelt, das im Vergleich zu Mini-Batch-Methoden nach dem Scannen derselben Datenepochen geringere Verluste erzielt und robuster gegenüber großen Schrittweiten ist.

Diese Arbeit befasst sich mit dem Problem der automatischen Abstimmung der Batch-Größe während des Deep-Learning-Trainings, und behauptet, Batch-adaptive SGD auf adaptive Dynamik zu erweitern und die Algorithmen auf komplexe neuronale Netz Probleme anzupassen.

In der Arbeit wird vorgeschlagen, einen Algorithmus zu verallgemeinern, der SGD mit adaptiven Losgrößen durchführt, indem der Nutzenfunktion ein Momentum hinzugefügt wird.


Deep learning models for graphs have advanced the state of the art on many tasks. Despite their recent success, little is known about their robustness. We investigate training time attacks on graph neural networks for node classification that perturb the discrete graph structure.   Our core principle is to use meta-gradients to solve the bilevel problem underlying training-time attacks, essentially treating the graph as a hyperparameter to optimize. Our experiments show that small graph perturbations consistently lead to a strong decrease in performance for graph convolutional networks, and even transfer to unsupervised embeddings. Remarkably, the perturbations created by our algorithm can misguide the graph neural networks such that they perform worse than a simple baseline that ignores all relational information. Our attacks do not assume any knowledge about or access to the target classifiers.

Wir verwenden Meta-Gradienten, um das Trainingsverfahren von tiefen neuronalen Netzen für Graphen anzugreifen.

Untersucht das Problem des Erlernens besserer vergifteter Graphparameter, die den Verlust eines neuronalen Graphennetzes maximieren können.

Ein Algorithmus zur Veränderung der Graphenstruktur durch Hinzufügen/Löschen von Kanten, um die globale Leistung der Knotenklassifizierung zu verschlechtern, und die Idee, Meta-Learning zur Lösung des zweistufigen Optimierungsproblems einzusetzen.


Numerous models for grounded language understanding have been recently proposed, including (i) generic models that can be easily adapted to any given task and (ii) intuitively appealing modular models that require background knowledge to be instantiated. We compare both types of models in how much they lend themselves to a particular form of systematic generalization. Using a synthetic VQA test, we evaluate which models are capable of reasoning about all possible object pairs after training on only a small subset of them. Our findings show that the generalization of modular models is much more systematic and that it is highly sensitive to the module layout, i.e. to how exactly the modules are connected. We furthermore investigate if modular models that generalize well could be made more end-to-end by learning their layout and parametrization. We find that end-to-end methods from prior work often learn inappropriate layouts or parametrizations that do not facilitate systematic generalization. Our results suggest that, in addition to modularity, systematic generalization in language understanding may require explicit regularizers or priors.

Wir zeigen, dass modular strukturierte Modelle die beste systematische Verallgemeinerung bieten und dass ihre Ende-zu-Ende-Versionen nicht so gut verallgemeinern.

In diesem Beitrag wird die systemische Generalisierung zwischen modularen neuronalen Netzen und anderen generischen Modellen durch die Einführung eines neuen Datensatzes für räumliche Schlussfolgerungen bewertet.

Eine gezielte empirische Evaluierung der Generalisierung in Modellen für visuelles Denken, die sich auf das Problem der Erkennung von (Objekt, Relation, Objekt) Tripeln in synthetischen Szenen mit Buchstaben und Zahlen konzentriert.


The behavioral dynamics of multi-agent systems have a rich and orderly structure, which can be leveraged to understand these systems, and to improve how artificial agents learn to operate in them. Here we introduce Relational Forward Models (RFM) for multi-agent learning, networks that can learn to make accurate predictions of agents' future behavior in multi-agent environments. Because these models operate on the discrete entities and relations present in the environment, they produce interpretable intermediate representations which offer insights into what drives agents' behavior, and what events mediate the intensity and valence of social interactions. Furthermore, we show that embedding RFM modules inside agents results in faster learning systems compared to non-augmented baselines.
 As more and more of the autonomous systems we develop and interact with become multi-agent in nature, developing richer analysis tools for characterizing how and why agents make decisions is increasingly necessary. Moreover, developing artificial agents that quickly and safely learn to coordinate with one another, and with humans in shared environments, is crucial.

Relationale Vorwärtsmodelle für das Lernen von Multi-Agenten machen genaue Vorhersagen über das zukünftige Verhalten der Agenten, sie erzeugen interpretierbare Repräsentationen und können innerhalb der Agenten verwendet werden.

Eine Möglichkeit, die Varianz beim modellfreien Lernen zu verringern, indem ein explizites Modell der Aktionen, die andere Agenten ausführen werden, erstellt wird, das eine graphische, netzartige Architektur verwendet.

Vorhersage des Verhaltens von Multi-Agenten mit Hilfe eines relationalen Vorwärtsmodells mit einer rekurrenten Komponente, das zwei Basismodelle und zwei Ablationsmodelle übertrifft.


We show that gradient descent on an unregularized logistic regression
 problem, for almost all separable datasets, converges to the same direction as the max-margin solution. The result generalizes also to other monotone decreasing loss functions with an infimum at infinity, and we also discuss a multi-class generalizations to the cross entropy loss. Furthermore,
 we show this convergence is very slow, and only logarithmic in the
 convergence of the loss itself. This can help explain the benefit
 of continuing to optimize the logistic or cross-entropy loss even
 after the training error is zero and the training loss is extremely
 small, and, as we show, even if the validation loss increases. Our
 methodology can also aid in understanding implicit regularization
 in more complex models and with other optimization methods.

Die normalisierte Lösung des Gradientenabstiegs bei der logistischen Regression (oder ein ähnlich abnehmender Verlust) konvergiert bei trennbaren Daten langsam gegen die L2-Max-Margin-Lösung.

Das Papier bietet einen formalen Beweis dafür, dass der Gradientenabstieg auf dem logistischen Verlust sehr langsam gegen die harte SVM-Lösung konvergiert, wenn die Daten linear separierbar sind.

Diese Arbeit konzentriert sich auf die Charakterisierung des Verhaltens der Log-Loss Minimierung auf linear trennbaren Daten und zeigt, dass Log-Loss, minimiert mit Gradientenabstieg, zur Konvergenz der Max-Margin Lösung führt.


Despite impressive performance as evaluated on i.i.d. holdout data, deep neural networks depend heavily on superficial statistics of the training data and are liable to break under distribution shift. For example, subtle changes to the background or texture of an image can break a seemingly powerful classifier. Building on previous work on domain generalization, we hope to produce a classifier that will generalize to previously unseen domains, even when domain identifiers are not available during training. This setting is challenging because the model may extract many distribution-specific (superficial) signals together with distribution-agnostic (semantic) signals. To overcome this challenge, we incorporate the gray-level co-occurrence matrix (GLCM) to extract patterns that our prior knowledge suggests are superficial: they are sensitive to the texture but unable to capture the gestalt of an image. Then we introduce two techniques for improving our networks' out-of-sample performance. The first method is built on the reverse gradient method that pushes our model to learn representations from which the GLCM representation is not predictable. The second method is built on the independence introduced by projecting the model's representation onto the subspace orthogonal to GLCM representation's.
 We test our method on the battery of standard domain generalization data sets and, interestingly, achieve comparable or better performance as compared to other domain generalization methods that explicitly require samples from the target distribution for training.

Aufbauend auf früheren Arbeiten zur Domänengeneralisierung hoffen wir, einen Klassifikator zu entwickeln, der sich auch auf bisher unbekannte Domänen verallgemeinern lässt, selbst wenn während des Trainings keine Domänenidentifikatoren verfügbar sind.

Ein Ansatz zur Domänengeneralisierung, um semantische Informationen auf der Grundlage eines linearen Projektionsschemas von CNN- und NGLCM-Ausgabeschichten aufzudecken.

Die Arbeit schlägt einen unüberwachten Ansatz zur Identifizierung von Bildmerkmalen vor, die für Bildklassifizierungsaufgaben nicht aussagekräftig sind.


In this paper, we conduct an intriguing experimental study about the physical adversarial attack on object detectors in the wild. In particular, we learn a camouflage pattern to hide vehicles from being detected by state-of-the-art convolutional neural network based detectors. Our approach alternates between two threads. In the first, we train a neural approximation function to imitate how a simulator applies a camouflage to vehicles and how a vehicle detector performs given images of the camouflaged vehicles. In the second, we minimize the approximated detection score by searching for the optimal camouflage. Experiments show that the learned camouflage can not only hide a vehicle from the image-based detectors under many test cases but also generalizes to different environments, vehicles, and object detectors.

Wir schlagen eine Methode zum Erlernen der physischen Fahrzeugtarnung vor, um Objektdetektoren in der freien Natur anzugreifen. Wir finden unsere Tarnung effektiv und übertragbar.

Die Autoren untersuchen das Problem des Erlernens eines Tarnmusters, das, wenn es auf ein simuliertes Fahrzeug angewendet wird, verhindert, dass ein Objektdetektor es erkennt.

In diesem Beitrag geht es um adversariales Lernen für die Erkennung von Störfahrzeugen durch das Lernen von Tarnmustern.


As deep learning-based classifiers are increasingly adopted in real-world applications, the importance of understanding how a particular label is chosen grows. Single decision trees are an example of a simple, interpretable classifier, but are unsuitable for use with complex, high-dimensional data. On the other hand, the variational autoencoder (VAE) is designed to learn a factored, low-dimensional representation of data, but typically encodes high-likelihood data in an intrinsically non-separable way.   We introduce the differentiable decision tree (DDT) as a modular component of deep networks and a simple, differentiable loss function that allows for end-to-end optimization of a deep network to compress high-dimensional data for classification by a single decision tree.   We also explore the power of labeled data in a  supervised VAE (SVAE) with a Gaussian mixture prior, which leverages label information to produce a high-quality generative model with improved bounds on log-likelihood.   We combine the SVAE with the DDT to get our classifier+VAE (C+VAE), which is competitive in both classification error and log-likelihood, despite optimizing both simultaneously and using a very simple encoder/decoder architecture.

Wir kombinieren differenzierbare Entscheidungsbäume mit überwachten variationalen Autoencodern, um die Interpretierbarkeit der Klassifizierung zu verbessern.

Diese Arbeit schlägt ein hybrides Modell eines variationalen Autoencoders vor, der mit einem differenzierbaren Entscheidungsbaum und einem begleitenden Trainingsschema zusammengesetzt ist. Experimente zeigen die Klassifizierungsleistung des Baums, die negative Log-Likelihood-Leistung und die Interpretierbarkeit des latenten Raums.

In diesem Beitrag wird versucht, einen interpretierbaren und genauen Klassifikator zu erstellen, indem eine überwachte VAE und ein differenzierbarer Entscheidungsbaum kombiniert werden.


We propose Regularized Learning under Label shifts (RLLS), a principled and a practical domain-adaptation algorithm to correct for shifts in the label distribution between a source and a target domain. We first estimate importance weights using labeled source data and unlabeled target data, and then train a classifier on the weighted source samples. We derive a generalization bound for the classifier on the target domain which is independent of the (ambient) data dimensions, and instead only depends on the complexity of the function class. To the best of our knowledge, this is the first generalization bound for the label-shift problem where the labels in the target domain are not available. Based on this bound, we propose a regularized estimator for the small-sample regime which accounts for the uncertainty in the estimated weights. Experiments on the CIFAR-10 and MNIST datasets show that RLLS improves classification accuracy, especially in the low sample and large-shift regimes, compared to previous methods.

Ein praktischer und nachweislich garantierter Ansatz für das Training effizienter Klassifikatoren in Anwesenheit von Label-Verschiebungen zwischen Quell- und Zieldatensätzen.

Die Autoren schlagen einen neuen Algorithmus zur Verbesserung der Stabilität des Schätzverfahrens für die Klassenbedeutungsgewichtung in einem zweistufigen Verfahren vor.

Die Autoren betrachten das Problem des Lernens unter Label Shifts, bei denen sich die Labelanteile unterscheiden, während die Konditionalitäten gleich sind, und schlagen einen verbesserten Schätzer mit Regularisierung vor.


The statistics of the real visual world presents a long-tailed distribution: a few classes have significantly more training instances than the remaining classes in a dataset. This is because the real visual world has a few classes that are common while others are rare. Unfortunately, the performance of a convolutional neural network is typically unsatisfactory when trained using a long-tailed dataset. To alleviate this issue, we propose a method that discriminatively learns an embedding in which a simple Bayesian classifier can balance the class-priors to generalize well for rare classes. To this end, the proposed approach uses a Gaussian mixture model to factor out class-likelihoods and class-priors in a long-tailed dataset. The proposed method is simple and easy-to-implement in existing deep learning frameworks. Experiments on publicly available datasets show that the proposed approach improves the performance on classes with few training instances, while maintaining a comparable performance to the state-of-the-art on classes with abundant training examples.

Ansatz zur Verbesserung der Klassifizierungsgenauigkeit bei Klassen im Heck.

Das Hauptziel dieser Arbeit ist es, einen ConvNet-Klassifikator zu erlernen, der für Klassen im hinteren Teil der Klassenhäufigkeitsverteilung bessere Leistungen erbringt.

Vorschlag für einen Bayes'schen Rahmen mit einem Gauß'schen Mischmodell, um das Problem der unausgewogenen Anzahl von Trainingsdaten aus verschiedenen Klassen bei Klassifizierungsanwendungen zu lösen.


As deep reinforcement learning is being applied to more and more tasks, there is a growing need to better understand and probe the learned agents. Visualizing and understanding the decision making process can be very valuable to comprehend and identify problems in the learned behavior. However, this topic has been relatively under-explored in the reinforcement learning community. In this work we present a method for synthesizing states of interest for a trained agent. Such states could be situations (e.g. crashing or damaging a car) in which specific actions are necessary. Further, critical states in which a very high or a very low reward can be achieved (e.g. risky states) are often interesting to understand the situational awareness of the system. To this end, we learn a generative model over the state space of the environment and use its latent space to optimize a target function for the state of interest. In our experiments we show that this method can generate insightful visualizations for a variety of environments and reinforcement learning methods. We explore these issues in the standard Atari benchmark games as well as in an autonomous driving simulator. Based on the efficiency with which we have been able to identify significant decision scenarios with this technique, we believe this general approach could serve as an important tool for AI safety applications.

Wir stellen eine Methode vor, mit der sich interessante Zustände für Agenten mit Reinforcement Learning synthetisieren lassen, um ihr Verhalten zu analysieren.

In diesem Beitrag wird ein generatives Modell für visuelle Beobachtungen in RL vorgeschlagen, das in der Lage ist, Beobachtungen von Interesse zu generieren.

Ein Ansatz zur Visualisierung interessanter Zustände, der einen variationalen Autoencoder umfasst, der lernt, den Zustandsraum zu rekonstruieren, und einen Optimierungsschritt, der Konditionierungsparameter zur Erzeugung synthetischer Bilder findet.


We introduce the deep abstaining classifier -- a deep neural network trained with a novel loss function that provides an abstention option during training. This allows the  DNN to abstain on confusing or difficult-to-learn examples while improving performance on the non-abstained samples. We show that such deep abstaining classifiers can: (i) learn representations for structured noise -- where noisy training labels or confusing examples are correlated with underlying features -- and then learn to abstain based on such features; (ii) enable robust learning in the presence of arbitrary or unstructured noise by identifying noisy samples; and (iii) be used as an effective out-of-category detector that learns to reliably abstain when presented with samples from  unknown classes. We provide analytical results on loss function behavior that enable automatic tuning of accuracy and coverage, and demonstrate the utility of the deep abstaining classifier using multiple image benchmarks, Results indicate significant improvement in learning in the presence of label noise.

Ein tiefes neuronales Netzwerk, das mit einer neuartigen Verlustfunktion trainiert wird, die Repräsentationen dafür erlernt, wann man sich enthalten sollte, was robustes Lernen in Gegenwart verschiedener Arten von Rauschen ermöglicht.

Eine neue Verlustfunktion für die Ausbildung eines tiefen neuronalen Netzes, die sich enthalten kann, mit der Leistung aus den Blickwinkeln bei Vorhandensein von strukturierten Störungen, bei Vorhandensein von unstrukturierten Störungen, und offene Welt Erkennung betrachtet.

Dieses Manuskript stellt tiefe abstinente Klassifizierer vor, die den klassenübergreifenden Entropieverlust mit einem Abstinenzverlust modifizieren, der dann auf gestörte Bildklassifizierungsaufgaben angewendet wird.


Temporal Difference learning with function approximation has been widely used recently and has led to several successful results.   However, compared with the original tabular-based methods, one major drawback of temporal difference learning with neural networks and other function approximators is that they tend to over-generalize across temporally successive states, resulting in slow convergence and even instability. In this work, we propose a novel TD learning method, Hadamard product Regularized TD (HR-TD), that reduces over-generalization and thus leads to faster convergence. This approach can be easily applied to both linear and nonlinear function approximators.
 HR-TD is evaluated on several linear and nonlinear benchmark domains, where we show improvement in learning behavior and performance.

Eine Regularisierungstechnik für TD-Lernen, die zeitliche Übergeneralisierung vermeidet, insbesondere in tiefen Netzen.

Eine Variante des zeitlichen Differenzlernens für den Fall der Funktionsannäherung, die versucht, das Problem der Übergeneralisierung über zeitlich aufeinanderfolgende Zustände hinweg zu lösen.

Das Papier stellt HR-TD vor, eine Variation des TD(0)-Algorithmus, die das Problem der Übergeneralisierung in konventionellem TD verbessern soll.


We present an efficient convolution kernel for Convolutional Neural Networks (CNNs) on unstructured grids using parameterized differential operators while focusing on spherical signals such as panorama images or planetary signals.
 To this end, we replace conventional convolution kernels with linear combinations of differential operators that are weighted by learnable parameters. Differential operators can be efficiently estimated on unstructured grids using one-ring neighbors, and learnable parameters can be optimized through standard back-propagation. As a result, we obtain extremely efficient neural networks that match or outperform state-of-the-art network architectures in terms of performance but with a significantly lower number of network parameters. We evaluate our algorithm in an extensive series of experiments on a variety of computer vision and climate science tasks, including shape classification, climate pattern segmentation, and omnidirectional image semantic segmentation. Overall, we present (1) a novel CNN approach on unstructured grids using parameterized differential operators for spherical signals, and (2) we show that our unique kernel parameterization allows our model to achieve the same or higher accuracy with significantly fewer network parameters.

Wir stellen einen neuen CNN-Kernel für unstrukturierte Gitter für sphärische Signale vor und zeigen einen signifikanten Gewinn an Genauigkeit und Parametereffizienz bei Aufgaben wie 3D-Klassifizierung und omnidirektionaler Bildsegmentierung.

Eine effiziente Methode, die Deep Learning auf sphärischen Daten ermöglicht und mit viel weniger Parametern als gängige Ansätze konkurrenzfähige/aktuelle Zahlen erreicht.

Das Papier schlägt einen neuartigen Convolutional-Kernel für CNN auf unstrukturierten Gittern vor und formuliert die Convolution durch eine lineare Kombination von Differentialoperatoren.


Prediction is arguably one of the most basic functions of an intelligent system. In general, the problem of predicting events in the future or between two waypoints is exceedingly difficult. However, most phenomena naturally pass through relatively predictable bottlenecks---while we cannot predict the precise trajectory of a robot arm between being at rest and holding an object up, we can be certain that it must have picked the object up. To exploit this, we decouple visual prediction from a rigid notion of time. While conventional approaches predict frames at regularly spaced temporal intervals, our time-agnostic predictors (TAP) are not tied to specific times so that they may instead discover predictable "bottleneck" frames no matter when they occur. We evaluate our approach for future and intermediate frame prediction across three robotic manipulation tasks. Our predictions are not only of higher visual quality, but also correspond to coherent semantic subgoals in temporally extended tasks.

Wenn Sie bei visuellen Vorhersageaufgaben Ihr Vorhersagemodell entscheiden lassen, welche Zeiten vorhergesagt werden sollen, hat dies zwei Vorteile: (i) es verbessert die Qualität der Vorhersage und (ii) es führt zu semantisch kohärenten "Engpasszustand"-Vorhersagen, die für die Planung nützlich sind.

Verfahren zur Vorhersage von Einzelbildern in einem Video, wobei der Ansatz beinhaltet, dass die Zielvorhersage fließend ist, aufgelöst durch ein Minimum des Vorhersagefehlers.

Neuformulierung der Aufgabe der Videovorhersage/Interpolation, so dass ein Vorherseher nicht gezwungen ist, Bilder in festen Zeitintervallen zu erzeugen, sondern trainiert wird, Bilder zu erzeugen, die zu einem beliebigen Zeitpunkt in der Zukunft stattfinden.


In cities with tall buildings, emergency responders need an accurate floor level location to find 911 callers quickly. We introduce a system to estimate a victim's floor level via their mobile device's sensor data in a two-step process. First, we train a neural network to determine when a smartphone enters or exits a building via GPS signal changes. Second, we use a barometer equipped smartphone to measure the change in barometric pressure from the entrance of the building to the victim's indoor location. Unlike impractical previous approaches, our system is the first that does not require the use of beacons, prior knowledge of the building infrastructure, or knowledge of user behavior. We demonstrate real-world feasibility through 63 experiments across five different tall buildings throughout New York City where our system predicted the correct floor level with 100% accuracy.

Wir haben ein LSTM verwendet, um zu erkennen, wenn ein Smartphone ein Gebäude betritt. Dann sagen wir anhand der Daten von Sensoren an Bord des Smartphones die Bodenhöhe des Geräts voraus.

In diesem Beitrag wird ein System vorgestellt, das anhand der Sensordaten eines mobilen Geräts und unter Verwendung eines LSTM sowie von Änderungen des Luftdrucks eine Schätzung der Bodenhöhe vornimmt.

Vorschlag für ein zweistufiges Verfahren zur Bestimmung des Stockwerks, in dem sich ein Mobiltelefon in einem hohen Gebäude befindet.


Sparse reward is one of the most challenging problems in reinforcement learning (RL). Hindsight Experience Replay (HER) attempts to address this issue by converting a failure experience to a successful one by relabeling the goals. Despite its effectiveness, HER has limited applicability because it lacks a compact and universal goal representation. We present Augmenting experienCe via TeacheR's adviCE (ACTRCE), an efficient reinforcement learning technique that extends the HER framework using natural language as the goal representation. We first analyze the differences among goal representation, and show that ACTRCE can efficiently solve difficult reinforcement learning problems in challenging 3D navigation tasks, whereas HER with non-language goal representation failed to learn. We also show that with language goal representations, the agent can generalize to unseen instructions, and even generalize to instructions with unseen lexicons. We further demonstrate it is crucial to use hindsight advice to solve challenging tasks, but we also found that little amount of hindsight advice is sufficient for the learning to take off, showing the practical aspect of the method.

Kombinieren Sie die Darstellung von Sprachzielen mit rückblickenden Erfahrungswiederholungen.

In diesem Aufsatz wird die in der Rückschau implizite Annahme berücksichtigt, dass es eine Abbildung von Zuständen auf Ziele gibt, und es wird eine natürlichsprachliche Darstellung von Zielen vorgeschlagen.

In diesem Beitrag wird das Hindsight Experience Replay Framework mit natürlichsprachlichen Zielen verwendet, um die Beispiel-Effizienz von Modellen zur Befolgung von Anweisungen zu verbessern.


Learning rich and compact representations is an open topic in many fields such as word embedding, visual question-answering, object recognition or image retrieval. Although deep neural networks (convolutional or not) have made a major breakthrough during the last few years by providing hierarchical, semantic and abstract representations for all of these tasks, these representations are not necessary as rich as needed nor as compact as expected. Models using higher order statistics, such as bilinear pooling, provide richer representations at the cost of higher dimensional features. Factorization schemes have been proposed but without being able to reach the original compactness of first order models, or at a heavy loss in performances. This paper addresses these two points by extending factorization schemes to codebook strategies, allowing compact representations with the same dimensionality as first order representations, but with second order performances. Moreover, we extend this framework with a joint codebook and factorization scheme, granting a reduction both in terms of parameters and computation cost. This formulation leads to state-of-the-art results and compact second-order models with few additional parameters and intermediate representations with a dimension similar to that of first-order statistics.

Wir schlagen ein gemeinsames Codebuch- und Faktorisierungsschema zur Verbesserung des Poolings zweiter Ordnung vor.

In diesem Beitrag wird eine Möglichkeit vorgestellt, bestehende faktorisierte Darstellungen zweiter Ordnung mit einer harten Zuweisung im Stil eines Codebuchs zu kombinieren.

Vorschlag für eine neuartige bilineare Darstellung auf der Grundlage eines Codebuchmodells und eine effiziente Formulierung, bei der Codebuch-basierte Projektionen durch gemeinsame Projektion faktorisiert werden, um die Parametergröße weiter zu reduzieren.


Natural language understanding research has recently shifted towards complex Machine Learning and Deep Learning algorithms. Such models often outperform their simpler counterparts significantly. However, their performance relies on the availability of large amounts of labeled data, which are rarely available. To tackle this problem, we propose a methodology for extending training datasets to arbitrarily big sizes and training complex, data-hungry models using weak supervision. We apply this methodology on biomedical relation extraction, a task where training datasets are excessively time-consuming and expensive to create, yet has a major impact on downstream applications such as drug discovery. We demonstrate in two small-scale controlled experiments that our method consistently enhances the performance of an LSTM network, with performance improvements comparable to hand-labeled training data. Finally, we discuss the optimal setting for applying weak supervision using this methodology.

Wir schlagen eine Meta-Lernmethode vor und wenden sie an, die auf schwacher Überwachung basiert, um halb-überwachtes und Ensemble-Lernen bei der Extraktion biomedizinischer Beziehungen zu kombinieren.

Ein halbüberwachtes Verfahren zur Klassifizierung von Beziehungen, bei dem mehrere Basislerner anhand eines kleinen markierten Datensatzes trainiert werden und einige von ihnen dazu verwendet werden, unmarkierte Beispiele für das halbüberwachte Lernen zu annotieren.

Diese Arbeit befasst sich mit dem Problem der Erzeugung von Trainingsdaten für die Extraktion biologischer Beziehungen und verwendet Vorhersagen von Daten, die von schwachen Klassifikatoren als zusätzliche Trainingsdaten für einen Meta-Lernalgorithmus gekennzeichnet wurden.

In diesem Papier wird eine Kombination aus halbüberwachtem Lernen und Ensemble-Lernen für die Informationsextraktion vorgeschlagen, wobei Experimente an einer biomedizinischen Beziehungsextraktionsaufgabe durchgeführt werden.


We introduce contextual explanation networks (CENs)---a class of models that learn to predict by generating and leveraging intermediate explanations. CENs are deep networks that generate parameters for context-specific probabilistic graphical models which are further used for prediction and play the role of explanations. Contrary to the existing post-hoc model-explanation tools, CENs learn to predict and to explain jointly. Our approach offers two major advantages: (i) for each prediction, valid instance-specific explanations are generated with no computational overhead and (ii) prediction via explanation acts as a regularization and boosts performance in low-resource settings. We prove that local approximations to the decision boundary of our networks are consistent with the generated explanations. Our results on image and text classification and survival analysis tasks demonstrate that CENs are competitive with the state-of-the-art while offering additional insights behind each prediction, valuable for decision support.

Eine Klasse von Netzwerken, die einfache Modelle im Handumdrehen generieren (sogenannte Erklärungen), die als Regularisierer fungieren und eine konsistente Modelldiagnose und Interpretierbarkeit ermöglichen.

Die Autoren behaupten, dass der bisherige Stand der Technik neuronale Netze direkt als Komponenten in die grafischen Modelle integriert, was die Modelle uninterpretierbar macht.

Vorschlag für eine Kombination von neuronalen Netzen und grafischen Modellen durch Verwendung eines tiefen neuronalen Netzes zur Vorhersage der Parameter eines grafischen Modells.


The goal of imitation learning (IL) is to enable a learner to imitate an expert’s behavior given the expert’s demonstrations. Recently, generative adversarial imitation learning (GAIL) has successfully achieved it even on complex continuous control tasks. However, GAIL requires a huge number of interactions with environment during training. We believe that IL algorithm could be more applicable to the real-world environments if the number of interactions could be reduced. To this end, we propose a model free, off-policy IL algorithm for continuous control. The keys of our algorithm are two folds: 1) adopting deterministic policy that allows us to derive a novel type of policy gradient which we call deterministic policy imitation gradient (DPIG), 2) introducing a function which we call state screening function (SSF) to avoid noisy policy updates with states that are not typical of those appeared on the expert’s demonstrations. Experimental results show that our algorithm can achieve the goal of IL with at least tens of times less interactions than GAIL on a variety of continuous control tasks.

Wir schlagen einen modellfreien Algorithmus für das Imitation Learning vor, der die Anzahl der Interaktionen mit der Umgebung im Vergleich zum modernsten Algorithmus für das Imitation Learning, GAIL, reduzieren kann.

Schlägt vor, den deterministischen Policy-Gradienten-Algorithmus zu erweitern, um aus Demonstrationen zu lernen, während er mit einer Art Dichteabschätzung des Experten kombiniert wird.

In diesem Beitrag wird das Problem des modellfreien Imitation Learnings betrachtet und eine Erweiterung des generativen adversarial Imitation Learning Algorithmus vorgeschlagen, indem die stochastische Politik des Lerners durch eine deterministische ersetzt wird.

Das Papier kombiniert IRL, adversariales Training und Ideen aus deterministischen Policy-Gradienten mit dem Ziel, die Komplexität von Beispielen zu verringern.


Convolution acts as a local feature extractor in convolutional neural networks (CNNs). However, the convolution operation is not applicable when the input data is supported on an irregular graph such as with social networks, citation networks, or knowledge graphs. This paper proposes the topology adaptive graph convolutional network (TAGCN), a novel graph convolutional network that generalizes CNN architectures to graph-structured data and provides a systematic way to design a set of fixed-size learnable filters to perform convolutions on graphs. The topologies of these filters are adaptive to the topology of the graph when they scan the graph to perform convolution, replacing the square filter for the grid-structured data in traditional CNNs. The outputs are the weighted sum of these filters’ outputs, extraction of both vertex features and strength of correlation between vertices. It
 can be used with both directed and undirected graphs. The proposed TAGCN not only inherits the properties of convolutions in CNN for grid-structured data, but it is also consistent with convolution as defined in graph signal processing. Further, as no approximation to the convolution is needed, TAGCN exhibits better performance than existing graph-convolution-approximation methods on a number
 of data sets. As only the polynomials of degree two of the adjacency matrix are used, TAGCN is also computationally simpler than other recent methods.

Graph-CNN mit geringer Rechenkomplexität (ohne Approximation) und besserer Klassifizierungsgenauigkeit.

Schlägt einen neuen CNN-Ansatz zur Graphenklassifizierung vor, der einen Filter verwendet, der auf ausgehenden Spaziergängen mit zunehmender Länge basiert, um Informationen von weiter entfernten Knotenpunkten in einem Fortpflanzungsschritt einzubeziehen.

Vorschlag für eine neue Architektur eines neuronalen Netzes für die halbüberwachte Graphenklassifizierung, die auf polynomialen Graphenfiltern aufbaut und diese auf aufeinanderfolgenden neuronalen Netzschichten mit ReLU-Aktivierungsfunktionen einsetzt.

Die Arbeit führt Topology Adaptive GCN ein, um Convolutional Networks auf graph-strukturierte Daten zu verallgemeinern.


Inspired by the phenomenon of catastrophic forgetting, we investigate the learning dynamics of neural networks as they train on single classification tasks. Our goal is to understand whether a related phenomenon occurs when data does not undergo a clear distributional shift. We define a ``forgetting event'' to have occurred when an individual training example transitions from being classified correctly to incorrectly over the course of learning. Across several benchmark data sets, we find that: (i) certain examples are forgotten with high frequency, and some not at all; (ii) a data set's (un)forgettable examples generalize across neural architectures; and (iii) based on forgetting dynamics, a significant fraction of examples can be omitted from the training data set while still maintaining state-of-the-art generalization performance.

Wir zeigen, dass katastrophales Vergessen innerhalb einer einzigen Aufgabe auftritt, und stellen fest, dass Beispiele, die nicht zum Vergessen neigen, ohne Generalisierungsverlust aus der Trainingsmenge entfernt werden können.

Untersucht das Vergessensverhalten von Trainingsbeispielen während des SGD und zeigt, dass es beim Training neuronaler Netze in verschiedenen Netzarchitekturen "Unterstützungsbeispiele" gibt.

In dieser Arbeit wird analysiert, inwieweit Netzwerke lernen, bestimmte Beispiele richtig zu klassifizieren und diese Beispiele dann im Laufe des Trainings vergessen.

In dem Beitrag wird untersucht, ob einige Beispiele beim Training neuronaler Netze schwieriger zu lernen sind als andere. Solche Beispiele werden beim Lernen vergessen und mehrfach neu gelernt.


Discovering objects and their attributes is of great importance for autonomous agents to effectively operate in human environments. This task is particularly challenging due to the ubiquitousness of objects and all their nuances in perceptual and semantic detail. In this paper we present an unsupervised approach for learning disentangled representations of objects entirely from unlabeled monocular videos. These continuous representations are not biased by or limited by a discrete set of labels determined by human labelers. The proposed representation is trained with a metric learning loss, where objects with homogeneous features are pushed together, while those with heterogeneous features are pulled apart. We show these unsupervised embeddings allow to discover object attributes and can enable robots to self-supervise in previously unseen environments. We quantitatively evaluate performance on a large-scale synthetic dataset with 12k object models, as well as on a real dataset collected by a robot and show that our unsupervised object understanding generalizes to previously unseen objects. Specifically, we demonstrate the effectiveness of our approach on robotic manipulation tasks, such as pointing at and grasping of objects. An interesting and perhaps surprising finding in this approach is that given a limited set of objects, object correspondences will naturally emerge when using metric learning without requiring explicit positive pairs.

Ein unüberwachter Ansatz für das Erlernen von entflechteten Darstellungen von Objekten aus unmarkierten monokularen Videos.

Entwirft eine Merkmalsdarstellung aus Videosequenzen, die von einer Szene aus verschiedenen Blickwinkeln aufgenommen wurden.

Vorschlag für eine unüberwachte Methode zum Erlernen von Repräsentationen für visuelle Eingaben, die einen metrischen Lernansatz beinhaltet, der die nächstgelegenen Paare von Bildfeldern im Einbettungsraum zusammenführt, während andere Paare auseinandergedrängt werden.

Diese Arbeit untersucht das selbstüberwachte Lernen von Objektrepräsentationen, mit der Hauptidee, Objekte mit ähnlichen Merkmalen zu ermutigen, sich weiter zueinander "hingezogen" zu fühlen.


Learning from a scalar reward in continuous action space environments is difficult and often requires millions if not billions of interactions.   We introduce state aligned vector rewards, which are easily defined in metric state spaces and allow our deep reinforcement learning agent to tackle the curse of dimensionality.   Our agent learns to map from action distributions to state change distributions implicitly defined in a quantile function neural network.    We further introduce a new reinforcement learning technique inspired by quantile regression which does not limit agents to explicitly parameterized action distributions.   Our results in high dimensional state spaces show that training with vector rewards allows our agent to learn multiple times faster than an agent training with scalar rewards.

Wir trainieren mit zustandsorientierten Vektor-Belohnungen einen Agenten, der Zustandsänderungen aus Aktionsverteilungen vorhersagt, indem wir eine neue, von der Quantilsregression inspirierte Reinforcement Learning Technik verwenden.

Stellt einen Algorithmus vor, der darauf abzielt, das Reinforcement Learning in Situationen zu beschleunigen, in denen die Belohnung auf den Zustandsraum abgestimmt ist.

Diese Arbeit befasst sich mit RL im kontinuierlichen Handlungsraum, unter Verwendung einer neu parametrisierten Strategie und eines neuartigen vektorbasierten Trainingsziels.

In dieser Arbeit wird vorgeschlagen, die Verteilungs-RL mit einem Netz zu mischen, das die Entwicklung der Welt in Form von Quantilen modelliert, um die Effizienz der Stichprobe zu verbessern.