Object-based factorizations provide a useful level of abstraction for interacting with the world. Building explicit object representations, however, often requires supervisory signals that are difficult to obtain in practice. We present a paradigm for learning object-centric representations for physical scene understanding without direct supervision of object properties. Our model, Object-Oriented Prediction and Planning (O2P2), jointly learns a perception function to map from image observations to object representations, a pairwise physics interaction function to predict the time evolution of a collection of objects, and a rendering function to map objects back to pixels. For evaluation, we consider not only the accuracy of the physical predictions of the model, but also its utility for downstream tasks that require an actionable representation of intuitive physics. After training our model on an image prediction task, we can use its learned representations to build block towers more complicated than those observed during training.

Wir stellen einen Rahmen für das Erlernen von objektzentrierten Repräsentationen vor, die sich für die Planung von Aufgaben eignen, die ein Verständnis der Physik erfordern.

Die Arbeit stellt eine Plattform für die Vorhersage von Bildern von Objekten vor, die unter der Wirkung von Gravitationskräften miteinander interagieren.

Die Arbeit stellt eine Methode vor, die lernt, "Blocktürme" aus einem gegebenen Bild zu reproduzieren.

Schlägt eine Methode vor, mit der man lernt, über die physische Interaktion verschiedener Objekte nachzudenken, ohne dass die Eigenschaften der Objekte überwacht werden.


We study the error landscape of deep linear and nonlinear neural networks with the squared error loss. Minimizing the loss of a deep linear neural network is a nonconvex problem, and despite recent progress, our understanding of this loss surface is still incomplete. For deep linear networks, we present necessary and sufficient conditions for a critical point of the risk function to be a global minimum. Surprisingly, our conditions provide an efficiently checkable test for global optimality, while such tests are typically intractable in nonconvex optimization. We further extend these results to deep nonlinear neural networks and prove similar sufficient conditions for global optimality, albeit in a more limited function space setting.

Wir liefern effizient überprüfbare notwendige und hinreichende Bedingungen für globale Optimalität in tiefen linearen neuronalen Netzen, mit einigen ersten Erweiterungen auf nichtlineare Bedingungen.

Der Artikel enthält Bedingungen für die globale Optimalität der Verlustfunktion von tiefen linearen neuronalen Netzen.

Die Arbeit enthält theoretische Ergebnisse über die Existenz lokaler Minima in der Zielfunktion von tiefen neuronalen Netzen.

Untersuchung einiger theoretischer Eigenschaften von tiefen linearen Netzen.


Recurrent auto-encoder model can summarise sequential data through an encoder structure into a fixed-length vector and then reconstruct into its original sequential form through the decoder structure. The summarised information can be used to represent time series features. In this paper, we propose relaxing the dimensionality of the decoder output so that it performs partial reconstruction. The fixed-length vector can therefore represent features only in the selected dimensions. In addition, we propose using rolling fixed window approach to generate samples. The change of time series features over time can be summarised as a smooth trajectory path. The fixed-length vectors are further analysed through additional visualisation and unsupervised clustering techniques.

 This proposed method can be applied in large-scale industrial processes for sensors signal analysis purpose where clusters of the vector representations can be used to reflect the operating states of selected aspects of the industrial system.

Verwendung eines rekurrenten Auto-Encoder Modells zur Extraktion mehrdimensionaler Zeitreihenmerkmale

Dieser Text beschreibt eine Anwendung des rekurrenten Autoencoders zur Analyse von mehrdimensionalen Zeitreihen.

Die Arbeit beschreibt ein Sequenz zu Sequenz Auto-Encoder Modell, das verwendet wird, um zu lernen, Darstellungen von Sequenzen, die zeigen, dass für ihre Anwendung, eine bessere Leistung erzielt wird, wenn das Netzwerk nur trainiert wird, um eine Teilmenge der Daten Messungen zu rekonstruieren.

Schlägt eine Strategie vor, die sich am rekurrenten Autoencoder Modell orientiert, so dass ein Clustering mehrdimensionaler Zeitreihendaten auf der Grundlage von Kontextvektoren durchgeführt werden kann.


We view molecule optimization as a graph-to-graph translation problem. The goal is to learn to map from one molecular graph to another with better properties based on an available corpus of paired molecules. Since molecules can be optimized in different ways, there are multiple viable translations for each input graph. A key challenge is therefore to model diverse translation outputs. Our primary contributions include a junction tree encoder-decoder for learning diverse graph translations along with a novel adversarial training method for aligning distributions of molecules. Diverse output distributions in our model are explicitly realized by low-dimensional latent vectors that modulate the translation process. We evaluate our model on multiple molecule optimization tasks and show that our model outperforms previous state-of-the-art baselines by a significant margin.

Wir stellen ein Graph-zu-Graph Encoder-Decoder Framework für das Lernen verschiedener Graphübersetzungen vor.

Schlägt ein Graph-zu-Graph Übersetzungsmodell für die Moleküloptimierung vor, das von der Analyse übereinstimmender Molekülpaare inspiriert ist.

Erweiterung von JT-VAE auf das Szenario der Übersetzung von Graphen in Graphen durch Hinzufügen der latenten Variable zur Erfassung der Multimodalität und einer adversen Regularisierung im latenten Raum.

Er schlägt ein recht komplexes System vor, das viele verschiedene Entscheidungen und Komponenten umfasst, um ausgehend von einem gegebenen Korpus chemische Zusammensetzungen mit verbesserten Eigenschaften zu erhalten.


Partial differential equations (PDEs) are widely used across the physical and computational sciences. Decades of research and engineering went into designing fast iterative solution methods. Existing solvers are general purpose, but may be sub-optimal for specific classes of problems. In contrast to existing hand-crafted solutions, we propose an approach to learn a fast iterative solver tailored to a specific domain. We achieve this goal by learning to modify the updates of an existing solver using a deep neural network. Crucially, our approach is proven to preserve strong correctness and convergence guarantees. After training on a single geometry, our model generalizes to a wide variety of geometries and boundary conditions, and achieves 2-3 times speedup compared to state-of-the-art solvers.

Wir lernen einen schnellen neuronalen Löser für PDEs, der Konvergenzgarantien hat.

Entwickelt eine Methode zur Beschleunigung der Finite-Differenzen Methode bei der Lösung von PDEs und schlägt einen überarbeiteten Rahmen für die Festpunktiteration nach der Diskretisierung vor.

Die Autoren schlagen eine lineare Methode zur Beschleunigung von PDE-Lösern vor.


Variational Bayesian neural networks (BNN) perform variational inference over weights, but it is difficult to specify meaningful priors and approximating posteriors in a high-dimensional weight space. We introduce functional variational Bayesian neural networks (fBNNs), which maximize an Evidence Lower BOund (ELBO) defined directly on stochastic processes, i.e. distributions over functions. We prove that the KL divergence between stochastic processes is equal to the supremum of marginal KL divergences over all finite sets of inputs. Based on this, we introduce a practical training objective which approximates the functional ELBO using finite measurement sets and the spectral Stein gradient estimator. With fBNNs, we can specify priors which entail rich structure, including Gaussian processes and implicit stochastic processes. Empirically, we find that fBNNs extrapolate well using various structured priors, provide reliable uncertainty estimates, and can scale to large datasets.

Wir führen funktionale Variationsinferenz auf stochastischen Prozessen durch, die durch Bayes'sche neuronale Netze definiert sind.

Anpassung von variationalen Bayesian Neural Network Approximationen in funktionaler Form und unter Berücksichtigung der Anpassung an einen stochastischen Prozess Prior implizit über Stichproben.

Stellt ein neuartiges ELBO Ziel für das Training von BNNs vor, das es ermöglicht, aussagekräftigere Priors im Modell zu kodieren als die weniger informativen Gewichts Priors, die in der Literatur beschrieben werden.

Stellt einen neuen Variationsinferenzalgorithmus für Bayes'sche neuronale Netzmodelle vor, bei dem der Prior funktional und nicht über einen Prior über Gewichte spezifiziert wird.


Words are not created equal. In fact, they form an aristocratic graph with a latent hierarchical structure that the next generation of unsupervised learned word embeddings should reveal. In this paper, justified by the notion of delta-hyperbolicity or tree-likeliness of a space, we propose to embed words in a Cartesian product of hyperbolic spaces which we theoretically connect to the Gaussian word embeddings and their Fisher geometry. This connection allows us to introduce a novel principled hypernymy score for word embeddings. Moreover, we adapt the well-known Glove algorithm to learn unsupervised word embeddings in this type of Riemannian manifolds. We further explain how to solve the analogy task using the Riemannian parallel transport that generalizes vector arithmetics to this new type of geometry. Empirically, based on extensive experiments, we prove that our embeddings, trained unsupervised, are the first to simultaneously outperform strong and popular baselines on the tasks of similarity, analogy and hypernymy detection. In particular, for word hypernymy, we obtain new state-of-the-art on fully unsupervised WBLESS classification accuracy.

Wir betten Wörter in den hyperbolischen Raum ein und stellen die Verbindung zu den Gaußschen Worteinbettungen her.

In diesem Beitrag wird die Glove Worteinbettung an einen hyperbolischen Raum angepasst, der durch das Poincare Halbebenenmodell gegeben ist.

In diesem Beitrag wird ein Ansatz zur Implementierung eines GLOVE basierten hyperbolischen Worteinbettungsmodells vorgeschlagen, das mit Hilfe der Riemannschen Optimierungsmethoden optimiert wird.


Answering questions about a text frequently requires aggregating information from multiple places in that text. End-to-end neural network models, the dominant approach in the current literature, can theoretically learn how to distill and manipulate representations of the text without explicit supervision about how to do so. We investigate a canonical architecture for this task, the memory network, and analyze how effective it really is in the context of three multi-hop reasoning settings. In a simple synthetic setting, the path-finding task of the bAbI dataset, the model fails to learn the correct reasoning without additional supervision of its attention mechanism. However, with this supervision, it can perform well. On a real text dataset, WikiHop, the memory network gives nearly state-of-the-art performance, but does so without using its multi-hop capabilities. A tougher anonymized version of the WikiHop dataset is qualitatively similar to bAbI: the model fails to perform well unless it has additional supervision. We hypothesize that many "multi-hop" architectures do not truly learn this reasoning as advertised, though they could learn this reasoning if appropriately supervised.

Gedächtnisnetze lernen kein Multi-Hop Denken, es sei denn, wir beaufsichtigen sie.

Die Behauptung, dass Multi-Hop-Denken nicht einfach direkt zu erlernen ist und eine direkte Überwachung erfordert, und dass ein gutes Abschneiden bei WikiHop nicht unbedingt bedeutet, dass das Modell tatsächlich lernt zu hüpfen.

Die Arbeit schlägt vor, das bekannte Problem des Lernens von Gedächtnisnetzwerken zu untersuchen, genauer gesagt, die Schwierigkeit der Überwachung des Aufmerksamkeitslernens mit solchen Modellen.

In diesem Beitrag wird argumentiert, dass das Gedächtnisnetz nicht in der Lage ist, vernünftiges Multi-Hop-Denken zu lernen.


Generative Adversarial Nets (GANs) and Variational Auto-Encoders (VAEs) provide impressive image generations from Gaussian white noise, but the underlying mathematics are not well understood. We compute deep convolutional network generators by inverting a fixed embedding operator. Therefore, they do not require to be optimized with a discriminator or an encoder. The embedding is Lipschitz continuous to deformations so that generators transform linear interpolations between input white noise vectors into deformations between output images. This embedding is computed with a wavelet Scattering transform. Numerical experiments demonstrate that the resulting Scattering generators have similar properties as GANs or VAEs, without learning a discriminative network or an encoder.

Wir stellen generative Netze vor, die nicht mit einem Diskriminator oder einem Encoder gelernt werden müssen; sie werden durch Invertierung eines speziellen Einbettungsoperators erhalten, der durch eine Wavelet-Streuungstransformation definiert ist.

Stellt Scattering-Transformationen als generative Bildmodelle im Kontext von Generative Adversarial Networks vor und legt dar, warum sie als Gaussianisierungstransformationen mit kontrolliertem Informationsverlust und Invertierbarkeit angesehen werden können.

Die Arbeit schlägt ein generatives Modell für Bilder vor, das weder einen Diskriminator (wie bei GANs) noch eine erlernte Einbettung benötigt.


Recurrent neural networks (RNNs) can model natural language by sequentially ''reading'' input tokens and outputting a distributed representation of each token. Due to the sequential nature of RNNs, inference time is linearly dependent on the input length, and all inputs are read regardless of their importance. Efforts to speed up this inference, known as ''neural speed reading'', either ignore or skim over part of the input. We present Structural-Jump-LSTM: the first neural speed reading model to both skip and jump text during inference. The model consists of a standard LSTM and two agents: one capable of skipping single words when reading, and one capable of exploiting punctuation structure (sub-sentence separators (,:), sentence end symbols (.!?), or end of text markers) to jump ahead after reading a word.
 A comprehensive experimental evaluation of our model against all five state-of-the-art neural reading models shows that
 Structural-Jump-LSTM achieves the best overall floating point operations (FLOP) reduction (hence is faster), while keeping the same accuracy or even improving it compared to a vanilla LSTM that reads the whole text.

Wir schlagen ein neues Modell für neuronales Schnelllesen vor, das die inhärente Interpunktionsstruktur eines Textes nutzt, um effektives Sprung- und Überspringverhalten zu definieren.

Die Arbeit schlägt ein Structural-Jump LSTM Modell zur Beschleunigung des maschinellen Lesens mit zwei Agenten anstelle eines Agenten vor.

Schlägt ein neues Modell für neuronales Schnelllesen vor, bei dem der neue Leser die Möglichkeit hat, ein Wort oder eine Wortfolge zu überspringen.

Der Artikel schlägt eine Schnelllesemethode vor, die Skip- und Jump-Aktionen verwendet, und zeigt, dass die vorgeschlagene Methode genauso genau ist wie LSTM, aber viel weniger Rechenaufwand benötigt.


One of the key challenges of session-based recommender systems is to enhance users’ purchase intentions. In this paper, we formulate the sequential interactions between user sessions and a recommender agent as a Markov Decision Process (MDP). In practice, the purchase reward is delayed and sparse, and may be buried by clicks, making it an impoverished signal for policy learning. Inspired by the prediction error minimization (PEM) and embodied cognition, we propose a simple architecture to augment reward, namely Imagination Reconstruction Network (IRN). Speciﬁcally, IRN enables the agent to explore its environment and learn predictive representations via three key components. The imagination core generates predicted trajectories, i.e., imagined items that users may purchase. The trajectory manager controls the granularity of imagined trajectories using the planning strategies, which balances the long-term rewards and short-term rewards. To optimize the action policy, the imagination-augmented executor minimizes the intrinsic imagination error of simulated trajectories by self-supervised reconstruction, while maximizing the extrinsic reward using model-free algorithms. Empirically, IRN promotes quicker adaptation to user interest, and shows improved robustness to the cold-start scenario and ultimately higher purchase performance compared to several baselines. Somewhat surprisingly, IRN using only the purchase reward achieves excellent next-click prediction performance, demonstrating that the agent can "guess what you like" via internal planning.

Wir schlagen die IRN-Architektur vor, um die spärliche und verzögerte Kaufbelohnung für sitzungsbasierte Empfehlungen zu erweitern.

In dem Beitrag wird vorgeschlagen, die Leistung von Empfehlungssystemen durch Reinforcement Learning zu verbessern, indem ein Imaginations Rekonstruktions Netzwerk verwendet wird.

Die Arbeit stellt einen sitzungsbasierten Empfehlungsansatz vor, der sich auf die Käufe der Nutzer statt auf die Klicks konzentriert.


The question why deep learning algorithms generalize so well has attracted increasing
 research interest. However, most of the well-established approaches,
 such as hypothesis capacity, stability or sparseness, have not provided complete
 explanations (Zhang et al., 2016; Kawaguchi et al., 2017). In this work, we focus
 on the robustness approach (Xu & Mannor, 2012), i.e., if the error of a hypothesis
 will not change much due to perturbations of its training examples, then it
 will also generalize well. As most deep learning algorithms are stochastic (e.g.,
 Stochastic Gradient Descent, Dropout, and Bayes-by-backprop), we revisit the robustness
 arguments of Xu & Mannor, and introduce a new approach – ensemble
 robustness – that concerns the robustness of a population of hypotheses. Through
 the lens of ensemble robustness, we reveal that a stochastic learning algorithm can
 generalize well as long as its sensitiveness to adversarial perturbations is bounded
 in average over training examples. Moreover, an algorithm may be sensitive to
 some adversarial examples (Goodfellow et al., 2015) but still generalize well. To
 support our claims, we provide extensive simulations for different deep learning
 algorithms and different network architectures exhibiting a strong correlation between
 ensemble robustness and the ability to generalize.

Theoretische und empirische Erklärung der Verallgemeinerung von stochastischen Deep Learning Algorithmen durch Ensemble-Robustheit.

Diese Arbeit stellt eine Anpassung der algorithmischen Robustheit von Xu & Mannor '12 vor und präsentiert Lerngrenzen und ein Experiment, das die Korrelation zwischen empirischer Ensemble Robustheit und Generalisierungsfehler zeigt.

Schlägt eine Untersuchung der Generalisierungsfähigkeit von Deep Learning Algorithmen unter Verwendung einer Erweiterung des Stabilitätsbegriffs vor, die als Ensemble Robustheit bezeichnet wird, und gibt Grenzen für den Generalisierungsfehler eines randomisierten Algorithmus in Bezug auf den Stabilitätsparameter an und bietet eine empirische Studie, die versucht, Theorie und Praxis zu verbinden.

Die Arbeit untersuchte die Verallgemeinerungsfähigkeit von Lernalgorithmen unter dem Gesichtspunkt der Robustheit in einem Deep Learning Kontext.


Deep autoregressive models have shown state-of-the-art performance in density estimation for natural images on large-scale datasets such as ImageNet.   However, such models require many thousands of gradient-based weight updates and unique image examples for training. Ideally, the models would rapidly learn visual concepts from only a handful of examples, similar to the manner in which humans learns across many vision tasks.   In this paper, we show how 1) neural attention and 2) meta learning techniques can be used in combination with autoregressive models to enable effective few-shot density estimation. Our proposed modifications to PixelCNN result in state-of-the art few-shot density estimation on the Omniglot dataset.   Furthermore, we visualize the learned attention policy and find that it learns intuitive algorithms for simple tasks such as image mirroring on ImageNet and handwriting on Omniglot without supervision. Finally, we extend the model to natural images and demonstrate few-shot image generation on the Stanford Online Products dataset.

In dem Beitrag wird vorgeschlagen, die Dichteschätzung bei geringer Verfügbarkeit von Trainingsdaten mit Hilfe eines Meta-Lernmodells zu verwenden.

Dieser Beitrag befasst sich mit dem Problem der One / Few Shot Dichteschätzung, unter Verwendung von Metalearning-Techniken, die auf One / Few Shot überwachtes Lernen angewendet wurden.

Die Arbeit konzentriert sich auf das Few-Shot Learning mit autoregressiver Dichteschätzung und verbessert PixelCNN mit neuronaler Aufmerksamkeit und Meta Lerntechniken.


Neural networks exhibit good generalization behavior in the
 over-parameterized regime, where the number of network parameters
 exceeds the number of observations. Nonetheless,
 current generalization bounds for neural networks fail to explain this
 phenomenon. In an attempt to bridge this gap, we study the problem of
 learning a two-layer over-parameterized neural network, when the data is generated by a linearly separable function. In the case where the network has Leaky
 ReLU activations, we provide both optimization and generalization guarantees for over-parameterized networks.
 Specifically, we prove convergence rates of SGD to a global
 minimum and provide generalization guarantees for this global minimum
 that are independent of the network size.
 Therefore, our result clearly shows that the use of SGD for optimization both finds a global minimum, and avoids overfitting despite the high capacity of the model. This is the first theoretical demonstration that SGD can avoid overfitting, when learning over-specified neural network classifiers.

Wir zeigen, dass SGD zweischichtige überparametrisierte neuronale Netze mit Leaky ReLU Aktivierungen lernt, die nachweislich auf linear trennbaren Daten generalisieren.

Die Arbeit untersucht überparametrisierte Modelle, die in der Lage sind, gut generalisierende Lösungen zu erlernen, indem sie ein Netz mit einer verborgenen Schicht und einer festen Ausgangsschicht verwenden.

In diesem Beitrag wird gezeigt, dass SGD auf einem überparametrisierten Netzwerk bei linear trennbaren Daten immer noch zu einem Klassifikator führen kann, der nachweislich generalisiert.


A central challenge in reinforcement learning is discovering effective policies for tasks where rewards are sparsely distributed. We postulate that in the absence of useful reward signals, an effective exploration strategy should seek out {\it decision states}. These states lie at critical junctions in the state space from where the agent can transition to new, potentially unexplored regions. We propose to learn about decision states from prior experience. By training a goal-conditioned model with an information bottleneck, we can identify decision states by examining where the model accesses the goal state through the bottleneck. We find that this simple mechanism effectively identifies decision states, even in partially observed settings. In effect, the model learns the sensory cues that correlate with potential subgoals. In new environments, this model can then identify novel subgoals for further exploration, guiding the agent through a sequence of potential decision  states and through new regions of the state space.

Das Training von Agenten mit zielgerichteten Informationsengpässen fördert den Transfer und führt zu einem starken Explorationsbonus.

Schlägt vor, Standard RL Verluste mit der negativen bedingten gegenseitigen Information für die Suche nach Strategien in einer Mehrziel RL Umgebung zu regulieren.

Diese Arbeit schlägt das Konzept des Entscheidungszustandes vor und schlägt eine KL Divergenzregulierung vor, um die Struktur der Aufgaben zu erlernen und diese Informationen zu nutzen, um die Politik zu ermutigen, die Entscheidungszustände zu besuchen.

In dem Beitrag wird eine Methode zur Regularisierung zielbezogener Strategien mit einem Term der gegenseitigen Information vorgeschlagen.


Many applications in machine learning require optimizing a function whose true gradient is unknown, but where surrogate gradient information (directions that may be correlated with, but not necessarily identical to, the true gradient) is available instead. This arises when an approximate gradient is easier to compute than the full gradient (e.g. in meta-learning or unrolled optimization), or when a true gradient is intractable and is replaced with a surrogate (e.g. in certain reinforcement learning applications or training networks with discrete variables). We propose Guided Evolutionary Strategies, a method for optimally using surrogate gradient directions along with random search. We define a search distribution for evolutionary strategies that is elongated along a subspace spanned by the surrogate gradients. This allows us to estimate a descent direction which can then be passed to a first-order optimizer. We analytically and numerically characterize the tradeoffs that result from tuning how strongly the search distribution is stretched along the guiding subspace, and use this to derive a setting of the hyperparameters that works well across problems. Finally, we apply our method to example problems including truncated unrolled optimization and training neural networks with discrete variables, demonstrating improvement over both standard evolutionary strategies and first-order methods (that directly follow the surrogate gradient). We provide a demo of Guided ES at: redacted URL

Wir schlagen eine Optimierungsmethode für den Fall vor, dass nur verzerrte Gradienten verfügbar sind - wir definieren einen neuen Gradientenschätzer für dieses Szenario, leiten die Verzerrung und Varianz dieses Schätzers ab und wenden ihn auf Beispielprobleme an.

Die Autoren schlagen einen Ansatz vor, der die zufällige Suche mit der Surrogate-Gradienteninformation kombiniert, und erörtern den Kompromiss zwischen Varianz und Vorspannung sowie die Optimierung der Hyperparameter.

In dem Beitrag wird eine Methode zur Verbesserung der Zufallssuche vorgeschlagen, bei der ein Unterraum aus den vorherigen k Surrogate Gradienten gebildet wird.

In dieser Arbeit wird versucht, die Entwicklung des OpenAI Typs zu beschleunigen, indem eine nicht isotrophe Verteilung mit einer Kovarianzmatrix der Form I + UU^t und externen Informationen wie einem Surrogategradienten zur Bestimmung von U eingeführt werden.


Point clouds are an important type of geometric data and have widespread use in computer graphics and vision. However, learning representations for point clouds is particularly challenging due to their nature as being an unordered collection of points irregularly distributed in 3D space. Graph convolution, a generalization of the convolution operation for data defined over graphs, has been recently shown to be very successful at extracting localized features from point clouds in supervised or semi-supervised tasks such as classification or segmentation. This paper studies the unsupervised problem of a generative model exploiting graph convolution. We focus on the generator of a GAN and define methods for graph convolution when the graph is not known in advance as it is the very output of the generator. The proposed architecture learns to generate localized features that approximate graph embeddings of the output geometry. We also study the problem of defining an upsampling layer in the graph-convolutional generator, such that it learns to exploit a self-similarity prior on the data distribution to sample more effectively.

Ein GAN, der Graph Convolutional Operationen mit dynamisch berechneten Graphen aus verborgenen Merkmalen verwendet.

Die Arbeit schlägt vor, eine Version von GANs speziell für die Erzeugung von Punktwolken mit dem Kernbeitrag der Upsampling-Operation.

In diesem Beitrag werden Graph Convolutional GANs für unregelmäßige 3D-Punktwolken vorgeschlagen, die gleichzeitig die Domäne und die Merkmale lernen.


Memorization in over-parameterized neural networks can severely hurt generalization in the presence of mislabeled examples. However, mislabeled examples are to hard avoid in extremely large datasets. We address this problem using the implicit regularization effect of stochastic gradient descent with large learning rates, which we find to be able to separate clean and mislabeled examples with remarkable success using loss statistics. We leverage this to identify and on-the-fly discard mislabeled examples using a threshold on their losses. This leads to On-the-fly Data Denoising (ODD), a simple yet effective algorithm that is robust to mislabeled examples, while introducing almost zero computational overhead. Empirical results demonstrate the effectiveness of ODD on several datasets containing artificial and real-world mislabeled examples.

Wir stellen einen schnellen und einfach zu implementierenden Algorithmus vor, der robust gegenüber Datenrauschen ist.

Die Arbeit zielt darauf ab, potenzielle Beispiele mit Labelrauschen zu entfernen, indem die Beispiele mit großen Verlusten im Trainingsverfahren verworfen werden.


Binarized Neural Networks (BNNs) have recently attracted significant interest due to their computational efficiency. Concurrently, it has been shown that neural networks may be overly sensitive to ``attacks" -- tiny adversarial changes in the input -- which may be detrimental to their use in safety-critical domains. Designing attack algorithms that effectively fool trained models is a key step towards learning robust neural networks.
 The discrete, non-differentiable nature of BNNs, which distinguishes them from their full-precision counterparts, poses a challenge to gradient-based attacks. In this work, we study the problem of attacking a BNN through the lens of combinatorial and integer optimization. We propose a Mixed Integer Linear Programming (MILP) formulation of the problem. While exact and flexible, the MILP quickly becomes intractable as the network and perturbation space grow. To address this issue, we propose IProp, a decomposition-based algorithm that solves a sequence of much smaller MILP problems. Experimentally, we evaluate both proposed methods against the standard gradient-based attack (PGD) on MNIST and Fashion-MNIST, and show that IProp performs favorably compared to PGD, while scaling beyond the limits of the MILP.

Gradientenbasierte Angriffe auf binarisierte neuronale Netze sind aufgrund der Nichtdifferenzierbarkeit solcher Netze nicht wirksam; unser IPROP-Algorithmus löst dieses Problem durch ganzzahlige Optimierung.

Schlägt einen neuen Algorithmus im Stil der Zielverbreitung vor, um starke adversarial Angriffe auf binarisierte neuronale Netze zu erzeugen.

In diesem Beitrag wird ein neuer Angriffsalgorithmus auf der Grundlage von MILP für binäre neuronale Netze vorgeschlagen.

In dieser Arbeit wird ein Algorithmus zur Suche nach adversarial Angriffen auf binäre neuronale Netze vorgestellt, der iterativ die gewünschten Repräsentationen Schicht für Schicht von der Spitze bis zum Eingang findet und effizienter ist als die vollständige Lösung der gemischt-ganzzahligen linearen Programmierung (MILP).


Highly regularized LSTMs achieve impressive results on several benchmark datasets in language modeling. We propose a new regularization method based on decoding the last token in the context using the predicted distribution of the next token. This biases the model towards retaining more contextual information, in turn improving its ability to predict the next token. With negligible overhead in the number of parameters and training time, our Past Decode Regularization (PDR) method achieves a word level perplexity of 55.6 on the Penn Treebank and 63.5 on the WikiText-2 datasets using a single softmax. We also show gains by using PDR in combination with a mixture-of-softmaxes, achieving a word level perplexity of 53.8 and 60.5 on these datasets. In addition, our method achieves 1.169 bits-per-character on the Penn Treebank Character dataset for character level language modeling. These results constitute a new state-of-the-art in their respective settings.

Die Dekodierung des letzten Tokens im Kontext unter Verwendung der vorhergesagten Verteilung der nächsten Token wirkt als Regularisierer und verbessert die Sprachmodellierung.

Die Autoren führen die Idee der Dekodierung in der Vergangenheit zum Zweck der Regularisierung zur Verbesserung der Komplexität in der Penn Treebank ein.

Vorschlagen eines zusätzlichen Verlustterms, der beim Training eines LSTM LM verwendet werden kann, und zeigt, dass durch Hinzufügen dieses Verlustterms eine SOTA-Perplexität bei einer Reihe von LM-Benchmarks erreicht werden kann.

Schlägt eine neue Regularisierungstechnik vor, die mit geringem Aufwand zu der in AWD-LSTM von Merity et al. (2017) verwendeten hinzugefügt werden kann.


The assumption that data samples are independently identically distributed is the backbone of many learning algorithms. Nevertheless, datasets often exhibit rich structures in practice, and we argue that there exist some unknown orders within the data instances. Aiming to find such orders, we introduce a novel Generative Markov Network (GMN) which we use to extract the order of data instances automatically. Specifically, we assume that the instances are sampled from a Markov chain. Our goal is to learn the transitional operator of the chain as well as the generation order by maximizing the generation probability under all possible data permutations. One of our key ideas is to use neural networks as a soft lookup table for approximating the possibly huge, but discrete transition matrix. This strategy allows us to amortize the space complexity with a single model and make the transitional operator generalizable to unseen instances. To ensure the learned Markov chain is ergodic, we propose a greedy batch-wise permutation scheme that allows fast training.   Empirically, we evaluate the learned Markov chain by showing that GMNs are able to discover orders among data instances and also perform comparably well to state-of-the-art methods on the one-shot recognition benchmark task.

Vorschlag zur Beobachtung impliziter Ordnungen in Datensätzen unter dem Gesichtspunkt eines generativen Modells.

Die Autoren befassen sich mit dem Problem der impliziten Ordnung in einem Datensatz und der Herausforderung, diese wiederherzustellen, und schlagen vor, ein abstandsmetrikfreies Modell zu erlernen, das eine Markov-Kette als generativen Mechanismus der Daten annimmt.

In dem Beitrag wird Generative Markov Networks vorgeschlagen - ein Deep Learning basierter Ansatz zur Modellierung von Sequenzen und zur Entdeckung von Ordnung in Datensätzen.

Schlägt vor, die Ordnung einer ungeordneten Datenstichprobe durch Lernen einer Markov-Kette zu erlernen.


We present a Neural Program Search, an algorithm to generate programs from natural language description and a small number of input / output examples. The algorithm combines methods from Deep Learning and Program Synthesis fields by designing rich domain-specific language (DSL) and defining efficient search algorithm guided by a Seq2Tree model on it. To evaluate the quality of the approach we also present a semi-synthetic dataset of descriptions with test examples and corresponding programs. We show that our algorithm significantly outperforms sequence-to-sequence model with attention baseline.

Programmsynthese aus natürlichsprachlicher Beschreibung und Eingabe-/Ausgabebeispielen mittels Tree-Beam Search über Seq2Tree-Modelle.

Es wird ein seq2Tree-Modell zur Übersetzung einer Problemstellung in natürlicher Sprache in das entsprechende funktionale Programm in DSL vorgestellt, das eine Verbesserung gegenüber dem seq2seq-Basisansatz darstellt.

Diese Arbeit befasst sich mit dem Problem der Programmsynthese, wenn eine Problembeschreibung und eine kleine Anzahl von Eingabe-Ausgabe Beispielen vorliegt.

In diesem Beitrag wird eine Technik zur Programmsynthese vorgestellt, die eine eingeschränkte Grammatik von Problemen beinhaltet, die mit Hilfe eines aufmerksamkeitsgesteuerten Encoder-Decoder Netzwerks durchsucht wird.


Generative adversarial training can be generally understood as minimizing certain moment matching loss defined by a set of discriminator functions, typically  neural networks. The discriminator set should be large enough to be able to uniquely identify the true distribution (discriminative), and also be small enough to go beyond memorizing samples (generalizable). In this paper, we show that a discriminator set is guaranteed to be discriminative whenever its linear span is dense in the set of bounded continuous functions. This is a very mild condition satisfied even by neural networks with a single neuron. Further, we develop generalization bounds between the learned distribution and true distribution under different evaluation metrics. When evaluated with neural distance, our bounds show that generalization is guaranteed as long as the discriminator set is small enough, regardless of the size of the generator or hypothesis set. When evaluated with KL divergence, our bound provides an explanation on the counter-intuitive behaviors of testing likelihood in GAN training. Our analysis sheds lights on understanding the practical performance of GANs.

In diesem Beitrag werden die Diskriminierungs- und Generalisierungseigenschaften von GANs untersucht, wenn die Diskriminatormenge eine eingeschränkte Funktionsklasse wie neuronale Netze ist.

Gleicht die Kapazitäten von Generator- und Diskriminatorklassen in GANs aus, indem es garantiert, dass induzierte IPMs Metriken und keine Pseudo-Metriken sind.

Diese Arbeit bietet eine mathematische Analyse der Rolle der Größe der Gegner-/Diskriminatormenge in GANs.


Normalization layers are a staple in state-of-the-art deep neural network architectures. They are widely believed to stabilize training, enable higher learning rate, accelerate convergence and improve generalization, though the reason for their effectiveness is still an active research topic. In this work, we challenge the commonly-held beliefs by showing that none of the perceived benefits is unique to normalization. Specifically, we propose fixed-update initialization (Fixup), an initialization motivated by solving the exploding and vanishing gradient problem at the beginning of training via properly rescaling a standard initialization. We find training residual networks with Fixup to be as stable as training with normalization -- even for networks with 10,000 layers. Furthermore, with proper regularization, Fixup enables residual networks without normalization to achieve state-of-the-art performance in image classification and machine translation.

Alles, was Sie zum Trainieren tiefer Residualnetze brauchen, ist eine gute Initialisierung; Normalisierungsschichten sind nicht erforderlich.

Es wird eine Methode zur Initialisierung und Normalisierung von tiefen Residual Netzwerken vorgestellt. Diese basiert auf Beobachtungen der Forward- und Backward Explosion in solchen Netzen. Die Leistung der Methode entspricht den besten Ergebnissen, die mit anderen Netzen mit expliziterer Normalisierung erzielt wurden.

Die Autoren schlagen eine neuartige Methode zur Initialisierung von Residual Networks vor, die durch die Notwendigkeit begründet ist, explodierende/verschwindende Gradienten zu vermeiden.

Schlägt eine neue Initialisierungsmethode vor, um sehr tiefe RedNets ohne Batch-Norm zu trainieren.


Designing a metric manually for unsupervised sequence generation tasks, such as text generation, is essentially difficult. In a such situation, learning a metric of a sequence from data is one possible solution. The previous study, SeqGAN, proposed the framework for unsupervised sequence generation, in which a metric is learned from data, and a generator is optimized with regard to the learned metric with policy gradient, inspired by generative adversarial nets (GANs) and reinforcement learning. In this paper, we make two proposals to learn better metric than SeqGAN's: partial reward function and expert-based reward function training. The partial reward function is a reward function for a partial sequence of a certain length. SeqGAN employs a reward function for completed sequence only. By combining long-scale and short-scale partial reward functions, we expect a learned metric to be able to evaluate a partial correctness as well as a coherence of a sequence, as a whole. In expert-based reward function training, a reward function is trained to discriminate between an expert (or true) sequence and a fake sequence that is produced by editing an expert sequence. Expert-based reward function training is not a kind of GAN frameworks. This makes the optimization of the generator easier. We examine the effect of the partial reward function and expert-based reward function training on synthetic data and real text data, and show improvements over SeqGAN and the model trained with MLE. Specifically, whereas SeqGAN gains 0.42 improvement of NLL over MLE on synthetic data, our best model gains 3.02 improvement, and whereas SeqGAN gains 0.029 improvement of BLEU over MLE, our best model gains 0.250 improvement.

Diese Arbeit zielt darauf ab, eine bessere Metrik für unüberwachtes Lernen, wie z.B. Textgenerierung, zu erlernen und zeigt eine deutliche Verbesserung gegenüber SeqGAN.

Beschreibt einen Ansatz zur Erzeugung von Zeitsequenzen durch Lernen von Zustands-Aktionswerten, wobei der Zustand die bisher erzeugte Sequenz und die Aktion die Wahl des nächsten Wertes ist.

Diese Arbeit befasst sich mit dem Problem der Verbesserung der Sequenzgenerierung durch das Erlernen besserer Metriken, insbesondere mit dem Problem des Expositionsbias.


One of the most successful techniques in generative models has been decomposing a complicated generation task into a series of simpler generation tasks.   For example, generating an image at a low resolution and then learning to refine that into a high resolution image often improves results substantially.   Here we explore a novel strategy for decomposing generation for complicated objects in which we first generate latent variables which describe a subset of the observed variables, and then map from these latent variables to the observed space.   We show that this allows us to achieve decoupled training of complicated generative models and present both theoretical and experimental results supporting the benefit of such an approach.

Zerlegen Sie die Aufgabe des Lernens eines generativen Modells in das Erlernen von unentwirrten latenten Faktoren für Teilmengen der Daten und das anschließende Erlernen der Verbindung über diese latenten Faktoren.

Lokal entwirrte Faktoren für ein hierarchisches generatives Modell für latente Variablen, das als hierarchische Variante der adversarial erlernten Inferenz betrachtet werden kann.

Der Beitrag untersucht das Potenzial hierarchischer latenter Variablenmodelle für die Generierung von Bildern und Bildsequenzen und schlägt vor, mehrere übereinander gestapelte ALI-Modelle zu trainieren, um eine hierarchische Darstellung der Daten zu erzeugen.

Die Arbeit zielt darauf ab, die Hierarchien für das Training von GAN in einem hierarchischen Optimierungsplan direkt zu lernen, anstatt von einem Menschen entworfen zu werden.


Visual grounding of language is an active research field aiming at enriching text-based representations with visual information. In this paper, we propose a new way to leverage visual knowledge for sentence representations. Our approach transfers the structure of a visual representation space to the textual space by using two complementary sources of information: (1) the cluster information: the implicit knowledge that two sentences associated with the same visual content describe the same underlying reality and (2) the perceptual information contained within the structure of the visual space. We use a joint approach to encourage beneficial interactions during training between textual, perceptual, and cluster information. We demonstrate the quality of the learned representations on semantic relatedness, classification, and cross-modal retrieval tasks.

Wir schlagen ein gemeinsames Modell vor, um visuelles Wissen in Satzrepräsentationen einzubeziehen.

Die Arbeit schlägt eine Methode vor, um Videos in Verbindung mit Untertiteln zu verwenden, um die Satzeinbettung zu verbessern.

In diesem Beitrag wird ein Modell für das Lernen von Satzrepräsentationen vorgeschlagen, die auf der Grundlage von Videodaten fundiert sind.

Vorschlagen einer Methode zur Verbesserung textbasierter Satzeinbettungen durch ein gemeinsames multimodales Framework.