Recently convolutional neural networks (CNNs) achieve great accuracy in visual recognition tasks. DenseNet becomes one of the most popular CNN models due to its effectiveness in feature-reuse. However, like other CNN models, DenseNets also face overfitting problem if not severer. Existing dropout method can be applied but not as effective due to the introduced nonlinear connections. In particular, the property of feature-reuse in DenseNet will be impeded, and the dropout effect will be weakened by the spatial correlation inside feature maps. To address these problems, we craft the design of a specialized dropout method from three aspects, dropout location, dropout granularity, and dropout probability. The insights attained here could potentially be applied as a general approach for boosting the accuracy of other CNN models with similar nonlinear connections. Experimental results show that DenseNets with our specialized dropout method yield better accuracy compared to vanilla DenseNet and state-of-the-art CNN models, and such accuracy boost increases with the model depth.

Da wir die Nachteile bei der Anwendung des ursprünglichen Dropout-Verfahrens auf DenseNet erkannt haben, haben wir die Dropout-Methode unter drei Aspekten entwickelt, die auch auf andere CNN-Modelle angewendet werden können.

Anwendung verschiedener binärer Dropout-Strukturen und Zeitpläne mit dem spezifischen Ziel, die DenseNet-Architektur zu regulieren.

Vorschlagen einer Pre-Dropout-Technik für densenet, die den Dropout vor der nichtlinearen Aktivierungsfunktion implementiert.


While extremely successful in several applications, especially with low-level representations; sparse, noisy samples and structured domains (with multiple objects and interactions) are some of the open challenges in most deep models. Column Networks, a deep architecture, can succinctly capture such domain structure and interactions, but may still be prone to sub-optimal learning from sparse and noisy samples. Inspired by the success of human-advice guided learning in AI, especially in data-scarce domains, we propose Knowledge-augmented Column Networks that leverage human advice/knowledge for better learning with noisy/sparse samples. Our experiments demonstrate how our approach leads to either superior overall performance or faster convergence.

Beziehungsbewusste tiefe Modelle zu besserem Lernen mit menschlichem Wissen anleiten.

In dieser Arbeit wird eine Variante des Säulennetzes vorgeschlagen, die auf der Injektion menschlicher Führung durch Änderung der Berechnungen im Netz beruht.

Eine Methode zur Einbeziehung menschlicher Ratschläge in das Deep Learning durch die Erweiterung von Column Network, einem graphischen neuronalen Netz für kollektive Klassifizierung.


Recent research has shown that one can train a neural network with binary weights and activations at train time by augmenting the weights with a high-precision continuous latent variable that accumulates small changes from stochastic gradient descent. However, there is a dearth of work to explain why one can effectively capture the features in data with binary weights and activations. Our main result is that the neural networks with binary weights and activations trained using the method of Courbariaux, Hubara et al. (2016) work because of the high-dimensional geometry of binary vectors. In particular, the ideal continuous vectors that extract out features in the intermediate representations of these BNNs are well-approximated by binary vectors in the sense that dot products are approximately preserved. Compared to previous research that demonstrated good classification performance with BNNs, our work explains why these BNNs work in terms of HD geometry.   Furthermore, the results and analysis used on BNNs are shown to generalize to neural networks with ternary weights and activations. Our theory serves as a foundation for understanding not only BNNs but a variety of methods that seek to compress traditional neural networks. Furthermore, a better understanding of multilayer binary neural networks serves as a starting point for generalizing BNNs to other neural network architectures such as recurrent neural networks.

Die jüngsten Erfolge binärer neuronaler Netze lassen sich auf der Grundlage der Geometrie hochdimensionaler binärer Vektoren verstehen.

Untersucht numerisch und theoretisch die Gründe für den empirischen Erfolg von binarisierten neuronalen Netzen.

In diesem Beitrag wird die Wirksamkeit binärer neuronaler Netze analysiert und erläutert, warum die Binarisierung die Leistung des Modells erhalten kann.


In recent years Convolutional Neural Networks (CNN) have been used extensively for Superresolution (SR). In this paper, we use inverse problem and sparse representation solutions to form a mathematical basis for CNN operations. We show how a single neuron is able to provide the optimum solution for inverse problem, given a low resolution image dictionary as an operator. Introducing a new concept called Representation Dictionary Duality, we show that CNN elements (filters) are trained to be representation vectors and then, during reconstruction, used as dictionaries. In the light of theoretical work, we propose a new algorithm which uses two networks with different structures that are separately trained with low and high coherency image patches and show that it performs faster compared to the state-of-the-art algorithms while not sacrificing from performance.

Nachdem wir bewiesen haben, dass ein Neuron als inverser Problemlöser für die Superauflösung fungiert und ein Netzwerk von Neuronen garantiert eine Lösung liefert, haben wir eine doppelte Netzwerkarchitektur vorgeschlagen, die schneller als der Stand der Technik ist.

Erörtert die Verwendung neuronaler Netze für die Superauflösung.

Eine neue Architektur zur Lösung von Bild-Superauflösungsaufgaben und eine Analyse, die darauf abzielt, eine Verbindung zwischen CNNs zur Lösung von Superauflösung und zur Lösung von spärlichen regularisierten inversen Problemen herzustellen.


We consider the learning of algorithmic tasks by mere observation of input-output
 pairs. Rather than studying this as a black-box discrete regression problem with
 no assumption whatsoever on the input-output mapping, we concentrate on tasks
 that are amenable to the principle of divide and conquer, and study what are its
 implications in terms of learning.
 This principle creates a powerful inductive bias that we leverage with neural
 architectures that are defined recursively and dynamically, by learning two scale-
 invariant atomic operations: how to split a given input into smaller sets, and how
 to merge two partially solved tasks into a larger partial solution. Our model can be
 trained in weakly supervised environments, namely by just observing input-output
 pairs, and in even weaker environments, using a non-differentiable reward signal.
 Moreover, thanks to the dynamic aspect of our architecture, we can incorporate
 the computational complexity as a regularization term that can be optimized by
 backpropagation. We demonstrate the flexibility and efficiency of the Divide-
 and-Conquer Network on several combinatorial and geometric tasks: convex hull,
 clustering, knapsack and euclidean TSP. Thanks to the dynamic programming
 nature of our model, we show significant improvements in terms of generalization
 error and computational complexity.

Dynamisches Modell, das durch schwache Überwachung Teilungs- und Eroberungsstrategien erlernt.

Schlägt vor, der Architektur eines neuronalen Netzes eine neue induktive Verzerrung hinzuzufügen, indem eine Strategie des Teilens und Eroberns angewendet wird.

Diese Arbeit untersucht Probleme, die mit einem dynamischen Programmieransatz gelöst werden können, und schlägt eine neuronale Netzwerkarchitektur zur Lösung solcher Probleme vor, die Sequenz-zu-Sequenz Baselines übertrifft.

Die Arbeit schlägt eine einzigartige Netzwerkarchitektur vor, die Divide-and-Conquer Strategien zur Lösung algorithmischer Aufgaben erlernen kann.


Within many machine learning algorithms, a fundamental problem concerns efficient calculation of an unbiased gradient wrt parameters $\boldsymbol{\gamma}$ for expectation-based objectives $\mathbb{E}_{q_{\boldsymbol{\gamma}} (\boldsymbol{y})} [f (\boldsymbol{y}) ]$. Most existing methods either ($i$) suffer from high variance, seeking help from (often) complicated variance-reduction techniques; or ($ii$) they only apply to reparameterizable continuous random variables and employ a reparameterization trick. To address these limitations, we propose a General and One-sample (GO) gradient that ($i$) applies to many distributions associated with non-reparameterizable continuous {\em or} discrete random variables, and ($ii$) has the same low-variance as the reparameterization trick. We find that the GO gradient often works well in practice based on only one Monte Carlo sample (although one can of course use more samples if desired). Alongside the GO gradient, we develop a means of propagating the chain rule through distributions, yielding statistical back-propagation, coupling neural networks to common random variables.

Ein Rep-ähnlicher Gradient für nicht reparametrisierbare kontinuierliche/diskrete Verteilungen; weiter verallgemeinert auf tiefe probabilistische Modelle, was zu statistischer Backpropagation führt.

Stellt einen Gradientenschätzer für erwartungsbasierte Ziele vor, der unvoreingenommen ist, eine geringe Varianz aufweist und sowohl für kontinuierliche als auch für diskrete Zufallsvariablen gilt.

Eine verbesserte Methode zur Berechnung von Ableitungen des Erwartungswerts und ein neuer Gradientenschätzer mit geringer Varianz, der das Training von generativen Modellen ermöglicht, bei denen Beobachtungen oder latente Variablen diskret sind.

Entwirft einen Gradienten mit geringer Varianz für Verteilungen im Zusammenhang mit kontinuierlichen oder diskreten Zufallsvariablen.


Quantum computers promise significant advantages over classical computers for a number of different applications. We show that the complete loss function landscape of a neural network can be represented as the quantum state output by a quantum computer. We demonstrate this explicitly for a binary neural network and, further, show how a quantum computer can train the network by manipulating this state using a well-known algorithm known as quantum amplitude amplification. We further show that with minor adaptation, this method can also represent the meta-loss landscape of a number of neural network architectures simultaneously. We search this meta-loss landscape with the same method to simultaneously train and design a binary neural network.

Wir zeigen, dass NN-Parameter- und Hyperparameter-Kostenlandschaften als Quantenzustände mit einem einzigen Quantenschaltkreis erzeugt werden können und dass diese für Training und Meta-Training verwendet werden können.

Beschreibt eine Methode, bei der ein Rahmen für tiefes Lernen quantisiert werden kann, indem die Zweizustandsform einer Bloch-Kugel/eines Qubits berücksichtigt und ein binäres neuronales Quantennetzwerk erstellt wird.

In diesem Beitrag wird die Quantenamplitudenverstärkung vorgeschlagen, ein neuer Algorithmus für das Training und die Modellauswahl in binären neuronalen Netzen.

Schlägt eine neuartige Idee zur Ausgabe eines Quantenzustands vor, der eine vollständige Kostenlandschaft aller Parameter für ein gegebenes binäres neuronales Netz darstellt, indem ein binäres neuronales Quantennetz (QBNN) konstruiert wird.


Several recent works have developed methods for training classifiers that are certifiably robust against norm-bounded adversarial perturbations. These methods assume that all the adversarial transformations are equally important, which is seldom the case in real-world applications. We advocate for cost-sensitive robustness as the criteria for measuring the classifier's performance for tasks where some adversarial transformation are more important than others. We encode the potential harm of each adversarial transformation in a cost matrix, and propose a general objective function to adapt the robust training method of Wong & Kolter (2018) to optimize for cost-sensitive robustness. Our experiments on simple MNIST and CIFAR10 models with a variety of cost matrices show that the proposed approach can produce models with substantially reduced cost-sensitive robust error, while maintaining classification accuracy.

Ein allgemeines Verfahren zur Ausbildung eines zertifizierten, kostensensitiven und robusten Klassifizierers gegen negative Einflüsse.

Berechnet und fügt die Kosten eines adversarial Angriffs in das Optimierungsziel ein, um ein Modell zu erhalten, das kostensensitiv gegen feindliche Angriffe robust ist.

Baut auf der semnialen Arbeit von Dalvi et al. auf und erweitert den Ansatz zur zertifizierbaren Robustheit um eine Kostenmatrix, die für jedes Paar von Quelle-Ziel-Klassen angibt, ob das Modell gegenüber gegnerischen Beispielen robust sein sollte.


Retinal prostheses for treating incurable blindness are designed to electrically stimulate surviving retinal neurons,  causing them to send artificial visual signals to the brain. However, electrical stimulation generally cannot precisely reproduce  normal patterns of neural activity in the retina. Therefore, an electrical stimulus must be selected that produces a neural response as close as possible to the desired response. This requires a technique for computing a distance between the desired response and the achievable response that is meaningful in terms of the visual signal being conveyed. Here we propose a method to learn such a metric on neural responses, directly from recorded light responses of a population of retinal ganglion cells (RGCs) in the primate retina. The learned metric produces a measure of similarity of RGC population responses that accurately reflects the similarity of the visual input. Using data from electrical stimulation experiments, we demonstrate that this metric may improve the performance of a prosthesis.

Verwendung von Triplets zum Erlernen einer Metrik für den Vergleich neuronaler Reaktionen und zur Verbesserung der Leistung einer Prothese.

Die Autoren entwickeln neue Spike-Train-Abstandsmetriken, einschließlich neuronaler Netze und quadratischer Metriken. Diese Metriken übertreffen nachweislich die naive Hamming-Distanz-Metrik und erfassen implizit einige Strukturen im neuronalen Code.

Mit der Anwendung der Verbesserung der neuronalen Prothese im Auge, die Autoren vorschlagen, eine Metrik zwischen neuronalen Antworten entweder durch die Optimierung einer quadratischen Form oder ein tiefes neuronales Netz zu lernen.


We introduce a novel workflow, QCue, for providing textual stimulation during mind-mapping. Mind-mapping is a powerful tool whose intent is to allow one to externalize ideas and their relationships surrounding a central problem. The key challenge in mind-mapping is the difficulty in balancing the exploration of different aspects of the problem (breadth) with a detailed exploration of each of those aspects (depth). Our idea behind QCue is based on two mechanisms: (1) computer-generated automatic cues to stimulate the user to explore the breadth of topics based on the temporal and topological evolution of a mind-map and (2) user-elicited queries for helping the user explore the depth for a given topic. We present a two-phase study wherein the first phase provided insights that led to the development of our work-flow for stimulating the user through cues and queries. In the second phase, we present a between-subjects evaluation comparing QCue with a digital mind-mapping work-flow without computer intervention. Finally, we present an expert rater evaluation of the mind-maps created by users in conjunction with user feedback.

In diesem Beitrag wird eine Methode vorgestellt, mit der Fragen (Hinweise) und Abfragen (Vorschläge) generiert werden können, um den Benutzer beim Mind-Mapping zu unterstützen.

Stellt ein Werkzeug vor, das das Mind-Mapping durch vorgeschlagenen Kontext in Bezug auf bestehende Knotenpunkte und durch Fragen, die weniger entwickelte Zweige erweitern, unterstützt.

In diesem Beitrag wird ein Ansatz zur Unterstützung von Menschen bei Mindmapping-Aufgaben vorgestellt, eine Schnittstelle und algorithmische Funktionen zur Unterstützung von Mindmapping entwickelt und eine Evaluierungsstudie durchgeführt.


The ability to detect when an input sample was not drawn from the training distribution is an important  desirable property of deep neural networks. In this paper, we show that a simple ensembling of first and second order deep feature statistics can be exploited to effectively differentiate in-distribution and out-of-distribution samples. Specifically, we observe that  the mean and standard deviation within feature maps  differs greatly between in-distribution and out-of-distribution samples. Based on this observation, we propose a simple and  efficient plug-and-play detection procedure that does not require re-training, pre-processing or changes to the model.   The proposed method outperforms the state-of-the-art by a large margin in all standard benchmarking tasks, while being much simpler to implement and execute. Notably, our method improves the true negative rate from 39.6% to 95.3% when 95% of in-distribution (CIFAR-100) are correctly detected using a DenseNet and the out-of-distribution dataset is TinyImageNet resize. The source code of our method will be made publicly available.

Erkennung von Beispielen außerhalb der Verteilung durch Verwendung von Merkmalsstatistiken niedriger Ordnung, ohne dass eine Änderung des zugrunde liegenden DNN erforderlich ist.

Es wird ein Algorithmus zur Erkennung von Beispielen außerhalb der Verteilung vorgestellt, der die laufende Schätzung von Mittelwert und Varianz innerhalb von BatchNorm-Schichten verwendet, um Merkmalsdarstellungen zu konstruieren, die später in einen linearen Klassifikator eingegeben werden.

Ein Ansatz zur Erkennung von Beispielen außerhalb der Verteilung, bei dem die Autoren vorschlagen, eine logistische Regression über einfache Statistiken jeder Batch-Normalisierungsschicht von CNN zu verwenden.

In dem Beitrag wird vorgeschlagen, Z-Scores für den Vergleich von ID- und OOD-Stichproben zu verwenden, um zu bewerten, was Deep Nets zu tun versuchen.


Due to the sharp increase in the severity of the threat imposed by software vulnerabilities, the detection of vulnerabilities in binary code has become an important concern in the software industry, such as the embedded systems industry, and in the field of computer security. However, most of the work in binary code vulnerability detection has relied on handcrafted features which are manually chosen by a select few, knowledgeable domain experts. In this paper, we attempt to alleviate this severe binary vulnerability detection bottleneck by leveraging recent advances in deep learning representations and propose the Maximal Divergence Sequential Auto-Encoder. In particular, latent codes representing vulnerable and non-vulnerable binaries are encouraged to be maximally divergent, while still being able to maintain crucial information from the original binaries. We conducted extensive experiments to compare and contrast our proposed methods with the baselines, and the results show that our proposed methods outperform the baselines in all performance measures of interest.

Wir schlagen eine neue Methode namens Maximal Divergence Sequential AutoEncoder vor, die die variationale AutoEncoder-Darstellung für die Erkennung von Schwachstellen im Binärcode nutzt.

In diesem Beitrag wird eine auf einem variationalen Autoencoder basierende Architektur für Code-Einbettungen zur Erkennung von Schwachstellen in binärer Software vorgeschlagen, wobei gelernte Einbettungen effektiver zwischen anfälligem und nicht anfälligem Binärcode unterscheiden können als Basisprogramme.

In diesem Beitrag wird ein Modell zur automatischen Extraktion von Merkmalen für die Erkennung von Schwachstellen mithilfe von Deep Learning Techniken vorgeschlagen.


Modern neural architectures critically rely on attention for mapping structured inputs to sequences. In this paper we show that prevalent attention architectures do not adequately model the dependence among the attention and output tokens across a predicted sequence.
 We present an alternative architecture called  Posterior Attention Models that after a principled factorization of the full joint distribution of the attention and output variables, proposes two major changes.   First, the position where attention is marginalized is changed from the input to the output. Second, the attention propagated to the next decoding stage is a posterior attention distribution conditioned on the output. Empirically on five translation and two morphological inflection tasks the proposed posterior attention models yield better BLEU score and alignment accuracy than existing attention models.

Die Berechnung der Aufmerksamkeit auf der Grundlage der posterioren Verteilung führt zu sinnvollerer Aufmerksamkeit und besserer Leistung.

Diese Arbeit schlägt ein Sequenz-zu-Sequenz Modell vor, bei dem die Aufmerksamkeit als latente Variable behandelt wird, und leitet neuartige Inferenzverfahren für dieses Modell ab, mit denen Verbesserungen in der maschinellen Übersetzung und bei der Generierung morphologischer Flexionen erzielt werden.

Diese Arbeit stellt ein neuartiges posteriores Aufmerksamkeitsmodell für seq2seq-Probleme vor.


The growing interest to implement Deep Neural Networks (DNNs) on resource-bound hardware has motivated innovation of compression algorithms. Using these algorithms, DNN model sizes can be substantially reduced, with little to no accuracy degradation. This is achieved by either eliminating components from the model, or penalizing complexity during training. While both approaches demonstrate considerable compressions, the former often ignores the loss function during compression while the later produces unpredictable compressions. In this paper, we propose a technique that directly minimizes both the model complexity and the changes in the loss function. In this technique, we formulate compression as a constrained optimization problem, and then present a solution for it. We will show that using this technique, we can achieve competitive results.

Komprimierung trainierter DNN-Modelle durch Minimierung ihrer Komplexität bei gleichzeitiger Begrenzung ihres Verlustes.

In dieser Arbeit wird eine Methode zur Komprimierung von tiefen neuronalen Netzen mit Genauigkeitseinschränkungen vorgeschlagen.

In diesem Beitrag wird eine verlustwertbeschränkte k-means Kodierungsmethode für die Netzwerkkompression vorgestellt und ein iterativer Algorithmus zur Modelloptimierung entwickelt.


Deep neural networks are able to solve tasks across a variety of domains and modalities of data. Despite many empirical successes, we lack the ability to clearly understand and interpret the learned mechanisms that contribute to such effective behaviors and more critically, failure modes. In this work, we present a general method for visualizing an arbitrary neural network's inner mechanisms and their power and limitations. Our dataset-centric method produces visualizations of how a trained network attends to components of its inputs. The computed "attention masks" support improved interpretability by highlighting which input attributes are critical in determining output. We demonstrate the effectiveness of our framework on a variety of deep neural network architectures in domains from computer vision and natural language processing. The primary contribution of our approach is an interpretable visualization of attention that provides unique insights into the network's underlying decision-making process irrespective of the data modality.

Wir entwickeln eine Technik zur Visualisierung von Aufmerksamkeitsmechanismen in beliebigen neuronalen Netzen.

Schlägt vor, ein latentes Aufmerksamkeitsnetz zu erlernen, das helfen kann, die innere Struktur eines tiefen neuronalen Netzes zu visualisieren.

Die Autoren dieser Arbeit schlagen ein datengesteuertes Black-Box Visualisierungsschema vor.


The design of small molecules with bespoke properties is of central importance to drug discovery.   However significant challenges yet remain for computational methods, despite recent advances such as deep recurrent networks and reinforcement learning strategies for sequence generation, and it can be difficult to compare results across different works.   This work proposes 19 benchmarks selected by subject experts, expands smaller datasets previously used to approximately 1.1 million training molecules, and explores how to apply new reinforcement learning techniques effectively for molecular design.   The benchmarks here, built as OpenAI Gym environments, will be open-sourced to encourage innovation in molecular design algorithms and to enable usage by those without a background in chemistry.   Finally, this work explores recent development in reinforcement-learning methods with excellent sample complexity (the A2C and PPO algorithms) and investigates their behavior in molecular generation, demonstrating significant performance gains compared to standard reinforcement learning techniques.

Wir untersuchen eine Vielzahl von RL-Algorithmen für die Molekülgenerierung und definieren neue Benchmarks (die als OpenAI Gym veröffentlicht werden), wobei wir feststellen, dass PPO und ein Hill-Climbing MLE-Algorithmus am besten funktionieren.

Betrachtet die Modellevaluation für die Molekülgenerierung, indem 19 Benchmarks vorgeschlagen werden, kleine Datensätze zu einem großen, standardisierten Datensatz erweitert werden und untersucht wird, wie RL-Techniken für das Moleküldesign angewendet werden können.

Dieser Beitrag zeigt, dass die anspruchsvollsten RL-Methoden bei der Modellierung und Synthese von Molekülen weniger effektiv sind als die einfache Hill-Climbing-Technik, mit PPO als Ausnahme.


Analogical reasoning has been a principal focus of various waves of AI research. Analogy is particularly challenging for machines because it requires relational structures to be represented such that they can be flexibly applied across diverse domains of experience. Here, we study how analogical reasoning can be induced in neural networks that learn to perceive and reason about raw visual data. We find that the critical factor for inducing such a capacity is not an elaborate architecture, but rather, careful attention to the choice of data and the manner in which it is presented to the model. The most robust capacity for analogical reasoning is induced when networks learn analogies by contrasting abstract relational structures in their input domains, a training method that uses only the input data to force models to learn about important abstract features. Using this technique we demonstrate capacities for complex, visual and symbolic analogy making and generalisation in even the simplest neural network architectures.

Die robusteste Fähigkeit zu analogem Denken entsteht, wenn Netze Analogien lernen, indem sie abstrakte relationale Strukturen in ihren Eingabedomänen gegenüberstellen.

Die Arbeit untersucht die Fähigkeit eines neuronalen Netzes, Analogien zu lernen, und zeigt, dass ein einfaches neuronales Netz in der Lage ist, bestimmte Analogieprobleme zu lösen.

In diesem Beitrag wird ein Ansatz zum Training neuronaler Netze für analoge Schlussfolgerungen beschrieben, der insbesondere visuelle Analogien und symbolische Analogien berücksichtigt.


Building chatbots that can accomplish goals such as booking a flight ticket is an unsolved problem in natural language understanding. Much progress has been made to build conversation models using techniques such as sequence2sequence modeling. One challenge in applying such techniques to building goal-oriented conversation models is that maximum likelihood-based models are not optimized toward accomplishing goals. Recently, many methods have been proposed to address this issue by optimizing a reward that contains task status or outcome. However, adding the reward optimization on the fly usually provides little guidance for language construction and the conversation model soon becomes decoupled from the language model. In this paper, we propose a new setting in goal-oriented dialogue system to tighten the gap between these two aspects by enforcing model level information isolation on individual models between two agents. Language construction now becomes an important part in reward optimization since it is the only way information can be exchanged. We experimented our models using self-play and results showed that our method not only beat the baseline sequence2sequence model in rewards but can also generate human-readable meaningful conversations of comparable quality.

Ein zielorientiertes neuronales Konversationsmodell durch Selbstspiel.

Ein Selbstspielmodell zur zielorientierten Dialoggenerierung, das eine stärkere Kopplung zwischen der Aufgabenbelohnung und dem Sprachmodell erzwingen soll.

Dieser Beitrag beschreibt eine Methode zur Verbesserung eines zielorientierten Dialogsystems durch Selbstspiel.


Search engine users nowadays heavily depend on query completion and correction to shape their queries.  Typically, the completion is done by database lookup which does not understand the context and cannot generalize to prefixes not in the database . In the paper, we propose to use unsupervised deep language models to complete and correct the queries given an arbitrary prefix .  We show how to address two main challenges that renders this method practical for large-scale deployment : 1) we propose a method for integrating error correction into the language model completion via a edit-distance potential and a variant of beam search that can exploit these potential functions; and 2) we show how to efficiently perform CPU-based computation to complete the queries, with error correction, in real time (generating top 10 completions within 16 ms). Experiments show that the method substantially increases hit rate over standard approaches, and is capable of handling tail queries.

Vervollständigung von Suchanfragen in Echtzeit mit LSTM-Sprachmodellen auf Zeichenebene.

In diesem Papier werden Methoden zur Abfragevervollständigung vorgestellt, die eine Präfixkorrektur und einige technische Details zur Erfüllung bestimmter Latenzanforderungen auf einer CPU umfassen.

Die Autoren schlagen einen Algorithmus zur Lösung des Problems der Abfragevervollständigung mit Fehlerkorrektur vor und übernehmen die RNN-basierte Modellierung auf Zeichenebene und optimieren den Inferenzteil, um Ziele in Echtzeit zu erreichen.


RMSProp and ADAM continue to be extremely popular algorithms for training neural nets but their theoretical convergence properties have remained unclear. Further, recent work has seemed to suggest that these algorithms have worse generalization properties when compared to carefully tuned stochastic gradient descent or its momentum variants. In this work, we make progress towards a deeper understanding of ADAM and RMSProp in two ways. First, we provide proofs that these adaptive gradient algorithms are guaranteed to reach criticality for smooth non-convex objectives, and we give bounds on the running time.

 Next we design experiments to empirically study the convergence and generalization properties of RMSProp and ADAM against Nesterov's Accelerated Gradient method on a variety of common autoencoder setups and on VGG-9 with CIFAR-10. Through these experiments we demonstrate the interesting sensitivity that ADAM has to its momentum parameter \beta_1. We show that at very high values of the momentum parameter (\beta_1 = 0.99) ADAM outperforms a carefully tuned NAG on most of our experiments, in terms of getting lower training and test losses. On the other hand, NAG can sometimes do better when ADAM's \beta_1 is set to the most commonly used value: \beta_1 = 0.9, indicating the importance of tuning the hyperparameters of ADAM to get better generalization performance.

 We also report experiments on different autoencoders to demonstrate that NAG has better abilities in terms of reducing the gradient norms, and it also produces iterates which exhibit an increasing trend for the minimum eigenvalue of the Hessian of the loss function at the iterates.

In dieser Arbeit beweisen wir die Konvergenz zur Kritikalität von (stochastischem und deterministischem) RMSProp und deterministischem ADAM für glatte, nicht-konvexe Ziele und wir demonstrieren eine interessante beta_1-Sensitivität für ADAM auf Autoencodern.

In diesem Beitrag wird eine Konvergenzanalyse von RMSProp und ADAM für glatte, nicht-konvexe Funktionen vorgestellt.


Recent advances in adversarial Deep Learning (DL) have opened up a new and largely unexplored surface for malicious attacks jeopardizing the integrity of autonomous DL systems. We introduce a novel automated countermeasure called Parallel Checkpointing Learners (PCL) to thwart the potential adversarial attacks and significantly improve the reliability (safety) of a victim DL model. The proposed PCL methodology is unsupervised, meaning that no adversarial sample is leveraged to build/train parallel checkpointing learners. We formalize the goal of preventing adversarial attacks as an optimization problem to minimize the rarely observed regions in the latent feature space spanned by a DL network. To solve the aforementioned minimization problem, a set of complementary but disjoint checkpointing modules are trained and leveraged to validate the victim model execution in parallel. Each checkpointing learner explicitly characterizes the geometry of the input data and the corresponding high-level data abstractions within a particular DL layer. As such, the adversary is required to simultaneously deceive all the defender modules in order to succeed. We extensively evaluate the performance of the PCL methodology against the state-of-the-art attack scenarios, including Fast-Gradient-Sign (FGS), Jacobian Saliency Map Attack (JSMA), Deepfool, and Carlini&WagnerL2 algorithm. Extensive proof-of-concept evaluations for analyzing various data collections including MNIST, CIFAR10, and ImageNet corroborate the effectiveness of our proposed defense mechanism against adversarial samples.

Die Entwicklung unüberwachter Verteidigungsmechanismen gegen gegnerische Angriffe ist entscheidend, um die Verallgemeinerbarkeit der Verteidigung zu gewährleisten.

In dieser Arbeit wird eine Methode zur Erkennung von adversarial Beispielen in einer Deep Learning Klassifizierungsumgebung vorgestellt.

In diesem Beitrag wird eine unbeaufsichtigte Methode zur Erkennung von adversarial Beispielen in neuronalen Netzen vorgestellt.


Neural architecture search (NAS) has a great impact by automatically designing effective neural network architectures. However, the prohibitive computational demand of conventional NAS algorithms (e.g. 10 4 GPU hours) makes it difficult to directly search the architectures on large-scale tasks (e.g. ImageNet). Differentiable NAS can reduce the cost of GPU hours via a continuous representation of network architecture but suffers from the high GPU memory consumption issue (grow linearly w.r.t. candidate set size). As a result, they need to utilize proxy tasks, such as training on a smaller dataset, or learning with only a few blocks, or training just for a few epochs. These architectures optimized on proxy tasks are not guaranteed to be optimal on the target task. In this paper, we present ProxylessNAS that can directly learn the architectures for large-scale target tasks and target hardware platforms. We address the high memory consumption issue of differentiable NAS and reduce the computational cost (GPU hours and GPU memory) to the same level of regular training while still allowing a large candidate set. Experiments on CIFAR-10 and ImageNet demonstrate the effectiveness of directness and specialization. On CIFAR-10, our model achieves 2.08% test error with only 5.7M parameters, better than the previous state-of-the-art architecture AmoebaNet-B, while using 6× fewer parameters. On ImageNet, our model achieves 3.1% better top-1 accuracy than MobileNetV2, while being 1.2× faster with measured GPU latency. We also apply ProxylessNAS to specialize neural architectures for hardware with direct hardware metrics (e.g. latency) and provide insights for efficient CNN architecture design.

Proxy-less neuronale Architektur Suche nach direkt lernenden Architekturen auf großen Zielaufgaben (ImageNet) bei gleichzeitiger Reduzierung der Kosten auf das gleiche Niveau des normalen Trainings.

Diese Arbeit befasst sich mit dem Problem der Architektursuche und versucht insbesondere, dies zu tun, ohne auf "Proxy"-Aufgaben trainieren zu müssen, bei denen das Problem durch eine geringere Optimierung, architektonische Komplexität oder Datenmenge vereinfacht ist.


With the recently rapid development in deep learning, deep neural networks have been widely adopted in many real-life applications. However, deep neural networks are also known to have very little control over its uncertainty for test examples, which potentially causes very harmful and annoying consequences in practical scenarios. In this paper, we are particularly interested in designing a higher-order uncertainty metric for deep neural networks and investigate its performance on the out-of-distribution detection task proposed by~\cite{hendrycks2016baseline}. Our method first assumes there exists a underlying higher-order distribution $\mathcal{P}(z)$ , which generated label-wise distribution $\mathcal{P}(y)$ over classes on the K-dimension simplex, and then approximate such higher-order distribution via parameterized posterior function $p_{\theta}(z|x)$ under variational inference framework, finally we use the entropy of learned posterior distribution $p_{\theta}(z|x)$ as uncertainty measure to detect out-of-distribution examples. However , we identify the overwhelming over-concentration issue in such a framework, which greatly hinders the detection performance. Therefore , we further design a log-smoothing function to alleviate such issue to greatly increase the robustness of the proposed entropy-based uncertainty measure. Through comprehensive experiments on various datasets and architectures, our proposed variational Dirichlet framework with entropy-based uncertainty measure is consistently observed to yield significant improvements over many baseline systems.

Ein neuer Rahmen auf der Grundlage der Variationsinferenz für die Erkennung von Verteilungsabweichungen.

Beschreibt einen probabilistischen Ansatz zur Quantifizierung der Unsicherheit bei DNN-Klassifizierungsaufgaben, der andere SOTA-Methoden bei der Erkennung von Abweichungen von der Verteilung übertrifft.

Ein neues Framework für die Erkennung von Out-of-Distribution, basierend auf variabler Inferenz und einer priorisierten Dirichlet-Verteilung, der den aktuellen Stand der Technik anhand verschiedener Datensätze darstellt.

Out-of-Distribution Erkennung durch eine neue Methode zur Annäherung an die Konfidenzverteilung der Klassifizierungswahrscheinlichkeit unter Verwendung der Variationsinferenz der Dirichlet-Verteilung.


Intelligent agents can learn to represent the action spaces of other agents simply by observing them act. Such representations help agents quickly learn to predict the effects of their own actions on the environment and to plan complex action sequences. In this work, we address the problem of learning an agent’s action space purely from visual observation. We use stochastic video prediction to learn a latent variable that captures the scene's dynamics while being minimally sensitive to the scene's static content. We introduce a loss term that encourages the network to capture the composability of visual sequences and show that it leads to representations that disentangle the structure of actions. We call the full model with composable action representations Composable Learned Action Space Predictor (CLASP). We show the applicability of our method to synthetic settings and its potential to capture action spaces in complex, realistic visual settings. When used in a semi-supervised setting, our learned representations perform comparably to existing fully supervised methods on tasks such as action-conditioned video prediction and planning in the learned action space, while requiring orders of magnitude fewer action labels. Project website: https://daniilidis-group.github.io/learned_action_spaces

Wir lernen eine Repräsentation des Handlungsraums eines Agenten aus rein visuellen Beobachtungen. Wir verwenden einen rekurrenten latenten Variablenansatz mit einem neuartigen Kompositionsverlust.

Schlägt ein kompositionelles latentes Variablenmodell vor, um Modelle zu erlernen, die vorhersagen, was als Nächstes in Szenarien geschieht, in denen Handlungskennzeichen nicht in großer Zahl verfügbar sind.

Ein auf variationalem IB basierender Ansatz zum Erlernen von Handlungsrepräsentationen direkt aus Videos von ausgeführten Handlungen, der eine bessere Effizienz nachfolgender Lernmethoden erzielt und gleichzeitig eine geringere Menge an Videos mit Handlungskennzeichnungen erfordert.

In diesem Beitrag wird ein Ansatz zur Videovorhersage vorgeschlagen, der autonom einen Aktionsraum findet, der Unterschiede zwischen aufeinanderfolgenden Bildern kodiert.


When autonomous agents interact in the same environment, they must often cooperate to achieve their goals. One way for agents to cooperate effectively is to form a team, make a binding agreement on a joint plan, and execute it. However, when agents are self-interested, the gains from team formation must be allocated appropriately to incentivize agreement. Various approaches for multi-agent negotiation have been proposed, but typically only work for particular negotiation protocols. More general methods usually require human input or domain-specific data, and so do not scale. To address this, we propose a framework for training agents to negotiate and form teams using deep reinforcement learning. Importantly, our method makes no assumptions about the specific negotiation protocol, and is instead completely experience driven. We evaluate our approach on both non-spatial and spatially extended team-formation negotiation environments, demonstrating that our agents beat hand-crafted bots and reach negotiation outcomes consistent with fair solutions predicted by cooperative game theory. Additionally, we investigate how the physical location of agents influences negotiation outcomes.

Reinforcement Learning kann verwendet werden, um Agenten zu trainieren, die Teambildung über viele Verhandlungsprotokolle hinweg zu verhandeln.

Diese Arbeit untersucht tiefes Multi-Agenten-RL in Umgebungen, in denen alle Agenten kooperieren müssen, um eine Aufgabe zu erfüllen (z.B. Suche und Rettung, Multiplayer-Videospiele), und verwendet einfache kooperative gewichtete Abstimmungsspiele, um die Wirksamkeit von tiefem RL zu untersuchen und um Lösungen, die durch tiefes RL gefunden wurden, mit einer fairen Lösung zu vergleichen.

Ein Ansatz des Reinforcement Learnings für die Aushandlung von Koalitionen in kooperativen spieltheoretischen Kontexten, der in Fällen verwendet werden kann, in denen unbegrenzte Trainingssimulationen verfügbar sind.


Neural machine translation (NMT) models learn representations containing substantial linguistic information. However, it is not clear if such information is fully distributed or if some of it can be attributed to individual neurons. We develop unsupervised methods for discovering important neurons in NMT models. Our methods rely on the intuition that different models learn similar properties, and do not require any costly external supervision. We show experimentally that translation quality depends on the discovered neurons, and find that many of them capture common linguistic phenomena. Finally, we show how to control NMT translations in predictable ways, by modifying activations of individual neurons.

Unüberwachte Methoden zum Auffinden, Analysieren und Kontrollieren wichtiger Neuronen in der NMT.

In diesem Beitrag werden unbeaufsichtigte Ansätze zur Entdeckung wichtiger Neuronen in neuronalen maschinellen Übersetzungssystemen vorgestellt und die von diesen Neuronen kontrollierten linguistischen Eigenschaften analysiert.

Unüberwachte Methoden zur Einstufung von Neuronen in der maschinellen Übersetzung, bei denen wichtige Neuronen identifiziert und zur Steuerung der MÜ-Ausgabe verwendet werden.


Recent state-of-the-art reinforcement learning algorithms are trained under the goal of excelling in one specific task. Hence, both environment and task specific knowledge are entangled into one framework. However, there are often scenarios where the environment (e.g. the physical world) is fixed while only the target task changes. Hence, borrowing the idea from hierarchical reinforcement learning, we propose a framework that disentangles task and environment specific knowledge by separating them into two units. The environment-specific unit handles how to move from one state to the target state; and the task-specific unit plans for the next target state given a specific task. The extensive results in simulators indicate that our method can efficiently separate and learn two independent units, and also adapt to a new task more efficiently than the state-of-the-art methods.

Wir schlagen einen DRL-Rahmen vor, der aufgaben- und umgebungsspezifisches Wissen voneinander trennt.

Die Autoren schlagen vor, das Reinforcement Learning in eine PATH-Funktion und eine GOAL-Funktion zu zerlegen.

Eine modulare Architektur mit dem Ziel, umweltspezifisches Wissen und aufgabenspezifisches Wissen in verschiedene Module aufzuteilen, die dem Standard-A3C für ein breites Spektrum von Aufgaben entsprechen.


Modelling 3D scenes from 2D images is a long-standing problem in computer vision with implications in, e.g., simulation and robotics. We propose pix2scene, a deep generative-based approach that implicitly models the geometric properties of a scene from images. Our method learns the depth and orientation of scene points visible in images. Our model can then predict the structure of a scene from various, previously unseen view points. It relies on a bi-directional adversarial learning mechanism to generate scene representations from a latent code, inferring the 3D representation of the underlying scene geometry. We showcase a novel differentiable renderer to train the 3D model in an end-to-end fashion, using only images. We demonstrate the generative ability of our model qualitatively on both a custom dataset and on ShapeNet. Finally, we evaluate the effectiveness of the learned 3D scene representation in supporting a 3D spatial reasoning.

pix2scene: ein tiefgreifender generativer Ansatz zur impliziten Modellierung der geometrischen Eigenschaften einer 3D-Szene aus Bildern.

Untersucht die Erklärung von Szenen mit Surfels in einem neuronalen Erkennungsmodell und demonstriert Ergebnisse zur Bildrekonstruktion, Synthese und mentalen Formrotation.

Die Autoren stellen eine Methode zur Erstellung eines 3D-Szenenmodells anhand eines 2D-Bildes und einer Kameraposition unter Verwendung eines selbst-superfizierten Modells vor.


Identifying the relations that connect words is an important step towards understanding human languages and is useful for various NLP tasks such as knowledge base completion and analogical reasoning. Simple unsupervised operators such as vector offset between two-word embeddings have shown to recover some specific relationships between those words, if any. Despite this, how to accurately learn generic relation representations from word representations remains unclear. We model relation representation as a supervised learning problem and learn parametrised operators that map pre-trained word embeddings to relation representations. We propose a method for learning relation representations using a feed-forward neural network that performs relation prediction. Our evaluations on two benchmark datasets reveal that the penultimate layer of the trained neural network-based relational predictor acts as a good representation for the relations between words.

Die Identifizierung der Beziehungen, die Wörter verbinden, ist für verschiedene NLP-Aufgaben wichtig. Wir modellieren die Darstellung von Beziehungen als überwachtes Lernproblem und lernen parametrisierte Operatoren, die vortrainierte Worteinbettungen auf Beziehungsrepräsentationen abbilden.

In diesem Beitrag wird eine neuartige Methode zur Darstellung lexikalischer Beziehungen als Vektoren vorgestellt, bei der nur vortrainierte Worteinbettungen und eine neuartige Verlustfunktion für Wortpaare verwendet werden.

Eine neuartige Lösung für das Problem der Beziehungskomposition, wenn Sie bereits trainierte Wort-/Entitätseinbettungen haben und nur daran interessiert sind, zu lernen, Beziehungsrepräsentationen zu komponieren.


Recurrent neural networks (RNNs) are important class of architectures among neural networks useful for language modeling and sequential prediction. However, optimizing RNNs is known to be harder compared to feed-forward neural networks. A number of techniques have been proposed in literature to address this problem. In this paper we propose a simple technique called fraternal dropout that takes advantage of dropout to achieve this goal. Specifically, we propose to train two identical copies of an RNN (that share parameters) with different dropout masks while minimizing the difference between their (pre-softmax) predictions. In this way our regularization encourages the representations of RNNs to be invariant to dropout mask, thus being robust. We show that our regularization term is upper bounded by the expectation-linear dropout objective which has been shown to address the gap due to the difference between the train and inference phases of dropout. We evaluate our model and achieve state-of-the-art results in sequence modeling tasks on two benchmark datasets - Penn Treebank and Wikitext-2. We also show that our approach leads to performance improvement by a significant margin in image captioning (Microsoft COCO) and semi-supervised (CIFAR-10) tasks.

Wir schlagen vor, zwei identische Kopien eines rekurrenten neuronalen Netzes (mit gemeinsamen Parametern) mit unterschiedlichen Dropout Masken zu trainieren und dabei die Differenz zwischen ihren (pre-softmax) Vorhersagen zu minimieren.

Präsentiert Fraternal Dropout als Verbesserung gegenüber Expectation-linear Dropout in Bezug auf Konvergenz und demonstriert die Nützlichkeit von Fraternal Dropout an einer Reihe von Aufgaben und Datensätzen.


We propose a novel approach for deformation-aware neural networks that learn the weighting and synthesis of dense volumetric deformation fields. Our method specifically targets the space-time representation of physical surfaces from liquid simulations. Liquids exhibit highly complex, non-linear behavior under changing simulation conditions such as different initial conditions. Our algorithm captures these complex phenomena in two stages: a first neural network computes a weighting function for a set of pre-computed deformations, while a second network directly generates a deformation field for refining the surface. Key for successful training runs in this setting is a suitable loss function that encodes the effect of the deformations, and a robust calculation of the corresponding gradients. To demonstrate the effectiveness of our approach, we showcase our method with several complex examples of flowing liquids with topology changes. Our representation makes it possible to rapidly generate the desired implicit surfaces. We have implemented a mobile application to demonstrate that real-time interactions with complex liquid effects are possible with our approach.

Gewichtung und Verformung von Raum-Zeit-Datensätzen für hocheffiziente Annäherungen an das Flüssigkeitsverhalten lernen.

Ein auf einem neuronalen Netz basierendes Modell wird zur Interpolation von Simulationen für neuartige Szenenbedingungen aus dicht registrierten impliziten 4D-Oberflächen für eine strukturierte Szene verwendet.

In diesem Beitrag wird ein gekoppelter Deep-Learning Ansatz zur Erzeugung realistischer Flüssigkeitssimulationsdaten vorgestellt, die für Echtzeit-Entscheidungsunterstützungsanwendungen nützlich sein können.

In diesem Beitrag wird ein Deep-Learning Ansatz für physikalische Simulationen vorgestellt, der zwei Netzwerke zur Synthese von 4D-Daten kombiniert, die physikalische 3D-Simulationen darstellen.


This is an empirical paper which constructs color invariant networks and evaluates their performances on a realistic data set. The paper studies the simplest possible case of color invariance: invariance under pixel-wise permutation of the color channels. Thus the network is aware not of the specific color object, but its colorfulness. The data set introduced in the paper consists of images showing crashed cars from which ten classes were extracted. An additional annotation was done which labeled whether the car shown was red or non-red.   The networks were evaluated by their performance on the classification task. With the color annotation we altered the color ratios  in the training data and analyzed the generalization capabilities of the networks on the unaltered test data. We further split the test data in red and non-red cars and did a similar evaluation. It is shown in the paper that an pixel-wise ordering of the rgb-values of the images performs better or at least similarly for small deviations from the true color ratios. The limits of these networks are also discussed.

Wir konstruieren und bewerten farbinvariante neuronale Netze auf einem neuen realistischen Datensatz.

Schlägt eine Methode vor, um neuronale Netze für die Bilderkennung farbinvariant zu machen, und evaluiert sie anhand des cifar 10-Datensatzes.

Die Autoren untersuchen eine modifizierte Eingabeschicht, die zu farbinvarianten Netzen führt, und zeigen, dass bestimmte farbinvariante Eingabeschichten die Genauigkeit bei Testbildern mit einer anderen Farbverteilung als die Trainingsbilder verbessern können.

Die Autoren testen ein CNN auf Bildern mit Farbkanälen, die so verändert wurden, dass sie gegenüber Permutationen invariant sind, wobei die Leistung nicht allzu sehr beeinträchtigt wurde.


Expressive efficiency refers to the relation between two architectures A and B, whereby any function realized by B could be replicated by A, but there exists functions realized by A, which cannot be replicated by B unless its size grows significantly larger. For example, it is known that deep networks are exponentially efficient with respect to shallow networks, in the sense that a shallow network must grow exponentially large in order to approximate the functions represented by a deep network of polynomial size. In this work, we extend the study of expressive efficiency to the attribute of network connectivity and in particular to the effect of "overlaps" in the convolutional process, i.e., when the stride of the convolution is smaller than its filter size (receptive field).
 To theoretically analyze this aspect of network's design, we focus on a well-established surrogate for ConvNets called Convolutional Arithmetic Circuits (ConvACs), and then demonstrate empirically that our results hold for standard ConvNets as well. Specifically, our analysis shows that having overlapping local receptive fields, and more broadly denser connectivity, results in an exponential increase in the expressive capacity of neural networks. Moreover, while denser connectivity can increase the expressive capacity, we show that the most common types of modern architectures already exhibit exponential increase in expressivity, without relying on fully-connected layers.

Wir analysieren, wie der Grad der Überlappungen zwischen den rezeptiven Feldern eines Convolutional Networks seine Ausdruckskraft beeinflusst.

Die Arbeit untersucht die Ausdruckskraft, die durch "Überlappung" in Convolution Layers von DNNs bereitgestellt wird, indem lineare Aktivierungen mit Produktpooling berücksichtigt werden.

In diesem Beitrag wird die Ausdrucksfähigkeit von Convolutional Arithmetic Circuits analysiert und gezeigt, dass eine exponentiell große Anzahl von nicht überlappenden ConvACs erforderlich ist, um den Gittertensor eines überlappenden ConvACs zu approximieren.


We provide a theoretical algorithm for checking local optimality and escaping saddles at nondifferentiable points of empirical risks of two-layer ReLU networks. Our algorithm receives any parameter value and returns: local minimum, second-order stationary point, or a strict descent direction. The presence of M data points on the nondifferentiability of the ReLU divides the parameter space into at most 2^M regions, which makes analysis difficult. By exploiting polyhedral geometry, we reduce the total computation down to one convex quadratic program (QP) for each hidden node, O(M) (in)equality tests, and one (or a few) nonconvex QP. For the last QP, we show that our specific problem can be solved efficiently, in spite of nonconvexity. In the benign case, we solve one equality constrained QP, and we prove that projected gradient descent solves it exponentially fast. In the bad case, we have to solve a few more inequality constrained QPs, but we prove that the time complexity is exponential only in the number of inequality constraints. Our experiments show that either benign case or bad case with very few inequality constraints occurs, implying that our algorithm is efficient in most cases.

Ein theoretischer Algorithmus zum Testen der lokalen Optimalität und zum Extrahieren von Abstiegsrichtungen an nicht differenzierbaren Punkten von empirischen Risiken von einschichtigen ReLU-Netzen.

Schlägt einen Algorithmus vor, um zu prüfen, ob ein gegebener Punkt ein verallgemeinerter stationärer Punkt zweiter Ordnung ist.

Ein theoretischer Algorithmus, der die Lösung von konvexen und nicht-konvexen quadratischen Programmen beinhaltet, um die lokale Optimalität zu überprüfen und Sättigungen beim Training von zweischichtigen ReLU-Netzen zu vermeiden.

Der Autor schlägt eine Methode vor, mit der geprüft werden kann, ob ein Punkt ein stationärer Punkt ist oder nicht, und klassifiziert stationäre Punkte dann entweder als lokale Minimalpunkte oder als stationäre Punkte zweiter Ordnung.


We present a new technique for learning visual-semantic embeddings for cross-modal retrieval.   Inspired by the use of hard negatives in structured prediction, and ranking loss functions used in retrieval, we introduce a simple change to common loss functions used to learn multi-modal embeddings.   That, combined with fine-tuning and the use of augmented data, yields significant gains in retrieval performance.   We showcase our approach, dubbed VSE++, on the MS-COCO and Flickr30K datasets, using ablation studies and comparisons with existing methods.   On MS-COCO our approach outperforms state-of-the-art methods by 8.8% in caption retrieval, and 11.3% in image retrieval (based on R@1).

Ein neuer, auf relativ harten Negativen basierender Verlust, der die beste Leistung bei der Suche nach Bildunterschriften erzielt.

Erlernen der gemeinsamen Einbettung von Sätzen und Bildern unter Verwendung von Tripelverlusten, die auf die härtesten Negative angewandt werden, anstatt über alle Tripel zu mitteln.


We present DANTE, a novel method for training neural networks, in particular autoencoders, using the alternating minimization principle. DANTE provides a distinct perspective in lieu of traditional gradient-based backpropagation techniques commonly used to train deep networks. It utilizes an adaptation of quasi-convex optimization techniques to cast autoencoder training as a bi-quasi-convex optimization problem. We show that for autoencoder configurations with both differentiable (e.g. sigmoid) and non-differentiable (e.g. ReLU) activation functions, we can perform the alternations very effectively. DANTE effortlessly extends to networks with multiple hidden layers and varying network configurations. In experiments on standard datasets, autoencoders trained using the proposed method were found to be very promising when compared to those trained using traditional backpropagation techniques, both in terms of training speed, as well as feature extraction and reconstruction performance.

Wir nutzen das Prinzip der alternierenden Minimierung, um eine effektive neue Technik zum Trainieren von Deep Autoencodern bereitzustellen.

Alternierendes Minimierungs Framework für das Training von Autoencoder und Encoder-Decoder Netzwerken.

Die Autoren erforschen einen alternierenden Optimierungsansatz für das Training von Autoencodern, wobei jede Schicht als verallgemeinertes lineares Modell behandelt wird, und schlagen vor, den stochastischen normalisierten GD als Minimierungsalgorithmus in jeder Phase zu verwenden.


We develop new algorithms for estimating heterogeneous treatment effects, combining recent developments in transfer learning for neural networks with insights from the causal inference literature. By taking advantage of transfer learning, we are able to efficiently use different data sources that are related to the same underlying causal mechanisms. We compare our algorithms with those in the extant literature using extensive simulation studies based on large-scale voter persuasion experiments and the MNIST database. Our methods can perform an order of magnitude better than existing benchmarks while using a fraction of the data.

Transferlernen zur Schätzung kausaler Effekte unter Verwendung neuronaler Netze.

Entwicklung von Algorithmen zur Schätzung des bedingten durchschnittlichen Behandlungseffekts anhand von Hilfsdatensätzen in verschiedenen Umgebungen, sowohl mit als auch ohne Basis-Lerner.

Die Autoren schlagen Methoden vor, um eine neuartige Aufgabe des Transfer-Lernens für die Schätzung der CATE-Funktion anzugehen, und bewerten sie anhand einer synthetischen Umgebung und eines realen experimentellen Datensatzes.

Verwendung der Regression mit neuronalen Netzen und Vergleich von Transfer-Learning-Konzepten zur Schätzung eines bedingten durchschnittlichen Behandlungseffekts unter der Annahme der String-Ignorierbarkeit.


Neuronal assemblies, loosely defined as subsets of neurons with reoccurring spatio-temporally coordinated activation patterns, or "motifs", are thought to be building blocks of neural representations and information processing. We here propose LeMoNADe, a new exploratory data analysis method that facilitates hunting for motifs in calcium imaging videos, the dominant microscopic functional imaging modality in neurophysiology. Our nonparametric method extracts motifs directly from videos, bypassing the difficult intermediate step of spike extraction. Our technique augments variational autoencoders with a discrete stochastic node, and we show in detail how a differentiable reparametrization and relaxation can be used. An evaluation on simulated data, with available ground truth, reveals excellent quantitative performance. In real video data acquired from brain slices, with no ground truth available, LeMoNADe uncovers nontrivial candidate motifs that can help generate hypotheses for more focused biological investigations.

Wir stellen LeMoNADe vor, eine durchgängig erlernte Methode zur Motiverkennung, die direkt auf Calcium Bildgebungsvideos arbeitet.

Dieses Papier schlägt ein VAE-ähnliches Modell zur Identifizierung von Motiven aus Calcium Bildgebungsvideos vor, das sich auf Bernouli-Variablen stützt und einen Gumbel-Softmax-Trick zur Inferenz benötigt.


A noisy and diverse demonstration set may hinder the performances of an agent aiming to acquire certain skills via imitation learning. However, state-of-the-art imitation learning algorithms often assume the optimality of the given demonstration set.
 In this paper, we address such optimal assumption by learning only from the most suitable demonstrations in a given set. Suitability of a demonstration is estimated by whether imitating it produce desirable outcomes for achieving the goals of the tasks. For more efficient demonstration suitability assessments, the learning agent should be capable of imitating a demonstration as quick as possible, which shares similar spirit with fast adaptation in the meta-learning regime. Our framework, thus built on top of Model-Agnostic Meta-Learning, evaluates how desirable the imitated outcomes are, after adaptation to each demonstration in the set. The resulting assessments hence enable us to select suitable demonstration subsets for acquiring better imitated skills. The videos related to our experiments are available at: https://sites.google.com/view/deepdj

Wir schlagen einen Rahmen vor, um eine gute Strategie durch Imitationslernen aus einer verrauschten Demonstrationsmenge zu erlernen, indem wir ein Meta-Training für die Bewertung der Demonstrationseignung durchführen.

Trägt einen MAML-basierten Algorithmus zum Imitation Learning bei, der automatisch feststellt, ob die angebotenen Demonstrationen "geeignet" sind.

Eine Methode zum Imitationslernen aus einer Menge von Demonstrationen, die unbrauchbares Verhalten enthält, die die nützlichen Demonstrationen durch ihre Leistungsgewinne zum Zeitpunkt des Meta-Trainings auswählt.


We introduce causal implicit generative models (CiGMs): models that allow sampling from not only the true observational but also the true interventional distributions. We show that adversarial training can be used to learn a CiGM, if the generator architecture is structured based on a given causal graph. We consider the application of conditional and interventional sampling of face images with binary feature labels, such as mustache, young. We preserve the dependency structure between the labels with a given causal graph. We devise a two-stage procedure for learning a CiGM over the labels and the image. First we train a CiGM over the binary labels using a  Wasserstein GAN where the generator neural network is consistent with the causal graph between the labels. Later, we combine this with a conditional GAN to generate images conditioned on the binary labels. We propose two new conditional GAN architectures: CausalGAN and CausalBEGAN. We show that the optimal generator of the CausalGAN, given the labels, samples from the image distributions conditioned on these labels. The conditional GAN combined with a trained CiGM for the labels is then a CiGM over the labels and the generated image. We show that the proposed architectures can be used to sample from observational and interventional image distributions, even for interventions which do not naturally occur in the dataset.

Wir führen kausale implizite generative Modelle ein, die aus bedingten und intervenierenden Verteilungen abfragen können, und schlagen außerdem zwei neue bedingte GANs vor, die wir für ihr Training verwenden.

Verfahren zur Kombination eines zufälligen Graphen, der die Abhängigkeitsstruktur von Etiketten beschreibt, mit zwei bedingten GAN-Architekturen, die Bilder erzeugen, die sich auf das binäre Label beziehen.

Die Autoren befassen sich mit der Frage des Lernens eines kausalen Modells zwischen Bildvariablen und dem Bild selbst aus Beobachtungsdaten, wenn eine kausale Struktur zwischen Bildbezeichnungen gegeben ist.


Self-normalizing discriminative models approximate the normalized probability of a class without having to compute the partition function. This property is useful to computationally-intensive neural network classifiers, as the cost of computing the partition function grows linearly with the number of classes and may become prohibitive. In particular, since neural language models may deal with up to millions of classes, their self-normalization properties received notable attention. Several
 recent studies empirically found that language models, trained using Noise Contrastive Estimation (NCE), exhibit self-normalization, but could not explain why. In this study, we provide a theoretical justification to this property by viewing
 NCE as a low-rank matrix approximation. Our empirical investigation compares NCE to the alternative explicit approach for self-normalizing language models. It also uncovers a surprising negative correlation between self-normalization and
 perplexity, as well as some regularity in the observed errors that may potentially be used for improving self-normalization algorithms in the future.

Wir beweisen, dass NCE selbstnormiert ist und demonstrieren dies an Datensätzen.

Es wird ein Beweis für die Selbstnormalisierung der NCE als Ergebnis einer rangniedrigen Matrixapproximation der rangniedrigen Approximation der normalisierten bedingten Wahrscheinlichkeitsmatrix vorgelegt.

In diesem Beitrag wird das Problem der selbstnormalisierenden Modelle betrachtet und der Mechanismus der Selbstnormalisierung durch Interpretation der NCE im Sinne der Matrixfaktorisierung erklärt.


Learning word representations from large available corpora relies on the distributional hypothesis that words present in similar contexts tend to have similar meanings. Recent work has shown that word representations learnt in this manner lack sentiment information which, fortunately, can be leveraged using external knowledge. Our work addresses the question: can affect lexica improve the word representations learnt from a corpus? In this work, we propose techniques to incorporate affect lexica, which capture fine-grained information about a word's psycholinguistic and emotional orientation, into the training process of Word2Vec SkipGram, Word2Vec CBOW and GloVe methods using a joint learning approach. We use affect scores from Warriner's affect lexicon to regularize the vector representations learnt from an unlabelled corpus. Our proposed method outperforms previously proposed methods on standard tasks for word similarity detection, outlier detection and sentiment detection. We also demonstrate the usefulness of our approach for a new task related to the prediction of formality, frustration and politeness in corporate communication.

Die Anreicherung von Worteinbettungen mit Affektinformationen verbessert deren Leistung bei Sentiment Vorhersageaufgaben.

Es wird vorgeschlagen, Affekt-Lexika zur Verbesserung der Worteinbettung zu verwenden, um die Standardlösungen Word2vec und Glove zu übertreffen.

In diesem Beitrag wird vorgeschlagen, Informationen aus einer semantischen Ressource, die den Affekt von Wörtern quantifiziert, in einen textbasierten Worteinbettungsalgorithmus zu integrieren, um Sprachmodelle besser auf semantische und pragmatische Phänomene abzustimmen.

In diesem Beitrag werden Modifikationen der Verlustfunktionen word2vec und GloVe vorgestellt, um Affekt-Lexika einzubeziehen und das Lernen affektsensitiver Worteinbettungen zu erleichtern.


Different kinds of representation learning techniques on graph have shown significant effect in downstream machine learning tasks. Recently, in order to inductively learn representations for graph structures that is unobservable during training, a general framework with sampling and aggregating (GraphSAGE) was proposed by Hamilton and Ying and had been proved more efficient than transductive methods on fileds like transfer learning or evolving dataset. However, GraphSAGE is uncapable of selective neighbor sampling and lack of memory of known nodes that've been trained. To address these problems, we present an unsupervised method that samples neighborhood information attended by co-occurring structures and optimizes a trainable global bias as a representation expectation for each node in the given graph. Experiments show that our approach outperforms the state-of-the-art inductive and unsupervised methods for representation learning on graphs.

Für die unbeaufsichtigte und induktive Netzwerkeinbettung schlagen wir einen neuartigen Ansatz vor, um die relevantesten Nachbarn zu erkunden und das zuvor gelernte Wissen über die Knoten zu erhalten, indem wir eine Bi-Attention-Architektur verwenden bzw. eine globale Verzerrung einführen

Hier wird eine Erweiterung von GraphSAGE vorgeschlagen, die eine globale Einbettungsmatrix in den lokalen Aggregationsfunktionen und eine Methode zur Auswahl interessanter Knoten verwendet.


Learning distributed representations for nodes in graphs is a crucial primitive in network analysis with a wide spectrum of applications. Linear graph embedding methods learn such representations by optimizing the likelihood of both positive and negative edges while constraining the dimension of the embedding vectors. We argue that the generalization performance of these methods is not due to the dimensionality constraint as commonly believed, but rather the small norm of embedding vectors. Both theoretical and empirical evidence are provided to support this argument: (a) we prove that the generalization error of these methods can be bounded by limiting the norm of vectors, regardless of the embedding dimension; (b) we show that the generalization performance of linear graph embedding methods is correlated with the norm of embedding vectors, which is small due to the early stopping of SGD and the vanishing gradients. We performed extensive experiments to validate our analysis and showcased the importance of proper norm regularization in practice.

Wir argumentieren, dass die Verallgemeinerung der linearen Grapheneinbettung nicht auf die Dimensionalitätsbeschränkung zurückzuführen ist, sondern vielmehr auf die kleine Norm der Einbettungsvektoren.

Die Autoren zeigen, dass der Generalisierungsfehler von linearen Grapheneinbettungsmethoden durch die Norm der Einbettungsvektoren und nicht durch Dimensionalitätsbeschränkungen begrenzt wird.

Die Autoren schlagen eine theoretische Schranke für die Generalisierungsleistung des Lernens von Grapheneinbettungen vor und argumentieren, dass die Norm der Koordinaten den Erfolg der gelernten Darstellung bestimmt.


Momentum-based acceleration of stochastic gradient descent (SGD) is widely used in deep learning. We propose the quasi-hyperbolic momentum algorithm (QHM) as an extremely simple alteration of momentum SGD, averaging a plain SGD step with a momentum step. We describe numerous connections to and identities with other algorithms, and we characterize the set of two-state optimization algorithms that QHM can recover. Finally, we propose a QH variant of Adam called QHAdam, and we empirically demonstrate that our algorithms lead to significantly improved training in a variety of settings, including a new state-of-the-art result on WMT16 EN-DE. We hope that these empirical results, combined with the conceptual and practical simplicity of QHM and QHAdam, will spur interest from both practitioners and researchers. Code is immediately available.

Mischen Sie SGD und Momentum (oder machen Sie etwas Ähnliches mit Adam), um große Gewinne zu erzielen.

Die Arbeit schlägt einfache Modifikationen von SGD und Adam vor, sogenannte QH-Varianten, die die Eltern-Methode und eine Reihe anderer Optimierungstricks wiederherstellen können.

Eine Variante des klassischen Impulses, die ein gewichtetes Mittel aus Impuls- und Gradientenaktualisierung verwendet, sowie eine Bewertung der Beziehungen zwischen anderen Impuls-basierten Optimierungsverfahren.


Reinforcement Learning (RL) can model complex behavior policies for goal-directed sequential decision making tasks. A hallmark of RL algorithms is Temporal Difference (TD) learning: value function for the current state is moved towards a bootstrapped target that is estimated using the next state's value function. lambda-returns define the target of the RL agent as a weighted combination of rewards estimated by using multiple many-step look-aheads. Although mathematically tractable, the use of  exponentially decaying weighting of n-step returns based targets in lambda-returns is a rather ad-hoc design choice. Our major contribution  is that we propose a generalization of lambda-returns called Confidence-based Autodidactic Returns (CAR), wherein the RL agent learns the weighting of the n-step returns in an end-to-end manner. In contrast to lambda-returns wherein the RL agent is restricted to use an exponentially decaying weighting scheme, CAR allows the agent to learn to decide how much it wants to weigh the n-step returns based targets. Our experiments, in addition to showing the efficacy of CAR, also empirically demonstrate that using sophisticated weighted mixtures of multi-step returns (like CAR and lambda-returns) considerably outperforms the use of n-step returns. We perform our experiments on the  Asynchronous Advantage Actor Critic (A3C) algorithm in the Atari 2600 domain.

Ein neuartiger Weg zur Verallgemeinerung von Lambda-Renditen, indem der RL-Agent entscheiden kann, wie stark er jede der n-Schritt-Renditen gewichten möchte.

Erweitert den A3C-Algorithmus mit Lambda-Rückgaben und schlägt einen Ansatz zum Lernen der Gewichte der Rückgaben vor.

Die Autoren stellen konfidenzbasierte autodidaktische Rückgaben vor, eine Deep Learning RL-Methode zur Anpassung der Gewichte eines Eignungsvektors in TD(lambda)-ähnlichen Wertschätzungen, um stabilere Schätzungen des Zustands zu begünstigen.


Current end-to-end deep learning driving models have two problems: (1) Poor
 generalization ability of unobserved driving environment when diversity of train-
 ing driving dataset is limited (2) Lack of accident explanation ability when driving
 models don’t work as expected. To tackle these two problems, rooted on the be-
 lieve that knowledge of associated easy task is benificial for addressing difficult
 task, we proposed a new driving model which is composed of perception module
 for see and think and driving module for behave, and trained it with multi-task
 perception-related basic knowledge and driving knowledge stepwisely.  Specifi-
 cally segmentation map and depth map (pixel level understanding of images) were
 considered as what & where and how far knowledge for tackling easier driving-
 related perception problems before generating final control commands for difficult
 driving task. The results of experiments demonstrated the effectiveness of multi-
 task perception knowledge for better generalization and accident explanation abil-
 ity. With our method the average sucess rate of finishing most difficult navigation
 tasks in untrained city of CoRL test surpassed current benchmark method for 15
 percent in trained weather and 20 percent in untrained weathers.

Wir haben ein neues selbstfahrendes Modell vorgeschlagen, das sich aus einem Wahrnehmungsmodul für das Sehen und Denken und einem Fahrmodul für das Verhalten zusammensetzt, um eine bessere Generalisierungs- und Unfallerklärungsfähigkeit zu erreichen.

Vorgestellt wird eine Multitasking-Lernarchitektur für die Schätzung von Tiefen- und Segmentierungskarten und die Fahrvorhersage unter Verwendung eines Wahrnehmungsmoduls und eines Fahrentscheidungsmoduls.

Eine Methode für eine modifizierte Ende-zu-Ende Architektur, die eine bessere Verallgemeinerungs- und Erklärungsfähigkeit aufweist, robuster gegenüber verschiedenen Testumgebungen ist und über eine Decoderausgabe verfügt, die bei der Fehlersuche im Modell helfen kann.

Die Autoren stellen ein neuronales Multi-Task Convolutional Neural Network für durchgängiges Fahren vor und liefern Auswertungen mit dem Open-Source-Simulator CARLA, die eine bessere Generalisierungsleistung unter neuen Fahrbedingungen zeigen als die Grundlinien.


Recently there has been a surge of interest in designing graph embedding methods. Few, if any, can scale to a large-sized graph with millions of nodes due to both computational complexity and memory requirements. In this paper, we relax this limitation by introducing the MultI-Level Embedding (MILE) framework – a generic methodology allowing contemporary graph embedding methods to scale to large graphs. MILE repeatedly coarsens the graph into smaller ones using a hybrid matching technique to maintain the backbone structure of the graph. It then applies existing embedding methods on the coarsest graph and refines the embeddings to the original graph through a novel graph convolution neural network that it learns. The proposed MILE framework is agnostic to the underlying graph embedding techniques and can be applied to many existing graph embedding methods without modifying them. We employ our framework on several popular graph embedding techniques and conduct embedding for real-world graphs. Experimental results on five large-scale datasets demonstrate that MILE significantly boosts the speed (order of magnitude) of graph embedding while also often generating embeddings of better quality for the task of node classification. MILE can comfortably scale to a graph with 9 million nodes and 40 million edges, on which existing methods run out of memory or take too long to compute on a modern workstation.

Ein allgemeiner Rahmen zur Skalierung bestehender Grapheneinbettungstechniken auf große Graphen.

In diesem Beitrag wird ein mehrstufiges Einbettungsframework vorgeschlagen, das zusätzlich zu den bestehenden Netzwerkeinbettungsmethoden angewendet werden kann, um große Netzwerke mit höherer Geschwindigkeit zu skalieren.

Die Autoren schlagen ein dreistufiges Framework für die Einbettung großer Graphen mit verbesserter Einbettungsqualität vor.


Anomaly detection discovers regular patterns in unlabeled data and identifies the non-conforming data points, which in some cases are the result of malicious attacks by adversaries. Learners such as One-Class Support Vector Machines (OCSVMs) have been successfully in anomaly detection, yet their performance may degrade significantly in the presence of sophisticated adversaries, who target the algorithm itself by compromising the integrity of the training data. With the rise in the use of machine learning in mission critical day-to-day activities where errors may have significant consequences, it is imperative that machine learning systems are made secure. To address this, we propose a defense mechanism that is based on a contraction of the data, and we test its effectiveness using OCSVMs. The proposed approach introduces a layer of uncertainty on top of the OCSVM learner, making it infeasible for the adversary to guess the specific configuration of the learner. We theoretically analyze the effects of adversarial perturbations on the separating margin of OCSVMs and provide empirical evidence on several benchmark datasets, which show that by carefully contracting the data in low dimensional spaces, we can successfully identify adversarial samples that would not have been identifiable in the original dimensional space. The numerical results show that the proposed method improves OCSVMs performance significantly (2-7%)

Eine neuartige Methode zur Erhöhung der Widerstandsfähigkeit von OCSVMs gegen gezielte Integritätsangriffe durch selektive nichtlineare Transformationen von Daten in niedrigere Dimensionen.

Die Autoren schlagen eine Verteidigung gegen Angriffe auf die Sicherheit von einklassigen SVM-basierten Anomalie-Detektoren vor.

In diesem Papier wird untersucht, wie zufällige Projektionen verwendet werden können, um OCSVM robust gegenüber adversarially gestörten Trainingsdaten zu machen.


In this paper, we present a layer-wise learning of stochastic neural networks (SNNs) in an information-theoretic perspective. In each layer of an SNN, the compression and the relevance are defined to quantify the amount of information that the layer contains about the input space and the target space, respectively. We jointly optimize the compression and the relevance of all parameters in an SNN to better exploit the neural network's representation. Previously, the Information Bottleneck (IB) framework (\cite{Tishby99}) extracts relevant information for a target variable. Here, we propose Parametric Information Bottleneck (PIB) for a neural network by utilizing (only) its model parameters explicitly to approximate the compression and the relevance. We show that, as compared to the maximum likelihood estimate (MLE) principle, PIBs : (i) improve the generalization of neural networks in classification tasks, (ii) push the representation of neural networks closer to the optimal information-theoretical representation in a faster manner.

Lernen einer besseren Darstellung neuronaler Netze mit dem Prinzip des Informationsengpasses.

Schlägt eine Lernmethode vor, die auf dem Informationsengpass Framework basiert, bei dem verborgene Schichten von tiefen Netzen die Eingabe X komprimieren und gleichzeitig genügend Informationen zur Vorhersage der Ausgabe Y beibehalten.

In diesem Beitrag wird eine neue Methode für das Training stochastischer neuronaler Netze vorgestellt, die auf der Grundlage von Informationsrelevanz und -kompression arbeitet, ähnlich wie beim Information Bottleneck.


The maximum mean discrepancy (MMD) between two probability measures P
 and Q is a metric that is zero if and only if all moments of the two measures
 are equal, making it an appealing statistic for two-sample tests. Given i.i.d. samples
 from P and Q, Gretton et al. (2012) show that we can construct an unbiased
 estimator for the square of the MMD between the two distributions. If P is a
 distribution of interest and Q is the distribution implied by a generative neural
 network with stochastic inputs, we can use this estimator to train our neural network.
 However, in practice we do not always have i.i.d. samples from our target
 of interest. Data sets often exhibit biases—for example, under-representation of
 certain demographics—and if we ignore this fact our machine learning algorithms
 will propagate these biases. Alternatively, it may be useful to assume our data has
 been gathered via a biased sample selection mechanism in order to manipulate
 properties of the estimating distribution Q.
 In this paper, we construct an estimator for the MMD between P and Q when we
 only have access to P via some biased sample selection mechanism, and suggest
 methods for estimating this sample selection mechanism when it is not already
 known. We show that this estimator can be used to train generative neural networks
 on a biased data sample, to give a simulator that reverses the effect of that
 bias.

Wir schlagen einen Schätzer für die maximale mittlere Diskrepanz vor, der geeignet ist, wenn eine Zielverteilung nur über ein verzerrtes Stichprobenauswahlverfahren zugänglich ist, und zeigen, dass er in einem generativen Netzwerk verwendet werden kann, um diese Verzerrung zu korrigieren.

Schlägt einen Wichtigkeits-gewichteten Schätzer der MMD vor, um die MMD zwischen Verteilungen zu schätzen, die auf Stichproben basieren, die nach einem bekannten oder geschätzten unbekannten Schema verzerrt sind.

Die Autoren befassen sich mit dem Problem der Verzerrung der Stichprobenauswahl bei MMD-GANs und schlagen eine Schätzung der MMD zwischen zwei Verteilungen unter Verwendung der gewichteten maximalen mittleren Diskrepanz vor.

In diesem Papier wird eine Modifikation des Ziels für das Training generativer Netze mit einem MMD-Gegner vorgestellt.


We propose Bayesian Deep Q-Network  (BDQN), a  practical Thompson sampling based Reinforcement Learning (RL) Algorithm. Thompson sampling allows for targeted exploration in high dimensions through posterior sampling but is usually computationally expensive. We address this limitation by introducing uncertainty only at the output layer of the network through a Bayesian Linear Regression (BLR) model, which can be trained with fast closed-form updates and its samples can be drawn efficiently through the Gaussian distribution. We apply our method to a wide range of Atari Arcade Learning Environments. Since BDQN carries out more efficient exploration, it is able to reach higher rewards substantially faster than a key baseline, DDQN.

Verwendung von Bayes'scher Regression zur Schätzung des Posterior über Q-Funktionen und Einsatz von Thompson Sampling als gezielte Explorationsstrategie mit effizientem Kompromiss zwischen Exploration und Exploitation.

Die Autoren schlagen einen neuen Algorithmus für die Exploration in Deep RL vor, bei dem sie eine lineare Bayes'sche Regression mit Merkmalen aus der letzten Schicht eines DQN-Netzwerks anwenden, um die Q-Funktion für jede Aktion zu schätzen.

Die Autoren beschreiben, wie Bayes'sche neuronale Netze mit Thompson-Sampling für eine effiziente Exploration beim q-Lernen eingesetzt werden können, und schlagen einen Ansatz vor, der die Epsilon-Greedy Explorationsansätze übertrifft.


In this work, we propose the polynomial convolutional neural network (PolyCNN), as a new design of a weight-learning efficient variant of the traditional CNN. The biggest advantage of the PolyCNN is that at each convolutional layer, only one convolutional filter is needed for learning the weights, which we call the seed filter, and all the other convolutional filters are the polynomial transformations of the seed filter, which is termed as an early fan-out. Alternatively, we can also perform late fan-out on the seed filter response to create the number of response maps needed to be input into the next layer. Both early and late fan-out allow the PolyCNN to learn only one convolutional filter at each layer, which can dramatically reduce the model complexity by saving 10x to 50x parameters during learning. While being efficient during both training and testing, the PolyCNN does not suffer performance due to the non-linear polynomial expansion which translates to richer representational power within the convolutional layers. By allowing direct control over model complexity, PolyCNN provides a flexible trade-off between performance and efficiency. We have verified the on-par performance between the proposed PolyCNN and the standard CNN on several visual datasets, such as MNIST, CIFAR-10, SVHN, and ImageNet.

PolyCNN muss nur einen Seed convolutional Filter auf jeder Schicht lernen. Dies ist eine effiziente Variante des traditionellen CNN mit gleichwertiger Leistung.

Versuche, die Anzahl der Parameter des CNN-Modells zu reduzieren, indem die polynomiale Transformation von Filtern verwendet wird, um die Filterantworten zu vergrößern.

Die Autoren schlagen eine Weight-Sharing-Architektur vor, um die Anzahl der Parameter eines Convolutional Neural Networks mit Seed-Filtern zu reduzieren.


Detecting the emergence of abrupt property changes in time series is a challenging problem. Kernel two-sample test has been studied for this task which makes fewer assumptions on the distributions than traditional parametric approaches. However, selecting kernels is non-trivial in practice. Although kernel selection for the two-sample test has been studied, the insufficient samples in change point detection problem hinder the success of those developed kernel selection algorithms. In this paper, we propose KL-CPD, a novel kernel learning framework for time series CPD that optimizes a lower bound of test power via an auxiliary generative model. With deep kernel parameterization, KL-CPD endows kernel two-sample test with the data-driven kernel to detect different types of change-points in real-world applications. The proposed approach significantly outperformed other state-of-the-art methods in our comparative evaluation of benchmark datasets and simulation studies.

In dieser Arbeit schlagen wir KL-CPD vor, ein neuartiges Kernel-Lernverfahren für Zeitreihen-CPD, das eine untere Schranke der Testleistung über ein generatives Hilfsmodell als Ersatz für die abnormale Verteilung optimiert.

Beschreibt einen neuartigen Ansatz zur Optimierung der Wahl des Kernels im Hinblick auf eine höhere Testleistung und zeigt, dass er Verbesserungen gegenüber Alternativen bietet.


Theories in cognitive psychology postulate that humans use similarity as a basis
 for object categorization. However, work in image classification generally as-
 sumes disjoint and equally dissimilar classes to achieve super-human levels of
 performance on certain datasets. In our work, we adapt notions of similarity using
 weak labels over multiple hierarchical levels to boost classification performance.
 Instead of pitting clustering directly against classification, we use a warm-start
 based evaluation to explicitly provide value to a clustering representation by its
 ability to aid classification. We evaluate on CIFAR10 and a fine-grained classifi-
 cation dataset to show improvements in performance with the procedural addition
 of intermediate losses and weak labels based on multiple hierarchy levels. Further-
 more, we show that pretraining AlexNet on hierarchical weak labels in conjunc-
 tion with intermediate losses outperforms a classification baseline by over 17% on
 a subset of Birdsnap dataset. Finally, we show improvement over AlexNet trained
 using ImageNet pre-trained weights as initializations which further supports our
 claim of the importance of similarity.

Clustern, bevor Sie klassifizieren; Verwendung schwacher Kennzeichnungen zur Verbesserung der Klassifizierung.

Vorschlagen der Verwendung einer auf Clustering basierenden Verlustfunktion auf mehreren Ebenen eines Deepnets, sowie die Verwendung einer hierarchischen Struktur des Beschriftungsraums, um bessere Darstellungen zu trainieren.

In diesem Beitrag werden hierarchische Label-Informationen verwendet, um zusätzliche Verluste auf Zwischenrepräsentationen beim Training neuronaler Netze zu erheben.


Deep reinforcement learning algorithms that estimate state and state-action value functions have been shown to be effective in a variety of challenging domains, including learning control strategies from raw image pixels. However, algorithms that estimate state and state-action value functions typically assume a fully observed state and must compensate for partial or non-Markovian observations by using finite-length frame-history observations or recurrent networks. In this work, we propose a new deep reinforcement learning algorithm based on counterfactual regret minimization that iteratively updates an approximation to a cumulative clipped advantage function and is robust to partially observed state. We demonstrate that on several partially observed reinforcement learning tasks, this new class of algorithms can substantially outperform strong baseline methods: on Pong with single-frame observations, and on the challenging Doom (ViZDoom) and Minecraft (Malmö) first-person navigation benchmarks.

Advantage-basierte Regret-Minimierung ist ein neuer Deep Reinforcement Learning-Algorithmus, der besonders effektiv bei teilweise beobachtbaren Aufgaben ist, wie z.B. 1st Person Navigation in Doom und Minecraft.

In diesem Beitrag werden die Konzepte der kontrafaktischen Bedauernsminimierung im Bereich des Deep RL und ein Algorithmus namens ARM vorgestellt, der besser mit partieller Beobachtbarkeit umgehen kann.

Die Arbeit bietet eine spieltheoretisch inspirierte Variante des Policy-Gradienten-Algorithmus, die auf der Idee der kontrafaktischen Bedauernsminimierung basiert, und behauptet, dass der Ansatz mit dem teilweise beobachtbaren Bereich besser umgehen kann als Standardmethoden.


Recent deep multi-task learning (MTL) has been witnessed its success in alleviating data scarcity of some task by utilizing domain-specific knowledge from related tasks. Nonetheless, several major issues of deep MTL, including the effectiveness of sharing mechanisms, the efficiency of model complexity and the flexibility of network architectures, still remain largely unaddressed. To this end, we propose a novel generalized latent-subspace based knowledge sharing mechanism for linking task-specific models, namely tensor ring multi-task learning (TRMTL). TRMTL has a highly compact representation, and it is very effective in transferring task-invariant knowledge while being super flexible in learning task-specific features, successfully mitigating the dilemma of both negative-transfer in lower layers and under-transfer in higher layers. Under our TRMTL, it is feasible for each task to have heterogenous input data dimensionality or distinct feature sizes at different hidden layers. Experiments on a variety of datasets demonstrate our model is capable of significantly improving each single task’s performance, particularly favourable in scenarios where some of the tasks have insufficient data.

Ein tiefes Multi-Task-Lernmodell, das die Tensor-Ring-Darstellung anpasst.

Eine Variante der Tensor-Ring-Formulierung für Multi-Task-Lernen, bei der einige TT-Kerne für das Lernen einer "gemeinsamen Aufgabe" gemeinsam genutzt werden, während für jede einzelne Aufgabe individuelle TT-Kerne gelernt werden.


Neural Processes (NPs) (Garnelo et al., 2018) approach regression by learning to map a context set of observed input-output pairs to a distribution over regression functions. Each function models the distribution of the output given an input, conditioned on the context. NPs have the benefit of fitting observed data efficiently with linear complexity in the number of context input-output pairs, and can learn a wide family of conditional distributions; they learn predictive distributions conditioned on context sets of arbitrary size. Nonetheless, we show that NPs suffer a fundamental drawback of underfitting, giving inaccurate predictions at the inputs of the observed data they condition on. We address this issue by incorporating attention into NPs, allowing each input location to attend to the relevant context points for the prediction. We show that this greatly improves the accuracy of predictions, results in noticeably faster training, and expands the range of functions that can be modelled.

Ein Regressionsmodell, das die bedingten Verteilungen eines stochastischen Prozesses lernt, indem es die Aufmerksamkeit in neuronale Prozesse einbezieht.

Es wird vorgeschlagen, das Problem der unzureichenden Anpassung bei der neuronalen Prozessmethode zu lösen, indem dem deterministischen Pfad ein Aufmerksamkeitsmechanismus hinzugefügt wird.

Eine Erweiterung des Rahmens der Neuronalen Prozesse, die einen aufmerksamkeitsbasierten Konditionierungsmechanismus hinzufügt, der es dem Modell ermöglicht, Abhängigkeiten in der Konditionierungsmenge besser zu erfassen.

Die Autoren erweitern neuronale Prozesse, indem sie die self-attention zur Anreicherung der Merkmale der Kontextpunkte und die cross-attention zur Erzeugung einer abfragespezifischen Repräsentation einbeziehen. Sie lösen das Underfitting-Problem von NPs und zeigen, dass ANPs besser und schneller konvergieren als NPs.