Heuristiques et résultats concernant l'initialisation et l'optimisation des réseaux de neurones

=== Version française === 
Heuristiques et résultats concernant l'initialisation et l'optimisation des réseaux de neurones 

Pour une tâche d'apprentissage automatique donnée, il n'existe aucun résultat théorique général permettant de trouver l'architecture de réseau de neurones optimale, ainsi que son initialisation et son algorithme d'apprentissage optimaux. Pour combler ce manque, plusieurs voies sont explorées : mesure empirique des propriétés d'un réseau de neurones, mise en place d'heuristiques, et obtention de résultats théoriques dans un cadre très restreint. Cet exposé présentera quelques travaux illustrant des problèmes pratiques rencontrés dans le domaine des réseaux de neurones, ainsi que des résultats permettant d'en comprendre l'origine et d'y remédier : heuristiques d'initialisation, étude des réseaux avec un nombre infini de neurones par couche, étude des techniques d'optimisation du second ordre (Gauss-Newton, structure de la hessienne de la perte...). 

=== English version === 
Neural network initialization and optimization heuristics and results 

For a given machine learning task, there are no general theoretical results for finding the optimal neural network architecture, initialization and learning algorithm. To fill this gap, several avenues are being explored: empirical measurement of neural network properties, implementation of heuristics, and obtaining theoretical results within a very restricted framework. This talk will present a number of works illustrating practical problems encountered in the field of neural networks, as well as results enabling us to understand their origin and remedy them: initialization heuristics, study of networks with an infinite number of neurons per layer, study of second-order optimization techniques (Gauss-Newton, structure of the Hessian of the loss...).