Un Nouvel Algorithme de Type Full AdaGrad

Cette étude propose une nouvelle approche pour surmonter les défis computationnels de l'algorithme de gradient adaptatif (Full AdaGrad) dans l'optimisation stochastique. En développant une méthode récursive qui estime l'inverse de la racine carrée de la covariance du gradient, ainsi qu'une variante en flux continu pour les mises à jour des paramètres, l'étude offre des algorithmes efficaces et pratiques pour des applications à grande échelle. Cette stratégie innovante réduit considérablement la complexité et les ressources habituellement associées aux méthodes à matrice complète, permettant des processus d'optimisation plus efficaces. De plus, les taux de convergence des estimateurs proposés et leur efficacité asymptotique sont donnés.