Walt Disney a tenté d'acquérir les droits d'adaptation des livres de P. L. Travers dès 1938, mais celle-ci a refusé pendant plus de vingt ans, ne croyant pas qu'un film puisse rendre justice à son œuvre. Il a fini par obtenir les droits en 1961, en accordant à Travers un droit de regard sur le scénario.
Selon le documentaire du 40e anniversaire, Walt Disney avait promis à ses filles, qui adoraient les livres de Mary Poppins, qu'il en ferait un film.
Les frères Sherman, compositeurs de la musique, ont participé au développement du film et ont notamment suggéré de déplacer l'action des années 1930 vers l'époque édouardienne.
P. L. Travers, engagée comme consultante, désapprouvait l'adoucissement du caractère de Mary Poppins, se montrait ambivalente sur la musique et détestait tellement l'utilisation de l'animation qu'elle a refusé toute nouvelle adaptation des romans suivants. Elle voulait aussi que la bande originale reprenne des standards de l'époque édouardienne plutôt que des chansons originales, mais Disney, disposant du droit de montage final, a passé outre.
De nombreuses actrices ont été envisagées pour le rôle-titre avant Julie Andrews, dont Bette Davis, Judy Garland, Elizabeth Taylor, Natalie Wood et Angela Lansbury ; pour le rôle de Bert, Sean Connery, Cary Grant et Andy Griffith furent notamment considérés.
Julie Andrews a obtenu le rôle de Mary Poppins peu après avoir été écartée du rôle d'Eliza Doolittle dans l'adaptation cinématographique de My Fair Lady au profit d'Audrey Hepburn, alors qu'elle avait créé ce rôle à Broadway. Elle était enceinte de trois mois lorsque Disney l'a approchée, et il a accepté de repousser le tournage pour qu'elle puisse accoucher avant de jouer.
Dick Van Dyke a été choisi pour le rôle de Bert après que Disney a vu son travail dans The Dick Van Dyke Show ; il a ensuite fait pression pour interpréter aussi le vieux M. Dawes Sr., un rôle que Disney jugeait trop âgé pour lui jusqu'à ce qu'un bout d'essai le convainque.
Au générique de fin, Dick Van Dyke est d'abord crédité sous le nom de « Navckid Keyd », un anagramme de son nom, avant que les lettres ne se réarrangent pour révéler son véritable nom.
L'accent cockney de Dick Van Dyke, malgré les conseils de l'acteur britannique J. Pat O'Malley, est resté célèbre pour être l'un des pires accents de l'histoire du cinéma, classé deuxième pire accent dans un sondage du magazine Empire en 2003 ; en 2017, Van Dyke s'en est même excusé publiquement lors d'un prix de la BAFTA.
Le film a été entièrement tourné aux studios Walt Disney de Burbank, en Californie, en utilisant des décors peints représentant Londres, le tournage ayant lieu de mai à septembre 1963, suivi de onze mois de post-production et d'animation.
La séquence où Mary Poppins et Bert interagissent avec des pingouins animés utilise le procédé du « sodium vapor process » : les acteurs étaient filmés devant un écran blanc éclairé par des lampes à vapeur de sodium à teinte jaune, et une caméra spéciale équipée d'un prisme filtrait cette lumière sur une pellicule séparée pour créer un cache très précis, permettant même de laisser transparaître la lumière à travers le voile du costume de Mary Poppins. Cette technique a valu au film l'Oscar des meilleurs effets visuels.
Peter Menefee, l'un des douze danseurs ramoneurs, a raconté que la chorégraphie n'a été mise au point qu'une fois sur le plateau, et que la toute première scène tournée fut en réalité la dernière du film (la danse finale dans la rue), rendue difficile par le changement de sol entre le parquet des répétitions et les pavés du décor.
Le film a reçu treize nominations aux Oscars, un record pour un film des studios Walt Disney, et en a remporté cinq, dont celui de la meilleure actrice pour Julie Andrews, qui a ainsi battu Audrey Hepburn (non nominée) dans la même catégorie où elle avait pourtant pris sa place dans My Fair Lady.
Mary Poppins fut le seul film de Walt Disney à recevoir une nomination aux Oscars du meilleur film de son vivant, et les bénéfices générés ont notamment servi à financer l'achat de terrains en Floride centrale pour la construction de Walt Disney World.
P. L. Travers n'avait pas été invitée à la première du film mais a obtenu une place par l'intermédiaire d'un dirigeant de Disney ; lors de la soirée qui a suivi, elle aurait déclaré à Disney que les séquences animées devaient être supprimées, ce à quoi il aurait répondu « Pamela, le bateau a déjà pris la mer » avant de s'éloigner.
En février 2024, le British Board of Film Classification a reclassé Mary Poppins de la catégorie U à PG en raison de l'usage par l'amiral Boom du mot « hottentot » pour désigner les ramoneurs dansants.
