Après une carrière dans la publicité, Étienne Chatiliez s'associe à Florence Quentin pour écrire l'histoire de deux familles opposées ; c'est elle qui trouve l'idée de les réunir grâce à deux enfants échangés à la naissance.

L'action devait initialement se dérouler à Compiègne, ville où Florence Quentin a grandi, mais les auteurs ont finalement choisi la région du Nord, terre natale de Chatiliez, jugée plus propice à la cohabitation des classes sociales opposées.

Le film s'inspire d'un fait divers réel survenu à Roubaix dans les années 1950, où deux bébés, une fille et un garçon, avaient été mélangés à la maternité de l'hôpital de la Fraternité.

La réplique culte « C'est lundi, c'est ravioli » vient des souvenirs d'enfance de Chatiliez, qui avait côtoyé des familles bourgeoises catholiques et observé leurs habitudes alimentaires et principes d'éducation.

Étienne Chatiliez refusait catégoriquement d'engager des vedettes pour les rôles principaux, allant jusqu'à dire qu'il n'imaginait pas Catherine Deneuve dans le rôle de Mme Le Quesnoy ni Josiane Balasko dans celui de Mme Groseille, préférant des comédiens de théâtre.

Pour décrocher le rôle de Jean Le Quesnoy, André Wilms, dont la personnalité était très éloignée du personnage, s'est rasé la barbe, a coupé ses cheveux et a enfilé un costume distingué, ce qui a immédiatement convaincu Chatiliez.

Chatiliez a engagé Catherine Jacob après l'avoir déjà dirigée dans une publicité pour le camembert Le Rustique.

Le tournage s'est déroulé pendant l'été 1987 dans plusieurs villes du Nord et du Pas-de-Calais : Roubaix, Tourcoing, Lille, Villeneuve-d'Ascq (la baignade dans la Deûle), Hénin-Beaumont et Noyelles-sous-Lens (en haut du terril 94).

Patrick Bouchitey a apporté des changements de dernière minute à son personnage du père Aubergé, lui donnant une facette différente par rapport au script initial.

Dans la scène où Mavial découvre la lettre de Josette, Daniel Gélin ne devait dire qu'une seule fois la réplique « La salope ! », mais Chatiliez, trouvant l'effet insuffisamment comique, lui a demandé de la répéter plusieurs fois.

Le succès initial du film au box-office repose en grande partie sur une campagne marketing astucieuse : la bande-annonce ne contenait aucune image du film et l'affiche n'affichait que le titre.

Sans aucune vedette au générique à l'exception de Daniel Gélin, le film a attiré 2,5 millions de spectateurs, principalement grâce au bouche-à-oreille.

Grâce à ses nombreuses diffusions à la télévision française, le film est devenu culte auprès des jeunes générations, notamment pour la chanson satirique « Jésus reviens » chantée lors d'une scène à l'église.

Le film de 2009 Neuilly sa mère ! a été fortement influencé par La vie est un long fleuve tranquille.

En 1995, la sitcom Les Gromelot et les Dupinson, diffusée sur France 2, s'inspire vaguement du film, et le dessin animé japonais Nathalie et ses amis (1971) présente un scénario très similaire.