Sandrine Bonnaire s'était présentée au casting en pensant faire de la figuration, comme elle l'avait fait dans La Boum, pour un projet de film intitulé Meurtrières. Maurice Pialat a finalement décidé de lui offrir le rôle principal et a adapté le scénario pour donner plus d'importance à son personnage.

Pour le rôle du frère de Suzanne, le directeur de casting Dominique Besnehard avait d'abord pensé à Robin Renucci, mais Maurice Pialat a proposé que Besnehard incarne lui-même ce rôle.

Sandrine Bonnaire a elle-même présenté à Pialat l'acteur Tom Stevens, qui joue l'Américain avec qui son personnage perd sa virginité ; elle l'avait rencontré peu avant lors de vacances en Angleterre, et les deux acteurs se sont ensuite fiancés pendant deux ans.

Dans le scénario initial, le père du personnage principal devait mourir et sa réapparition lors de la scène du repas n'était pas prévue. Maurice Pialat a surgi dans la scène et a laissé les acteurs improviser face à cette situation imprévue.

La scène dite « de la fossette » devait à l'origine être la dernière entre Suzanne et son père : lorsque Suzanne s'inquiète de l'œil jaune de son père, ce détail devait annoncer sa mort prochaine, élément finalement abandonné du scénario final.

Le film trouve son origine dans un scénario d'Arlette Langmann intitulé Les filles du faubourg, écrit dans les années 1970 et situé dans les années 1960, qui aurait donné un film de trois à quatre heures. Pialat a commencé à chercher des financements pour ce projet lorsque son film Les Meurtrières a périclité.

Dans Les filles du faubourg, les personnages étaient des Juifs polonais, mais Pialat a minimisé cet héritage familial dans À nos amours à de brèves allusions, et faute de budget suffisant, il a abandonné l'aspect de film d'époque, transposant l'action des années 1960 au présent.

La bande originale du film est signée par le chanteur Klaus Nomi, qui reprend notamment son morceau The Cold Song.