Après avoir réalisé Le Bon, la Brute et le Truand, Sergio Leone avait l'intention de se retirer des westerns, s'étant intéressé à l'adaptation du roman autobiographique de criminalité d'Harry Grey, The Hoods, un projet qui deviendrait finalement son dernier film, Il était une fois en Amérique, dix-sept ans plus tard.

United Artists proposa à Leone un film mettant en vedette Charlton Heston, Kirk Douglas et Rock Hudson, qu'il refusa, mais il accepta l'offre de Paramount parce qu'elle s'accompagnait d'un budget généreux et de l'accès à Henry Fonda, un acteur avec qui Leone avait longtemps souhaité travailler.

Leone rencontra par hasard le jeune critique Dario Argento et l'apprenti réalisateur Bernardo Bertolucci lors de la projection du Bon, la Brute et le Truand dans un cinéma romain, et le lendemain il appela Bertolucci pour lui demander s'il avait apprécié le film, ce qui mena à leur collaboration.

Leone embaucha Argento et Bertolucci pour développer l'histoire, organisant des réunions à son domicile de janvier à avril 1967 qui produisirent un traitement d'environ 300 pages rempli de descriptions visuelles et de suggestions de mise en scène ; Argento raconta avoir acheté un vrai revolver Colt et un chapeau de cow-boy pour entrer dans l'esprit du projet.

Bertolucci quitta le projet pour réaliser un segment du film basé sur le Living Theatre, Vangelo 70 (Agonia), tandis qu'Argento passa à l'écriture de scénarios de westerns spaghetti et prépara ses débuts de réalisateur avec L'Oiseau aux cristaux de plume, laissant Leone ramener Sergio Donati, auquel il n'avait pas donné de crédit pour Le Bon, la Brute et le Truand malgré des mois de travail, pour terminer le scénario.

Leone repéra les lieux dans les déserts du Colorado, du Nouveau-Mexique et de l'Arizona, y compris une visite guidée de la Vallée du Monument avec le chef opérateur Tonino Delli Colli, qui se souvenait de Leone pointant avec enthousiasme l'endroit exact où John Ford avait placé sa caméra pour ses films antérieurs ; le nom Sweetwater pour le ranch McBain venait d'un petit village que Leone avait visité dans cette région.

Henry Fonda refusa d'abord le rôle de Frank, donc Leone vola vers New York et le convaincit en décrivant une scène où la caméra révèle un tueur tirant sur un enfant qui court, puis bascule pour montrer que c'est le visage de Fonda ; l'ami de Fonda, Eli Wallach, le convainquit alors d'accepter le rôle.

Fonda arriva sur le plateau portant des lentilles de contact marron et une barbe, croyant que les yeux foncés aideraient le public à l'accepter comme un méchant, mais Leone lui demanda de les enlever tous les deux, sentant que les yeux naturellement bleus de Fonda communiquaient mieux la nature froide du tueur.

Le rôle d'Harmonica fut d'abord offert à Clint Eastwood, qui le refusa ; Leone envisagea ensuite Charles Bronson et James Coburn (tous deux précédemment envisagés pour l'Homme sans nom), mais les honoraires de Coburn étaient trop élevés, donc Bronson fut choisi.

Kirk Douglas tenta à plusieurs reprises de convaincre Leone de le distribuer dans le rôle de Cheyenne, mais Leone choisit Jason Robards à la place ; Robert Ryan avait initialement accepté le rôle du shérif mais s'en retira après s'être vu proposer un rôle plus important dans Le Verdict de Sam Peckinpah.

Le rôle de Morton fut offert à Enrico Maria Salerno puis à Robert Hossein (qui accepta mais dut se retirer en raison d'un engagement au théâtre) avant d'aller à Gabriele Ferzetti, qui qualifia son casting de question de destin.

La fameuse séquence d'ouverture du film, montrant trois tireurs attendant un train, était en fait la dernière scène tournée dans l'Espagne franquiste, filmée pendant quatre jours le long de la voie ferrée près de la Estación de La Calahorra par Guadix.

L'acteur Al Mulock, qui jouait le tireur Knuckles dans la scène d'ouverture, s'est suicidé à Guadix en se jetant par la fenêtre de son hôtel en portant toujours son costume, peu avant que cette séquence soit terminée ; Frank Wolff, qui jouait Brett McBain, s'est également ôté la vie à Rome en 1971.

L'arche de briques utilisée pour le flash-back d'Harmonica a été construite près d'une petite piste d'atterrissage à quinze miles au nord de la Vallée du Monument, près de la Route 163 entre Goulding's Trading Post et Mexican Hat.

Ennio Morricone composa toute la partition avant que le tournage ne commence, à la demande de Leone, et la musique était jouée sur le plateau pendant le tournage pour aider les acteurs à entrer dans la peau de leur personnage.

Le thème harmonica à quatre notes pour le personnage d'Harmonica a été joué par Franco De Gemini sur un harmonica chromatique en Si bémol avec un léger effet de réverbération pour lui donner une qualité lancinante.

À part environ une minute du thème « Come una sentenza » avant qu'Harmonica ne tue les trois tireurs, aucune partition n'est entendue jusqu'à la première apparition à l'écran de Henry Fonda ; au lieu de cela Leone et Morricone s'appuient sur les sons naturels comme un moulin qui grince, un train, des sauterelles, des tirs et des ailes de pigeon.

Selon l'historien du cinéma Christopher Frayling, le film référence environ 30 westerns américains classiques, notamment Le Train sifflera trois fois (la séquence d'ouverture reflète trois hors-la-loi attendant une gare pour leur patron nommé Frank) et 3:10 pour Yuma.

Le nom de famille McBain et le nom Sweetwater ont été empruntés au film Les Comanches, tandis que le personnage de Jill McBain est censé être basé sur Vienna de Johnny Guitar.

Leone a dit que la séquence du massacre de la famille McBain, avec des buissons qui frémissent, des cigales qui se taisent et des faisans surpris signalant un danger qui approche, s'inspirait directement du film de John Ford La Prisonnière du désert, dont la fin fait également écho à la finale du film où les héros errants ne peuvent pas se joindre à la société établie.

Le film a influencé les œuvres ultérieures, notamment le style de caméra d'arrivée de train utilisé pour l'entrée de Marty dans Retour vers le futur III et la scène du bar de Hattori Hanzo dans Kill Bill : Volume 1, citant tous deux des plans d'Il était une fois dans l'Ouest.

La version cinématographique américaine lancée par Paramount a été raccourcie à environ 140-145 minutes, supprimant la scène de la taverne introduisant Cheyenne, la conversation entre Morton et Frank à la falaise, et la mort de Cheyenne, et cette version a été un flop financier en Amérique du Nord, gagnant à peine son budget.

Bien que moins populaire aux États-Unis que la Trilogie du Dollars de Leone à sa sortie, le film a gagné un culte fervent parmi les cinéastes comme Quentin Tarantino, Martin Scorsese, George Lucas, John Carpenter et John Boorman, qui ont tous cité son influence, et il a été ajouté au registre national des films des États-Unis en 2009.