Le Prisonnier a été créé alors que Patrick McGoohan et George Markstein travaillaient ensemble sur la série d'espionnage Danger Man, bien qu'il n'existe aucun crédit officiel de « créé par » et que la répartition exacte des contributions créatives entre les deux reste contestée.

Une partie de l'inspiration de Markstein provenait de ses recherches sur la Seconde Guerre mondiale, au cours desquelles il a découvert Inverlair Lodge, un établissement pénitentiaire de type complexe touristique près d'Inverness en Écosse, utilisé pour emprisonner des personnes, qu'il a suggéré comme possible destin pour John Drake de Danger Man après une démission soudaine.

Le village gallois de Portmeirion, qui devint le principal lieu de tournage du Village, avait déjà attiré l'attention de McGoohan des années auparavant lorsque les extérieurs d'un épisode de Danger Man de 1960 intitulé « View from the Villa » y ont été tournés.

McGoohan a écrit une « Bible » de la série de quarante pages détaillant l'histoire, le système téléphonique, l'assainissement, la nourriture, les transports et les limites du Village, destinée à servir de guide aux scénaristes.

McGoohan a écrit l'épisode « Free for All » sous le pseudonyme Paddy Fitz et a dirigé « Many Happy Returns » et « A Change of Mind » sous le pseudonyme Joseph Serf, un nom ironiquement signifiant un paysan contrôlé par un seigneur féodal.

McGoohan a déclaré dans une interview de 1985 que le Numéro Six n'était pas censé être le même personnage que John Drake de Danger Man, et qu'il avait à l'origine voulu un autre acteur pour le rôle, bien que certains membres de l'équipe venus de Danger Man aient cru qu'il s'agissait d'une continuation directe.

À la demande de l'architecte de Portmeirion Clough Williams-Ellis, l'identité du principal lieu de tournage a été gardée secrète jusqu'aux crédits de fin du dernier épisode, qui l'a finalement révélée comme « The Hotel Portmeirion, Penrhyndeudraeth, North Wales ».

Le tournage d'une séquence clé du générique d'ouverture et les extérieurs de trois épisodes ont eu lieu au 1 Buckingham Place à Westminster, alors une résidence privée servant de domicile au Numéro Six, qui abrite aujourd'hui la Royal Warrant Holders Association.

Bien que la plupart des émissions de télévision britanniques de l'époque aient été diffusées en noir et blanc, Le Prisonnier a été tourné en couleur spécifiquement pour plaire au marché américain.

McGoohan voulait initialement produire seulement sept épisodes, mais Lew Grade a insisté pour en avoir davantage afin que la série puisse être vendue à CBS ; les versions diffèrent quant à savoir si Grade avait demandé 26 ou 36 épisodes avant que McGoohan ne se contente de 17.

Le final ambigu et ouvert a généré une controverse et une indignation telles chez les spectateurs que McGoohan aurait dû se cacher un certain temps après.

La série a influencé et été référencée par des œuvres ultérieures comme le film Le Monde de Truman et les séries télévisées Lost et Aux frontières du réel, le producteur d'Aux frontières du réel l'appelant « le Autant en emporte le vent de son genre ».