Zanim De Laurentiis nabył prawa, projekt przeszedł przez trudną fazę rozwoju: rozpatrywano początkowo Paula Newmana w roli detektywa Durka i Roberta Redforda jako Serpico, ale sam Serpico wycofał się z projektu, obawiając się, że zostanie sprowadzony do roli drugoplanowej, a Newman, Redford i reżyser Sam Peckinpah porzucili inicjatywę.
Producent Dino De Laurentiis, przeprowadziwszy się z Włoch do Stanów Zjednoczonych po zmianie przepisów dotyczących finansowania włoskiego kina, nabył prawa do książki Petera Maasa jeszcze przed jej publikacją w marcu 1973 r., płacąc autorowi 400 000 dolarów.
Paramount Pictures początkowo sprzeciwił się projektowi, uważając, że zrealizowano już 'wystarczająco dużo filmów policyjnych', ale De Laurentiis znalazł wsparcie w osobie Charlesa Bluhdernia, prezesa Gulf+Western, który stanowczo zaległ realizację filmu.
Al Pacino początkowo nie znalazł interesującego scenariusza Waldo Salta, ale zmienił zdanie po bezpośrednim spotkaniu z prawdziwym Frankiem Serpico, zorganizowanym razem z autorem Peterem Maasem.
Reżyser John G. Avildsen został zwolniony podczas przedprodukcji z powodu dużych napięć z producentem Martinem Bregmanem: według wersji Avildtsena, rzeczywistym powodem był jego sprzeciw wobec angażu Cornelii Sharpe, wówczas partnerki Bregmana, w rolę Leslie.
Aby się przygotować do roli, Al Pacino spędził lato, wielokrotnie spotykając się z Frankiem Serpico w Montauk, inkognito jeździł po uważanych za niebezpieczne dzielnicach Nowego Jorku, w złości próbował zatrzymać zaparkowanego w ruchu drogowym kierowcę ciężarówki i został wysłany z restauracji na Manhattanie z powodu swojego niedbałego wyglądu wynikającego z metody aktorskiej.
Aby zaradzić wzrostowi brody i włosów Pacino przez jedenaście lat opowiadanych przez historię, film został kręcony w odwrotnej kolejności chronologicznej: aktor rozpoczął zdjęcia z długimi włosami i brodą i był stopniowo golony, aż pojawił się całkowicie ogolony w scenach początkowych rozgrywających się w 1960 r.
Aby odtworzyć nowojorską zimę pośrodku lata, ekipa musiała odarć drzewa z liści i przyciąć krzewy, podczas gdy aktorzy nosili ciężkie płaszcze i byli makijowani na niebieskawą tonacją skóry, aby symulować mróz.
Sidney Lumet kręcił film w zaledwie 51 dni, respektując budżet, obsługując 107 postaci mówiących w 104 różnych lokalizacjach Nowego Jorku, w tym Harlem, South Bronx, Bedford-Stuyvesant, Brooklyn i Astorię, i uzyskał od nowojorskiej policji pozwolenie na kręcenie w czterech rzeczywiście czynnych komisariatach policji.
Sidney Lumet początkowo nie chciał oryginału muzyki, ale odkrył, że grecki kompozytor Mikis Theodorakis został właśnie wypuszczony z więzienia: wyśledzili go w Paryżu, a muzyk poleciał do Nowego Jorku następnego dnia, aby zaakceptować stanowisko.
Prawdziwy Frank Serpico uczestniczył w premierze filmu, ale nie zdołał go ukończyć, czując się 'oddalony' od wyniku; zobaczył go w całości dopiero w 2010 r., deklarując później, że Lumet usunął go z planu po tym, jak przerwał kręcenie sceny, która jego zdaniem 'w rzeczywistym świecie nigdy się nie zdarzyła'.
Film wzbudził kontrowersje wśród sił porządkowych: komisarz policji Nowego Jorku Michael Codd skrytykował film za sugerowanie, że Serpico był jedynym uczciwy oficerem departamentu, podczas gdy prokurator okręgowy Bronksu Burton B. Roberts oświadczył, że film 'absolutnie nie ma żadnego związku z prawdą'.
Plakat Serpico pojawia się w pokoju Tony'ego Manero w filmie Gorączka sobotniej nocy (1977) i w pokoju głównego bohatera Boogie Nights (1997); film jest również cytowany w Naturalnych urodzonych zabójcach (1994) i w Podnieś stawkę (1995).
