かといって、仕事をしないわけにはいかない。1960年代は任侠映画の全盛期。東映の映画の80％くらいが任侠映画だったこともあり、仲の良かったプロデューサーから任侠映画を撮ってみないかと声がかかった。
「『偉いやつは撮らないって言っているらしいけど、ヤクザ映画ははぐれ者の世界だからいいんじゃないか。任侠映画をやらないと東映で監督はできないよ』と言われて撮り始めました。そこでは楽しい仕事ができましたね」
1978年に東映を辞めてフリーになった後は、『冬の華』（1978）を皮切りに、高倉健と共に、名作を世に送り出していく。高倉に話が及ぶと、柔和な表情を浮かべ、遠くを見つめた。
「健さんはオブラートに包んだような言い方をする人でしたね。オブラートに包みながらも僕の映画を批評してくれました。『地獄の掟に明日はない』（1966）は、それまでの東映任侠物とひと味違ったので、東映内ではちょっと評判が悪かったんです。
その時、健さんは奥さん（江利チエミ）の表現を交えて『あなたもこういう映画に出たほうがいいよと言っていました』と褒めてくれました。けなすときもそうやってやんわり言ってくれましたね。後になって考えると、重い言葉だと思うこともあり、僕にとって一番の批評家でした」
『あなたへ』（2012）が高倉との最後の仕事になった。生前、高倉は降旗の自宅を年に1度は訪れていた。
