共産党を離れて読売新聞に入社、岸信介内閣で自民党副総裁を務めた大物政治家・大野伴睦氏の番記者になると“異能”を発揮し始める。
「駆け出しの頃は大野邸で下足番みたいなことをして大野に食い込み、大野氏の目となり耳となって情報を集め、次第に信頼されていく。渡辺氏が“〇〇を大臣にしてやってくれ”と推薦すると、大野氏が聞き入れるから大臣になりたい議員は渡辺氏に頼むようになる。当時、中曽根康弘氏はそうした口利きで科学技術庁長官に入閣したことから盟友になった。大野番になった他紙の記者も、大野氏より先に渡辺氏に挨拶に行くほどでした」（魚住氏）
同時に読売社内の権力闘争でものし上がっていく。
「彼は新人記者の時代から社長を目指し、毎週会合を開いていた。社内に“渡辺派”記者を次々と作り、キャップになる頃には社内人事にも力を持つようになっていた。ライバル幹部に『オレは社長になる。そのためには才能あるやつは邪魔だ。オレのいうことに忠実に従うやつだけが優秀な社員だ』と語っています。そして論説委員長に就任すると紙面を自分の主張に染めていった」（同前）
渡辺氏は社長に就任して名実ともに読売新聞の大権力者になると、他紙の社長とは別格の政治的影響力を持つようになる。
2007年の福田康夫政権誕生では、安倍首相（第一次政権）の辞意表明翌日に日本テレビ本社に“盟友”の氏家斉一郎氏（元日本テレビ会長、故人）とともに森喜朗氏、青木幹雄氏、山崎拓氏という当時の自民党重鎮を呼びつけ、「新・五人組」の談合で福田後継を決定した。
2000年に森内閣打倒を目指した「加藤の乱」は山里会での加藤紘一氏の倒閣宣言から始まった。福田政権誕生後には小沢一郎・民主党代表（当時）との「大連立構想」を渡辺氏が仲介した。いずれも失敗に終わったが、平成に起きた政変には、渡辺氏の影がちらついていた。
