終戦の混乱さめやらぬなか、半島への引き揚げ船を下関で待っていたが、出港前日に闇市で喧嘩に巻き込まれ、警察の留置場に入れられているうちに船が出港してしまい、柳川は置いてきぼりにされてしまう。そこで柳川はやむを得ずヤクザとなった──これは彼について書かれた本で出てくるエピソードだが、真偽のほどは分からない。
はっきりしているのは、同じ境遇の同胞が数多くいた大阪で在日の愚連隊の世界に飛び込んだということだ。縄張りは実力で掴み取るしかない。喧嘩に明け暮れる一方で、わずかなカスリを取って食いつないでいた柳川やその子分たちは、4、5人で一つの布団に入って眠るという日々。あまりの寒さにふすまを外して布団の上にのせたこともあったと、柳川を継いで二代目組長となった谷川康太郎こと康東華（カンドンファ）は回想している。
無名のチンピラに過ぎなかった柳川の名前が大阪じゅうに知れ渡ったのは、1958年に起きた西成の鬼頭組との死闘がきっかけだ。飛田新地の縄張り争いに端を発し、わずか8人で日本刀を手に100人もの組員を抱える鬼頭組に殴り込んだ柳川らは、手傷を負いながらも相手を壊滅に追い込む。
「どうせ失うものは命だけ。みんなで一緒に死のうや」
殴り込みにあたって柳川がかけたというこの言葉は有名で、柳川をモデルにした映画に使われたこともある。この勝利で一気に勢力を拡げた。柳川組を正式に立ち上げ、翌1959年に神戸の山口組傘下となると、奈良や北陸、北海道と矢継ぎ早に進撃し山口組の全国制覇の尖兵として名を轟かせた。結成から10年もせずに柳川組は、一道二府十県で1700人の構成員を抱え込み、1962年には山口組の二次団体ながら単独で5大広域暴力団の指定を警察庁から受ける。
兵庫県警が1968年に作成した内部資料『広域暴力団山口組壊滅史』はこう記している。
