広島県呉市出身。呉海兵団の副団長であった父・勇吉(海軍兵学校第21期)の退役に伴い、3歳からは、父の故郷・鹿児島で育つ。東京大学経済学部卒業。戦時中、会社から派遣されたり現地召集で南洋の島々で過ごした。戦後はNHKに入社し、1947年、詩誌「荒地」創刊に参加し、詩や評論を発表する。
結核の闘病を続けながら、市民の生活に根ざした感情を平明な言葉で描いた。昭和30年(1955年)には最初の詩集『ひとりの女に』(戦後の恋愛詩集の最高傑作のひとつ)でH氏賞を受賞。1969年にNHKを退職後は、文筆活動に専念する。詩集には、長女のユリとの日常生活をつづる詩集「小さなユリと」(かつて詩人「金子光晴」氏が「どんな恋愛詩よりも美しい愛の詩」と絶賛したことがある)、『失はれた墓碑銘』『もっと高く』(「紙風船」は戦後詩の中でも最高傑作と思っている人々が大勢いる)など、評論集『内部と外部の世界』などがある。
1975年から詩人会議運営委員長をつとめた。
茨木のり子はときどき一人で“値段ごっこ”というのをやっており、ダイヤモンドやミンクの毛皮は身につけたいと思わないからがらくた並みで、黒田三郎などお気に入りの詩には一篇五億円の価値があるとしている。