昭和7年頃より英国人貿易商アーネスト・ウィリアム・ジェームスが、現在は塩屋町にあたるこの付近の海岸沿いの丘陵地を開発し、外国人用住宅として貸し出したことにその由来がある。
戦時中は海外で生活していたジェームスも戦後戻り、接収となっていた住宅も返されたが、昭和27年にジェームスが他界。遺族が相続税で頭を悩ませていたところ、サンヨー電機創業者で元社長の故・井植歳男氏が、土地と住宅をすべて引き継ぐことを決断する。この土地会社によって青山台・美山台の宅地開発も進められ、同地区が「ジェームス山」の愛称で呼ばれることとなった。
現在、眺望の良い位置には「井植記念館」が建てられ、芝生広場として市民に親しまれている。また、この地区には「ジェームス山」の名を冠した商業施設や自動車学校、マンションなどが多く建ち並んでいる。