1979年夏、東京のニューウエイヴシーンで活躍していた8 1/2("ハッカニブンノイチ"と読む)のメンバーだった上野と泉水が、以前より親交の深かった少年ホームランズ(佐伯・比賀江・石原が在籍)のデモテープ録音に参加した事を契機として、ハルメンズを結成する(ちなみに、ハルメンズという名称に意味は無く、童話「ハーメルンの笛吹き」やカルメンとは関係無いとの事)。
その後、ムーンライダーズの鈴木慶一氏ディレクションによる「ハルメンズの近代体操」(1980年10月)「ハルメンズの20世紀」(1981年7月)という二枚のアルバムをビクターよりリリース。
しかし「近代体操」発売前後に泉水・上野が実質上脱退し、バンドとしての実体が無くなってしまうという危機に立たされ、「20世紀」発売後は活動はほとんど行われてなかったが、区切りをつける為に1982年12月に行われたイベント「ハルメンズの伝説」をもって解散した。
活動時は正当な評価が得られなかったが、解散後、ハルメンズのアルバムに参加していた戸川純が自身のアルバムやライヴにおいてハルメンズの曲を取り上げた事や、メンバー各人の活躍などにより、一躍注目を浴びる存在となった。