斉藤、宮川が大學の音楽サークルで前身となるバンドを組む。その後ヴォーカル、ドラムが脫退したため、宮川が幼馴染みである須藤をヴォーカルに誘う。さらに須藤の知り合いであった川崎がドラムとして加入し、四人で下北沢、渋谷界隈でライヴ活動を行う。
2003年7月、3rd Stone Recordsよりミニアルバム「LOVE LOVE LOVE」でインディーズデビュー。そのころから佐藤がライブに參加するようになり、以後、現在のツインドラムの構成となる。
2005年5月、ビクターエンタテインメントSPEEDSTAR RECORDSよりアルバム「Thank you, Beatles」でメジャーデビュー。音楽雑誌などのメディアからは「60年代のロックの王道サウンドに90年代のグランジ要素が絡み合った唯一無比で絶妙な音楽」と絶賛される。
2010年2月、バンド名の表記をアルファベットのみのHiGEに変更。
2010年3月、會田茂一がメンバーとして加入。
バンド名は2000年ごろ、後から加入してきた須藤が前身のバンド名(「クロックワークス」。前身のドラマーが命名したらしい)が気に入らず、「髭」に変更した?!各凇工摔筏坷碛嗓?、「漢字の形が格好いいから」などの発言があるが真偽は定かではない。