Группа Caspian образовалась осенью 2003 года в Массачусетс, накапливая и отшлифовывая материал в течение года, группа пришла к решению выпустить демо-запись, которая увидела свет в августе 2004 года, а в дополнение к ней были выпущены концертные выступления и небольшое количество шоу позднего 2004 и раннего 2005 годов, включая выступления Caspian при поддержке японского пост-рок коллектива Mono. Вскоре после этого, группа подписала контракт с Dopamine Records и выпустила ЕР ?You Are The Conductor? в ноябре 2005. При поддержке лейбла коллектив отыгрывал концерты в Массачусетс и Калифорнии. В апреле и мае 2006 года, группа начинает свое первое крупное турне по городам Америки, список состоял из 28-ми городов на разных побережьях страны. В течение 2006 года группа начала накапливать материал для нового альбома и уже в 2007 году порадовала любителей хорошей музыки релизом «The Four Trees».