จุดเริ่มต้นของวงดนตรีนี้เกิดขึ้นราวปี 2003-2004 เมื่อAl CisnerosจากวงOmติดต่อScott "Wino" Weinrichและเสนอให้พวกเขาก่อตั้งวงดนตรีสามคนร่วมกันใหม่ โดยมีChris Hakius มือกลองของวง Om ร่วมด้วย Cisneros เป็นผู้ตั้งชื่อวง และตั้งใจว่า Wino จะเป็นนักร้องนำเพียงคนเดียว ไม่กี่ปีต่อมา หลังจากที่ได้ร่วมงานกันทำเพลงเป็นครั้งคราว Cisneros ก็ได้ชักชวนScott Kelly นักร้อง นำของวง Neurosisมาร่วมวงในตำแหน่งมือกีตาร์และนักร้อง ทำให้วงมีสมาชิกครบสี่คน เกี่ยวกับการชวนเข้าร่วมวง Shrinebuilder นั้น Kelly กล่าวเสริมว่า "เขา [Cisneros] บอกผมว่านี่จะเป็นชื่อวงเมื่อเขาชวนผมเข้าร่วม และผมคิดว่ามันเยี่ยมมาก มันสมเหตุสมผลสำหรับผม ผมคิดว่าดนตรีคือศาลเจ้า ดนตรีคือศาสนา ดนตรีคือวิถีชีวิต มันมีตำนานของตัวเอง มีเทววิทยาของตัวเอง มีเทพเจ้าของตัวเอง"

เมื่อเวลาผ่านไป ข่าวลือและความคาดหวังเกี่ยวกับวงดนตรีใหม่นี้เริ่มแพร่กระจายในอินเทอร์เน็ต Shrinebuilder เริ่มเป็นที่รู้จักมากขึ้น แต่กลับไม่มีข่าวคราวใดๆ เกี่ยวกับวงนี้เลย ในช่วงต้นปี 2008 มือกลอง Chris Hakius ตัดสินใจเลิกเล่นดนตรี และDale Croverจากวง Melvinsจึงเข้ามาแทนที่เขา ในช่วงปีถัดมา วงดนตรีได้ส่งไฟล์เพลงให้กันและกัน ปรับปรุงแก้ไขผลงาน และซ้อมกันเมื่อมีโอกาสในรูปแบบต่างๆ ที่มีสมาชิกสองหรือสามคน ในบัลติมอร์ ซานฟรานซิสโก แอชแลนด์ และลอสแอนเจลิส

ในเดือนมกราคมปี 2009 สมาชิกวงได้พบกันครบทีมเป็นครั้งแรกเพื่อเริ่มบันทึกเสียงเพลงที่พวกเขาได้ร่างไว้ก่อนหน้านี้ เคลลี่ได้บันทึกช่วงเวลาการบันทึกเสียงผ่านบล็อกของเขาชื่อ "We Burn Through the Night" อัลบั้มเดบิวต์ของ Shrinebuilderถูกบันทึกเสร็จภายในสามวัน โดยมีโครเวอร์และโทชิ คาไซ (รู้จักกันในนาม The Deaf Nephews) เป็นโปรดิวเซอร์ เคลลี่ได้แสดงความคิดเห็นเกี่ยวกับประสบการณ์การบันทึกเสียงว่า "น้ำหนักมหาศาลของมันผลักดันให้สิ่งนี้ไปสู่อีกมิติหนึ่งทันทีที่ตัดสินใจทำสิ่งนี้ สมาชิกคนที่ห้าของ Shrinebuilder คือเทพเจ้า อัลบั้มนี้เป็นการให้เกียรติแก่ประเพณีที่วางไว้โดยทุกคนที่เคยเดินผ่านห้องโถงอันกว้างใหญ่นี้มาก่อนเรา"

ต่อมาวิโนได้เพิ่มเสียงกีตาร์เข้าไปอีก และอัลบั้มก็วางจำหน่ายในเดือนตุลาคม ปี 2009

หลังจากอัลบั้มวางจำหน่าย วงดนตรีได้ประกาศจัดคอนเสิร์ตหลายรายการ และเพลงแรกของ Shrinebuilder คือ "Pyramid of the Moon" ก็ถูกเพิ่มลงในหน้าMyspace ของวง เมื่อวันที่ 11 พฤศจิกายน 2009 Club My Warได้จัดการและเป็นเจ้าภาพจัดการแสดงสดครั้งแรกของวงในสหรัฐอเมริกาที่The Viper Room [ ^{2 ] วง}ดนตรีเล่นสองชุด และการแสดงได้รับการยกย่องจาก Scott Kelly ว่าประสบความสำเร็จ^{[ 3 ]}ซึ่งเกิดขึ้นก่อนการแสดงอีกครั้งหนึ่งที่คาดว่าจะเป็นการแสดงเปิดตัวของ Shrinebuilder ซึ่งมีกำหนดจัดขึ้นในวันที่ 14 พฤศจิกายน 2009 ที่ Empty Bottle ในชิคาโก^{[ 4 ]}การแสดงครั้งแรกของวงในนิวยอร์กซิตี้เกิดขึ้นในคืนถัดมาที่ Le Poisson Rouge ^{[ 5 ]}ซึ่งพวกเขาได้เล่นเพลงของJoy Divisionด้วย

นับตั้งแต่นั้นมา Shrinebuilder ก็ได้เล่นคอนเสิร์ตเป็นครั้งคราวตามตารางเวลาที่สมาชิกเอื้ออำนวย เนื่องจากไม่สามารถเดินทางไปทัวร์ยุโรปได้ในช่วงที่ภูเขาไฟ Eyjafjallajökull ปะทุในปี 2010 วงจึงกลับไปที่ลอสแอนเจลิสและเขียนเพลงในอัลบั้มที่สองจนเสร็จสมบูรณ์ หนึ่งปีต่อมา วงได้ขึ้นแสดงบนเวทีหลักของเทศกาล Roadburn ครั้งที่ 16 ที่เมืองทิลเบิร์ก ประเทศเนเธอร์แลนด์ ซึ่งพวกเขาตั้งใจจะไปแสดงในปี 2010 หากการปะทุของภูเขาไฟไม่ขัดขวางการเดินทางทางอากาศ

ในการสัมภาษณ์เมื่อปลายปี 2012 เคลลี่กล่าวว่าเขาไม่รู้ว่าจะมีอัลบั้ม Shrinebuilder อีกหรือไม่^{[ 6 ]}ในการสัมภาษณ์เมื่อเดือนพฤษภาคม 2014 วินโนกล่าวว่า "ซิสเนรอสบ้าไปแล้ว ดังนั้น Shrinebuilder จะไม่เกิดขึ้น" ^{[ 7 ]}