In 1994 Roald van Oosten and Marit de Loos thought of starting a band together. Later that year Van Oosten met Sem Bakker. They discussed the idea that De Loos and Van Oosten have and Bakker agreed to join on bass. The fact that Bakker didn't play bass yet was seemingly not a problem. Thus Caesar's line up was complete. After a mere month of playing together the trio released their first demo.

The following year three more demos followed. The band was swiftly improving and Excelsior Recordings (then still known as (Nothing sucks like) Electrolux) noticed. It is for this label that the band recorded its first single Goodbye To Barruschna, it was released on vinyl in the fall of 1995.

Caesar's debut album Clean, was released in May 1996. It was the first official album release of the Excelsior Recordings label. Upon its release in June, Clean was received enthusiastically by the press, even appearing in the Moordlijst, the chart of music magazine OOR. The positive response towards the album translates into a slot at the Lowlands festival in August.

Caesar also played alongside Daryll-Ann on a tour in the Netherlands. The tour was a great success as audience turn-outs were consistently strong. The band also played other select dates with label mates Johan, Benjamin B and Scram C Baby.

In 1998 the band played at Noorderslag, Pinkpop and Lowlands, three of the biggest Dutch festivals. The band was also judged as most promising new act of the year and received a Zilveren Harp, a prestigious Dutch award. In March the band's second album No Rest for the Alonely was released in the Netherlands . It was a success and its first single Situations Complications receives a lot of airplay. Later that year the album was also released in the United Kingdom with a slightly different title, No Rest for the Lonely. Following this release the band toured the UK under the banner of British music magazine Melody Maker.

Caesar กลับมาเล่นที่ Noorderslag อีกครั้งในปี 1999 และได้รับ การเสนอชื่อเข้าชิงรางวัล Edisonจากเพลง No Rest for the Alonely สำหรับทัวร์ Marlboro Flashback วงดนตรีได้เล่นเพลงคัฟเวอร์ของ Motown หลายเพลง ในเดือนกันยายน Caesar บินไปชิคาโกเพื่อทำงานร่วมกับโปรดิวเซอร์ชื่อดังอย่าง Steve Albini เพื่อบันทึกอัลบั้มที่สามของพวกเขา Leaving Sparks ในขณะเดียวกัน เวอร์ชันอะคูสติกของเพลง Before My Head Explodes ก็ถูกรวมอยู่ในซีดีรวมเพลง Twee Meter Sessie NL 1 วงดนตรียังได้เล่นในรายการทีวีที่มาพร้อมกันด้วย อัลบั้มLeaving Sparksวางจำหน่ายในเดือนมีนาคม 2000

ต้นปี 2001 หลังจากพักไปหกเดือน วง Caesar เริ่มบันทึกเดโมเพลงสำหรับอัลบั้มใหม่ที่จะใช้ชื่อเดียวกับวง ในเดือนพฤษภาคม วงได้เล่นเป็นวงเปิดให้กับนักดนตรีชาวอเมริกันStephen Malkmusหนึ่งปีต่อมา ภาพยนตร์สารคดีเกี่ยวกับดนตรีร็อคเรื่องShooting Starsก็ออกฉาย สองปีก่อนหน้านั้น วงได้เข้าร่วมการถ่ายทำเป็นเวลา 12 วัน โดยรับบทเป็นวงดนตรีป๊อปชื่อดังของเนเธอร์แลนด์ วงดนตรีป๊อปวงนี้เป็นจุดสนใจหลักของภาพยนตร์เรื่องนี้ ซึ่งกำกับโดย Ronen Abas และ Guy Mel

Marien Dorleijn จะออกจากวง Caesar ในเดือนธันวาคมเพื่อไปทุ่มเทให้กับวงหลักของเขา Nimbus มากขึ้น อย่างไรก็ตาม เขาได้ร่วมงานในอัลบั้มที่สี่ของวงซึ่งวางจำหน่ายในปีถัดมา อัลบั้มนี้ใช้ชื่อเดียวกับวง และเป็นการกลับมาสู่ซาวด์ที่ดุดันและเปี่ยมพลังเหมือนกับอัลบั้มแรกของวง ในเดือนมีนาคมและตุลาคม วงจะไปเยือนสหรัฐอเมริกา โดยเล่นที่งาน South By South West และ CMJ Music Marathon ในนิวยอร์ก ตามลำดับ

ซีซาร์เล่นคอนเสิร์ตในฝรั่งเศสในเดือนมีนาคม ปี 2004 แวน โอสเตนแต่งเพลงประกอบภาพยนตร์เรื่อง 'Zoenen of Schoppen' ('จูบหรือเตะ') กำกับโดย เจนิส ปิแอร์ ภาพยนตร์เรื่องนี้ฉายรอบปฐมทัศน์ในเทศกาลภาพยนตร์ดัตช์ที่เมืองอูเทรคต์ในเดือนกันยายน มาริต เดอ ลูสเข้าร่วมวง Solexในตำแหน่งมือกลองระหว่างทัวร์ในสหรัฐอเมริกาในเดือนตุลาคม

ในช่วงปี 2005 ที่วงดนตรีประกาศตัวเองว่าเป็น 'ปีพักงาน' พวกเขาได้ทำโปรเจกต์เสริมอื่นๆ เพิ่มเติมอย่างแข็งขัน โรอาลด์ ฟาน โอสเตน เริ่มก่อตั้งวงGhost Truckerร่วมกับสมาชิกจากวงAlamo Race Track , ZoppoและKopna Kopnaในเดือนมกราคม วงนี้ได้บันทึกเสียงใน เซสชั่น 3VOOR12ที่เทศกาลNoorderslag

Van Oosten ยังเขียนและโปรดิวซ์เพลงสำหรับภาพยนตร์สั้น 'Brommermeisjes' โดย Janneke van Heesch ภาพยนตร์เรื่องนี้เปิดเทศกาลภาพยนตร์ดัตช์ในเดือนตุลาคม พ.ศ. 2548 แวน ออสเทนยังผลิตเพลงสำหรับ 'Based on a True Story' ซึ่งเป็นภาพยนตร์โดยดับเบิลยู. สต็อกแมน

ในเดือนพฤศจิกายนปี 2006 วง Caesar กลับมารวมตัวกันอีกครั้งเพื่อแสดงคอนเสิร์ตทดลองสองครั้งสำหรับการทัวร์ที่จะมาถึงในเดือนมกราคมและกุมภาพันธ์ การทัวร์ครั้งนี้เกิดขึ้นพร้อมกับการวางจำหน่าย อัลบั้ม Before My Band Explodesซึ่งเป็นอัลบั้มรวมผลงานตลอดสิบปีที่ผ่านมาของวง Caesar