หลังจากการให้สัตยาบันรัฐธรรมนูญปี 1924และการสถาปนาสาธารณรัฐประชาชนมองโกเลียสภาเล็ก (Little Khural) ก็ได้รับการจัดตั้งขึ้น โดยประกอบด้วยสมาชิก 30 คนที่ได้รับการเลือกตั้งจากสภาใหญ่ (Great Khural ) ที่มีระดับต่ำกว่า คณะกรรมการบริหารของสภาเล็ก ซึ่งเป็นองค์กรถาวรที่เดิมประกอบด้วยสมาชิก 5 คน ก็ได้รับการจัดตั้งขึ้นเช่นกัน ประธานของคณะกรรมการบริหารถือเป็นประมุขของรัฐและสภาเล็กเป็นผู้เลือกนายกรัฐมนตรี^{[ 2 ]}

การประชุมครั้งแรกของสภาเล็กเริ่มขึ้นเมื่อวันที่ 29 พฤศจิกายน พ.ศ. 2467 ^{[ 2 ]}เดิมทีมีการประชุมปีละสองถึงสามครั้ง แต่ในช่วงทศวรรษ พ.ศ. 2473 ระหว่างการปราบปรามของสตาลินในมองโกเลียอัตราการประชุมลดลงเหลือปีละครั้งหรือสองครั้ง หลังจากปี พ.ศ. 2480 มีสมาชิกเพียงสามคน^{[ 3 ]}ในช่วงปลายสงครามโลกครั้งที่สองเพื่อแสดงความเป็นน้ำหนึ่งใจเดียวกันกับสหภาพโซเวียตสภาเล็กประกาศสงครามกับจักรวรรดิญี่ปุ่นเมื่อวันที่ 10 สิงหาคม พ.ศ. 2488 ^{[ 4 ]}สภาเล็กจัดการประชุมครั้งที่ 32 และครั้งสุดท้ายในเดือนกุมภาพันธ์ พ.ศ. 2493 ในปี พ.ศ. 2494 มองโกเลียได้แก้ไขรัฐธรรมนูญ และยกเลิกสภาเล็กและจัดตั้ง สภาประชาชนใหญ่ แบบสภาเดียวขึ้น มาแทน^{[ 3 ]}

ในระหว่างการปฏิวัติประชาธิปไตยปี 1990รัฐธรรมนูญปี 1960ได้รับการแก้ไขในเดือนพฤษภาคม 1990 เพื่อยุติการปกครองแบบพรรคเดียวมีการจัดตั้งสภานิติบัญญัติถาวรขึ้นจากสภาประชาชนใหญ่ (Great Khural) เดิม สภาประชาชนเล็ก (State Little Khural) ใหม่นี้ประกอบด้วยผู้แทน 50 คนที่ได้รับการคัดเลือกจากสภาประชาชนใหญ่ โดยสามในสี่ของสมาชิกเหล่านี้จะต้องได้รับการเลือกจากสมาชิก 430 คนของสภาประชาชนใหญ่ ที่นั่งในสภาประชาชนเล็กได้รับการจัดสรรให้กับพรรคการเมืองที่เข้าร่วมในการเลือกตั้งสภานิติบัญญัติปี 1990ซึ่งเป็นการเลือกตั้งแบบหลายพรรคครั้งแรกที่จัดขึ้นในมองโกเลีย หนึ่งที่นั่งเท่ากับ 5% ของคะแนนเสียงทั้งหมดของพรรค^{[ 5 ]}

เมื่อวันที่ 29 กรกฎาคม 1990 พรรคปฏิวัติประชาชนมองโกเลีย (MPRP) ซึ่งเป็นพรรครัฐบาล ได้รับที่นั่ง 343 ที่นั่งพรรคประชาธิปไตยมองโกเลีย (MDP) 23 ที่นั่งพรรคความก้าวหน้าแห่งชาติมองโกเลีย (MNPP) 7 ที่นั่งพรรคสังคมประชาธิปไตยมองโกเลีย (MSDP) 4 ที่นั่งพรรคแรงงานเสรีมองโกเลีย 1 ที่นั่ง และผู้สมัครอิสระ 51 ที่นั่ง สภาใหญ่ที่ได้รับการเลือกตั้งใหม่ได้สาบานตนเข้ารับตำแหน่งเมื่อวันที่ 3 กันยายน 1990 ซึ่งเป็นวันเดียวกับที่เปิดการประชุมครั้งแรก ในการประชุมครั้งแรก สภาใหญ่ประชาชนได้เลือกราดนาซุมเบเรลิน กอนชิกดอร์จ (MSDP) เป็นประธาน (และรองประธาน โดย ตำแหน่ง ) คินายาติน ซาร์ดิคาน (MPRP) เป็นรองประธานบายารากิอิน ชิมิด (MPRP) เป็นเลขานุการ พร้อมด้วยผู้แทนอีก 50 คนที่เหลือเข้าสู่สภาเล็ก^{[ 5 ]}จากสมาชิก 50 คน มี 38 คนเป็นผู้แทนของสภาใหญ่ประชาชน

การประชุมครั้งแรกของสภาเล็กแห่งรัฐจัดขึ้นเมื่อวันที่ 13 กันยายน พ.ศ. 2533 โดยมีสมาชิก 53 คน^{[ 6 ]} สภานิติบัญญัติถาวรจะประชุมปีละสองครั้ง ครั้งละ 75 วัน สภาเล็กแห่งรัฐได้โอนบทบาทให้กับ สภาใหญ่แห่งรัฐที่มาจากการเลือกตั้งใหม่หลังจากการเลือกตั้งรัฐสภาในเดือนมิถุนายน พ.ศ. 2535 ^{[ 3 ]}