ตลอดช่วงเริ่มต้นของวิทยาลัยในช่วงต้นศตวรรษที่ 18 หนังสือถือเป็นทรัพย์สินที่มีค่าที่สุดที่โรงเรียนสามารถหามาได้ แม้ว่าจอห์น เดเวนพอร์ตผู้ก่อตั้งอาณานิคมนิวเฮเวนจะเริ่มสะสมหนังสือสำหรับห้องสมุดวิทยาลัยในนิวเฮเวนในช่วงปี 1650 แต่กล่าวกันว่าวิทยาลัยแห่งนี้ก่อตั้งขึ้นจากการบริจาค "หนังสือ 40 เล่ม" ในแบรนฟอร์ด รัฐคอนเนตทิคัตโดยบาทหลวงผู้ก่อตั้งนิกายคองเกรเกชันแนล 10 ท่าน^{[ 6 ]}หนังสือทั้งหมดเป็นตำราทางศาสนศาสตร์ และหนังสือที่ยังคงเหลืออยู่จะถูกเก็บไว้ในห้องสมุดไบเน็ค

ในช่วงสามทศวรรษแรกของโรงเรียน มีการบริจาคสามครั้งที่ก่อตั้งคอลเลกชันของเยลขึ้น ในปี 1714 เจเรไมอาห์ ดัมเมอร์ตัวแทนอาณานิคมของคอนเนตทิคัตในบอสตัน ได้เขียนจดหมายถึงนักวิชาการชาวอังกฤษผู้มีชื่อเสียงเพื่อขอรับบริจาคหนังสือสำหรับวิทยาลัยของอาณานิคม ซึ่งในขณะนั้นดำเนินการอยู่ที่เซย์บรูค รัฐคอนเนตทิคัตหนังสือกว่า 800 เล่มมาถึงบอสตันและถูกส่งไปยังวิทยาลัย ในบรรดาผู้บริจาคมีนักวิทยาศาสตร์ชั้นนำ ได้แก่ไอแซค นิวตันจอห์น วูดเวิร์ดและเอ็ดมอนด์ ฮัลลีย์ซึ่งส่งสำเนาเอกสารของตนเองมาบริจาคด้วย^{[ 7 ]}บุคคลสำคัญทางศาสนา ได้แก่ริชาร์ด เบนท์ลี ย์ ไวท์ เคนเน็ตต์และแมทธิว เฮนรีได้เสริมคอลเลกชันด้านศาสนศาสตร์ และหนังสืออื่นๆ มาจากริชาร์ด สตีลริชาร์ด แบล็กมอร์และดัมเมอร์เอง ซึ่งในที่สุดก็บริจาคหนังสือให้กับวิทยาลัยประมาณสองร้อยเล่ม^{[ 7 ]}

สี่ปีต่อมา Elihu Yale ผู้ซึ่งก่อนหน้านี้ได้มอบหนังสือบางเล่มตามคำขอของ Dummer ได้ส่งหนังสือ 300 เล่มพร้อมกับสิ่งของอื่นๆ จากที่ดินของเขาในเวลส์ โรงเรียนซึ่งเพิ่งย้ายไปนิวเฮเวนได้ใช้ชื่อของ Yale เพื่อเป็นการระลึกถึงมรดกที่ได้รับ การบริจาคครั้งสำคัญครั้งที่สามมาถึงในอีกสิบห้าปีต่อมา เมื่อนักปรัชญาและบิชอปGeorge Berkeleyบริจาคหนังสือ 1,000 เล่ม ซึ่งเป็นชุดหนังสือคลาสสิกที่สำคัญให้กับโรงเรียน^{[ 8 ]}ปัจจุบัน Yale มีคอลเลกชันขนาดใหญ่ ประธานมหาวิทยาลัยThomas Clapจึงตัดสินใจจัดทำรายการหนังสือในคอลเลกชันเป็นครั้งแรก ซึ่งในขณะนั้นจัดเก็บอยู่ในอาคารเพียงแห่งเดียวของวิทยาลัย คือ College House ^{[ 9 ]}

การตรวจสอบครั้งแรกนี้แสดงให้เห็นหลักฐานการสูญหายและการขโมยหนังสือแล้ว ในระหว่างการย้ายจากเซย์บรูคไปยังนิวเฮเวน ชาวบ้านที่โกรธแค้นที่ต้องสูญเสียหนังสือไป ได้คว่ำเกวียนที่บรรทุกหนังสือและขโมยหนังสือส่วนใหญ่ของวิทยาลัยไปใช้ส่วนตัว หนังสือชุดนี้ซึ่งมีจำนวนประมาณ 4,000 รายการ ถูกส่งเข้าไปในแผ่นดินในช่วงสงครามปฏิวัติซึ่งเป็นการย้ายที่ทำให้หนังสือหายไปเกือบหนึ่งในสามของชุดทั้งหมด^{[ 10 ]}

ในช่วง 150 ปีแรก ห้องสมุดได้ย้ายที่ตั้งบ่อยครั้งในระหว่างการก่อสร้างOld Brick Row ของวิทยาเขต จากอาคาร College House ที่สร้างด้วยไม้ทั้งหมด ห้องสมุดได้ย้ายไปยัง First Chapel (Athaneum) หลังจากการก่อสร้างในปี 1763 ไปยังอาคาร Lyceum ใหม่ในปี 1804 จากนั้นไปยัง Second Chapel ใหม่ในปี 1824 ^{[ 11 ]}ห้องสมุดวิทยาลัยซึ่งเป็นที่ตั้งเฉพาะสำหรับคอลเล็กชันนี้ถูกสร้างขึ้นระหว่างปี 1842 ถึง 1846 และเป็นที่เก็บรวบรวมหนังสือมาเกือบเก้าสิบปี^{[ 11 ]}อาคารสไตล์โกธิควิคตอเรียน ซึ่งออกแบบโดยเฮนรี ออสตินและถือว่าเป็นสิ่งฟุ่มเฟือยในสมัยนั้น ได้รับแรงบันดาลใจจากGore Hallซึ่งเป็นห้องสมุดของHarvard College สมาคมวรรณกรรมสองแห่งที่เกี่ยวข้องกับมหาวิทยาลัยได้แก่LinoniaและBrothers in Unityได้รับห้องในห้องสมุดสำหรับคอลเล็กชันหนังสือ 10,000 เล่ม เช่นเดียวกับคอลเล็กชันของAmerican Oriental Society ^{[ 12 ]}เมื่อคอลเลกชันมีจำนวนมากเกินกว่าความจุ 50,000 เล่มของอาคาร จึงจำเป็นต้องเพิ่มอาคารส่วนต่อขยายให้กับห้องสมุด โดย Chittenden Hall สร้างเสร็จในปี พ.ศ. 2433 และ Linsly Hall ในปี พ.ศ. 2449

เมื่อจำนวนหนังสือในห้องสมุดเพิ่มขึ้นเกินหนึ่งล้านเล่มในศตวรรษที่ 20 ก็เป็นที่ชัดเจนว่าห้องสมุดจำเป็นต้องมีอาคารใหม่ ในปี 1917 เงินบริจาคจำนวน 17 ล้านดอลลาร์จากจอห์น ดับเบิลยู. สเตอร์ลิงซึ่งระบุว่ามหาวิทยาลัยเยลต้องสร้าง "อาคารที่คงทน มีประโยชน์ และมีความสวยงามทางสถาปัตยกรรมอย่างน้อยหนึ่งหลัง" ได้จัดหาเงินทุนให้ ห้องสมุดจึงย้ายหนังสือไปยังห้องสมุดอนุสรณ์สเตอร์ลิงในปี 1931 ซึ่งเพิ่มพื้นที่จัดเก็บหนังสือเป็นสี่เท่า และมีห้องเฉพาะสำหรับวารสาร หนังสืออ้างอิง และหนังสือสะสมพิเศษ

แม้ว่าจะได้รับหนังสือและต้นฉบับสำคัญจำนวนมากที่เกี่ยวข้องกับการพัฒนาวิทยาศาสตร์ในยุคนั้น อาณานิคมอเมริกัน และประวัติศาสตร์ศาสนา แต่ก็ได้รับเพียงการสนับสนุนทางประวัติศาสตร์แบบกระจัดกระจาย เช่น แผ่นจารึกอัสซีเรียที่ได้รับในปี 1855 ซึ่งเป็นจุดเริ่มต้นของคอลเลกชันบาบิโลน [ ^{13 ] [ 14 ] เริ่ม}ต้นภายใต้การดูแลของบรรณารักษ์Andrew Keoghในปี 1924 ห้องสมุดได้ดำเนินโครงการอย่างมีจุดมุ่งหมายในการรวบรวมหนังสือหายาก เอกสารส่วนตัว และงานจดหมายเหตุ ศาสตราจารย์ภาษาอังกฤษChauncey Brewster Tinker ได้จัดแคมเปญในหมู่ศิษย์เก่าของเยลเพื่อซื้อหรือบริจาคสิ่งของมีค่า และของขวัญในช่วงแรกๆ ได้แก่ สำเนา พระคัมภีร์กูเตนเบิร์กฉบับสมบูรณ์เอกสารของGertrude SteinและEzra PoundและเอกสารของJames Boswell ^{[ 14 ]}หลังจากสะสมหนังสือหายากจำนวนมาก มหาวิทยาลัยได้ก่อตั้งห้องสมุด Beineckeในปี 1963 เพื่อเป็นสถานที่จัดเก็บและอนุรักษ์หนังสือหายากโดยเฉพาะ และปล่อยให้ห้องหนังสือหายากเดิมของห้องสมุด Sterling มีคอลเล็กชั่นเอกสารจดหมายเหตุที่พอประมาณกว่า

ห้องสมุดสเตอร์ลิงยังเป็นที่ตั้งของ เอกสาร เบนจามิน แฟรงคลิน ที่ใหญ่ที่สุด ในโลก ซึ่งได้รับเป็นของขวัญในปี 1935 จากวิลเลียม สมิธ เมสัน ศิษย์เก่าเยลรุ่นปี 1888 และถือเป็นชุดเอกสารที่ใหญ่ที่สุดและมีค่าที่สุดเท่าที่เคยมีมาให้กับห้องสมุดแห่งนี้ นอกจากนี้ยังเป็นสำนักงานใหญ่ของคณะบรรณาธิการที่กำลังรวบรวมและตีพิมพ์หนังสือ The Papers of Benjamin Franklinซึ่งเป็นโครงการต่อเนื่องที่เริ่มต้นในปี 1954 และคาดว่าจะประกอบด้วยหนังสือมากถึง 50 เล่ม โดยมีเอกสารของแฟรงคลินที่ยังคงเหลืออยู่มากกว่า 30,000 ฉบับ^{[ 15 ] [ 16 ] [ 17 ]}

ต่อมาได้มีการจัดตั้งสิ่งอำนวยความสะดวกเฉพาะทางเพิ่มเติม เช่น ห้องสมุดวิทยาศาสตร์ไคลน์ (Kline Science Library) ซึ่งรับเอาหนังสือวิทยาศาสตร์ของห้องสมุดเดิมมาไว้ ห้องสมุดมัดด์ (Mudd Library) ได้รับหนังสือด้านสังคมศาสตร์ และมีการจัดตั้งห้องสมุดขนาดเล็กในสาขาวิศวกรรมศาสตร์ ฟิสิกส์ และธรณีวิทยาโดยแต่ละภาควิชา ภายในปี 2000 ห้องสมุดได้ขยายไปยังสถานที่ต่างๆ มากกว่าสิบแห่งทั่ววิทยาเขต และมีพนักงานมากกว่า 500 คน ในปี 2012 ห้องสมุดหลายแห่ง ในไซแอนซ์ฮิลล์ ( Science Hill)ได้รวมเข้าด้วยกันอีกครั้งที่ห้องสมุดวิทยาศาสตร์ไคลน์ในชื่อศูนย์ข้อมูลวิทยาศาสตร์และสังคมศาสตร์ (Center for Science and Social Science Information) และในปี 2020 ศูนย์ข้อมูลวิทยาศาสตร์และสังคมศาสตร์ได้เปลี่ยนชื่อเป็นห้องสมุดวิทยาศาสตร์และสังคมศาสตร์มาร์กซ์ (Marx Science and Social Science Library) เพื่อเป็นการระลึกถึงเงินบริจาคถาวรที่ครอบครัวมาร์กซ์ได้มอบให้^{[ 18 ]}แนนซี มาร์กซ์ เบตเตอร์ ผู้ริเริ่มการบริจาค จบการศึกษาจากมหาวิทยาลัยเยลในปี 1984 เป็นประธานสภาห้องสมุดมหาวิทยาลัย และได้รับเหรียญเยลในปี 2019 ^{[ 19 ] [ 20 ]}เลียวนาร์ด มาร์กซ์ จูเนียร์ บิดาของแนนซี มาร์กซ์ เบตเตอร์ และเลียวนาร์ด มาร์กซ์ ปู่ของเธอ ต่างก็จบการศึกษาจากมหาวิทยาลัยเยล และทำงานด้านอสังหาริมทรัพย์^{[ 21 ] [ 22 ] [ 23 ]}

อาคารที่ใหญ่ที่สุดของห้องสมุดแห่งนี้ คือ ห้องสมุดอนุสรณ์สเตอร์ลิง (Sterling Memorial Library) ซึ่งมีหนังสือประมาณสี่ล้านเล่มในสาขามนุษยศาสตร์ สังคมศาสตร์ ภูมิภาคศึกษา รวมถึงโครงการหนังสือสะสมพิเศษหลายโครงการ และแผนกต้นฉบับและจดหมายเหตุ ห้องสมุดดนตรีเออร์วิง เอส. กิลมอร์ (Irving S. Gilmore Music Library) ตั้งอยู่ภายในห้องสมุดสเตอร์ลิง และอาคารนี้เชื่อมต่อด้วยอุโมงค์ไปยังห้องสมุดใต้ดินบาสส์ (Bass Library)ซึ่งเป็นสถานที่จัดเก็บวัสดุที่ใช้บ่อย

ห้องสมุดหนังสือหายากและต้นฉบับ Beinecke ซึ่งเปิดทำการในปี พ.ศ. 2506 เป็นแหล่งเก็บรวบรวมหนังสือและต้นฉบับหายากและประวัติศาสตร์หลักของห้องสมุดแห่งนี้ โดยมีหนังสือประมาณ 800,000 เล่ม รวมถึงคัมภีร์ไบเบิลของกูเตนเบิร์กต้นฉบับ Voynichแผนที่Vinlandและเอกสารและต้นฉบับของนักเขียนและศิลปินสำคัญๆ โดยเฉพาะอย่างยิ่งวรรณกรรมอเมริกัน^{[ 24 ]}

ห้องสมุดกฎหมายลิเลียน โกลด์แมน ตั้งอยู่ในอาคารกฎหมายสเตอร์ลิงของคณะนิติศาสตร์เยล มีหนังสือเกี่ยวกับกฎหมายและนิติศาสตร์เกือบ 800,000 เล่ม ซึ่งรวมถึงหนังสือหายากเกี่ยวกับประวัติศาสตร์กฎหมายจำนวนมาก และยังมีหนังสือ อธิบาย ของ วิลเลียม แบล็กสโตนที่สมบูรณ์ที่สุดอีกด้วย^{[ 25 ]}

ห้องสมุดการแพทย์ฮาร์วีย์ คุชชิง/จอห์น เฮย์ วิทนีย์ซึ่งเป็นห้องสมุดการแพทย์ของมหาวิทยาลัยเยล เก็บรวบรวมผลงานทางการแพทย์ในอดีตไว้มากมาย ศูนย์ข้อมูลวิทยาศาสตร์และสังคมศาสตร์ ตั้งอยู่ในอาคารไคลน์ ไบโอติก ทาวเวอร์บนเนินวิทยาศาสตร์รวบรวมผลงานวิทยาศาสตร์และสังคมศาสตร์จากห้องสมุดวิทยาศาสตร์ไคลน์เดิม ห้องสมุดศิลปะฮาส ในอาคารรูดอล์ฟ จัดแสดง วัสดุเกี่ยวกับศิลปะและสถาปัตยกรรมหอจดหมายเหตุภาพยนตร์เยลเป็นหอจดหมายเหตุที่มีคอลเล็กชั่นฟิล์ม 35 มม. และ 16 มม. รวมถึงต้นฉบับ และภาพยนตร์ในรูปแบบบลูเรย์ ดีวีดี และวีเอชเอส

ห้องสมุดมหาวิทยาลัยเยลประกอบด้วยห้องสมุดนอกวิทยาเขตในนิวเฮเวนห้องสมุดลูอิส วอลโพลในฟาร์มิงตัน รัฐคอนเนตทิคัตเป็นห้องสมุดวิจัยสำหรับการศึกษาศตวรรษที่ 18 และเป็นแหล่งข้อมูลหลักสำหรับการศึกษาเกี่ยวกับฮอเรซ วอลโพลและสตรอว์เบอร์รี ฮิลล์ ส่วนศูนย์จัดเก็บหนังสือของห้องสมุด ซึ่งเป็นสถานที่ปิดที่มีการควบคุมอุณหภูมิ และจัด เก็บหนังสือจำนวน 4 ล้านเล่มที่เข้าถึงไม่บ่อยนัก ตั้งอยู่ในแฮมเดน รัฐคอนเนตทิคัต^{[ 26 ] [ 27 ]}