Real estate prices increased considerably after the Civil War, and some houses on the square were converted to office space or rental properties. After the war, Gunnell's house was demolished and replaced with the Freedman's Savings Bank, a private corporation established in 1865 by Congress for millions of recently emancipatedenslaved people and previously emancipated freedmen to deposit their savings.^[1][3]

Until the building was completed in 1869, the bank's temporary headquarters was located at 19th Street and Pennsylvania Avenue NW. The new building across from the White House and Treasury Building was built for $260,000 and designed by architects Norris Garshom Starkweather and Thomas M. Plowman. It was an elaborately decorated headquarters, with Frederick Douglass describing it as "one of the most costly and splendid buildings of the time."^[3] The bank was initially successful, with around 100,000 African Americans using its services.^[4]

Land just east of the square facing Pennsylvania Avenue had already become a popular location for financial institutions, owing to the fact the Treasury Building stood across the street. A Second Bank of the United States branch and adjacent cashier's house built on the northwest corner of 15th Street and Pennsylvania Avenue were later demolished and replaced with the Riggs National Bank and American Security and Trust Company Building.^[1]

การผสมผสานระหว่างการบริหารจัดการที่ผิดพลาดและการฉ้อโกง ประกอบกับวิกฤตเศรษฐกิจปี 1873ส่งผลให้ธนาคารออมทรัพย์ฟรีดแมน ซึ่งมีสาขา 37 แห่งในวอชิงตัน ดี.ซี. และอีก 17 รัฐ ล้มเหลว ^{[ 5 ] [ 6 ]}เมื่อรัฐสภาสั่งปิดธนาคารในเดือนมิถุนายน ปี 1874 ชาวแอฟริกันอเมริกันและสถาบันที่ชาวแอฟริกันอเมริกันเป็นเจ้าของจำนวน 61,114 ราย สูญเสียเงินออมไป รวมเป็นเงินประมาณ 3 ล้านดอลลาร์ ซึ่งเทียบเท่ากับกว่า 75 ล้านดอลลาร์ในปี 2022 ^{[ 6 ] [ 7 ] [ 8 ]}ส่งผลให้ชาวแอฟริกันอเมริกันบางส่วนไม่ไว้วางใจธนาคารและสถาบันของรัฐบาลอย่างมาก ซึ่งคงอยู่มาหลายชั่วอายุคน ดับเบิลยู.บี. ดูบอยส์ถึงกับกล่าวว่าความล้มเหลวของธนาคารสร้างความเสียหายแก่ชาวแอฟริกันอเมริกันมากกว่าการเป็นทาสอีกสิบปีจอห์น เมอร์เซอร์ แลงสตันตั้งข้อสังเกตว่า "บางทีความล้มเหลวของสถาบันใดๆ ในประเทศ...อาจไม่เคยสร้างความผิดหวังและผลลัพธ์ที่เลวร้ายยิ่งกว่านี้แก่ผู้ที่สนใจในการก่อตั้งสถาบันนั้นเลย" ^{[ 6 ] [ 9 ] [ 10 ]}

ในสหรัฐอเมริกายังไม่มีระบบประกันเงินฝาก ดังนั้นลูกค้าของธนาคารเพียงประมาณครึ่งหนึ่งเท่านั้นที่จะได้รับเงินคืนบางส่วนจากเงินที่สูญเสียไป ซึ่งมักใช้เวลานานหลายสิบปี ^{[ 11 ] [ 12 ]}อาคารธนาคารว่างเปล่าจนกระทั่งรัฐบาลกลางซื้อไปในปี 1882 และใช้เป็นพื้นที่สำนักงานสำหรับกระทรวงยุติธรรมและศาลเรียกร้องค่าเสียหายอาคารถูกรื้อถอนในปี 1899 และที่ดินว่างเปล่าเป็นเวลาเกือบ 20 ปี^{[ 1 ] [ 6 ]}

ในปี ค.ศ. 1902 แผนแมคมิลแลนถูกสร้างขึ้นเพื่อเปลี่ยนแปลงการออกแบบและผังของศูนย์กลางอนุสรณ์สถานและระบบสวนสาธารณะในวอชิงตัน ดี.ซี. แผนดังกล่าวรวมถึงการเปลี่ยนแปลงครั้งใหญ่ในจัตุรัสลาฟาแยต โดยอาคารที่พักอาศัยทั้งหมดจะถูกรื้อถอนและแทนที่ด้วยอาคารหินอ่อนสีขาวขนาดใหญ่ที่จะเป็นที่ตั้งของสำนักงานรัฐบาลกลาง การออกแบบจัตุรัสลาฟาแยตได้รับแรงบันดาลใจจากจัตุรัสเวนโดมในปารีส^{[ 1 ]}

ในขณะนั้น การออกแบบนี้ได้รับการยอมรับจากคนส่วนใหญ่เป็นอย่างดี อย่างไรก็ตาม นักออกแบบผังเมืองElbert Peetsได้ตั้งข้อสังเกตในภายหลังว่า "ในแง่ของการออกแบบอย่างเดียว เป็นเรื่องที่น่าเสียดายอย่างยิ่งที่ขนาดและบรรยากาศของที่อยู่อาศัยในจัตุรัสลาฟาแยตไม่สามารถคงไว้เพื่อเชื่อมต่อทำเนียบขาวกับเขตที่อยู่อาศัยของเมืองได้ ดูเหมือนว่าจะเป็นทำเลที่เหมาะสมสำหรับทำเนียบขาวที่ไม่เป็นทางการเหล่านั้น ซึ่งเป็นสำนักงานใหญ่ระดับชาติของสโมสรและสมาคมต่างๆ ซึ่งล้วนสร้างด้วยอิฐสีแดง เพื่อรักษาความโดดเด่นของขนาดและสีให้กับทำเนียบขาว" ^{[ 1 ]}

แม้ว่าบางส่วนของแผนแมคมิลแลนจะถูกนำไปใช้ในส่วนอื่นๆ ของเมือง แต่การเปลี่ยนแปลงในจัตุรัสลาฟาแยตไม่ได้เกิดขึ้นจนกระทั่งสงครามโลกครั้งที่ 1กระทรวงการคลังต้องการพื้นที่สำนักงานเพิ่มเติม และมีการวางแผนที่จะก่อสร้างอาคารส่วนต่อขยายของกระทรวงการคลังบนพื้นที่เดิมของธนาคารฟรีดแมน แผนดังกล่าวระบุว่าเฟสแรกของอาคารส่วนต่อขยายจะถูกสร้างขึ้นที่มุมของถนนเมดิสันเพลสและถนนเพนซิลเวเนีย โดยส่วนที่เหลือจะขยายไปตามถนนเมดิสันเพลสไปจนถึงถนนเอช^{[ 1 ] [ 13 ]}อาคารได้รับการออกแบบให้สามารถขยายได้ในภายหลัง^{[ 14 ]}

เมื่อวันที่ 27 กันยายน พ.ศ. 2460 พระราชบัญญัติของรัฐสภาได้จัดสรรงบประมาณสำหรับการก่อสร้างอาคารและอนุญาตให้รัฐมนตรีว่าการกระทรวงการคลัง "จัดหาบริการด้านสถาปัตยกรรมและผู้เชี่ยวชาญพิเศษ" ^{[ 14 ] [ 15 ]}งบประมาณที่จัดสรรสำหรับอาคารใหม่ พร้อมกับอุโมงค์ใต้ถนนเพนซิลเวเนียที่เชื่อมต่อกับอาคารกระทรวงการคลัง มีมูลค่า 1,250,000 ดอลลาร์^{[ 15 ]}มีแรงกดดันอย่างมากในการออกแบบอาคารให้คู่ควรกับทำเลที่ตั้งอยู่ตรงข้ามกับอาคารกระทรวงการคลัง วุฒิสมาชิกแฟรงค์ บี. แบรนเดจีกล่าวว่า หากอาคารใหม่ "ไม่มีการตกแต่งทางศิลปะเลย" มันจะเป็น "หายนะสาธารณะ" เนื่องจากมันจะตั้งอยู่ตรงข้ามกับ "ตัวอย่างที่ดีที่สุดของศิลปะกรีกบริสุทธิ์" ^{[ 14 ]}

สถาปนิกที่ได้รับเลือกให้ออกแบบอาคารส่วนต่อขยายของกระทรวงการคลังคือCass Gilbert (1859–1934) ซึ่งเป็นเพื่อนของWilliam Gibbs McAdooรัฐมนตรี ว่าการกระทรวงการคลัง ^{[ 16 ]}การเลือก Gilbert ได้รับการยกย่องจากสถาบันสถาปนิกแห่งอเมริกา (AIA) ^{[ 14 ]}หลังจากปรึกษากับคณะกรรมการวิจิตรศิลป์แห่งสหรัฐอเมริกาแล้ว การออกแบบขั้นสุดท้ายสำหรับ อาคาร สไตล์โบซ์-อาร์ตส์ประกอบด้วยข้อกำหนดหลายประการ ได้แก่ ระยะห่าง 10 ฟุต (3 เมตร) จากแนวเขตที่ดินที่หันหน้าไปทางถนนเพนซิลเวเนีย พื้นที่สำนักงาน 100,000 ตารางฟุต (9,290 ตารางเมตร) และความสูงไม่เกิน 85 ฟุต (25.9 เมตร) ^{[ 13 ] [ 15 ] [ 17 ]}แผนดังกล่าวถูกส่งไปยังกระทรวงการคลังเมื่อวันที่ 14 มกราคม 1918 และได้รับการอนุมัติในอีกสี่วันต่อมา^{[ 15 ]}การก่อสร้างเริ่มขึ้นในเดือนเมษายนของปีเดียวกันนั้น และอาคารก็สร้างเสร็จในเดือนเมษายน พ.ศ. 2462 ^{[ 13 ]}

อาคารกระทรวงการคลังเป็นหนึ่งในสองส่วนประกอบของแผนแมคมิลแลนที่สร้างเสร็จในพื้นที่จัตุรัสลาฟาแยต อีกส่วนหนึ่งคืออาคารหอการค้าสหรัฐฯซึ่งออกแบบโดยแคสเช่นกัน และสร้างขึ้นในปี 1925 ทางด้านทิศเหนือของถนนเอช ตรงข้ามกับบ้านเดเคเตอร์เช่นเดียวกับอาคารกระทรวงการคลัง อาคารหอการค้าได้รับการออกแบบในสไตล์โบซ์-อาร์ต หอการค้าสร้างสำนักงานใหญ่ที่นั่น โดยคิดว่าส่วนที่เหลือของจัตุรัสลาฟาแยตจะได้รับการพัฒนาใหม่^{[ 18 ]}

การขยายอาคาร Treasury Annex ไปยังถนน H ยังคงถูกวางแผนไว้จนถึงช่วงทศวรรษ 1930 เมื่อรัฐบาลกลางเริ่มก่อสร้าง อาคารสำนักงาน Federal Triangle ขนาดใหญ่ ทางตะวันออกเฉียงใต้ของทำเนียบขาว รัฐบาลกลางซื้ออาคารทั้งหมดที่หันหน้าไปทางจัตุรัส Lafayette หลังสงครามโลกครั้งที่สองซึ่งบางส่วนเป็นอาคารพาณิชย์ที่สร้างขึ้นแทนบ้านเรือนสำนักงานบริหารบริการทั่วไปต้องการรื้อถอนอาคารเหล่านี้ทั้งหมด ยกเว้น Treasury Annex และสร้างศาลใหม่บนถนน Madison Place และอาคารสำนักงานบริหารบนถนนJackson Place แทนข้อเสนอดังกล่าวถูกวิพากษ์วิจารณ์โดย AIA และคณะกรรมการ 100 แห่ง Federal Cityซึ่งเป็นองค์กรเอกชนไม่แสวงหาผลกำไรที่สนับสนุนให้คำนึงถึงการอนุรักษ์อาคารประวัติศาสตร์ในการวางแผนเมือง^{[ 1 ]}

ในช่วงทศวรรษ 1950 การอนุรักษ์อาคารประวัติศาสตร์กลายเป็นแนวคิดที่ได้รับความนิยมมากขึ้นในหมู่คนท้องถิ่น และด้วยความช่วยเหลือจากนักกิจกรรมในท้องถิ่นและคณะกรรมการ 100 แผนการพัฒนาใหม่จึงถูกชะลอออกไป ในช่วงที่จอห์น เอฟ. เคนเนดี ดำรงตำแหน่งประธานาธิบดี เขาและสุภาพสตรีหมายเลขหนึ่งแจ็กเกอลีน เคนเนดีเห็นอกเห็นใจในการอนุรักษ์อาคารประวัติศาสตร์ที่เหลืออยู่บนจัตุรัสลาฟาแยต ด้วยความช่วยเหลือของสถาปนิกจอห์น คาร์ล วอร์เน็ ค แผนการอนุรักษ์อาคารที่เหลืออยู่จึงถูกสร้างขึ้น อาคารที่สร้างขึ้นใหม่กว่าถูกรื้อถอนและแทนที่ด้วยอาคารที่คล้ายกับบ้านประวัติศาสตร์ที่ยังคงอยู่อาคารสำนักงานบริหารแห่งใหม่ถูกสร้างขึ้นด้านหลังที่ดินที่หันหน้าไปทางแจ็กสันเพลส และอาคารศาลแห่งชาติโฮเวิร์ด ที. มาร์คีย์ถูกสร้างขึ้นด้านหลังที่ดินที่หันหน้าไปทางเมดิสันเพลส ติดกับอาคารกระทรวงการคลัง ตั้งแต่นั้นมา แนวคิดเดียวกันนี้ได้ถูกนำไปใช้ซ้ำในงานออกแบบมากมายในวอชิงตัน ดี.ซี. เพื่ออนุรักษ์อาคารประวัติศาสตร์หลายแห่ง^{[ 1 ] [ 19 ]}

เมื่อวันที่ 8 พฤศจิกายน พ.ศ. 2507 อาคาร Treasury Annex ได้ถูกเพิ่มเข้าไปในบัญชีรายชื่อสถานที่ทางประวัติศาสตร์ของเขตปกครองโคลัมเบียที่เพิ่งจัดตั้งขึ้นใหม่^{[ 20 ]}เมื่อวันที่ 29 สิงหาคม พ.ศ. 2513 อาคารนี้ได้รับการกำหนดให้เป็นทรัพย์สินที่มีส่วนร่วมในเขตประวัติศาสตร์ Lafayette Squareซึ่งเป็นสถานที่สำคัญทางประวัติศาสตร์แห่งชาติอาคารที่โดดเด่นอื่นๆ ในเขตประวัติศาสตร์นี้ ได้แก่อาคาร Eisenhower Executive Office Building , Blair House , โรงแรม Hay–Adams , Renwick Galleryและโบสถ์ St. John's Episcopal Church [ ^{20 ] [ 21 ] เมื่อ}เขตประวัติศาสตร์การเงิน Fifteenth Street ได้รับการเพิ่มเข้าไปในทะเบียนสถานที่ทางประวัติศาสตร์แห่งชาติในปี พ.ศ. 2549 อาคาร Treasury Annex ก็ถูกตัดออกไป ต่อมาขอบเขตของเขตประวัติศาสตร์นี้ได้ถูกขยายออกไปเมื่อวันที่ 12 มกราคม พ.ศ. 2560 และอาคาร Annex ได้รับการกำหนดให้เป็นทรัพย์สินที่มีส่วนร่วมในเขตประวัติศาสตร์การเงินที่ เปลี่ยนชื่อใหม่ ^{[ 22 ] [ 23 ]}

เพื่อเป็นการเฉลิมฉลองครบรอบ 150 ปีของการก่อตั้งธนาคารออมทรัพย์ฟรีดแมน เจ้าหน้าที่จากธนาคารกลางสหรัฐสาขาคลีฟแลนด์ได้จัดงานเสวนาหลายครั้งในปี 2558 ^{[ 5 ]}จอห์น โฮป ไบรอันท์จากOperation HOPE, Inc.ได้ขอให้เจ้าหน้าที่กระทรวงการคลังเปลี่ยนชื่ออาคาร Treasury Annex เพื่อเป็นการระลึกถึงความสำคัญทางประวัติศาสตร์ของสถานที่แห่งนี้ที่มีต่อชาวแอฟริกันอเมริกัน^{[ 24 ]} ในเดือนธันวาคมนั้น แจ็ค ลิวรัฐมนตรีว่าการกระทรวงการคลังได้ประกาศว่าอาคารดังกล่าวจะได้รับการเปลี่ยนชื่อในเดือนถัดไปว่า "การตั้งชื่ออาคารธนาคารฟรีดแมนเป็นการระลึกถึงสถาบันที่เป็นสัญลักษณ์ของอนาคตใหม่สำหรับชาวแอฟริกันอเมริกัน มรดกของธนาคารฟรีดแมนยังเป็นเครื่องเตือนใจว่าเราต้องมุ่งมั่นต่อไปเพื่อการเข้าถึงบริการทางการเงินที่มากขึ้นสำหรับชาวอเมริกันทุกคน โดยเฉพาะอย่างยิ่งผู้ที่อยู่ในชุมชนที่ด้อยโอกาสและชนกลุ่มน้อย เพื่อให้พวกเขาสามารถได้รับประโยชน์จากเศรษฐกิจที่กำลังเติบโตของเรา" ^{[ 25 ]}

พิธีเปลี่ยนชื่อเกิดขึ้นเมื่อวันที่ 7 มกราคม 2016 โดยมีการติดแผ่นป้ายที่ระลึกไว้ที่ด้านนอกอาคาร พิธีดังกล่าวมีการกล่าวสุนทรพจน์จากรัฐมนตรี Lew นักเคลื่อนไหวเพื่อสิทธิพลเมืองและนักการเมืองAndrew Youngและนักธุรกิจ Alden J. McDonald Jr. ประธานธนาคาร Liberty Bank and Trust Young กล่าวว่า: "ประวัติศาสตร์ของธนาคาร Freedman's Bank เป็นส่วนสำคัญของมรดกทางเศรษฐกิจของเรา เมื่อเรามองย้อนกลับไปในประวัติศาสตร์ของการรวมกลุ่มของชาวแอฟริกันอเมริกันเข้าสู่อเมริกา สิ่งที่ยากที่สุดสำหรับเราคือการยกเลิกการแบ่งแยกทางการเงิน การยกเลิกการแบ่งแยก การได้รับสิทธิในการออกเสียงในระบอบประชาธิปไตย และการไม่สามารถเข้าถึงเงินทุนได้นั้น เท่ากับว่าเรามีอิสรภาพเพียงครึ่งเดียว และเราก็รู้เรื่องนี้มาโดยตลอด" ^{[ 4 ]}