บริษัท Adams Express ครอบครองส่วนหนึ่งของอาคาร Pinkerton ที่เลขที่ 57–59 ถนนบรอดเวย์ ในปี พ.ศ. 2446 มีการหารือเกี่ยวกับการรวมอาคารเลขที่ 57–61 ถนนบรอดเวย์ เข้ากับที่ดินติดกันซึ่งเป็นที่ตั้งของAmerican ExpressและWells Fargoและสร้างอาคารขนาดใหญ่หนึ่งหลังสำหรับทั้งสามบริษัท^{[ 8 ]}แต่เรื่องนี้ไม่ได้เกิดขึ้น และอาคารติดกันของ American Express ที่ เลขที่ 65 ถนนบรอดเวย์ก็สร้างเสร็จในปี พ.ศ. 2460 ^{[ 9 ]}

เหตุเพลิงไหม้ในปี 1904 ที่เริ่มต้นในห้องใต้ดินของอาคารมอร์ริสที่เลขที่ 63 บรอดเวย์ ได้สร้างความเสียหายให้กับอาคารพิงเคอร์ตันและอาคารอื่นๆ ในบล็อกนั้น รถดับเพลิง 24 คันและรถกระเช้าดับเพลิง 6 คันได้เข้าระงับเหตุ^{[ 10 ]}กรมดับเพลิงแห่งนิวยอร์กบันทึกว่าอาคารของบริษัทอดัมส์เอ็กซ์เพรสถูกทำลาย^{[ 11 ]}แต่บริษัทอดัมส์เอ็กซ์เพรสยังคงดำเนินกิจการต่อไป ณ ที่แห่งนั้น ในปี 1906 บริษัทอดัมส์เอ็กซ์เพรสได้วางแผนที่จะสร้างอาคารกันไฟแห่งใหม่บนพื้นที่ของอาคารพิงเคอร์ตัน^{[ 12 ]}

ในปี พ.ศ. 2453 นิตยสาร Industrial Worldรายงานว่า Adams Express กำลังดำเนินการก่อสร้างอาคารอิฐและหินปูน 10 ชั้น ซึ่งออกแบบโดยGeorge K. Hooperจากบริษัท Hooper-Faulkenau Engineering Company ^{[ 4 ]}ต่อมาในปี พ.ศ. 2454 Adams Express ก็ได้ซื้ออาคาร Pinkerton ในที่สุด^{[ 13 ]}แม้ว่าแผนของ Hooper จะกลมกลืนกับอาคารที่มีอยู่แล้วในย่านการเงินซึ่งในปี พ.ศ. 2455 อาคารเกือบครึ่งหนึ่งมีความสูงห้าชั้นหรือต่ำกว่า^{[ 2 ]}แต่แบบของ Hooper ก็ไม่เคยถูกสร้างขึ้น เนื่องจากเห็นได้ชัดว่ามีขนาดเล็กเกินไป ในทางกลับกัน ในปี พ.ศ. 2455 Francis Kimball ได้รับการว่าจ้างให้สร้างอาคารสูง 32 ชั้น^{[ 14 ]}

เมื่อเริ่มก่อสร้างในปี 1912 ตามแบบของคิมบอลล์หนังสือพิมพ์นิวยอร์กไทมส์และต่อมานักวางผังเมืองต่างกังวลเกี่ยวกับแสงแดดและพื้นที่ว่างเหนือศีรษะ^{[ 4 ]} อาคารอดัมส์เอ็กซ์เพรสเป็นหนึ่งในอาคารขนาดใหญ่จำนวนมากที่กำลังเพิ่มจำนวนขึ้น โดยเฉพาะอย่างยิ่ง อาคารอีควิ เทเบิล ที่กำลังก่อสร้างในขณะนั้น[ ^{15 ] ซึ่งทอดเงาไม่เพียงแต่บนถนนเท่านั้น แต่ ยัง}รวมถึงอาคารขนาดเล็กที่อยู่ใกล้เคียงและทำให้มูลค่าอสังหาริมทรัพย์ ค่าเช่า และรายได้จากภาษีลดลงเอฟดับบลิว ฟิตซ์แพทริกบ่นว่าอาคารอดัมส์เอ็กซ์เพรสทอดเงายาวถึง 875 ฟุต^{[ 16 ]}มติการแบ่งเขตในปี 1916ได้กำหนดวิธีแก้ไขในรูปแบบของการเว้นระยะโดยอาคารใหม่จะต้องเว้นระยะออกไปในระดับความสูงที่กำหนดขึ้นอยู่กับความกว้างที่ถนน ข้อจำกัดดังกล่าวจะใช้กับพื้นที่ 75% ของพื้นที่ทั้งหมดของอาคาร แต่การก่อสร้างอาคารอดัมส์เอ็กซ์เพรสเกิดขึ้นก่อนที่ข้อจำกัดการแบ่งเขตใหม่จะถูกนำมาใช้

อาคารได้รับความเสียหายอย่างหนักในปี พ.ศ. 2459 เมื่อหน้าต่าง 300 บานถูกแรงระเบิดของแบล็กทอมทำลาย^{[ 4 ​​]}

เมื่อ บริษัทประกันชีวิตเมโทรโพลิทันซื้ออาคารนี้ในปี 1988 วิศวกรคนหนึ่งได้ค้นพบปลาทองที่อาศัยอยู่ในสระน้ำใต้ระบบทำความร้อนในชั้นใต้ดิน ตั้งแต่นั้นมา วิศวกรของอาคารก็ได้ให้อาหารปลาเป็นส่วนหนึ่งของการบำรุงรักษาตามปกติ^{[ 4 ]}ระหว่างปี 2008 ถึง 2015 อาคารนี้ได้รับการปรับปรุงใหม่มูลค่ากว่า 13 ล้านดอลลาร์^{[ 17 ]}

RXR Realtyซื้ออาคาร Adams Express จาก Broad Street Development ในราคา 330 ล้านดอลลาร์ในเดือนพฤษภาคม 2014 ^{[ 18 ] [ 19 ]} RXR ประกาศขายอาคารในเดือนกันยายน 2015 โดยตั้งราคาขายไว้ที่ 450 ล้านดอลลาร์^{[ 20 ] [ 21 ]}และตกลงขายหุ้น 49 เปอร์เซ็นต์ในทรัพย์สินดังกล่าวในเดือนธันวาคมปีเดียวกันในราคาประมาณ 220 ล้านดอลลาร์^{[ 17 ] [ 22 ]}ในปีถัดมา RXR ได้รับเงินกู้ 290 ล้านดอลลาร์จากSL GreenและBank of China [ ^{23 ] RXR}พิจารณาที่จะเปลี่ยน 61 Broadway เป็นอพาร์ตเมนต์ในเดือนกุมภาพันธ์ 2023 ท่ามกลางอัตราการว่างงานที่เพิ่มขึ้นเนื่องจากการระบาดของ COVID-19 ^{[ 24 ] [ 25 ]} RXR สละการควบคุม 61 Broadway ในเดือนพฤษภาคมปีเดียวกัน หลังจากผิดนัดชำระหนี้ 240 ล้านดอลลาร์^{[ 26 ] [ 27 ]}และส่งมอบอาคารคืนให้กับผู้ให้กู้คือAareal Bank ^{[ 27 ]}เงินกู้ถูกนำออกขายในเดือนกันยายน พ.ศ. 2566 เมื่ออาคารมีอัตราการเข้าพัก 57 เปอร์เซ็นต์^{[ 25 ]} RXR ประกาศแผนในปี พ.ศ. 2568 ที่จะเปลี่ยนชั้น 9 ให้เป็นอพาร์ตเมนต์ 21 ห้อง^{[ 28 ] [ 29 ]}ภายในเดือนกุมภาพันธ์ปีถัดมา RXR วางแผนที่จะเปลี่ยนอาคาร 61 Broadway ทั้งหมดให้เป็นอพาร์ตเมนต์^{[ 30 ]}โดยได้รับเงินทุนเกือบ 500 ล้านดอลลาร์สหรัฐสำหรับโครงการนี้^{[ 31 ] [ 32 ]}