Hippolite d'Audiffret (เขียนเป็นภาษาอังกฤษว่า "Audiffred") ชาวฝรั่งเศสที่เคยอาศัยอยู่ในเม็กซิโกและมีรายงานว่าเดินเท้าจากเวราครูซ ไปยังซานฟรานซิสโก หลังจากที่จักรพรรดิมักซิมิเลียนและชาวฝรั่งเศสไม่เป็นที่นิยมในที่นั่น และได้สร้างธุรกิจขายถ่าน ที่ทำกำไรได้ ในไชน่าทาวน์อาคาร Audiffred ถูกสร้างขึ้นเพื่อเขาในปี 1889 ^{[ 2 ]}สันนิษฐานว่าเพื่อเป็นที่ตั้งของธุรกิจนี้^{[ 5 ]}พื้นที่ค้าปลีกชั้นแรกในตอนแรกให้เช่าแก่ร้านอาหารและร้านเหล้าสามแห่ง^{[ 3 ]}ในช่วงเปลี่ยนผ่านของศตวรรษที่สิบเก้าและยี่สิบ ร้านเหล้า Bulkhead เป็นหนึ่งในผู้เช่าเหล่านี้ โดยเสิร์ฟสตูว์ "Bull's Head"

ชั้นบนจนถึงปี 1905 เป็นที่ตั้งของสำนักงานสหภาพคนเดินเรือชายฝั่ง ซึ่งต่อมาคือสหภาพคนเดินเรือแห่งแปซิฟิก ซึ่งเป็นผู้บุกเบิกสหภาพคนเดินเรือสากล^{[ 2 ] [ 5 ]}ในช่วงเวลาหนึ่งก่อนสงครามโลกครั้งที่ 1 อาคารนี้ยังเป็นที่ตั้งของสหภาพแรงงานวิศวกรทางทะเล กัปตันและนักบิน และคนงานตอกเสาเข็ม และในช่วงเวลาสั้นๆ สหภาพแรงงาน อุตสาหกรรมแห่งโลก^{[ 3 ]}

ในการพยายามหยุดยั้งไฟไหม้ที่เกิดขึ้นหลังเหตุการณ์แผ่นดินไหวในปี 1906กรมดับเพลิงซานฟรานซิสโกเกือบทำลายอาคารหลังนี้พร้อมกับอาคารโดยรอบทั้งหมด อาคารออดิฟเฟรดรอดพ้นมาได้เมื่อบาร์เทนเดอร์ของร้านบัลค์เฮด ซึ่งเป็นร้านเหล้าที่ตั้งอยู่ในอาคารหลังนั้น ได้ติดสินบนเจ้าหน้าที่ดับเพลิงด้วยการเสนอวิสกี้คนละสองควอร์ตและรถดับเพลิงที่เต็มไปด้วยขวดไวน์^{[ 2 ] [ 3 ]}

อาคาร Audiffred ทำหน้าที่เป็นสำนักงานใหญ่สำหรับการนัดหยุดงาน City Frontในปี 1901 ^{[ 3 ]}และอีกครั้งในช่วงการนัดหยุดงานท่าเรือซานฟรานซิสโกในปี 1934คณะกรรมการนัดหยุดงานมีสำนักงานใหญ่อยู่ที่นั่น^{[ 6 ]}ในวันพฤหัสบดีนองเลือด ลูกเรือ Howard Sperry และ Nick Bordoise ถูกตำรวจยิงเสียชีวิตด้านนอก ซึ่งมีอนุสรณ์สถานตั้งอยู่ฝั่งตรงข้ามถนนเพื่อรำลึกถึงเหตุการณ์นี้^{[ 2 ] [ 3 ]}

ในปี ค.ศ. 1928 หนึ่งในสาขาแรกๆ ของธนาคารแห่งอิตาลีซึ่งเป็นต้นกำเนิดของธนาคารแห่งอเมริกาได้ย้ายเข้ามาอยู่ในส่วนหนึ่งของชั้นหนึ่ง และภาพแกะสลักรูปเรือเดินทะเลก็ได้รับการว่าจ้างให้สร้างขึ้นสำหรับธนาคารแห่งนี้

เมื่อพื้นที่ริมน้ำของซานฟรานซิสโกเสื่อมโทรมลงในช่วงกลางศตวรรษที่ 20 สโมสรเซเว่นซีส์สำหรับกะลาสีเรือไร้บ้านจึงย้ายเข้ามาอยู่ในอาคารในปี พ.ศ. 2489 ^{[ 3 ]}และศิลปินและนักเขียนแนวโบฮีเมียน รวมถึงเอลเมอร์ บิ สชอฟฟ์ , โฮเวิร์ด แฮ็ค , แฟรงค์ ล็อบเดลล์ , แฮสเซล สมิธ , มาร์ติน สนิปเปอร์ และลอว์เรนซ์ เฟอร์ลิงเกตตีได้เข้ามาใช้ห้องใต้หลังคาและสตูดิโอในสองชั้นบนสุด ซึ่งไม่มีไฟฟ้า^{[ 7 ]}จนกระทั่งถูกประกาศว่าไม่ปลอดภัยในปี พ.ศ. 2498 ^{[ 3 ]}เฟอร์ลิงเกตตีบอกกับเดอะปารีสรีวิว (ฉบับที่ 228 ฤดูใบไม้ผลิ พ.ศ. 2562 หน้า 179) ว่าเขาจ่ายค่าเช่าเดือนละ 29 ดอลลาร์สำหรับสตูดิโอของเขาที่นี่ ซึ่งเป็นที่ที่เขาวาดภาพขนาดใหญ่ภาพแรกๆ ของเขา แหล่งความร้อนเพียงอย่างเดียวมาจากเตาผิงในมุมหนึ่ง และศิลปินที่นั่นสามารถทำงานได้เฉพาะในเวลากลางวันเท่านั้นเนื่องจากไม่มีไฟฟ้า

ในปี พ.ศ. 2521 เกิดเหตุเพลิงไหม้จากแก๊สทำให้ตัวอาคารเสียหายอย่างหนัก และอาคารดังกล่าวเกือบถูกรื้อถอน แต่ได้รับการช่วยเหลือไว้ได้เนื่องจากความต้องการของประชาชน และได้รับการขึ้นทะเบียนเป็นสถานที่ทางประวัติศาสตร์แห่งชาติในปี พ.ศ. 2522 ^{[ 5 ] [ 8 ]}และได้รับการกำหนดให้เป็นสถานที่สำคัญทางประวัติศาสตร์หมายเลข 7 ของเมืองซานฟรานซิสโก ในปี พ.ศ. 2511 ^{[ 3 ] [ 9 ]}

มีการเพิ่มเพนต์เฮาส์ทรงโดมในการบูรณะหลังเกิดเพลิงไหม้^{[ 4 ]}ต่อมาอาคารนี้ถูกซื้อโดยนักพัฒนาอสังหาริมทรัพย์ Dusan Mills และในปี 1983–1984 ได้รับการปรับปรุงและดัดแปลงเป็นพื้นที่สำนักงาน^{[ 10 ] [ 11 ]}โดย William E. Cullen ^{[ 12 ]}

ตั้งแต่ปี 1993 อาคาร Audiffred เป็นที่ตั้งของร้านอาหารBoulevard ^{[ 2 ] [ 13 ] [ 14 ] [ 15 ] [ 16 ]}