บริเวณที่ตั้งของเพ็บเบิลฮิลล์เคยอยู่ในดินแดนของชนเผ่าครีก ชนเผ่าครีกได้ลงนามในสนธิสัญญาคัสเซตา หรือสนธิสัญญาแห่งวอชิงตัน เมื่อวันที่ 24 มีนาคม ค.ศ. 1832 สนธิสัญญานี้กำหนดให้ชนเผ่าครีกต้องสละที่ดินส่วนหนึ่งในรัฐอะลาบามาเพื่อแลกกับที่ดินจัดสรร โดยจัดสรรให้ 320 เอเคอร์สำหรับครอบครัว และ 640 เอเคอร์สำหรับหัวหน้าเผ่า^{[ 2 ]}แม้ว่าสนธิสัญญาจะให้คำมั่นว่าจะรักษาสิทธิ์ในการเป็นเจ้าของที่ดินของชนเผ่าครีก แต่ช่องโหว่หลายประการทำให้เกิดการฉ้อโกงและความรุนแรงต่อชนเผ่าครีก ชนเผ่าครีกต่อสู้ดิ้นรนเพื่อครอบครองที่ดินของตน และในปี ค.ศ. 1836 สหรัฐอเมริกาได้ระงับสนธิสัญญาคัสเซตาเนื่องจากความรุนแรงที่เกิดขึ้นอย่างต่อเนื่อง ที่ดินที่เพ็บเบิลฮิลล์ตั้งอยู่เคยเป็นของเนโลคโค ฮาร์โจ ชาวพื้นเมืองของชนเผ่าครีก ต่อมา แพดดี้ คาร์ ผู้แปลของชนเผ่าครีกได้รับที่ดินจัดสรร^{[ 3 ]}

ในช่วงทศวรรษ 1830 พันเอกนาธาเนียล เจ. สก็อตต์ และแมรี เค. สก็อตต์ ได้อพยพไปยังอลาบามาตะวันออกพร้อมกับกลุ่มผู้ตั้งถิ่นฐาน สก็อตต์ได้รับการยกย่องว่ามีส่วนช่วยในการพัฒนาเมืองออเบิร์น รัฐอลาบามา ในช่วงเริ่มต้นของการเติบโต นาธาเนียล สก็อตต์ ยังดำรงตำแหน่งกรรมการเมืองออเบิร์นในปี 1839 อีกด้วย ประมาณปี 1846 ที่ดินประมาณ 100 เอเคอร์ ซึ่งเป็นที่ตั้งของเพ็บเบิลฮิลล์ ถูกขายไปในราคา 800 ดอลลาร์^{[ 3 ]}สก็อตต์สร้างเพ็บเบิลฮิลล์ในปี 1847 ใจกลางพื้นที่เพาะปลูก 100 เอเคอร์ (0.40 ^{ตาราง}กิโลเมตร)โครงสร้างถูกสร้างขึ้นใน สไตล์ กรีกฟื้นฟูโดยมีพื้นและคานที่ทำจากไม้สนเนื้อแข็งที่แกะสลักด้วยมือ และยึดเข้าด้วยกันด้วยหมุดไม้ 

การบำรุงรักษาและการดูแลส่วนใหญ่ของเพบเบิลฮิลล์มาจากทาสชาวแอฟริกันอเมริกัน ตระกูลสกอตต์มีทาสประมาณ 40-60 คนก่อนสิ้นสุดสงครามกลางเมือง หลังจากสงครามกลางเมือง ชาวแอฟริกันอเมริกันที่ได้รับการปลดปล่อยอาศัยอยู่ทางใต้ของเพบเบิลฮิลล์^{[ 3 ]}

ในช่วงสงครามกลางเมืองกลุ่มโจรของวิลสัน ได้เข้าปล้นบ้านหลังนี้ แต่พวกโจรไม่สามารถหาของมีค่าได้มากนัก เนื่องจากสิ่งของเหล่านั้นถูกฝังไว้ใกล้บ่อน้ำในบริเวณบ้าน เมื่อสงครามกลางเมืองสิ้นสุดลง แมรี เค. สก็อตต์ ได้ขายเพ็บเบิลฮิลล์ไป

เจ้าของที่ไม่ได้อาศัยอยู่ในพื้นที่ได้บริหารจัดการเพ็บเบิลฮิลล์จนกระทั่งแมรี เวอร์จิเนีย ไรลีย์ซื้อที่ดินในปี พ.ศ. 2419 เธอเป็นแม่ม่ายเมื่อเธอได้ครอบครองเพ็บเบิลฮิลล์ และมีบันทึกน้อยมากเกี่ยวกับวิธีที่เธอใช้ที่ดิน ไรลีย์อาศัยอยู่ที่เพ็บเบิลฮิลล์จนกระทั่งเสียชีวิตในปี พ.ศ. 2450 ^{[ 3 ]}

ในปี พ.ศ. 2455 บ้านหลังนี้ถูกซื้อโดยCecil S. Yarbroughผู้แทนรัฐ และ นายกเทศมนตรี เมืองออเบิร์น สามสมัยBertha Mae Yarbrough ภรรยาของเขา เกิดและเติบโตในเมืองออเบิร์น รัฐอลาบามา Bertha Mae ยังเพิ่งจบการศึกษาจากสถาบันโพลีเทคนิคแห่งอลาบามา (มหาวิทยาลัยออเบิร์น) ทั้งคู่มีบุตรด้วยกันทั้งหมดห้าคน Pebble Hill ยังคงอยู่ในครอบครัว Yarbrough จนกระทั่ง Clarke S. Yarbrough หนึ่งในบุตรของเขาขายทรัพย์สินนี้ในปี พ.ศ. 2517 ^{[ 4 ]}

ตลอดระยะเวลา 70 ปีที่ครอบครัว Yarbrough เป็นเจ้าของ พวกเขาได้ให้เช่าส่วนต่างๆ ของบ้านแก่นักศึกษา ขนาดของที่ดินจะลดลงเรื่อยๆ เมื่อเวลาผ่านไป Pebble Hill มีพื้นที่ 95 เอเคอร์เมื่อเริ่มที่ครอบครัวเป็นเจ้าของ เมื่อประชากรของ Auburn เพิ่มขึ้น ที่ดินบางส่วนของ Pebble Hill ก็ถูกขายเพื่อการพัฒนาเชิงพาณิชย์ เมื่อที่ดินถูกขายในปี 1974 อพาร์ตเมนต์และบ้านเรือนก็ล้อมรอบ Pebble Hill ^{[ 3 ]}

สมาคมมรดกออเบิร์นซื้อเพ็บเบิลฮิลล์จากตระกูลยาร์โบรอห์เพื่อบูรณะในปี 1974 ^{[ 5 ]}ทรัพย์สินนี้ได้รับการขึ้นทะเบียนเป็นสถานที่ทางประวัติศาสตร์แห่งชาติเมื่อวันที่ 16 พฤษภาคม 1975 ^{[ 1 ]}หลังจากช่วงเวลาการบูรณะ เพ็บเบิลฮิลล์ได้ถูกบริจาคให้กับมหาวิทยาลัยออเบิร์นในปี 1985 ในช่วงกลางทศวรรษ 2010 เพ็บเบิลฮิลล์ได้รับการปรับปรุงเพิ่มเติมเนื่องจากการบริจาคเพื่อการกุศล จากผลของการปรับปรุงล่าสุด เพ็บเบิลฮิลล์จึงมีบ้านเพิ่มเติมอีกหลังหนึ่งบนที่ดินซึ่งอยู่ติดกับชุมชนหลัก อาคารหลังนี้ใช้สำหรับจัดกิจกรรมต่างๆ ภายในบ้านหลักมีสิ่งประดิษฐ์จากศตวรรษที่ 19 และ 20 มากมาย ตั้งแต่ภาพเหมือนและงานศิลปะไปจนถึงแผนที่เก่าของรัฐอลาบามา^{[ 6 ]}