แม้ว่าเรื่องนี้ยังคงเป็นหัวข้อของการวิจัยอย่างต่อเนื่อง แต่สมาชิกที่เก่าแก่ที่สุดของตระกูลนี้เท่าที่ทราบในปัจจุบันคือ โรเจอร์ โอลิฟาร์ด ผู้เป็นพยานในการลงนามในกฎบัตรการก่อตั้งอารามคลูนิกแห่งเซนต์แอนดรูว์ นอร์ทแธมป์ตัน โดยเอิร์ลไซมอน [ ^{3 ] กฎบัตร}นี้ลงวันที่ระหว่างปี 1093 ถึง 1100 และตัวโรเจอร์เองได้มอบเงิน 3 ชิลลิงต่อปีให้กับอารามแห่งนี้^{[ 4 ]}

ทฤษฎีหนึ่งอ้างว่าตระกูลโอลิแฟนท์มี ต้นกำเนิดมา จากฝรั่งเศสซึ่งในศตวรรษที่สิบสองได้ครอบครองที่ดินรอบๆ นอร์ทแธมป์ตันเชียร์ในอังกฤษ^{[ 2 ]}ในโดมส์เดย์ นอร์ท แธมป์ ตันเชียร์ มีการกล่าวถึง "ในลิ ลเลฟอร์ด วิลเลมัส โอลิฟาร์ด" ซึ่งเป็นที่ดินที่ถือครองโดยเคาน์เตสจูดิธ [ ^{5 ] นอกจาก}นี้ ในบันทึกภาษีปีค.ศ. 31 เฮนรีที่ 1 ยังมีการกล่าวถึงวิลเลียม โอลิฟาร์ดแห่งนอร์ทแธมป์ตันเชียร์ เช่นเดียวกับฮิวจ์ โอลิฟาร์ดแห่งฮันติงดอน เชียร์^{[ 5 ]}วิลเลียมถือครองที่ดินห้าไฮด์ในลิลฟอร์ด (ลิลเลฟอร์ด) จากที่ดินของกษัตริย์แห่งสกอตแลนด์ ในขณะที่ฮิวจ์ โอลิฟาร์ดแห่งสโตกส์เป็นอัศวินรับใช้เจ้าอาวาสแห่งปีเตอร์สโบโรห์ก่อนปี ค.ศ. 1120 ทั้งสองปรากฏในบันทึกภาษีปี ค.ศ. 1130 ^{[ 6 ]}

บางทีบรรพบุรุษของตระกูลโอลิฟาร์ดอาจเป็น"เดวิด โฮลีฟาร์ด"บุตรบุญธรรมของพระเจ้าเดวิดที่ 1 แห่งสกอตแลนด์และเป็นผู้คุ้มครองพระองค์ในปี ค.ศ. 1141 ซึ่งครอบครองลิลฟอร์ด (ลิลเลฟอร์ด) ในนอร์ทแธมป์ตันเชียร์ แสดงให้เห็นถึงความเชื่อมโยงของตระกูลนอร์ทแธมป์ตันเชียร์กับสกอตแลนด์^{[ 5 ]}เดวิดเป็นบุตรชายของวิลเลียม โอลิฟาร์ด ซึ่งมีชื่ออยู่ในบันทึกภาษีของเคมบริดจ์เชียร์ (ค.ศ. 1158) นอร์ทแธมป์ตันเชียร์ (ค.ศ. 1163) และฮันติงดอนเชียร์ (ค.ศ. 1168 และ 1169) เขาช่วยชีวิตบิดาบุญธรรมของเขา พระเจ้าเดวิดที่ 1 แห่งสกอตแลนด์ จากการถูกจับกุมในระหว่างยุทธการที่วินเชสเตอร์ในปี ค.ศ. 1141 ^{[ 2 ] [ 7 ]}เดวิดครอบครองที่ดินเครลิงและสไมล์โฮล์มซึ่งทั้งสองแห่งอยู่ในร็อกซ์เบิร์กเชียร์และดำรงตำแหน่งผู้พิพากษาแห่งโลเธียน [ ^{2 ] ไม่มี}การกล่าวถึงเขาในบันทึกหลังจากปี ค.ศ. 1170 และคาดว่าเขาเสียชีวิตหลังจากนั้นไม่นาน^{[ 8 ]}บุตรชายคนหนึ่งของดาวิดถูกส่งไปเป็นตัวประกันให้กับวิลเลียมผู้เป็นสิงห์^{[ 2 ]}

เซอร์วอลเตอร์ โอลิฟาร์ดบุตรชายของเดวิด โอลิฟาร์ ด ผู้พิพากษาคนที่สอง แต่งงานกับคริสเตียน บุตรสาวของเฟอร์ชาร์ เอิร์ลแห่งสแตรทเธิร์น ในปี ค.ศ. 1173 สินสมรสของเธอคือที่ดินสแตรเกธ^{[ 9 ]}

ชื่อ Oliphant ปรากฏอยู่ในRagman Rollsของปี 1296 ซึ่งยอมจำนนต่อพระเจ้าเอ็ดเวิร์ดที่ 1 แห่งอังกฤษ [ ^{2 ] อย่างไรก็ตาม}เช่นเดียวกับชาวสกอตส่วนใหญ่ที่ถูกบังคับให้สาบานตนจงรักภักดีต่อกษัตริย์อังกฤษ ตระกูล Oliphant ก็ได้เข้าร่วมสนับสนุนเอกราชของสกอตแลนด์ในไม่ช้า^{[ 2 ]}

ในช่วงสงครามประกาศอิสรภาพของสกอตแลนด์เซอร์วิลเลียม โอลิแฟนท์ได้ต่อสู้ในยุทธการที่ดันบาร์ (ค.ศ. 1296)และถูกจับและคุมขังที่เดวิเซสในอังกฤษ^{[ 8 ]}เขาได้รับการปล่อยตัวและได้รับการแต่งตั้งเป็นผู้บัญชาการปราสาทสเตอร์ลิงในปี ค.ศ. 1304 สเตอร์ลิงเป็นป้อมปราการสุดท้ายที่ยังคงอยู่ในมือของชาวสกอต พระเจ้าเอ็ดเวิร์ดที่ 1 แห่งอังกฤษได้ปิดล้อมปราสาทเป็นเวลาสามเดือนก่อนที่พวกเขาจะยอมจำนน^{[ 10 ]}เซอร์วิลเลียมถูกจับอีกครั้งและถูกส่งไปยังหอคอยแห่งลอนดอน^{[ 2 ] [ 11 ]}ต่อมาเขาได้รับการปล่อยตัวและได้รับการแต่งตั้งเป็นผู้ว่าการเมืองเพิร์ธโดยพระเจ้า เอ็ดเวิร์ด ที่2แห่งอังกฤษ^{[ 8 ]}ต่อมาเพิร์ธถูกยึดครองโดยพระเจ้าโรเบิร์ต เดอะ บรูซและเซอร์วิลเลียมถูกส่งไปพร้อมกับโซ่ตรวนไปยังหมู่เกาะเวสเทิร์นซึ่งคาดว่าเขาเสียชีวิตที่นั่น^{[ 8 ]}ไม่มีการกล่าวถึงเขาอีกในบันทึกใดๆ^{[ 8 ]}

ลูกพี่ลูกน้องของเขา ซึ่งบางครั้งก็ถูกเข้าใจผิดว่าเป็นวิลเลียม โอลิแฟนท์ ลอร์ดแห่งอะเบอร์ดัลจีก็ได้เข้าร่วมการรบที่ดันบาร์และถูกจับตัวไปเช่นกัน และถูกส่งไปยังปราสาทโรเชสเตอร์ซึ่งเขาถูกคุมขังอยู่ และได้รับการปล่อยตัวก็ต่อเมื่อตกลงที่จะรับใช้กษัตริย์เอ็ดเวิร์ดที่ 1 แห่งอังกฤษในต่างแดน^{[ 12 ]}เขากลับไปยังสกอตแลนด์และดำรงตำแหน่งรองผู้บัญชาการปราสาทสเตอร์ลิงภายใต้เซอร์วิลเลียม โอลิแฟนท์ ลูกพี่ลูกน้องของเขา^{[ 13 ]}เขาถูกจับตัวไปอีกครั้ง คราวนี้ถูกคุมขังที่ปราสาทวอลลิงฟอร์ดเซอร์วิลเลียมได้รับการปล่อยตัวอย่างน้อยที่สุดในปี 1313 และรับใช้บรูซในการต่อสู้เพื่อเอาชนะอังกฤษอย่างต่อเนื่อง เขาเป็นหนึ่งในผู้ลงนามในปฏิญญาอาร์โบรธเมื่อวันที่ 6 เมษายน 1320 และตราประทับของเขายังคงปรากฏให้เห็น^{[ 14 ]}ต่อมาเขาได้รับรางวัลเป็นที่ดินที่แกลเลอรีในแองกัสกาสก์ และนิวไทล์ซึ่งทั้งสองแห่งอยู่ในเพิร์ธเชียร์เขายังได้รับที่ดินมิวร์เฮาส์ใกล้เอดินบะระเพื่อชดเชยที่ดินที่กษัตริย์จอห์น เดอ บัลลิออล ยึดไป ในคินคาร์ดีนเชียร์^{[ 15 ]}

เซอร์วอลเตอร์ โอลิแฟนท์ ลอร์ดแห่งอะเบอร์ดัลจีและบุตรชายของเซอร์วิลเลียม แต่งงานกับเจ้าหญิงเอลิซาเบธพระธิดาองค์สุดท้องของพระเจ้าโรเบิร์ต เดอะ บรูซ [ ^{16 ] ใน}ปี ค.ศ. 1364 เซอร์วอลเตอร์ถือครองที่ดินของเคลลี และที่ดินของแกสก์ อะเบอร์ดัลจี และดัปปลินในฐานะบารอนนีอิสระ^{[ 17 ]}

เซอร์จอห์น โอลิแฟนท์ เจ้าแห่งอะเบอร์ดัลจี เป็นบุตรชายของเซอร์วอลเตอร์ และสืบทอดตำแหน่งต่อจากบิดา เขาได้รับพระราชทานตราตั้งจากพระเจ้าโรเบิร์ตที่ 2 สำหรับที่ดินทั้งหมดของบิดาที่ถือครองจากราชสำนักเมื่อวันที่ 10 ธันวาคม ค.ศ. 1388 เซอร์จอห์นมีพี่น้องสี่คน: คนแรกคือ เซอร์วอลเตอร์ ที่ 1 แห่งเคลลี ซึ่งบิดาได้โอนที่ดินเคลลีและพิตเคียร์รี ซึ่งอยู่ในเขตปกครองของไฟฟ์ให้แก่เขา ซึ่งได้รับการยืนยันจากพระเจ้าโรเบิร์ตที่ 2 เมื่อวันที่ 20 ตุลาคม ค.ศ. 1379; คนที่สองคือ มัลคอล์ม โอลิแฟนท์ ซึ่งได้รับพระราชทานตราตั้งจากพี่ชายของเขา เซอร์จอห์น โอลิแฟนท์ สำหรับที่ดินเฮเซลเฮดลงวันที่ 13 มกราคม ค.ศ. 1412 และเนื่องจากที่ดินเหล่านี้ตกทอดไปยังสายตระกูลอาวุโสในภายหลัง จึงเห็นได้ชัดว่าเขาเสียชีวิตโดยไม่มีทายาท หรือไม่ก็ทายาทของเขาได้สูญสิ้นไปแล้ว ประการที่สาม วิลเลียม โอลิแฟนท์ ผู้ซึ่งแม้จะเป็นญาติห่างๆ ของกษัตริย์ ก็ถูกประหารชีวิตพร้อมกับน้องชายของเขา อาร์เธอร์ ที่เมืองเพิร์ธในปี 1413/1414 เนื่องจากมีส่วนร่วมในการฆาตกรรมแพทริก เอิร์ลแห่งสแตรทเฮิร์น ในปี 1413 ประการที่สี่ อาร์เธอร์ โอลิแฟนท์^{[ 18 ]}

เซอร์วิลเลียม โอลิแฟนท์ ลอร์ดแห่งอะเบอร์ดัลจี สืบทอดตำแหน่งต่อจากบิดาในปี 1417 และถูกส่งตัวไปและถูกกักตัวไว้ในอังกฤษในฐานะตัวประกันเมื่อกษัตริย์ได้รับการปล่อยตัวในวันที่ 28 มีนาคม 1424 เขาได้รับการปล่อยตัวในเดือนธันวาคม 1425 แต่เสียชีวิตในวันที่ 12 สิงหาคม 1428 ^{[ 19 ]}

เซอร์จอห์น โอลิแฟนท์ ลอร์ดแห่งอะเบอร์ดัลจี สืบทอดตำแหน่งต่อจากบิดาเมื่อวันที่ 12 สิงหาคม ค.ศ. 1428 และได้รับการแต่งตั้งเป็นทายาทของปู่ของเขา เซอร์จอห์น โอลิแฟนท์ ในดินแดนแครนชอว์สในปี ค.ศ. 1441 ^{[ 20 ]}ในปี ค.ศ. 1445 เซอร์จอห์น โอลิแฟนท์ ถูกสังหารในการรบที่อาร์โบรธ [ ^{21 ] ขณะ}สนับสนุนตระกูลโอกิลวีในการรบระหว่างตระกูลกับตระกูลลินด์เซย์

เซอร์ ลอเรนซ์ โอลิแฟนท์ แห่งอะเบอร์ดัลจี เป็นบุตรชายของเซอร์ จอห์น ผู้สืบทอดตำแหน่งต่อจากบิดาในปี 1445 ^{[ 22 ]}และเมื่อบรรลุนิติภาวะก็ได้รับการแต่งตั้งเป็นลอร์ดแห่งรัฐสภาในปี 1458 โดยพระเจ้าเจมส์ที่ 2 แห่งสกอตแลนด์ [ ^{2 ] ต่อ}มาเขาดำรงตำแหน่งผู้ดูแลปราสาทเอดินบะระ [ ^{2 ] เขา}เสียชีวิตไม่นานหลังจากเข้าร่วมการประชุมของลอร์ดผู้ตรวจสอบบัญชีเมื่อวันที่ 1 กุมภาพันธ์ 1498/99 ^{[ 22 ]}

ในช่วงสงครามแองโกล-สก็อตแลนด์หลานชายของเซอร์ลอเรนซ์ โอลิแฟนท์ถูกสังหารในการรบที่ฟลอดเดนในปี 1513 ^{[ 23 ]}และเหลนของเขาถูกจับในการรบที่โซลเวย์มอสในปี 1542 ^{[ 2 ]}

ลอร์ดโอลิแฟนท์คนที่สี่สนับสนุนแมรี ราชินีแห่งสกอตแลนด์และต่อสู้เพื่อเธอในการรบที่แลงไซด์ในปี 1568 ^{[ 2 ]}

ลูกชายคนโตของหัวหน้าเผ่าชื่อลอเรนซ์อีกคนหนึ่ง มีส่วนเกี่ยวข้องกับการสมคบคิดที่รู้จักกันในชื่อการโจมตีรูธเวนซึ่งนำโดยตระกูลรูธเวนเพื่อลักพาตัวพระเจ้าเจมส์ที่ 6 แห่งสกอตแลนด์และถูกเนรเทศในปี 1582 ^{[ 2 ]}เรือที่เขากับผู้สมคบคิดอีกคนหนึ่งคือมาสเตอร์แห่งมอร์ตันแล่นเรือมานั้นสูญหายในทะเล^{[ 2 ] [ 24 ]}

เมื่อลอร์ดโอลิแฟนท์คนที่ 5 เสียชีวิตโดยทิ้งลูกสาวไว้แต่ไม่มีลูกชาย สามีของลูกสาวซึ่งเป็นดักลาสและเป็นน้องชายของเอิร์ลแห่งแองกัส ได้อ้างสิทธิ์ในตำแหน่งขุนนางโอลิแฟนท์ทางสายผู้หญิง ในราชสำนักพระเจ้าชาร์ลส์ที่ 1 แห่งอังกฤษทรงสถาปนาตำแหน่งใหม่คือลอร์ดมอร์ดิงตันให้แก่ลูกสาวและสามี โดยมีลำดับความสำคัญเทียบเท่าลอร์ดโอลิแฟนท์ และทรงสถาปนาตำแหน่งลอร์ดโอลิแฟนท์ใหม่ให้แก่แพทริก โอลิแฟนท์ ซึ่งเป็นญาติสนิทที่สุดที่เป็นผู้ชาย^{[ 2 ]}

สาขาหลักหลายสาขาของตระกูลโอลิแฟนท์อุทิศตนให้กับฝ่ายจาคอบไนต์ และชาร์ลส์ โอลิแฟนท์ ลอร์ดโอลิแฟนท์คนที่เก้าได้ต่อสู้ในยุทธการที่คิลลีแครนกีในปี ค.ศ. 1689 และถูกจำคุกในภายหลัง^{[ 2 ]}

ชาร์ลส์ โอลิแฟนท์ บุตรชายของแพทริก โอลิแฟนท์ ลอร์ดโอลิแฟนท์คนที่เก้า คัดค้านสนธิสัญญาสหภาพในปี 1707 อย่างรุนแรง และเข้าร่วมกับโอลิแฟนท์แห่งกาสก์ ลูกพี่ลูกน้องของเขา ใน การก่อกบฏจาโคไบต์ใน ปี1715 ^{[ 2 ]}ลอร์ดโอลิแฟนท์คนที่สิบและคนสุดท้าย มีบทบาทอย่างแข็งขันในการก่อกบฏจาโคไบต์ในปี 1745 [ ^{2 ] หลังจาก}พ่ายแพ้ในยุทธการคัลโลเดนเขาหนีไปสวีเดน ก่อน แล้วจึงไปฝรั่งเศส^{[ 2 ]}เขาได้รับอนุญาตให้กลับมาสกอตแลนด์ในปี 1763 แต่ก็ยังคงต่อต้านราชวงศ์ฮันโนเวอร์ต่อไป^{[ 2 ]}

Carolina Oliphant (Lady Nairne) ลูกสาวของ Oliphant Laird แห่ง Gask เป็นกวี Jacobite ที่มีชื่อเสียง^{[ 2 ]}