คาฟฟรีย์ เกิดที่ทัล ลา ห์ท ดับลินเขาเติบโตมาจากระบบเยาวชนของแชมร็อก โรเวอร์สโดยเป็นกัปตันทีม U15 ภายใต้การนำของเดเมียน ดัฟฟ์ในปี 2018 และเล่นให้กับทีม U17 ในปี 2019 ^{[ 2 ] [ 3 ]}

ในปี 2021 แคฟฟรีย์เข้าร่วมทีมUCD สโมสร ในลีกดิวิชั่นหนึ่งของไอร์แลนด์และทำประตูได้ในการลงเล่นนัดแรกให้กับทีม ในเกมที่ชนะเว็กซ์ฟอร์ด 2-1 ที่สนามเบลฟิลด์ โบว์ลเมื่อวันที่ 9 กรกฎาคม 2021 เขาลงเล่นในลีก 8 นัดในฤดูกาลแรกของเขา ขณะที่ UCD ได้เลื่อนชั้นผ่านรอบเพลย์ออฟ สถานีโทรทัศน์RTÉ ของไอร์แลนด์ ยกย่องแคฟฟรีย์ว่าเป็นผู้เล่นดาวรุ่งที่น่าจับตามองของ UCD ในฤดูกาลพรีเมียร์ดิวิชั่น 2022 ^{[ 4 ]}เขาทำประตูที่เข้าชิงรางวัลประตูยอดเยี่ยมแห่งฤดูกาล ช่วยให้ UCD เอาชนะฟินน์ ฮาร์ปส์ในเกมสำคัญเพื่อหนีตกชั้นในเดือนสิงหาคม 2022 ^{[ 5 ]}แคฟฟรีย์ลงเล่นในทุกเกมลีกและทำประตูในลีกได้ 2 ประตูให้กับ UCD ในปี 2022 ขณะที่พวกเขาเอาชนะวอเตอร์ฟอร์ดในรอบเพลย์ออฟเพื่อรักษาสถานะในพรีเมียร์ดิวิชั่น^{[ 2 ]}

แคฟฟรีย์เซ็นสัญญากับเชลเบิร์นในเดือนพฤศจิกายน 2022 โดยกลับมาร่วมงานกับเดเมียน ดัฟฟ์ผู้จัดการ ทีมเยาวชนคนเดิมของเขา ^{[ 2 ]}ในฤดูกาลแรกกับเชลเบิร์น เขาลงเล่นในลีก 36 นัดและทำได้ 2 ประตู ในเดือนพฤศจิกายน 2023 เขาเซ็นสัญญาฉบับใหม่เป็นเวลาสองปีจนถึงสิ้นสุดฤดูกาล 2025 ^{[ 6 ]} แค ฟฟรีย์ทำประตูชัยในนาทีที่ 96 ในเกมลีกกับเซนต์แพทริคส์ แอธเลติกในเดือนพฤษภาคม 2024 ซึ่งเชลเบิร์นและแคฟฟรีย์คว้าแชมป์พรีเมียร์ดิวิชั่นในฤดูกาลนั้น^{[ 7 ]}แคฟฟรีย์ลงเล่น 34 นัดและทำได้ 3 ประตูในฤดูกาลที่คว้าแชมป์ เขาต่อสัญญาอีกครั้งในเดือนกุมภาพันธ์ 2025 ^{[ 8 ]}ดัฟฟ์ ผู้จัดการของเขากล่าวว่า "เขามีคุณสมบัติที่ยอดเยี่ยมมากมายและสามารถเล่นได้หลายตำแหน่ง ซึ่งเป็นสิ่งล้ำค่า" ^{[ 9 ]}ดัฟฟ์ยกย่องตัวละครของเขาอีกครั้งเมื่อแคฟฟรีย์ลงเล่นครบ 100 นัดให้กับเชลเบิร์นในเดือนพฤษภาคม 2025 โดยพูดติดตลกว่าเขาจะ "กระโดดลงจากยอดเขาโทลก้าเพื่ออุดมการณ์" ^{[ 10 ]}