ในเหตุการณ์ที่เขาน่าจะเป็นที่รู้จักมากที่สุด เฟนได้เข้าร่วมการแข่งขันยกน้ำหนักในโอลิมปิกฤดูร้อนปี 1936ที่เบอร์ลิน ประเทศเยอรมนี^{[ 4 ]}เขาได้รับเหรียญทองในรุ่นน้ำหนักเบาด้วยการยกน้ำหนักทำลายสถิติโลกที่ 342.5 กิโลกรัม (755 ปอนด์) โดยแบ่งเป็น 105+100+137.5 แบ่งชัยชนะกับอันวาร์ เมสบาห์ซึ่งการแข่งขันของเขาจบลงด้วยผลเสมอ มีนักยกน้ำหนัก 16 คนจาก 12 ประเทศเข้าร่วมการแข่งขัน เฟนกลายเป็นหนึ่งในนักกีฬาโอลิมปิกชาวยิวเพียง 13 คนที่ได้รับเหรียญรางวัลในการแข่งขันซึ่งจัดขึ้นในช่วงรัฐบาลนาซีของอดอล์ฟ ฮิตเลอร์ และหลังจากการบังคับใช้กฎหมายนูเรมเบิร์กที่ต่อต้านชาวยิว กฎหมายนูเรมเบิร์กซึ่งผ่านในฤดูใบไม้ร่วงปี 1935 ได้ริบสัญชาติ โอกาสในการได้รับการศึกษาในโรงเรียนรัฐ และการเข้าถึงอาชีพและสิ่งอำนวยความสะดวกสาธารณะมากมายจากชาวยิวเยอรมัน ธุรกิจของชาวยิวถูกคว่ำบาตร และชาวยิวไม่สามารถทำงานในวิชาชีพกฎหมาย ราชการ สอนในโรงเรียนมัธยมหรือมหาวิทยาลัย หรือลงคะแนนเสียงหรือดำรงตำแหน่งทางการเมืองได้^{[ 5 ] [ 6 ] [ 2 ] [ 7 ] [ 8 ]}

การแข่งขันยกน้ำหนักชิงแชมป์โลกได้รับการฟื้นฟูด้วยการแข่งขันยกน้ำหนักชิงแชมป์โลกปี 1937ที่ปารีส ประเทศฝรั่งเศส ซึ่งจัดขึ้นเป็นครั้งแรกนับตั้งแต่ปี 1923 ^{[ 2 ]}เฟนได้รับเหรียญเงินตามหลังโทนี่ เทอร์ลาซโซโดยยกได้ 355 กิโลกรัม (แบ่งเป็นช่วง 107.5+107.5+140) ซึ่งน้อยกว่าเทอร์ลาซโซ 2.5 กิโลกรัม^{[ 2 ] [ 3 ] [ 9 ]}

ในปี พ.ศ. 2480 เฟนสร้างสถิติโลกที่ 360 กิโลกรัม ซึ่งเป็นสถิติโลกครั้งสุดท้ายของเขาก่อนที่ชาวออสเตรียจะห้ามไม่ให้เขาเข้าร่วมการแข่งขัน^{[ 3 ]}

ในปี พ.ศ. 2480 Fein ได้รับเหรียญทองคำสำหรับการบริการแก่สาธารณรัฐออสเตรีย^{[ 10 ]}

หลังจากการผนวกออสเตรีย เข้ากับเยอรมนี ในปี พ.ศ. 2481 เฟนถูกห้ามไม่ให้เข้าร่วมการแข่งขันอีกต่อไปเพราะเขาเป็นชาวยิว^{[ 2 ] [ 11 ]}เขาถูกข่มเหงระหว่าง ระบอบ นาซีของออสเตรีย^{[ 1 ]}

ดร. จอร์จ ไอเซน แห่งวิทยาลัยนาซาเร็ธได้รวมเฟนไว้ในรายชื่อนักกีฬาโอลิมปิกชาวยิวที่ได้รับเหรียญรางวัล และเรื่องราวเกี่ยวกับการที่เฟนเอาชนะความเสียเปรียบในช่วงต้นเพื่อคว้าเหรียญทองร่วมกับเมสบาห์ นักยกน้ำหนักชาวอียิปต์ ได้ถูกรวมไว้ใน หนังสือ Jews and the Olympic Games: the clash between sport and politics : with a complete review of Jewish Olympic medallists ^{[ 12 ] [ 13 ]}

เฟนเสียชีวิตเมื่ออายุ 67 ปีในเวียนนา ประเทศออสเตรีย หลังจากป่วยเป็นเวลานาน^{[ 14 ]}