ในการแข่งขันกีฬาโอลิมปิกฤดูหนาวปี 1928ที่เมืองเซนต์มอริตซ์จาฟฟีจบอันดับที่สี่ใน การแข่งขัน สเก็ต 5,000 เมตรซึ่งเป็นผลงานที่ดีที่สุดของชาวอเมริกันในการแข่งขันประเภทนี้จนถึงขณะนั้น^{[ 4 ]}ในการแข่งขัน 10,000 เมตร ที่ตามมา จาฟฟีกำลังนำการแข่งขัน โดยเอาชนะเบิร์นท์ อีเวนเซน แชมป์โลกชาวนอร์เวย์ ในรอบคัดเลือก เมื่ออุณหภูมิที่สูงขึ้นทำให้น้ำแข็งละลาย^{[ 4 ​​] [ 6 ]} ในการตัดสินที่เป็นข้อถกเถียง กรรมการชาวนอร์เวย์ได้ยกเลิกการแข่งขันทั้งหมด^{[ 4 ]} แม้ว่าคณะกรรมการโอลิมปิกสากลจะกลับคำตัดสินของกรรมการและมอบเหรียญทองให้จาฟฟี แต่สหพันธ์สเก็ตนานาชาติได้กลับคำตัดสินของ IOC ในภายหลังและคืนคำตัดสิน^{[ 1 ] [ 7 ]}อีเวนเซนเองก็กล่าวต่อสาธารณะว่าจาฟฟีควรได้รับเหรียญทอง แต่สิ่งนั้นไม่เคยเกิดขึ้น^{[ 4 ]} ไม่ว่าคำตัดสินอย่างเป็นทางการจะเป็นอย่างไร ผลงานของจาฟฟีทำให้เขากลายเป็นวีรบุรุษกีฬาของชาติ^{[ 8 ]}

ในปีนั้นเขายังสร้างสถิติโลกในการวิ่งระยะ 1 ไมล์ (2:30.6) อีกด้วย^{[ 2 ]}

จาฟฟีเข้าร่วมการแข่งขันอีกครั้งในโอลิมปิกฤดูหนาวปี 1932 ที่ เลค พลาซิด รัฐนิวยอร์ก^{[ 4 ]} ในเวลานั้น จาฟฟีเล่าว่ามีป้ายในเลค พลาซิดที่เขียนว่า "ห้ามนำสุนัขหรือชาวยิวเข้า" ^{[ 9 ]} ที่นั่น เขาได้รับเหรียญทองทั้งในการแข่งขันวิ่ง 5,000 เมตรและ 10,000 เมตร^{[ 1 ] [ 4 ]} ในการแข่งขันวิ่ง 10,000 เมตร จาฟฟีชนะอย่างน่าตื่นเต้นด้วยการกระโดดข้ามเส้นชัยนำหน้าแฟรงค์ สแต็คและอิวาร์ บัลลังกรุดเช่นเดียวกับการแข่งขันอื่นๆ ความสำเร็จของจาฟฟีทำให้วงการสเก็ตน้ำแข็งทั่วโลกต้องตะลึง เนื่องจากมีนักสเก็ตชาวอเมริกันเพียงไม่กี่คนเท่านั้นที่เคยแข่งขันกับคู่แข่งชาวยุโรปได้^{[ 8 ]}

ในเดือนธันวาคม พ.ศ. 2475 ผู้จัดการของเขาประกาศว่า Jaffee และIvar Ballangrudจะก้าวสู่การเป็นนักกีฬาอาชีพ^{[ 10 ]} อาชีพนักกีฬาอาชีพของ Jaffee ได้รับความช่วยเหลือจากอธิบดีกรมไปรษณีย์James Farley Jaffee ได้ออกทัวร์อาชีพใน 10 เมือง และต่อมาได้เข้าสู่ธุรกิจการผลิตรองเท้าสเก็ต ซึ่งประสบความสำเร็จในฐานะนักธุรกิจอยู่ช่วงหนึ่ง^{[ 8 ]}

เขาทำหน้าที่ในคณะกรรมการอเมริกันสำหรับการแข่งขันกีฬาแมคคาเบียห์ครั้งที่สองซึ่งจัดขึ้นที่เทลอาวีฟระหว่างวันที่ 2-10 เมษายน พ.ศ. 2478 แม้จะมีการคัดค้านอย่างเป็นทางการจากรัฐบาลผู้ปกครองอังกฤษ ร่วมกับเบนนี เลียวนาร์ดและแนท โฮลแมน^{[ 11 ]}

ในช่วงภาวะเศรษฐกิจตกต่ำครั้งใหญ่จาฟฟีที่ตกงานต้องไปต่อแถวรับขนมปัง^{[ 12 ]}และถูกบังคับให้จำนำเหรียญโอลิมปิกและเหรียญอื่นๆ ของเขาในราคา 3,500 ดอลลาร์^{[ 9 ] [ 13 ]} หลังจากที่เขาได้งานในวอลล์สตรีทเขาไปรับเหรียญคืน แต่กลับพบว่าร้านรับจำนำนั้นปิดกิจการไปแล้ว เขาจึงไม่เคยเห็นเหรียญเหล่านั้นอีกเลย

ในปี พ.ศ. 2477 เขาทำงานเป็นผู้อำนวยการกีฬาฤดูหนาวที่^{โรงแรม} Grossinger's Catskill Resort [ ^{14 ]}และสร้างสถิติโลกที่นั่นด้วยการเล่นสเก็ต 25 ไมล์ในเวลา 1:26:01 ทำลายสถิติเดิมที่มีมา 30 ปีลงไปห้านาที^{[ 1 ] [ 2 ] [ 6 ] [ 7 ]} Jaffee ยังทำหน้าที่เป็นโค้ชให้กับนักสเก็ตความเร็วโอลิมปิกหลายคนอีกด้วย^{[ 15 ]}

Jaffee ปรากฏตัวในโฆษณาเต็มหน้าของบุหรี่ Camelในปี พ.ศ. 2477 โดยมีชื่อเรื่องว่า "Jaffee ต้องมีประสาทที่แข็งแรงจึงจะเป็นแชมป์โลกนักสเก็ตได้ ส่วนนักสูบบุหรี่ที่สูบเป็นประจำจะหันมาใช้บุหรี่ Camel" ^{[ 16 ]}

จาฟฟีได้รับการเลือกเข้าสู่หอเกียรติยศกีฬาสเก็ตลีลาแห่งสหรัฐอเมริกาในปี 1940 และหอเกียรติยศกีฬาชาวยิวระดับนานาชาติในปี 1979 เขาเสียชีวิตในซานดิเอโกในปี 1981