เอล์มลงเล่น 32 นัด ทำได้ 8 ประตูจาก 28 เกมในฤดูกาล 2005

เอล์มย้ายจาก ฟัลเคนเบิร์กส์ เอฟเอฟมาอยู่กับคาลมาร์เอฟเอฟก่อนฤดูกาล 2006ซึ่งราสมุส น้องชายของเขา ก็เป็นผู้เล่นอยู่ด้วย และเมื่อสิ้นสุดฤดูกาลเดวิด พี่ชายของเขา ก็ตามมาจากฟัลเคนเบิร์กส์เอฟเอฟ [ ^{1 ] เมื่อ}วันที่ 9 เมษายน 2007 พวกเขากลายเป็นพี่น้องสามคนที่สองที่ลงเล่นพร้อมกันให้กับทีมเดียวในออลสเวนสกัน [ ^{2 ] [ 3 ] ซึ่งเป็นความสำเร็จที่พี่น้องนอ ร์}ดาลทั้งห้าคนไม่เคยทำได้^{[ 4 ]}

วิกเตอร์และพี่น้องของเขามีบทบาทสำคัญในครึ่งหลังของฤดูกาล 2007 ^{[ 5 ]}ซึ่งส่งผลให้คัลมาร์ทำผลงานได้ดีที่สุดในออลสเวนสกันตั้งแต่ปี 1985โดยได้อันดับสองและคว้าแชมป์สวีดิชคัพ เป็นครั้งที่สาม ซึ่งเป็นครั้งแรกนับตั้งแต่ปี 1987

ในฤดูกาล 2008เอล์มมีบทบาทสำคัญยิ่งขึ้นในการคว้าแชมป์ลีกครั้งแรก ของคัลมาร์ โดยทำประตูได้ 15 ประตู รวมถึง 4 ประตูในเกมเหย้านัดสุดท้าย ซึ่งช่วยให้ทีมคว้าแชมป์ได้อย่างเด็ดขาด^{[ 6 ]}และได้รับรางวัล "กองกลางยอดเยี่ยมแห่งปีของสวีเดน" ^{[ 7 ]}ใน การแข่งขัน ยูฟ่าคัพของ คัลมาร์ เอล์ม ทำประตูชัยให้ทีมเอาชนะเฟเยนอร์ดในเลกแรกของรอบแรก ของ ยูฟ่าคัพ ฤดูกาล 2008–09 ^{[ 8 ]}

เมื่อสิ้นสุดฤดูกาล 2008 สัญญาของเอล์มหมดลง และเขากลายเป็นผู้เล่นอิสระหลังจากทำไป 24 ประตูจากการลงเล่น 78 นัดให้กับทีมโรด้า บรอเดอร์

เขาเซ็นสัญญากับสโมสรSC Heerenveen ของเนเธอร์แลนด์ แบบไม่มีค่าตัวในช่วงฤดูใบไม้ร่วงปี 2008 และเข้าร่วมทีมเมื่อตลาดซื้อขายนักเตะเปิดในเดือนมกราคม 2009 เขาทำประตูแรกสองประตูให้กับสโมสรในเกมกับเฟเยนอร์ดในรอบที่สี่ของการแข่งขัน KNVB Cup ฤดูกาล 2008–09 ^{[ 9 ]}

ประตูแรกของเขาในเอเรดิวิซีเกิดขึ้นเมื่อวันที่ 8 กุมภาพันธ์ พ.ศ. 2552 ในการแข่งขันกับNAC Breda ^{[ 10 ]}

หลังจบฤดูกาล 2012 สัญญาของเอล์มกับสโมสรเอสซี ฮีเรนเฟนหมดลง และหลังจากลงเล่นไป 102 นัดและทำได้ 15 ประตูให้กับทีม "เดอ ซูเปอร์ฟรีเซน" เขาก็ตัดสินใจว่าถึงเวลาแล้วที่จะมองหาความท้าทายใหม่

ในเดือนมิถุนายน 2012 เอล์มเซ็นสัญญาสี่ปีกับAZ Alkmaarซึ่งเป็นการกลับมาร่วมทีมกับราสมุส พี่ชายของเขาอีกครั้งเป็นครั้งแรกนับตั้งแต่ที่ทั้งคู่เคยเล่นให้กับKalmar FF

เขาประเดิมสนามอย่างเป็นทางการในเกมที่เสมอกับอาแจ็ก ซ์ 2-2 เมื่อวันที่ 12 สิงหาคม 2012 เขาทำแฮตทริกแรกได้ในวันที่ 27 กันยายน ในเกมฟุตบอลถ้วย KNVB Cupที่ชนะ SC Veendam 4-1 และในวันที่ 30 กันยายน เขาทำประตูแรกในลีกได้ในเกมที่เสมอกับRKC Waalwijk 3-3 เขาได้รับหน้าที่เป็นกัปตันทีม AZ เป็นครั้งแรกในเกมกับVVV Venloเมื่อวันที่ 25 มกราคม 2013 (ชนะ 4-1) เนื่องจากมาร์เทน มาร์เทนส์ได้รับบาดเจ็บและนิค เวียร์เกเวอร์ติดโทษแบน เอล์มทำได้ 5 ประตูในฟุตบอลถ้วย KNVB Cup ซึ่งช่วยให้ AZ คว้าแชมป์เป็นครั้งที่ 4 ในประวัติศาสตร์สโมสร และทำได้ 3 ประตูในลีก

ในฤดูกาล 2013–14 เอล์มลงเล่น 49 นัดจากทั้งหมด 58 เกมการแข่งขัน รวมถึง 11 เกมในเส้นทางสู่รอบรองชนะเลิศยูโรปา ลีก เอล์มทำได้ 3 ประตู ในลีก

เมื่อวันที่ 30 มีนาคม 2015 มีการประกาศว่าเอล์มกลับไปเล่นให้กับสโมสรเก่าของเขาคาลมาร์ เอฟเอฟซึ่งเขาได้กลับมารวมทีมกับเดวิดและราสมุสพี่น้อง ของเขา ^{[ 11 ]}เขาประกาศเลิกเล่นฟุตบอลอาชีพเมื่อวันที่ 16 ธันวาคม 2020 ^{[ 12 ]}