ภาพสเปกโตรแกรมที่สร้างขึ้นจากคำสั่ง " bossa nova with electric guitar " (ด้านบน) และไฟล์เสียงที่ได้หลังจากแปลงแล้ว (ด้านล่าง)

Riffusionเป็นโครงข่ายประสาทเทียมที่ออกแบบโดย Seth Forsgren และ Hayk Martiros ซึ่งสร้างเพลงโดยใช้ภาพของเสียงแทนที่จะใช้เสียง^{[ 1 ]}

ดนตรีที่ได้นั้นถูกอธิบายว่าเป็น " de otro mundo " (เหนือโลก) ^{[ 2 ]}แม้ว่าจะไม่น่าจะมาแทนที่ดนตรีที่มนุษย์สร้างขึ้นได้ก็ตาม^{[ 2 ]}โมเดลนี้เปิดให้ใช้งานได้เมื่อวันที่ 15 ธันวาคม 2022 โดยมีโค้ดให้ใช้งานได้ฟรีบนGitHub ^{[ 3 ]}

Riffusion เวอร์ชันแรกถูกสร้างขึ้นโดยการปรับแต่งStable Diffusionซึ่งเป็นโมเดลโอเพนซอร์สที่มีอยู่สำหรับการสร้างภาพจากข้อความแจ้งเตือนบนสเปกโตรแกรม [ ^{1 ] ส่ง}ผลให้ได้โมเดลที่ใช้ข้อความแจ้งเตือนเพื่อสร้างไฟล์ภาพซึ่งสามารถนำไปผ่านการแปลงฟูริเยร์ผกผันและแปลงเป็นไฟล์เสียงได้^{[ 3 ]}แม้ว่าไฟล์เหล่านี้จะมีความยาวเพียงไม่กี่วินาที แต่โมเดลยังสามารถใช้ช่องว่างแฝงระหว่างเอาต์พุตเพื่อแทรกไฟล์ต่างๆ เข้าด้วยกันได้^{[ 1 ] [ 4 ]} (โดยใช้ ความสามารถ img2imgของ SD) ^{[ 5 ]}มันเป็นหนึ่งในหลายโมเดลที่ได้มาจาก Stable Diffusion ^{[ 5 ]}

ในเดือนธันวาคม พ.ศ. 2565 Mubert ^{[ 6 ]}ได้ใช้ Stable Diffusion ในทำนองเดียวกันเพื่อเปลี่ยนข้อความบรรยายให้เป็นลูปเพลง ในเดือนมกราคม พ.ศ. 2566 Google ได้เผยแพร่เอกสารเกี่ยวกับเครื่องมือสร้างเพลงจากข้อความของตนเองที่เรียกว่า MusicLM ^{[ 7 ] [ 8 ]}

Forsgren และ Martiros ก่อตั้งบริษัทสตาร์ทอัพชื่อ Riffusion เช่นกัน และระดมทุนได้ 4 ล้านดอลลาร์สหรัฐจากเงินทุนร่วมลงทุนในเดือนตุลาคม 2023 ^{[ 9 ] [ 10 ]}