Ab 1716 wurde einigen jüdischen Familien erlaubt, sich "Im Grien", dem Gebiet zwischen der heutigen Straße "Unterer Brühl" und dem Alten Spital, anzusiedeln. Anfangs versammelte sich die jüdische Gemeinde in der Betstube des Privathauses Zivi, heute Hauptstr. 115. 1754 errichtete man an dieser Stelle ein eigenes Bethaus, das 1852 durch eine steinerne Synagoge ersetz wurde. Nach der Machtergreifung der Nationalsozialisten wurde das jüdische Leben in Müllheim ausgelöscht, die Synagoge bei dem Progom 1938 verwüstet und schließlich 1968 abgerissen. In die Mauer um den heutigen Gedenkstein wurden Steine von ihr mit eingeführt.