Eine Gedenktafel erinnert seit 1996 an die jüdischen Bewohner des Hauses, die in der NS-Zeit verfolgt und ermordet wurden. Das Gebäude war seit 1894 im Besitz der Familie Ortweiler/Appel, die in der unteren Etage ein Ledergeschäft führte. Ab 1941 wurde es von den Nationalsozialisten als sogenanntes Judenhaus genutzt. Juden wurden gezwungen, ihre Wohnungen und Häuser zu verlassen und in ausgewiesene Ghettohäuser zu ziehen, in denen sie auf engstem Raum mit fremden Menschen zusammenleben mussten. Im Brühl 6 teilten sich Angehörige von acht Familien die obere Etage des Hauses.Die Ghettoisierung war eine Vorstufe der im Herbst 1941 einsetzenden Deportationen.
Die Gestapo konnte die Bewohner leicht überwachen und nutzte jedes noch so geringe Fehlverhalten für Verhaftungen. Im September 1941 wurde Susanna Appel in ihrem Elternhaus wegen unerlaubten Besitzes einiger Eier verhaftet. Ein Jahr später wurde sie in Auschwitz ermordet. Weil er ohne Erlaubnis Fahrrad gefahren war, wurde Martin Wolff in das KZ Buchenwald eingeliefert und am 14. März 1942 in der Tötungsanstalt Bernburg ermordet. Die meisten Bewohner wurden im Mai 1942 in das Ghetto Belzyce bei Lublin verschleppt. Einige alte Menschen blieben noch bis zu ihrer Deportation nach Theresienstadt im September 1942 im Haus Brühl 6 zurück.