Он появился в 1906 году и первоначально проходил от Мариинской улицы до Благодатного переулка (теперь Благодатная улица).

Фото Дмитрия Ратникова

Название, по одной из версий, происходит от фамилии директора-распорядителя находившегося рядом завода «Сименс и Гальске» Германа Осиповича Герца. В советское время завод именовался «Электросила» (ныне часть корпорации "Силовые машины").

В октябре 1918 года якобы «дворянское» название переулка заменили на новое — Трудовой. Употреблялось и наименование переулок Труда.

В 1955 году в процессе застройки территории название Трудового переулка исчезло. Южная его часть превратилась во внутриквартальный проезд (он идёт между домами № 9 и 13 по улице Решетникова, 32 и 34 по Благодатной), а северная часть, замыкающая Мариинскую улицу, долгое время оставалась безымянной. В 2010 году она была присоединена к Мариинской улице, а 4 октября 2022 года вновь обрела историческое название.

Теперь Герцогский переулок идёт от Мариинской улицы до улицы Решетникова.