Уважаемая Людмила!
Вопрос дефисного написания географических названий не так прост, как может показаться. В полном академическом справочнике 2009 г. "Правила русской орфографии и пунктуации" под редакцией В.В. Лопатина в Примечании к § 125—126 указано следующее:
В составных географических названиях сложные прилагательные пишутся слитно либо через дефис по правилам § 129 и 130 (при написании через дефис обе части таких прилагательных пишутся с прописной буквы). Ср.:Малоазиатское нагорье, Старооскольский район, Великоустюгский район, Василеостровский район, Среднедунайская равнина, Нижнерейнская низменность, Ближневосточный регион и Юго-Восточная Азия, мыс Северо-Восточный, Сан-Францисская бухта, Улан-Удэнский район, Азиатско-Тихоокеанский регион..
§ 129. Следующие разряды прилагательных пишутся через дефис.
1. Прилагательные, образованные от существительных, пишущихся через дефис, напр.: вице-президентский (от вице-президент), дизель-моторный (дизель-мотор), факс-модемный (факс-модем), социал-демократический (социал-демократия), контр-адмиральский (контр-адмирал), генерал-губернаторский, камер-юнкерский, приват-доцентский, унтер-офицерский, флигель-адъютантский, штабс-капитанский, ку-клукс-клановский; северо-восточный(северо-восток), северо-западный, юго-западный, юго-восточный;
прилагательные, образованные от пишущихся через дефис собственных имен, напр.: санкт-петербургский (от Санкт-Петербург), нью-йоркский (Нью-Йорк), аддис-абебский (Аддис-Абеба), коста-риканский (Коста-Рика), лос-анджелесский (Лос-Анджелес), сан-францисский (Сан-Франциско), алма-атинский (Алма-Ата), улан-удэнский (Улан-Удэ), йошкар-олинский (Йошкар-Ола), усть-каменогорский (Усть-Каменогорск), соль-илецкий (Соль-Илецк), орехово-зуевский (Орехово-Зуево); рио-де-жанейрский (Рио-де-Жанейро); новгород-северский, ленинск-кузнецкий (от названий городов Новгород-Северский, Ленинск-Кузнецкий); ла-маншский (Ла-Манш); сен-симоновский (Сен-Симон), сухово-кобылинский(Сухово-Кобылин). Исключения: москворецкий (от Москва-река), Китайгородский (от Китай-город).
Таким образом, поскольку название Конно-Гренадерской улицы происходит от лейб-гвардии Конно-Гренадерского полка, ее написание через дефис соответствует не только исторической традиции, но и современным правилам русского языка. Что же касается "конногвардейских" названий (бульвар и переулок), то в Петербурге они происходят от лейб-гвардии Конного полка, то есть представляют собой сложные прилагательные, образованные из основ двух слов, а не от одного имени собственного. В этом случае правомерно слитное написание (см. § 130).