У другій половині XVIII століття в Вологді біля Кам'яного моста побудували чотири круглі вежі в три поверхи, які склали єдиний ансамбль. У 1820-х роках до всіх них додали торгові ряди з боку річки.
В кінці XIX століття в Вологді перебудували одну з двох уцілілих башт під готель «Пасаж». Номери знаходилися на першому поверсі, ресторан і магазини - на другому. Готель був на третьому місці за рівнем обслуговування після «Золотого якоря» і «Ермітажу» .
У липні 1917 року в «Пасажі» поет Сергій Єсенін обідав зі своєю нареченою Зінаїдою Райх. З ними тут був і вологодський поет Олексій Ганін. Можливо, саме звідси Єсенін і Райх поїхали до церкви Кирика і Іуліти в передмістя, щоб повінчатися. Олексій Ганін так писав про готелі: «Дешевий шик провінційного ресторану, при вході опудало ведмедя тримає блюдо в лапах. Тиша і спокій ... ». Згідно з легендою, Сергій Єсенін кинув монетку на це блюдо. Після вінчання молоді зі свідком знову приїхали в «Пасаж», щоб відсвяткувати цю подію в ресторані готелю.
У 1918 році «Північна федерація анархістів» перетворила будівлю в свою штаб-квартиру. Більшовики зажадали звільнити будівлю, і, коли надійшла відмова, взяли його штурмом. Вони переписали близько 100 анархістів і відпустили, звелівши виїхати з Вологди протягом 24 годин.
До 1929 року в колишньому «Пасажі» працювали Вологодський повітком ВКП (б) і повітовий виконком. Після в будівлі знаходилася поліклініка №1. З 2012 року тут проводяться відновлювальні роботи. У «Пасажі» планується відкрити туристичний центр, готель і ресторан. 
