Предание об основании монастыря содержится в Житии Авраамия Ростовского. Согласно преданию, на этом месте некогда стоял каменный идол Велеса, которому поклонялись древние жители этих мест. Он был разрушен благодаря апостолу Иоанну Богослову, который явился сюда после молитвы отшельника Авраамия и дал ему жезл: им и был сокрушён идол.