Происхождение и родина его неизвестны. Подвизался в городе Ростове в царствование Ивана Грозного 1547–1584 годах в подвиге юродства, терпя нужды, скорби и не имея постоянного пристанища. Живя в смирении, терпении и непрестанной молитве, он духовно окормлял многих, в том числе и блаженного Иринарха, затворника Ростовского († 1616 г.; память 13/26 января). Блаженный Иоанн всегда носил с собой и читал Псалтирь. Скончался в глубокой старости 3 сентября 1580 года. Был погребён, по завещанию, возле церкви святого Власия, за алтарём. Блаженный Иоанн имел «власы на главе велики», потому и назывался Власатым. Наименование Милостивый он получил за многие исцеления, совершившиеся при его гробнице.