لاحقا لميلاد السيد المسيح، يحكى أن مريم العذراء ويوسف مكثوا في بيت لحم لمدة قصيرة، وكان ليوسف عائلة وأقارب في المدينة يزودونه وعائلته بالمأكل والمأوى قبل هروبهم إلى مصر. وخلال العصور الوسطى، أراد أهل بيت لحم تكريم قريبهم وأرادوا بناء موقع تذكاري له في المدينة، لكن المبادرة لم تتحقق إلا في عام 1890، ومن ذلك الحين، في التاسع عشر من آذار في كل عام تحتفل طائفة اللاتين بعيد مار يوسف ويقصد المصلين الكنيسة للصلاة والاحتفال بذكرى حياته ومماته.