그의 집안은 본래 경기도 여주지방의 양반이었고, 양근으로 이사한 다음 그가 태어났다. 집안 전체가 열성적인 천주교 신자로 사촌 형인 윤유일은 주문모 신부를 입국시키는 데 큰 역할을 하였고 1795년 6월 28일에 순교하였다. 사촌누이 윤점혜는 동정녀로 유명한 순교자이며, 신앙을 버리지 않았던 부친 윤장은 임자도에서 옥사하였다.