여주읍에서 영능 진입로를 따라가다가 영능 입구를 조금 지나서 우측으로 남한강 가까지 돌출한 지점이 있다. 이곳을 여귀수라고 하는데 절벽 아래 강과 연결된 깊은 호수 같은 샛강이 있었다. 수많은 사또들은 기생들을 다스리기는커녕 함께 놀아나 풍기가 문란하였다. 신관 사또가 부임하여 기생을 모아 선상 연회를 베풀었다.

잔치가 무르익어 이곳에 이르렀을 때 미리 지시한 대로 배 밑에 구멍을 뚫어 기생들을 모두 빠져 죽게 하였다. 그리하여 지방의 기강을 바로 잡았다 한다.

이곳에는 비가 오면 여자 우는 소리가 나고, 또 해마다 사람이 빠져 죽는다고 하는데 이때에 죽은 기생들의 귀신이 있어 재앙을 부른다고 하는 전설이 이 지방에 전해지고 있다.