본래 여주군 대송면의 지역으로 계봉산 밑이 되므로 계림동 또는 계림리라 하였다. 1914년 행정구역 개편 때 토정리 전후곡리와 양평군 남면의 오종리, 포변리를 합하여 계림리라 하였는데 계수나무 수풀이 많다고 한다. 자연마을로는 개가말, 개선들, 계림동, 청능, 토우물이 있다.

• 개가말 : 청능 북서쪽에 있는 마을이다.
• 개선들 : 주민이 한곳에 모여 살지 않고 자주 이사를 한다고 해서 개선들 바람과 같은 동네라 하여 붙여졌다고 전한다.
• 계림동 : 계수나무 숲이 개울가에 있었다 하여 붙여졌다 한다.
• 청능 : 마을 지세가 능처럼 생겼고 청룡혈에 자리잡았다 하여 지어진 명칭이라 전한다.
• 토우물 : 계림리 북쪽에 토우물이 있는 마을이다.
• 뒷골 : 계림 뒤쪽에 있는 마을이다.
• 능산 : 옛날부터 능이 있어 능산이라 한다.
• 마고밭골 : 막힌산에 있는 골짜기다.
• 백고개 : 옛날에 이포강과 이어진 고개라 배가 드나든다 하여 뱃고개라 한다.
• 장(場)고개 : 토우물에서 지제면 곡수리 곡수장으로 넘어가는 고개이다.