1948년 건국 이래 1960년대까지의 선거관리는 일반 행정기관이 관장해왔다. 대체로 중앙선거위원회의 산하에 서울특별시와 각도의 선거위원회를 설치한 후, 다시 그 아래에 시·군·구(서울)의 선거위원회를 두고 읍·면·동에 투표구 선거위원회를 마련하였다. 이 시기에 구 단위 이상의 선거위원장은 예외 없이 현직 법관이었으며 선거위원도 법조계 인사와 행정관이 주류를 이루고 교수가 가끔 섞이는 실정이었다. 대통령이 임명하는 중앙의 선거위원회 위원을 제외하고는 해당지역의 법원장, 지원장, 행정관의 추천을 받은 사람을 상위에 설치된 선거위원회에서 임명하는 형식을 취했다. 그러나 읍·면·동의 투표구 선거위원회는 읍·면·동장이 직접 임명하거나(1950년 4월 이전) 또는 이들이 추천한 사람을 형식상 상급 선거위원회가 임명하게 되어 있었다. 그리고 군·읍·면의 선거위원회는 1948년 5월의 제헌국회의원 선거 때부터 설치되었으며, 사실상 내무부 부속 기관의 지위에 머물러 있었다.

4·19 민주혁명을 계기로 생긴 제2공화국 헌법은 행정부와는 독립적인 선거관리기구의 설치를 명문화하였고, 1960년 6월에 제정한 선거위원회법(법률 제550호)은 처음으로 법 자체가 국회의원 선거법(당시는 민의원·참의원 선거법)과 분리되었다. 그리고 5·16 군사정변으로 탄생한 제3공화국 헌법에서도 이 전통을 살려 1963년 1월 ‘선거관리위원회법’(법률 제1225호)을 제정하고 시행령을 공포하였다. 그 결과 1963년 2월에는 경기도 제7지역구 선거관리위원회가 발족됐는데 지역구는 여주군과 양평군을 통괄하는 것이었고 사무실은 여주군의 여주읍에 두었다.

제7지역구 선거관리위원회는 여주지역에 처음 설치된 상설 선거관리위원회였으며, 경기도 선거관리위원회가 위촉한 7인의 위원으로 구성되어 있었다. 이들이 이동수 여주지원장을 초대 위원장으로, 그리고 송순의를 초대 부위원장으로 호선하였다. 또 전임간사 1명을 선정하고 여주군청 건물 안에서 집무를 시작했다. 2월 14일에는 여주군 28개, 양평군 40개의 투표구 선거관리위원회 조직을 완료했다. 이 무렵 여주군에 소속해 있던 개군면이 1963년 1월 1일 이후 양평군에 귀속하게 되었다. 1963년 8월 관련법이 개정됨에 따라 처음에는 여당과 제1야당이 추천하는 각 1명의 위원을 합쳐 위원 정수가 7명에서 9명으로 증가하였고, 1966년 12월에는 두 정당에서 추천하는 위원이 각 2명씩 되어 위원 정수가 11명으로 증가하였다. 같은 해 선거관리위원회 사무요원이 전임간사 1명에 직원 1명이 더 충원되었다. 1967년에는 청사(廳舍)가 여주군청 구내에 별개 건물로 신축되었다.

1968년 5월 ‘선거관리위원회법’이 개정되어 지역구 선거관리위원회의 위원 정수가 11명에서 일반 위원 3명, 여당 추천위원 3명, 야당 추천위원 3명으로 조정되었으며, 투표구 선거관리위원회의 위원 정수도 9명에서 7명으로 감소되었다. 1969년 1월의 법 제정으로 선거인 명부 작성을 지도 감독하는 여야 각 1명씩의 상근위원 제도를 지역구 선거관리위원회에 설치하게 되었다. 동시에 지역구 선거관리위원회의 사무직은 전임간사 대신 사무과장으로 임명하고 군(郡) 선거관리위원회의 사무직은 전임간사로 임명하게 되었다.

그러나 유신(維新) 헌법의 출범을 전후하여 선거관리의 성격도 변하게 되었다. 우선 1972년 10월 정당 추천위원 제도를 폐지하면서 덕망과 학식 있는 사람을 위촉하도록 규정이 바뀌었고, 1973년 1월 지역구 선거관리위원회에서 운영하던 상근위원 제도가 폐지되었다. 또 동시에 지역구 선거관리위원회의 위원 정수가 9명에서 7명으로, 그리고 투표구 선거관리위원회 위원 정수가 7명에서 5명으로 감축되었다. 1973년 5월에는 경기도 선거관리위원회로부터 정당에 관한 사무가 선거구로 이관됨에 따라 정당관계 사무도 다루게 되었다. 같은 해 8월부터는 여주군이 속해 있던 제4지역구 선거관리위원회가 새로 생긴 성남시로 옮겨가자 여주군에 위치해 있던 선거관리위원회도 ‘여주군선거관리위원회’로 명칭이 바뀌게 되었다. 2013년부터 여주시선거관리위원회로 명칭이 바뀌었다.

이어 1980년 11월의 법 개정으로 부위원장 제도가 없어지고 군선거관리위원회의 전임간사 명칭도 사무과장으로 승격되었다. 1984년 제5공화국에 들어와 선거관리위원회 위원의 정당(政黨) 추천제가 신설되고 국회의원 선거법의 개정으로 선거구 및 시·군·구 선거관리위원회의 위원 9명 중 3명은 원내 교섭단체를 가진 3정당이 추천할 수 있도록 바뀌었다. 이때 추천 대상자는 추천받기 전까지 5년간 정치 활동을 하지 않은 자로 규정하였으며 현직 교육 공무원, 언론인, 전직 교사, 일반 공무원 등이 그 대상에 포함되었다.

현재 시·군·구 선거관리위원회의 위원은 국회에 교섭단체를 구성한 정당이, 비정당원(非政黨員)이면서 관내에 거주하는 국회의원의 선거권이 있는 자를 포함하여 법관, 교육자, 학식과 덕망이 있는 인물 중에서 6인을 추천하여 시·도 선거관리위원회에서 위촉한다. 다만 정당이 추천하는 위원은 선거 기간 개시일 또는 국민투표안 공고일 후에는 당해 시·군·구 선거관리위원회가 위촉할 수 있다. 그러나 모든 위탁 선거는 제외한다. 또한 투표구 선거관리위원회의 위원은 관할하는 읍·면·동의 구역 안에 거주하는 국회의원의 선거권이 있고 정당원이 아닌 자 중에서 국회에 교섭단체를 구성한 정당이 추천한 사람과 학식과 덕망이 있는 자 가운데에서 4인을 시·군·구 선거관리위원회가 위촉한다. 다만 읍·면의 구역 안에 군인을 제외한 선거권자가 없는 경우에는 그 투표구 선거관리위원회의 위원은 관할하는 시·군·구 선거관리위원회의 구역 안에 거주하는 국회의원 선거권자 중에서 이를 위촉할 수 있도록 하였다.