1938年，平江县民众教育馆在县城西街文圣庙设立图书室，收藏《万有文库》一套，连环图画近千册，已初具规模，是为平江县图书馆的前身。

 解放后，县人民政府接管民众教育馆，建立文化馆，下设图书馆迁至南街景福坪，其时已收藏了《四库全书》、《古今图书集成》的部分卷册和《二十四史》、《四部丛刊》等古籍3万余册。成为平江人民的一大财富。遗憾的是在文革期间竟遭浩劫，损毁愈半。

1978年，该图书馆与文化馆分离，正式成立平江县图书馆，在县城中心南街299号定址。1994年，由美籍华人欧阳遇女士基金会捐资60万元，加上部、省、县财政拨款，改旧建新，故又名欧阳遇图书馆。

新馆设计新颖，气势宏伟，布局合理，建筑面积2500平方米。设有外借室、少儿阅览室、期刊报纸阅览室、咨询室等服务窗口；专辟古籍典藏室、地方文献室、工具书库；馆藏图书9万8千册；现有工作人员14人，大专学历4人，中级职称1人。

 该馆年财政预算由1993年4.8万元，逐年增加到13.2万元，基本上保证了日常工作的正常运转。并确定年购书费2万元，订阅报刊140种、新增图书3000余册的目标。

 该馆严格规范，强化管理，加强业务建设。采编室配备电脑一台，采用《中图法》标引，依据《普通图书著录规则》著录，共设置目录8套。外借窗口、书库订有严格的规章制度，要求做到书刊整理、上架及时，加强保管。定期组织工作人员学习业务知识，参加各类培训，以提高整体素质水平。

该馆充分发挥信息文库的作用，以科技兴农、发展经济为重点开展工作。编印的《科技信息》面向广大农村，为农民朋友们提供致富信息和科技知识。常年坚持星火服务跟踪项目2个，并取得了一定成效。与32家乡镇（村）图书馆（室）建立了长期性的辅导关系，重点组建2个万册馆。

具有光荣革命传统的老区平江，地方史料丰富。近年来，该馆以收集平江史料为重点，获得了《平江县革命历史文物资料》、《平江文物资料》、《平江古今人物墓志铭》、平江籍老干部李锐、曹瑛等的著作和有关地方文献资料2500多份。值得一提的是，其中有李六如《六十年变迁》的手稿。古籍现存13000余册，珍贵古籍《卓氏藻林》（共8卷），为明代万历九年王世懋妙香室刻本，该书已载人《全国古籍善本书总目》。

 该馆一年365天实行全天候开放、开架借阅，推行送书上门、预约借书、办证上门等方式，现拥有持证读者1600个，年流通人次12万，解答咨询300余项。通过宣传栏、板报经常性地向广大读者推荐图书、指导阅读。举办各类展览，吸引更多的人到馆参观学习（如书画、摄影展等）；搞读书、演讲比赛、灯谜等；形式多样的少儿阅读活动亦进行得有声有色。

1992年该馆获“全国红领巾读书活动先进集体”称号，1998年被文化部评定为“国家二级图书馆”。